NumPy и pandas

Основа с Junior

Массивы и векторизация, таблицы, группировки, объединения, работа со временем.

Критерии освоения

Практика. Провести анализ открытого датасета поездок такси — очистка, агрегации, объединение со справочником.

Практика. Ускорить медленный скрипт обработки на pandas минимум в 10 раз векторизацией и сравнить с Polars.

Обрабатывает данные, не помещающиеся на одну машину, в Spark или аналоге и оптимизирует такие расчёты

Практика. Перенести расчёт признаков на сотни миллионов событий в Spark и сократить время расчёта, разобрав план выполнения.

Как работать с пропущенными значениями в данных? Junior
Сначала понять, почему значение пропущено: технический сбой, «не применимо» (нет второго адреса), пользователь не захотел указывать. Пропуск часто несёт информацию. Варианты…
Почему apply и циклы в pandas медленные и как писать быстрее? Middle
Векторные операции над столбцами (df["a"] df["b"], np.where, .str, .dt) выполняются в C над массивами. apply по строкам и циклы iterrows вызывают Python-функцию на каждую строку …
Как работают groupby и merge в pandas и какие у них ловушки? Junior
groupby — разбить, применить агрегат, собрать (split-apply-combine): df.groupby("city")["amount"].agg(["sum", "mean"]). merge — соединение таблиц по ключам, как SQL JOIN…

Закрытая бета

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.