Векторные операции над столбцами (df["a"] * df["b"], np.where, .str, .dt) выполняются в C над массивами. apply по строкам и циклы iterrows вызывают Python-функцию на каждую строку — медленнее в десятки–сотни раз. Для больших данных: правильные типы (category, int32), чтение частями (chunksize), колоночные форматы (Parquet) и движки Polars или DuckDB.
А ещё DuckDB позволяет запускать SQL прямо по Parquet и датафреймам
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Почему apply медленный. pandas хранит столбцы как массивы NumPy. Векторная операция — один вызов C-кода на весь столбец. apply(axis=1) создаёт объект строки и вызывает Python-функцию миллионы раз.
Приёмы ускорения:
sottonp.where, np.select — вместо условий в apply;.str и .dt для строк и дат;merge со справочником вместо map с функцией;groupby().transform вместо цикла по группам.Большие данные:
category, int32, float32, даты как datetime;read_csv(chunksize=…) — обработка частями с агрегированием;# медленно
df["segment"] = df.apply(lambda r: "vip" if r.amount > 10_000 else "regular", axis=1)
# быстро
df["segment"] = np.where(df["amount"] > 10_000, "vip", "regular")
# память
df["city"] = df["city"].astype("category")
df = pd.read_parquet("orders.parquet", columns=["user_id", "amount", "city"])sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.