Ленивые строительные блоки: chain (склеить), islice (срез итератора), groupby (группы подряд идущих — нужна предварительная сортировка), product/permutations/combinations, accumulate (накопительные суммы), batched (3.12, пачки по n), tee, zip_longest, count/cycle/repeat.
А ещё more-itertools — расширенный набор (chunked, windowed, first)
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Зачем. Итераторы обрабатывают элементы по одному, не создавая промежуточных списков: файл на 10 ГБ читается построчно с постоянной памятью.
Частые ловушки:
sottogroupby группирует только соседние элементы с одинаковым ключом;list(group), если нужна позже;tee хранит буфер разницы между копиями — при сильном расхождении съедает память;batched (3.12) — частая задача «отправлять в БД пачками»; в старых версиях — islice в цикле или more_itertools.chunked.
from itertools import islice, groupby, batched, chain
with open("big.log") as f:
first_100 = list(islice(f, 100))
rows = sorted(orders, key=lambda o: o.city)
for city, group in groupby(rows, key=lambda o: o.city):
print(city, sum(o.total for o in group))
for chunk in batched(ids, 500): # Python 3.12
db.fetch_many(chunk)sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.