Единый интерфейс пулов: submit возвращает Future, map применяет функцию к итерируемому, as_completed отдаёт результаты по готовности. ThreadPoolExecutor — для ввода-вывода (GIL отпускается на ожидании), ProcessPoolExecutor — для вычислений (свой интерпретатор и GIL в каждом процессе).
А ещё max_workers по умолчанию: потоки — min(32, CPU + 4), процессы — число CPU
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Модель: пул рабочих, очередь задач, Future как дескриптор результата. submit(fn, *args) → Future; future.result(timeout) ждёт и возвращает значение или бросает исключение задачи.
map vs as_completed: pool.map возвращает результаты в порядке аргументов и бросает исключение при итерации на упавшем элементе; as_completed — по мере готовности, удобно для обработки ошибок по одной.
Потоки или процессы:
| ThreadPoolExecutor | ProcessPoolExecutor | |
|---|---|---|
| подходит | ввод-вывод | вычисления |
| GIL | общий | свой в каждом процессе |
| накладные расходы | малые | запуск процессов, pickle |
| общие данные | есть (нужны блокировки) | нет |
Подводные камни процессов: функции должны быть определены на уровне модуля (pickle), запуск под if __name__ == "__main__": (метод spawn на Windows и macOS), большие аргументы дорого сериализовать.
sottofrom concurrent.futures import ThreadPoolExecutor, as_completed
with ThreadPoolExecutor(max_workers=20) as pool:
futures = {pool.submit(download, url): url for url in urls}
for f in as_completed(futures):
try:
save(futures[f], f.result())
except Exception as e:
log.warning("%s: %s", futures[f], e)sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.