Получить доступ

Сервис в основном ходит по сети: на каждую задачу примерно 90% времени — ожидание ответа и 10% — вычисления. Как выбрать размер пула потоков?

MiddleМногопоточность
Коротко

IO-bound: ядра × (1 + W/C), где W — ожидание, C — вычисления; при 90/10 — около 10 × ядер. CPU-bound — примерно по числу ядер. Это ориентир: реальный предел часто задаёт внешний ресурс (пул соединений, лимит API), и размер подбирают нагрузочным тестом.

  • Пул больше пула соединений к БД — потоки просто ждут соединение
  • По закону Литтла: потоки = поток запросов × время обработки
  • Виртуальные потоки снимают вопрос о размере, но не о лимите на ресурс

А ещё Лишние потоки — память и переключения контекста

Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.

Попробуйте сами

Очередь и утилизация: почему при 90% всё тормозит

Подробно

Пока поток ждёт сеть, он не занимает процессор, поэтому ядра простаивают при пуле размером с их количество. Формула ядра × (1 + W/C) при соотношении 90/10 даёт примерно десятикратное превышение. Это ориентир, а не точное значение: реальный предел обычно задаёт не процессор, а внешний ресурс — пул соединений к базе или лимит стороннего API, и упираться нужно именно в него. Для CPU-bound задач берут число ядер (иногда +1), потому что лишние потоки только добавляют переключений контекста. Виртуальные потоки снимают этот подсчёт для блокирующего кода.

Что хотят услышать

  • Формула и её смысл.
  • Ограничение внешними ресурсами.
  • Измерение вместо слепой формулы.

Частые ошибки

  • Применять правило «по числу ядер» к IO-bound нагрузке.
  • Наращивать пул, не проверив, что узкое место не в пуле соединений к БД.

Проверьте себя

Один верный вариант. Подумайте, потом откройте ответ.

Показать варианты и ответ
  • ✓Существенно больше числа ядер — ориентировочно ядра × (1 + время ожидания / время вычислений)
  • ✗Строго по числу ядер, иначе переключения контекста съедят выигрыш
  • ✗Один поток: при сетевом ожидании параллелизм не помогает
  • ✗Неограниченный пул — число потоков должно расти вместе с нагрузкой

Что спросят дальше

  • Как здесь помогают виртуальные потоки?
  • Почему неограниченный пул опасен?

Разбор темы

Связанные вопросы

Закрытая бета

Подсказки на собеседовании — в реальном времени

sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.

  • Промокод на 2 часа — сверх пробных 30 минут
  • Программа для Windows — скачать сразу, войти — через Яндекс ID или VK ID
  • Прямая связь с разработчиком: что улучшить — сделаем