Получить доступ

Очереди и фоновые задачи

Основа с Middle

Долгие операции вне HTTP-запроса — очереди задач, повторы, идемпотентность.

Индексация документов, пакетная обработка, генерация отчётов занимают минуты. Держать HTTP-запрос открытым столько нельзя: запрос ставят в очередь, отвечают «принято», а воркер выполняет задачу в фоне.

Что важно знать

  • Инструменты: Celery, arq, Dramatiq, RQ поверх Redis или RabbitMQ; для потоков событий — Kafka.
  • Повторы с экспоненциальной паузой и пределом; после исчерпания — очередь «мёртвых» задач.
  • Идемпотентность: повторная обработка не должна дублировать результат и счёт за модель.
  • Ограничение параллельности — под лимиты провайдера.
  • Статус задачи для клиента: опрос, вебхук или уведомление.

Критерии освоения

Middle ≈ 10 ч

  • Выносит долгую обработку (индексация, пакетные вызовы модели) в фоновую очередь
  • Делает обработчик идемпотентным и настраивает повторы с паузой
  • Сообщает клиенту статус долгой задачи (опрос или уведомление)

Практика. Перенести индексацию загруженных документов в фоновую очередь со статусом задачи, повторами при ошибках модели эмбеддингов и защитой от двойной обработки.

Senior ≈ 6 ч

  • Проектирует ограничение параллельности под лимиты провайдера модели
  • Выбирает между очередью задач и брокером сообщений с обоснованием

Практика. Спроектировать конвейер обработки 100 тысяч документов в сутки с лимитом провайдера 500 запросов в минуту, посчитать время и стоимость.

Вопросы с собеседований

Есть в картах: ИИ-инженер Backend-разработчик

← Вся карта «ИИ-инженер»

Закрытая бета

Знать тему — половина дела

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.

  • Промокод на 2 часа — сверх пробных 30 минут
  • Программа для Windows — скачать сразу, войти — через Яндекс ID или VK ID
  • Прямая связь с разработчиком: что улучшить — сделаем