Собеседование AI/LLM-инженера

Вопросы для разработчиков, которые строят продукты на языковых моделях: от токенов и температуры до RAG, оценки качества, стоимости и безопасности.

1. Как проектировать LLM-агента и почему агенты ломаются? Middle

   Агент — цикл: модель решает, какой инструмент вызвать, получает результат и решает дальше, пока задача не решена (паттерн ReAct: рассуждение → действие → наблюдение). Начинать…

2. Как работает механизм внимания (self-attention) и архитектура трансформера? Middle

   Self-attention: для каждого токена считаются три вектора — Query (что ищу), Key (что содержу), Value (что передам). Вес внимания токена i к токену j — softmax от скалярного…

3. Как разбивать документы на фрагменты для RAG? Middle

   Фрагмент должен быть самодостаточным по смыслу и достаточно коротким, чтобы точно находиться поиском; режут по структуре документа, а не по символам.

4. Что такое дистилляция модели? Middle

   Дистилляция — обучение маленькой модели-ученика повторять поведение большой модели-учителя. Ученик учится на ответах или распределениях вероятностей учителя, а не только на…

5. Что такое эмбеддинги? Junior

   Эмбеддинг — вектор чисел, в котором тексты близкие по смыслу оказываются близко в пространстве.

6. Что такое дообучение модели и LoRA? Middle

   Дообучение — продолжение обучения готовой модели на своих примерах, чтобы закрепить формат, стиль или навык; LoRA обучает небольшие добавочные матрицы вместо всех весов.

7. Что такое галлюцинации LLM и как с ними бороться? Junior

   Галлюцинация — правдоподобный, но неверный ответ: модель генерирует вероятный текст, а не сверяется с фактами.

8. Как устроена большая языковая модель (LLM)? Junior

   LLM — нейросеть-трансформер, которая предсказывает следующий токен по предыдущим; текст получается, если повторять это шаг за шагом.

9. Что такое гибридный поиск и зачем совмещать BM25 с векторным поиском? Middle

   Векторный поиск хорошо ловит смысл и перефразирования, но промахивается на точных совпадениях: артикулы, коды ошибок, имена, редкие термины. BM25 (лексический поиск) — наоборот…

10. Как LLM генерирует текст и что такое KV-кэш? Middle

    Генерация авторегрессивна: токен за токеном, каждый новый зависит от всех предыдущих. Prefill — параллельная обработка всего промпта (определяет время до первого токена, TTFT)…

11. Что такое LLM как судья (LLM-as-a-judge) и какие у этого подхода ловушки? Middle

    Сильная модель оценивает ответы другой (или той же) модели по чёткой рубрике: верность фактам из контекста, полнота, следование формату. Это масштабирует оценку там, где точного…

12. Как кэшировать запросы к LLM — prompt caching и семантический кэш? Middle

    Prompt caching (на стороне провайдера или сервера инференса) переиспользует обработку одинакового префикса промпта — системные инструкции, документы, историю: повторные запросы…

13. Как снизить стоимость и задержку приложения на LLM? Middle

    Платим и ждём за токены: меньше входа и выхода, модель по задаче, кэш, стриминг и параллельность.

14. Как оценивать качество ответов LLM? Middle

    Собрать набор тестовых примеров с ожидаемым результатом, выбрать метрики под задачу и прогонять его при каждом изменении промпта, модели или поиска.

15. Что такое guardrails в LLM-приложении и как их строить? Middle

    Guardrails — проверки на входе и выходе модели вокруг вызова LLM: фильтрация запрещённых тем и токсичности, обнаружение и маскирование персональных данных, защита от prompt…

16. Как наблюдать за LLM-приложением в продакшене? Middle

    Трассировать каждый шаг: промпт и ответ, найденные документы, вызовы инструментов, модель и версию промпта, токены, стоимость, задержку (TTFT и общую). Плюс качество…

17. Зачем RAG, если у моделей контекст на сотни тысяч токенов? Middle

    Длинный контекст не заменяет поиск: стоимость и задержка растут с каждым токеном, качество падает на длинных входах (модель хуже использует информацию из середины — lost in the…

18. Что такое Model Context Protocol (MCP)? Middle

    MCP — открытый протокол, стандартизирующий подключение инструментов и данных к LLM-приложениям. MCP-сервер публикует инструменты (tools), ресурсы (данные) и шаблоны промптов…

19. Как выбрать модель для LLM-продукта — большая или маленькая, своя или по API? Middle

    Начинать с сильной модели по API, чтобы понять потолок качества на своей задаче, собрать оценочный набор, затем пробовать модели дешевле и меньше и сравнивать на нём. Своя…

20. Как устроена и обучается нейросеть — слои, функции активации, обратное распространение ошибки? Junior

    Нейросеть — композиция слоёв: каждый делает линейное преобразование (веса и смещение) и нелинейную функцию активации (ReLU, GELU). Без нелинейности любая глубина схлопнулась бы в…

21. Как обучают чат-модели — предобучение, SFT, RLHF и DPO? Middle

    Три этапа. Предобучение — предсказание следующего токена на огромном корпусе: модель получает знания о языке и мире, но просто продолжает текст. SFT (supervised fine-tuning) …

22. Как писать хорошие промпты? Junior

    Хороший промпт — конкретная задача, контекст, ограничения и формат ответа, плюс примеры, если формат сложный.

23. Что такое prompt injection и как от неё защищаться? Middle

    Промпт-инъекция — когда текст из ввода или данных заставляет модель нарушить инструкции: раскрыть промпт, выполнить чужую команду, вызвать инструмент.

24. Что такое квантизация модели и чем приходится за неё платить? Middle

    Квантизация хранит веса (и иногда активации) с меньшей точностью: вместо 16 бит — 8 или 4. Модель занимает в 2–4 раза меньше памяти и генерирует быстрее, потому что decode…

25. Как улучшить качество RAG, если он отвечает плохо? Middle

    Сначала понять, где ломается: не нашли нужное (поиск) или нашли, но ответили плохо (генерация) — и чинить соответствующий этап.

26. Когда использовать RAG, а когда дообучение модели? Middle

    RAG — когда нужны знания (факты, документы, свежие данные); дообучение — когда нужно поведение (формат, стиль, навык, предметный язык).

27. Что такое реранкер и чем cross-encoder отличается от bi-encoder? Middle

    Bi-encoder кодирует запрос и документ отдельно в векторы и сравнивает их — документы индексируются заранее, поиск быстрый, но точность ограничена. Cross-encoder подаёт запрос и…

28. Как реализовать потоковую выдачу ответа LLM пользователю? Middle

    Модель генерирует ответ токен за токеном, и его можно показывать по мере генерации: воспринимаемая задержка падает с десятков секунд до времени первого токена. Провайдеры отдают…

29. Как получить от LLM ответ в строгом формате, например JSON? Middle

    Используйте режим структурированного вывода по JSON-схеме, если API его поддерживает, и всегда валидируйте результат в коде.

30. Что такое temperature и top-p у языковой модели? Junior

    Параметры выборки следующего токена: temperature делает распределение острее или площе, top-p оставляет только самые вероятные токены с суммарной вероятностью p.

31. Как работает токенизация в LLM и что такое BPE? Middle

    BPE (byte-pair encoding) строит словарь подслов: начинает с байтов или символов и многократно объединяет самую частую соседнюю пару в новый токен. Частые слова становятся одним…

32. Что такое токены и контекстное окно LLM? Junior

    Токен — кусок текста (часть слова, слово, знак), с которым работает модель; контекстное окно — сколько токенов модель учитывает за раз: запрос плюс ответ.

33. Что такое вызов инструментов (tool calling) и агенты? Middle

    Модель получает описания инструментов (имя, параметры по схеме) и вместо текста может вернуть запрос на вызов; вызывает их код приложения и отдаёт результат обратно модели.

34. Как устроен векторный поиск? Middle

    Векторный поиск находит ближайшие векторы к вектору запроса; на больших объёмах используют приближённый поиск (ANN) с индексами вроде HNSW.

35. Что такое RAG и как он устроен? Junior

    RAG — модель отвечает по найденным документам: сначала поиск релевантных фрагментов, затем генерация ответа с ними в контексте.