Индивидуальный план развития: ИИ-инженер

• Создаёт ветку, делает осмысленные коммиты и отправляет их в удалённый репозиторий
• Объясняет разницу между merge и rebase и не переписывает опубликованную историю
• Отменяет изменения через revert, reset и restore в подходящих ситуациях
• Разрешает конфликт слияния и проверяет результат тестами

Практика. Провести учебный проект через 10 веток с pull request, специально создать и разрешить 3 конфликта, откатить один неудачный коммит через revert.

• Оформляет небольшой pull request с описанием, что и как проверить
• Исправляет замечания ревью и поддерживает ветку в актуальном состоянии

Практика. Сделать 5 pull request в учебный или открытый проект с описанием и пройти ревью.

• Ревьюит чужой код по существу — ошибки, поддержка, безопасность — а не по вкусу
• Объясняет выбор между trunk-based и GitFlow для своей команды

Практика. Отревьюить 10 чужих pull request с письменными замечаниями и разобрать с автором самые спорные.

• Перемещается по файловой системе, создаёт, копирует и удаляет файлы без файлового менеджера
• Находит строку в сотне файлов через grep и считает совпадения пайпом
• Задаёт переменные окружения и объясняет, почему команда «не найдена» (PATH)
• Заходит на сервер по SSH-ключу и смотрит логи сервиса через tail -f

Практика. Неделю работать с проектом только из терминала — запуск, тесты, Git, поиск по коду, просмотр логов — и записать 20 команд, которые пригодились.

• Оценивает сложность своего кода в O-нотации, включая вложенные циклы и операции со словарём
• Объясняет, как работают быстрая сортировка и сортировка слиянием, и что такое устойчивость
• Пишет бинарный поиск без ошибок на границах
• Решает задачи на два указателя и скользящее окно уровня easy

Практика. Решить 30 задач уровня easy на массивы, строки, хеш-таблицы и бинарный поиск, у каждой записать сложность.

• Решает задачи уровня medium на графы (BFS, DFS), рекурсию и динамическое программирование
• Проговаривает решение вслух, оценивает сложность и проверяет граничные случаи до запуска

Практика. Решить 40 задач уровня medium и пройти 2 пробные алгоритмические секции по 45 минут с решением вслух.

• Выбирает между списком, словарём и множеством по нужным операциям и их сложности
• Объясняет устройство хеш-таблицы — хеш, коллизии, расширение — и почему ключ неизменяемый
• Применяет стек и очередь в задачах (скобки, обход в ширину)

Практика. Реализовать с нуля хеш-таблицу с цепочками и расширением и сравнить скорость со встроенным словарём.

• Использует кучу для топ-K и приоритетных очередей
• Объясняет амортизированную сложность и устройство B-дерева в индексах баз данных

Практика. Решить задачу «топ-10 самых частых запросов из потока на миллион строк» с кучей, оценить память и время.

• Пишет async-функции и вызывает несколько запросов к модели параллельно через gather или TaskGroup
• Объясняет, почему блокирующий вызов внутри async-функции останавливает весь сервис

Практика. Переписать скрипт, который последовательно отправляет 100 запросов к модели, на асинхронный с параллельностью 10 и сравнить время.

• Ограничивает параллельность семафором под лимиты провайдера
• Обрабатывает таймауты и отмену задач без утечек соединений
• Читает потоковый ответ модели асинхронным генератором и передаёт его клиенту

Практика. Сделать асинхронный клиент к двум провайдерам с таймаутом, повторами, семафором и переключением на резервного провайдера при ошибках.

• Создаёт FastAPI-сервис с эндпоинтом, валидацией входа через Pydantic и документацией OpenAPI
• Передаёт ключи и настройки через переменные окружения, не храня их в коде

Практика. Сделать сервис «вопрос — ответ модели» на FastAPI с валидацией, обработкой ошибок провайдера и тестом эндпоинта.

• Отдаёт потоковый ответ модели через Server-Sent Events
• Использует зависимости FastAPI для авторизации и клиентов внешних сервисов
• Ограничивает размер запроса и частоту вызовов на пользователя

Практика. Добавить потоковую выдачу, авторизацию по токену, лимит запросов на пользователя и учёт израсходованных токенов в базе.

• Загружает логи запросов в pandas, фильтрует, группирует и строит сводную таблицу
• Считает косинусное сходство векторов в NumPy без циклов
• Использует ноутбук для исследования и переносит готовый код в модули

Практика. По логу из 10 тысяч запросов к ассистенту посчитать распределение тем, среднюю стоимость и долю ошибок по дням.

• Называет методы и коды ответа HTTP и выбирает подходящие для своего API
• Читает запрос и ответ в curl и DevTools — заголовки, тело, коды
• Объясняет разницу 401 и 403, 502 и 504

Практика. Описать API ассистента (5 эндпоинтов) с методами, кодами ошибок и примерами запросов в curl.

• Настраивает кэширование ответов заголовками Cache-Control и ETag
• Объясняет, что дают HTTP/2 и потоковая передача для ответов LLM

Практика. Включить потоковую выдачу ответа через SSE за nginx и проверить, что ответ не буферизуется.

• Пишет запросы с фильтрами, сортировкой, JOIN и GROUP BY
• Проектирует таблицы для пользователей, диалогов и сообщений с внешними ключами
• Использует параметризованные запросы и объясняет, как они защищают от SQL-инъекций

Практика. Спроектировать схему БД для чат-ассистента (пользователи, диалоги, сообщения, оценки ответов) и написать 5 запросов для аналитики диалогов.

• Находит медленный запрос через EXPLAIN и ускоряет его индексом
• Объясняет транзакции и выбирает уровень изоляции для конкурентных обновлений
• Хранит эмбеддинги в PostgreSQL с pgvector рядом с обычными данными

Практика. Добавить в схему pgvector-таблицу фрагментов документов с фильтром по правам доступа, замерить время поиска до и после индекса HNSW.

• Пишет Dockerfile для Python-сервиса и запускает его с переменными окружения
• Поднимает сервис вместе с PostgreSQL через docker compose
• Объясняет разницу между образом и контейнером, томом и bind mount

Практика. Упаковать FastAPI-сервис с RAG в контейнер, поднять вместе с PostgreSQL и pgvector через compose.

• Уменьшает образ multi-stage сборкой и кэшем слоёв зависимостей
• Настраивает корректную остановку (SIGTERM) и healthcheck
• Не допускает секретов в образе и запускает контейнер не от root

Практика. Уменьшить образ сервиса минимум вдвое, добавить healthcheck и graceful shutdown, проверить, что незавершённые запросы к модели дорабатывают при остановке.

• Выносит долгую обработку (индексация, пакетные вызовы модели) в фоновую очередь
• Делает обработчик идемпотентным и настраивает повторы с паузой
• Сообщает клиенту статус долгой задачи (опрос или уведомление)

Практика. Перенести индексацию загруженных документов в фоновую очередь со статусом задачи, повторами при ошибках модели эмбеддингов и защитой от двойной обработки.

• Проектирует ограничение параллельности под лимиты провайдера модели
• Выбирает между очередью задач и брокером сообщений с обоснованием

Практика. Спроектировать конвейер обработки 100 тысяч документов в сутки с лимитом провайдера 500 запросов в минуту, посчитать время и стоимость.

• Объясняет обучение с учителем и без, классификацию и регрессию на примерах
• Объясняет, зачем делить данные на обучающую, валидационную и тестовую выборки
• Считает precision, recall и F1 по матрице ошибок и объясняет, когда точность обманчива

Практика. Обучить логистическую регрессию на открытом датасете отзывов, посчитать метрики и разобрать 20 ошибок вручную.

• Находит утечку данных в постановке эксперимента
• Выбирает метрику под цену ошибок задачи и порог классификатора

Практика. Сравнить классификацию обращений LLM без обучения и простой моделью на эмбеддингах по F1 и стоимости на 500 размеченных примерах.

• Объясняет устройство полносвязной сети, функции активации и функцию потерь
• Описывает градиентный спуск и обратное распространение ошибки на уровне идеи
• Объясняет, что происходит при слишком большом и слишком маленьком learning rate

Практика. Обучить небольшую сеть в PyTorch на MNIST, построить кривые обучения при трёх значениях learning rate и объяснить разницу.

• Объясняет идею механизма внимания и почему трансформер обрабатывает контекст целиком
• Отличает модели-декодеры (генерация) от энкодеров (эмбеддинги, классификация)

Практика. Разобрать «The Illustrated Transformer» и пересказать путь одного токена через слой трансформера своими словами.

• Объясняет квадратичную стоимость внимания и её связь с ценой длинного контекста
• Читает описание архитектуры модели (слои, головы, размер контекста) и делает выводы о памяти и скорости

Практика. Посчитать память под веса и KV-кэш для открытой модели на 8 млрд параметров при контексте 32 тысячи токенов.

• Считает токены текста токенизатором модели и оценивает стоимость запроса
• Объясняет, почему русский текст обычно дороже английского

Практика. Посчитать токены и стоимость одного и того же текста на русском и английском для двух моделей.

• Планирует бюджет контекста — системный промпт, история, документы, ответ
• Объясняет эффект «потери середины» длинного контекста и учитывает его в сборке промпта

Практика. Составить бюджет контекста ассистента на 50 сообщений истории и 10 документов, предложить, что сокращать при переполнении.

• Объясняет генерацию токен за токеном и роль temperature и top-p
• Выбирает параметры генерации под задачу (извлечение данных против творческого текста)

Практика. Сгенерировать 20 ответов на один вопрос при temperature 0, 0,7 и 1,2 и описать различия.

• Объясняет KV-кэш, время до первого токена и скорость генерации
• Решает, когда нужна модель рассуждений, с учётом цены и задержки

Практика. Замерить время до первого токена и скорость генерации трёх моделей при коротком и длинном промпте.

• Описывает этапы обучения чат-модели — предобучение, SFT, выравнивание по предпочтениям
• Объясняет, почему модель не знает свежих событий и как это компенсируют

Практика. Объяснить коллеге-неспециалисту за 5 минут, откуда у чат-модели знания и почему она иногда выдумывает.

• Объясняет разницу RLHF и DPO и откуда берутся отказы и угодливость модели
• Определяет, какую проблему решает дообучение, а какую — RAG

Практика. Для трёх реальных задач обосновать письменно — промпт, RAG или дообучение.

• Называет основных провайдеров моделей, включая российских, и открытые семейства моделей

Практика. Составить таблицу из 6 моделей — провайдер, цена за миллион токенов, контекст, где обрабатываются данные.

• Выбирает модель под задачу по качеству на своём наборе, цене, задержке и требованиям к данным
• Учитывает 152-ФЗ и коммерческую тайну при выборе провайдера

Практика. Сравнить 3 модели на наборе из 50 примеров своей задачи по качеству, стоимости и задержке и выбрать одну.

• Обосновывает для компании стратегию моделей — внешние API, российские, собственные — с расчётом стоимости

Практика. Подготовить для руководства рекомендацию по моделям на год с учётом требований к данным, бюджета и рисков смены провайдера.

• Отправляет запрос к API модели с системным промптом и историей диалога
• Обрабатывает причину остановки ответа и расход токенов
• Хранит ключ API на сервере, а не в клиентском коде

Практика. Сделать консольный чат с историей диалога и выводом стоимости каждого ответа.

• Реализует повторы на 429 и 5xx с экспоненциальной паузой и таймауты
• Делает тонкую абстракцию над провайдерами для смены модели конфигурацией

Практика. Написать клиент с повторами, таймаутами и переключением между двумя провайдерами одной настройкой, покрыть тестами с подменой ответов.

• Получает ответ модели в виде JSON по Pydantic-схеме и валидирует его

Практика. Извлечь из 20 писем клиентов категорию, срочность и номер заказа в JSON по схеме.

• Проектирует схему с перечислениями и обязательными полями так, чтобы снизить ошибки
• Измеряет точность извлечения по полям на размеченном наборе

Практика. Довести точность извлечения на 100 размеченных письмах до заданного порога, сравнив 2 варианта схемы и промпта.

• Получает потоковый ответ модели и показывает его пользователю по мере генерации

Практика. Добавить в консольный чат вывод ответа по мере генерации.

• Прокидывает поток через свой API и прокси без буферизации
• Прекращает генерацию при отключении клиента и корректно учитывает токены

Практика. Сделать веб-чат с потоковой выдачей через SSE и кнопкой «Остановить», которая прерывает генерацию на стороне провайдера.

• Запускает открытую модель локально через Ollama и обращается к ней по OpenAI-совместимому API
• Объясняет, сколько памяти нужно модели и как квантизация её уменьшает

Практика. Запустить локально модель на 7–8 млрд параметров, прогнать на ней свой набор из 50 примеров и сравнить с моделью по API.

• Разворачивает vLLM на GPU-сервере, измеряет пропускную способность и задержку под нагрузкой
• Сравнивает стоимость своей модели и API при реальном профиле нагрузки

Практика. Развернуть vLLM, провести нагрузочный тест на 20 одновременных пользователей и посчитать стоимость миллиона токенов против API.

• Пишет промпт с ролью, задачей, ограничениями, форматом и поведением при нехватке данных
• Отделяет инструкции от данных разметкой и добавляет примеры (few-shot)

Практика. Написать промпт ответов на вопросы по правилам доставки и проверить его на 20 вопросах, включая вопросы без ответа в правилах.

• Разбивает сложную задачу на цепочку вызовов и сравнивает с одним промптом по качеству
• Улучшает промпт по разбору ошибок на наборе примеров, а не по одному случаю

Практика. Поднять качество промпта классификации обращений на наборе из 100 примеров минимум на 10 пунктов F1, задокументировав каждую итерацию.

• Хранит промпты в репозитории с версиями и подстановкой переменных
• Прогоняет набор оценки при каждом изменении промпта или модели
• Располагает неизменную часть промпта в начале для кэширования префикса

Практика. Перенести промпты сервиса в версионируемые шаблоны, добавить прогон набора оценки в CI и логирование версии промпта в каждом ответе.

• Выстраивает процесс изменения промптов в команде — ревью, оценка, постепенная выкатка, откат

Практика. Описать и внедрить в команде регламент изменения промптов с порогами качества и откатом конфигурацией.

• Получает эмбеддинги текстов и находит похожие по косинусному сходству
• Объясняет, почему документы и запросы кодируются одной моделью

Практика. Построить семантический поиск по 500 вопросам из FAQ и проверить его на 20 перефразированных запросах.

• Выбирает модель эмбеддингов по качеству поиска на своём русскоязычном наборе
• Применяет эмбеддинги для кластеризации и поиска дублей обращений

Практика. Сравнить 3 модели эмбеддингов по recall@5 на наборе из 100 запросов с известными правильными документами.

• Сохраняет эмбеддинги в pgvector или Qdrant и выполняет поиск ближайших с фильтром по метаданным

Практика. Загрузить 10 тысяч фрагментов в pgvector и сделать поиск с фильтром по разделу документации.

• Настраивает индекс HNSW и объясняет компромисс точности, скорости и памяти
• Обновляет и удаляет фрагменты при изменении исходных документов

Практика. Измерить recall и задержку поиска при разных параметрах HNSW на 100 тысячах векторов.

• Обосновывает выбор между pgvector и специализированной базой для заданного масштаба
• Проектирует фильтрацию по правам доступа, не ломающую качество приближённого поиска

Практика. Спроектировать хранилище фрагментов для 5 млн документов с правами доступа и обосновать выбор базы.

• Объединяет векторный и полнотекстовый поиск методом взаимного ранга
• Добавляет реранкер и измеряет прирост recall и MRR
• Объясняет разницу bi-encoder и cross-encoder и их стоимость

Практика. Добавить к векторному поиску BM25 и реранкер, на наборе из 100 запросов показать изменение recall@5 и задержки на каждом шаге.

• Извлекает текст из PDF и HTML, разбивает на фрагменты с перекрытием и сохраняет метаданные

Практика. Проиндексировать 50 документов разного формата и вручную проверить 20 случайных фрагментов на потерю смысла.

• Разбивает документы по структуре и добавляет к фрагментам контекст заголовков
• Подбирает размер фрагмента по метрикам поиска на своих данных
• Настраивает инкрементальную переиндексацию изменённых документов

Практика. Сравнить 3 стратегии разбиения по recall@5 на наборе из 100 вопросов и выбрать лучшую.

• Собирает набор вопросов с правильными документами и ответами и измеряет поиск и ответ отдельно
• Находит этап, на котором RAG ошибается, по трассам неудачных ответов
• Добивается, чтобы ассистент признавал отсутствие ответа в данных

Практика. Взять базовый RAG, собрать набор из 100 вопросов, разложить ошибки по этапам и улучшить итоговое качество ответов не менее чем на 15%.

• Проектирует RAG с правами доступа и аудитом показанных документов
• Решает, когда нужны агентный или графовый RAG, и измеряет их выгоду

Практика. Спроектировать и защитить RAG по документам компании с правами доступа, синхронизацией прав и планом оценки качества.

• Решает, положить документы в контекст целиком или строить поиск, по объёму, частоте изменений, правам и стоимости
• Использует кэширование префикса, чтобы удешевить большой неизменный контекст

Практика. Для базы из 30 документов сравнить «всё в контексте с кэшем» и RAG по качеству, стоимости и задержке на наборе из 50 вопросов.

• Описывает инструмент схемой и обрабатывает цикл «вызов — результат — ответ»

Практика. Сделать ассистента с двумя инструментами — статус заказа и курс валют — и обработкой ошибок инструментов.

• Пишет описания инструментов, при которых модель стабильно выбирает нужный, и измеряет точность выбора
• Проверяет аргументы и права пользователя в коде инструмента
• Требует подтверждения человека для необратимых действий

Практика. Довести точность выбора инструмента до 95% на наборе из 100 запросов к ассистенту с 8 инструментами.

• Выбирает между цепочкой, маршрутизацией и агентом и обосновывает выбор
• Ограничивает агента по шагам, времени и бюджету и трассирует каждый шаг

Практика. Сделать агента, который по описанию ошибки ищет похожие инциденты и предлагает решение, с лимитами и трассировкой, и оценить на 30 задачах.

• Проектирует многошаговую систему с оркестратором и исполнителями и оценивает её по итоговому результату
• Разбирает отказы агента на наборе задач и устраняет системные причины

Практика. Сравнить фиксированный конвейер и агента на одной задаче по доле успеха, стоимости и задержке и защитить выбор.

• Пишет MCP-сервер с инструментами и ресурсами и подключает его к клиенту
• Оценивает риски подключения стороннего MCP-сервера

Практика. Написать MCP-сервер для внутренней базы знаний (поиск и чтение статьи) и подключить его к ассистенту в IDE.

• Собирает агента или RAG на одном из фреймворков и объясняет, что он делает под капотом
• Решает, когда фреймворк помогает, а когда лучше тонкий слой над SDK

Практика. Реализовать один и тот же RAG на LangGraph или LlamaIndex и на чистом SDK, сравнить объём кода, прозрачность и качество.

• Собирает набор примеров из реальных запросов с ожидаемыми ответами
• Пишет проверки по правилам — формат, ссылка, нужный инструмент

Практика. Собрать набор из 50 примеров для своего ассистента и скрипт, который прогоняет его и печатает отчёт.

• Строит набор по сценариям, считает метрики по каждому и встраивает прогон в CI
• Превращает каждую найденную ошибку в новый пример набора

Практика. Встроить прогон набора в CI с отчётом по сценариям и порогом, который блокирует слияние при падении качества.

• Выстраивает в команде систему оценки с порогами, блокирующими выкатку, и владельцами наборов

Практика. Описать и внедрить процесс оценки качества для команды из нескольких LLM-функций.

• Пишет промпт судьи с конкретными критериями вместо шкалы 1–10
• Калибрует судью по разметке людей и измеряет согласие
• Учитывает перекосы судьи (длина, позиция, свои ответы)

Практика. Разметить вручную 50 ответов, построить судью и добиться согласия с разметкой не ниже 85%.

• Собирает явные и неявные сигналы пользователей и связывает их с конкретными ответами

Практика. Добавить в ассистента оценку ответа и сбор неявных сигналов и построить дашборд качества по дням.

• Планирует A/B-тест модели или промпта с бизнес-метрикой и критериями остановки
• Строит цикл улучшения системы на данных эксплуатации

Практика. Спланировать и провести A/B-тест новой версии промпта на доле трафика с заранее заданными критериями.

• Объясняет прямую и непрямую prompt injection на примерах

Практика. Попробовать 10 приёмов инъекции против своего ассистента и записать, какие сработали.

• Проверяет свою систему набором атакующих примеров и устраняет найденное
• Ограничивает права инструментов и требует подтверждения опасных действий

Практика. Собрать набор из 30 атак (включая инъекции через документы RAG) и встроить его в оценку.

• Проектирует архитектуру агента, устойчивую к инъекциям — разделение ролей, ограничение каналов утечки

Практика. Провести моделирование угроз для агента с доступом к почте и предложить архитектуру защиты.

• Добавляет проверки входа и выхода — тема, персональные данные, формат — с минимальной задержкой
• Измеряет долю ложных блокировок и пропусков guardrails

Практика. Добавить ассистенту маскирование персональных данных на входе и проверку ответа на выход за тему, измерить ложные срабатывания на 200 запросах.

• Объясняет, почему модель выдумывает, и требует ответа только по данным контекста

Практика. Найти 5 вопросов, на которых ассистент выдумывает, и исправить поведение промптом.

• Добавляет ссылки на источники и автоматическую проверку цитат
• Измеряет долю выдуманных ответов на наборе и снижает её

Практика. Внедрить проверку, что каждая цитата в ответе есть в найденных фрагментах, и измерить долю ответов с выдуманными фактами до и после.

• Определяет, какие данные уходят во внешнюю модель, и маскирует персональные данные
• Учитывает условия провайдера по хранению и использованию данных

Практика. Составить карту потоков данных своего ассистента — что, куда и на какой срок попадает, где маскируется.

• Вместе с юристами выбирает схему обработки данных под 152-ФЗ и требования компании

Практика. Подготовить для юристов и безопасности описание обработки данных LLM-системы с вариантами снижения рисков.

• Трассирует каждый вызов модели, поиск и инструменты с версиями, токенами и стоимостью
• Строит дашборд задержки, ошибок и стоимости и настраивает алерты

Практика. Подключить Langfuse или аналог к своему RAG-сервису и найти по трассам 3 причины плохих ответов.

• Проводит разбор падения качества по трассам и метрикам и доводит до исправления причин

Практика. Провести учебный разбор инцидента «качество упало» с поиском причины по трассам и письменным отчётом.

• Считает стоимость на запрос и на единицу результата
• Снижает стоимость маршрутизацией моделей, кэшем префикса и сокращением промпта
• Снижает воспринимаемую задержку потоковой выдачей и параллельными вызовами

Практика. Снизить стоимость ответа своего ассистента минимум на 40% без падения качества на наборе оценки.

• Ставит и выдерживает бюджет затрат на модели для продукта

Практика. Составить модель затрат LLM-функции при росте аудитории в 10 раз и план её удешевления.

• Реализует таймауты, повторы, резервную модель и понятную деградацию
• Фиксирует версии моделей и выкатывает изменения промптов постепенно

Практика. Смоделировать отказ основного провайдера и проверить, что сервис переключается на резервную модель без ошибок у пользователя.

• Переводит продукт на другую модель через оценку, теневой режим и canary с откатом
• Проектирует квоты и защиту от злоупотреблений

Практика. Провести перевод сервиса на новую модель по полному циклу — набор, адаптация промптов, теневой прогон, canary — и описать результат.

• Рисует архитектуру RAG-ассистента от запроса до ответа с хранилищами и очередями
• Оценивает задержку и стоимость одного запроса по компонентам
• Предусматривает деградацию при недоступности провайдера модели

Практика. Описать архитектуру ассистента поддержки на 10 тысяч диалогов в день — компоненты, хранилища, поток запроса, оценка стоимости в месяц.

• Проводит секцию системного дизайна LLM-продукта с требованиями, оценками нагрузки и компромиссами
• Проектирует общий шлюз к моделям для нескольких команд (лимиты, учёт затрат, маршрутизация)
• Обосновывает выбор между внешним API и своими моделями по стоимости, рискам и данным

Практика. Провести и записать разбор системного дизайна «поиск по документам компании на 5 млн страниц с правами доступа» с расчётом нагрузки, стоимости и планом развития.

• Хранит историю диалога и укладывает её в контекст обрезкой или резюме
• Реализует долговременную память пользователя (факты и предпочтения) с поиском по ней

Практика. Добавить ассистенту сжатие длинной истории в резюме и сравнить на наборе из 20 длинных диалогов качество ответов и расход токенов с полной историей.

• Проектирует память агента для длинных задач и оценивает её влияние на качество и стоимость
• Учитывает приватность памяти — право пользователя посмотреть и удалить сохранённое

Практика. Спроектировать память для агента, работающего с задачей несколько часов, — что хранить, как извлекать, как проверять, что память не вредит.

• Переводит запрос бизнеса в измеримую задачу с критериями качества и набором примеров
• Считает стоимость функции на пользователя и на единицу результата

Практика. Для функции «автоответы в поддержке» сформулировать метрики качества, собрать 50 примеров и посчитать стоимость на одно обращение для двух моделей.

• Определяет, где LLM не нужна и задачу решает правило, поиск или классическая модель
• Планирует запуск с метриками эффекта и порогами остановки
• Защищает решение перед руководством цифрами качества, стоимости и рисков

Практика. Подготовить одностраничное обоснование запуска LLM-функции — эффект, стоимость, риски, метрики, план пилота и критерии остановки.

• Готовит набор данных для дообучения и дообучает открытую модель с LoRA или QLoRA
• Сравнивает модель до и после на своём наборе и проверяет потерю общих навыков

Практика. Дообучить модель на 7–8 млрд параметров с QLoRA на 1000 примеров извлечения данных и сравнить с исходной и с большой моделью по API.

• Решает, оправдано ли дообучение, по ожидаемому выигрышу и полной стоимости

Практика. Подготовить обоснование дообучения против RAG и промптов для реальной задачи с расчётом стоимости и рисков.

• Объясняет дистилляцию и квантизацию и их влияние на качество и стоимость
• Сравнивает квантованную модель с исходной на своём наборе

Практика. Запустить одну модель в 16, 8 и 4 битах и сравнить качество на наборе, память и скорость.

• Извлекает структурированные данные из сканов и PDF мультимодальной моделью со схемой ответа
• Сравнивает качество и стоимость с OCR-конвейером на своём наборе документов

Практика. Извлечь реквизиты из 30 разных счетов (скан и PDF) в JSON, измерить точность по полям и стоимость на документ.

• Распознаёт речь из аудиофайла и потока, оценивает качество по WER
• Собирает конвейер «распознавание — модель — синтез» с потоковой обработкой

Практика. Сделать расшифровку часовой встречи с разделением по говорящим и кратким резюме, измерить WER на 10 минутах ручной разметки.

• Укладывает голосового ассистента в бюджет задержки ответа около секунды
• Обрабатывает перебивание, паузы и шум в разговоре

Практика. Собрать голосового ассистента с потоковым распознаванием и синтезом и измерить задержку от конца фразы до начала ответа на 50 репликах.

• Предлагает минимум два варианта решения задачи с плюсами и минусами
• Проверяет спорное решение прототипом или замером, а не мнением

Практика. Для ближайшей задачи средней сложности описать два варианта реализации с критериями выбора и обсудить с тимлидом до начала работы.

• Пишет design doc для крупной задачи и проводит его обсуждение с командой
• Фиксирует архитектурные решения (ADR) с причинами и условиями пересмотра
• Различает обратимые и необратимые решения и тратит время пропорционально

Практика. Написать design doc для крупной задачи (контекст, варианты, расчёты, риски, план), провести ревью с командой и зафиксировать итог в ADR.

• Разбивает задачу на части по 1–3 дня и даёт оценку диапазоном с допущениями
• Сообщает об отставании сразу, с причиной и вариантами

Практика. Для задачи на 2–3 недели составить декомпозицию, оценку диапазоном и список рисков, по завершении сравнить план и факт.

• Ведёт проект из нескольких задач и людей до выкатки и измерения эффекта
• Снимает главные риски в начале проекта и выпускает результат частями
• Сам доводит неясную задачу до понятной постановки вместе с заказчиком

Практика. Провести проект на 1–2 месяца с 2–3 участниками — план с контрольными точками, еженедельный статус заказчику, выкатка по частям, разбор итогов.

• Вводит в работу нового сотрудника и объясняет на ревью не только что, но и почему
• Поддерживает документацию по своей части системы в актуальном виде

Практика. Провести онбординг нового сотрудника или стажёра и обновить по его вопросам документацию для новичков.

• Ведёт подопечного по плану развития с измеримым результатом
• Распространяет знания на команду — внутренние доклады, разборы, гайды
• Снижает зависимость команды от себя как единственного эксперта

Практика. Полгода наставлять младшего коллегу по письменному плану с ежемесячными встречами и измеримой целью; провести 2 внутренних доклада.

• Объясняет техническую проблему и её последствия неспециалисту без жаргона
• Решает рабочие разногласия обсуждением фактов, а не позиций

Практика. Подготовить для продакта одностраничное описание технического долга в своей области — что это стоит бизнесу и что предлагаете.

• Влияет на решения продукта аргументами о стоимости, рисках и пользе
• Выполняет принятое решение, с которым не согласен, зафиксировав риски
• Представляет результат работы руководству в цифрах эффекта

Практика. Подготовить и провести презентацию результатов проекта для руководства — эффект, затраты, риски, следующие шаги.

• Проводит техническое собеседование по заранее заданным критериям и задаче
• Пишет отзыв по критериям с примерами из ответов кандидата
• Участвует в калибровке оценок с другими интервьюерами

Практика. Провести 5 собеседований в паре с опытным интервьюером, затем 5 самостоятельно, сравнить свои оценки с итоговыми решениями.