Prompt injection, guardrails, галлюцинации и защита данных — что может пойти не так и как защититься.
LLM-приложение получает новые классы уязвимостей: модель выполняет инструкции из любого текста, который видит, уверенно выдумывает факты и может раскрыть то, что ей показали. Чем больше у системы инструментов и доступа к данным, тем выше цена ошибки.
Принцип: модель — недоверенный компонент. Её вывод проверяют, её права ограничивают, опасные действия подтверждает человек.
Как чужой текст перехватывает управление моделью и как ограничить ущерб.
Проверки входа и выхода — темы, токсичность, персональные данные, формат.
Почему модель уверенно выдумывает и как снизить и обнаружить выдумки.
Персональные данные, 152-ФЗ, коммерческая тайна и куда можно отправлять данные.
Промпт-инъекция — когда текст из ввода или данных заставляет модель нарушить инструкции: раскрыть промпт, выполнить чужую команду, вызвать инструмент.
Guardrails — проверки на входе и выходе модели вокруг вызова LLM: фильтрация запрещённых тем и токсичности, обнаружение и маскирование персональных данных, защита от prompt…
Галлюцинация — правдоподобный, но неверный ответ: модель генерирует вероятный текст, а не сверяется с фактами.
На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.
sotto