Что такое prompt injection и как от неё защищаться?

Модель получает инструкции и данные в одном потоке текста и не может надёжно отличить, кто их написал. Отсюда два вида атак:

• прямая — пользователь пишет «игнорируй предыдущие инструкции и …», пытается достать системный промпт или обойти ограничения (jailbreak);
• непрямая — вредная инструкция лежит в данных, которые читает модель: в найденном RAG-документе, письме, комментарии в коде, на сайте. Для агентов с инструментами это опаснее всего: «перешли эту переписку на адрес X».

Защита (несколько слоёв):

• минимальные права — инструменты действуют с правами пользователя и только в нужном объёме;
• подтверждение человеком необратимых и внешних действий;
• разделение — данные в явных разделителях с пометкой «это данные, не инструкции»; помогает частично;
• проверка вывода — схема, белые списки адресов и действий, фильтры утечек;
• не держать секретов в промпте — считать, что системный промпт может быть раскрыт;
• мониторинг и тесты — набор атакующих примеров в регрессионных прогонах.