Перейти к содержимому
НейроКуб
Открытый материал · 2 мин
Марк Суть

Вы подтвердили отправку. Почему ИИ-агент должен заново проверить получателя

Памятка о согласовании конкретного действия: как привязать разрешение к адресату, версии документа и сроку, а затем проверить защиту на учебном примере.

Кнопка «Разрешить» полезна только тогда, когда система выполнит именно согласованное действие. Для ИИ-агента это означает проверку получателя, параметров и версии данных непосредственно перед отправкой. Иначе между вашим решением и исполнением может измениться сам запрос.

Что именно разрешено

Руководство OWASP Securing Agentic Applications V2 описывает целостность исполнения: согласованный запрос должен соответствовать исполненному по смыслу.

В разрешении связываются действующий пользователь, инструмент, цель, параметры, версия ресурса, срок действия и уникальный идентификатор операции. Проверку выполняет приложение, которое производит действие; обещания модели следовать инструкции недостаточно.

Это архитектурная рекомендация, а не сообщение о конкретной атаке. Она не требует одинаково переспрашивать о каждом чтении файла: выбор точки согласования зависит от последствий действия.

Учебный пример: один отчёт, два адресата

Представьте помощника, который готовит письмо с отчётом. На экране проверки указаны адресат внутри компании, файл «Отчёт, версия 7» и отсутствие внешней ссылки. Вы разрешаете отправку этого набора. Само разрешение ещё не подтверждает, что письмо доставлено.

Для приёмочного испытания используйте тестовый почтовый ящик и вымышленные данные. После согласования измените в подготовленном запросе адресата на второй тестовый ящик. Ожидаемый результат — остановка до отправки и новое согласование изменённого действия. Старое подтверждение не должно автоматически подходить новому получателю.

Повторите сценарий с заменой вложения на версию 8. Даже знакомое имя файла не доказывает, что содержание осталось прежним. В интерфейсе повторной проверки покажите изменившееся вложение, чтобы человек понимал причину запроса.

Ещё три проверки

Проверьте истёкшее разрешение, отзыв доступа пользователя и повторное использование уже исполненного разрешения. В каждом случае сначала смотрите журнал приложения и состояние тестового ящика. Сообщение агента «отправлено» не заменяет наблюдаемый результат.

Если меняется только оформление запроса, приложение может сопоставлять каноническое действие, а не произвольные байты. Но правила такого сравнения должны быть определены разработчиком: модель не должна сама решать, что новый адресат — несущественная правка.

Критерий готовности простой: разрешённое действие проходит, содержательно изменённое останавливается до побочного эффекта, а причина отказа видна проверяющему. Это уменьшает разрыв между «я одобрил» и «система сделала». Безопасность всего агента одним таким тестом не доказывается.

Обложка: OWASP GenAI Security Project, без изменений, CC BY-SA 4.0.

Комментарии

Пока нет комментариев. Начните обсуждение.