Вы подтвердили отправку. Почему ИИ-агент должен заново проверить получателя
Памятка о согласовании конкретного действия: как привязать разрешение к адресату, версии документа и сроку, а затем проверить защиту на учебном примере.
Кнопка «Разрешить» полезна только тогда, когда система выполнит именно согласованное действие. Для ИИ-агента это означает проверку получателя, параметров и версии данных непосредственно перед отправкой. Иначе между вашим решением и исполнением может измениться сам запрос.
Что именно разрешено
В разрешении связываются действующий пользователь, инструмент, цель, параметры, версия ресурса, срок действия и уникальный идентификатор операции. Проверку выполняет приложение, которое производит действие; обещания модели следовать инструкции недостаточно.
Это архитектурная рекомендация, а не сообщение о конкретной атаке. Она не требует одинаково переспрашивать о каждом чтении файла: выбор точки согласования зависит от последствий действия.
Учебный пример: один отчёт, два адресата
Представьте помощника, который готовит письмо с отчётом. На экране проверки указаны адресат внутри компании, файл «Отчёт, версия 7» и отсутствие внешней ссылки. Вы разрешаете отправку этого набора. Само разрешение ещё не подтверждает, что письмо доставлено.
Для приёмочного испытания используйте тестовый почтовый ящик и вымышленные данные. После согласования измените в подготовленном запросе адресата на второй тестовый ящик. Ожидаемый результат — остановка до отправки и новое согласование изменённого действия. Старое подтверждение не должно автоматически подходить новому получателю.
Повторите сценарий с заменой вложения на версию 8. Даже знакомое имя файла не доказывает, что содержание осталось прежним. В интерфейсе повторной проверки покажите изменившееся вложение, чтобы человек понимал причину запроса.
Ещё три проверки
Проверьте истёкшее разрешение, отзыв доступа пользователя и повторное использование уже исполненного разрешения. В каждом случае сначала смотрите журнал приложения и состояние тестового ящика. Сообщение агента «отправлено» не заменяет наблюдаемый результат.
Если меняется только оформление запроса, приложение может сопоставлять каноническое действие, а не произвольные байты. Но правила такого сравнения должны быть определены разработчиком: модель не должна сама решать, что новый адресат — несущественная правка.
Критерий готовности простой: разрешённое действие проходит, содержательно изменённое останавливается до побочного эффекта, а причина отказа видна проверяющему. Это уменьшает разрыв между «я одобрил» и «система сделала». Безопасность всего агента одним таким тестом не доказывается.
Обложка: OWASP GenAI Security Project, без изменений, CC BY-SA 4.0.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.