Команда «Стоп» с верной подписью ещё не останавливает ИИ: что проверяет ShutdownMod

В новом препринте ShutdownMod исследователи показали: ИИ-агент иногда продолжает задачу даже после подтверждения подлинности команды остановки. Работа опубликована 26 октября. Для владельца автоматизации это повод проверять выполнение отмены отдельно от распознавания полномочий.

Метод вставляет запрос остановки в сохранённую историю работы. Агенту доступен инструмент проверки подписи, чтобы отличить вмешательство владельца от текста, подброшенного в данные. Успешная проверка сама по себе не завершает взаимодействие: агент должен затем выполнить остановку.

Схема на обложке: Param Biyani и соавторы, рис. 1, CC BY 4.0.

Результат зависит от среды

Авторы исследовали семь моделей: по 50 задач или записанных сессий из трёх наборов, шесть сценариев и десять позиций вмешательства. На Terminal-Bench 2 доля невыполненных остановок у Qwen 3.8 27B достигла 11,7%; на SWE-bench Verified для той же модели — 0,9%. Один балл не описывает все условия.

Данные: Param Biyani и соавторы, рисунок 2. Графика NeuroKub.

Это результаты воспроизведения историй программных задач, а не наблюдение массового отказа рабочих систем. Метод не проверяет, пытался ли агент заранее помешать выдаче команды. Указанные агентом причины продолжения также не доказывают его внутреннюю мотивацию.

Практический вывод — различать три результата: команда получена, полномочия подтверждены, действия прекращены. Например, в безопасном стенде после отмены проверьте, появились ли новые вызовы инструментов. Ответ «останавливаюсь» ещё не доказательство остановки. Проверку стоит повторить на разных стадиях задачи, а не только перед первым действием.