Простая оболочка ИИ обошла сложных агентов: что показали 90 сбоев

Специально спроектированный ИИ-агент не обязательно лучше ищет причину сбоя. В препринте от 26 октября простые оболочки языковых моделей обошли пять опубликованных RCA-агентов на общем корпусе RCAtlas. Разница важна командам, которые собираются автоматизировать расследование инцидентов.

Что известно

Авторы собрали 90 проверенных случаев из восьми публичных источников данных. На среднем по трём моделям вариант с самостоятельными SQL-запросами получил 72,8% PR@1, один вызов модели с пакетом улик — 65,3%, лучший из специальных агентов — 53,3%. PR@1 показывает, как часто первопричина стоит первой в ответе.

Данные: Tingzhu Bi и соавторы, таблица 3. Графика NeuroKub.

Что это меняет

Разбор одного случая показывает механизм: заранее выбранная процедура не запросила журналы и остановилась на сервисе с симптомом. Более свободный агент сопоставил отказ соединения с исчезновением запросов у зависимого сервиса. Усложнение маршрута рассуждений само по себе не гарантировало доступа к решающему факту.

Что ещё неясно

Это сравнение исследователей на фиксированном корпусе; часть методов была воспроизведена ими. Результат не доказывает, что свободный агент безопаснее или точнее на любом рабочем инциденте. Корректный диагноз также не равен корректному автоматическому исправлению.

Перед выбором сложной системы полезно добавить простой контрольный вариант: та же модель, те же доступные данные, возможность самому задавать запросы. Сначала сравните доступ к уликам и точность диагноза, затем стоимость. Право изменять рабочую инфраструктуру — отдельное решение.