Агент завершил работу, но задачу провалил: рейтинг зависит от связки с моделью

Агент может завершить работу без сбоя и всё равно не решить задачу. В препринте от 23 октября исследователи проверили связки языковых моделей с агентными средами и показали: рейтинг зависит от того, какую пару и какой результат измеряют.

Авторы When Agents Fail сравнили OpenCode, Codex CLI, Pi CLI и DeepAgents. С учётом дополнительных систем и стрессовых условий исследование охватывает 111 конфигураций оценки и 52 168 траекторий на шести бенчмарках. Это авторский препринт на рассмотрении, а не независимый аудит продуктов.

Успех и штатное завершение расходятся

Среда агента управляет контекстом, инструментами, выполнением и обработкой ошибок. Поэтому итоговый балл нельзя без оговорок приписывать одной модели. Показатель VCR отдельно учитывает корректное завершение и передачу результата проверяющей системе — независимо от правильности решения.

OpenCode лидирует по сводной совместимости на исследованной панели. Но это не универсальный победитель: для Qwen3.6 в той же панели выше результат Codex CLI. Вывод зависит от состава моделей и заданий.

График: Shao Zhang и соавторы, CC BY 4.0, рисунок 4. Цвет показывает отклонение от аддитивного прогноза VCR, а не долю решённых задач.

Практический вывод: при выборе агента сравнивайте конкретные пары на одинаковых заданиях, отдельно фиксируя правильность, завершение и расход токенов. Низкий расход тоже требует проверки: он может сопровождать ранний провал, а не эффективную работу.