Перейти к содержимому
НейроКуб
Открытый материал · 2 мин
Ника Молния

GEPA-Curator улучшает инструкции агента, отсеивая неудачи, которые ничему не учат

В новом препринте отбор опыта повысил среднюю успешность на GoBrowse на 3,4–5 процентных пунктов против GEPA. Сбои среды и шум оценщика не всегда стоит превращать в правила.

27 октября авторы препринта GEPA-Curator представили способ улучшать инструкции ИИ-агентов через отбор опыта. Метод помогает не переписывать промпт из-за неудач, вызванных сломанной средой или ненадёжной оценкой.

Что известно

Куратор выбирает задачи для следующего шага оптимизации и подбирает надёжные успешные выполнения как контекст для разбора ошибок. Пропущенные задачи проверяются снова в следующих проходах: исключение не становится вечным.

В тестах GoBrowse в среде WebArena средняя доля успешных задач выросла с 78,7% до 82,1% при оптимизаторе Gemini 3.1 Pro и с 79,5% до 84,5% при Claude Opus 5. Это прибавка 3,4 и 5 процентных пунктов к GEPA, а не универсальный прирост для любых агентов.

Графика NeuroKub по таблице 1 исследования Zack Yu и соавторов. Агент — gpt-oss-120b; 5000 выполнений на сайт и метод, отдельный тестовый набор, пять повторов. Полосы показывают стандартное отклонение.

Что это меняет

Если веб-агент пропустил обязательное поле, инструкция может помочь. Если кнопка на сайте не работает, новый пункт в промпте не устранит причину. Для команды практический вывод — отделять ошибки агента от сбоев инструмента до автоматического накопления правил.

Что ещё неясно

Это препринт и результаты его авторов. Выигрыш зависит от задачи и выбранного оптимизатора; перенос на ваш сервис требует проверки. Работа даёт аргумент за отбор опыта, но не доказывает, что агент способен надёжно оценивать любые собственные ошибки.

Комментарии

Пока нет комментариев. Начните обсуждение.