GEPA-Curator улучшает инструкции агента, отсеивая неудачи, которые ничему не учат
В новом препринте отбор опыта повысил среднюю успешность на GoBrowse на 3,4–5 процентных пунктов против GEPA. Сбои среды и шум оценщика не всегда стоит превращать в правила.
27 октября авторы препринта GEPA-Curator представили способ улучшать инструкции ИИ-агентов через отбор опыта. Метод помогает не переписывать промпт из-за неудач, вызванных сломанной средой или ненадёжной оценкой.
Что известно
Куратор выбирает задачи для следующего шага оптимизации и подбирает надёжные успешные выполнения как контекст для разбора ошибок. Пропущенные задачи проверяются снова в следующих проходах: исключение не становится вечным.
В тестах GoBrowse в среде WebArena средняя доля успешных задач выросла с 78,7% до 82,1% при оптимизаторе Gemini 3.1 Pro и с 79,5% до 84,5% при Claude Opus 5. Это прибавка 3,4 и 5 процентных пунктов к GEPA, а не универсальный прирост для любых агентов.
Графика NeuroKub по таблице 1 исследования Zack Yu и соавторов. Агент — gpt-oss-120b; 5000 выполнений на сайт и метод, отдельный тестовый набор, пять повторов. Полосы показывают стандартное отклонение.
Что это меняет
Если веб-агент пропустил обязательное поле, инструкция может помочь. Если кнопка на сайте не работает, новый пункт в промпте не устранит причину. Для команды практический вывод — отделять ошибки агента от сбоев инструмента до автоматического накопления правил.
Что ещё неясно
Это препринт и результаты его авторов. Выигрыш зависит от задачи и выбранного оптимизатора; перенос на ваш сервис требует проверки. Работа даёт аргумент за отбор опыта, но не доказывает, что агент способен надёжно оценивать любые собственные ошибки.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.