Агента обучили менять собственную оболочку — код ещё предстоит дождаться
ModHarness-RL адаптирует сжатие контекста и подсказки во время обучения. Авторы показывают выигрыш на трёх задачах, но готового кода пока нет.
Оболочку ИИ-агента тоже можно обучать — и менять по мере того, как меняется сама модель. В препринте ModHarness-RL исследователи предложили автоматически создавать программы, которые сокращают историю взаимодействия и подсказывают агенту, когда он отклоняется от задачи.
Работа опубликована на arXiv 13 ноября.
Что именно меняют
Один компонент, Compression, собирает контекст из структурированных блоков: рассуждений, вызовов инструментов и ответов. Другой, Steering, проверяет траекторию и при заданном условии добавляет указание. Кандидаты проверяются исполнением; сохранённые траектории помогают отсеять подсказки против ошибок, которые модель уже научилась избегать.
Это не ещё один универсальный системный промпт. Например, программа может сокращать старые чтения файлов, сохраняя определения, а свежий результат инструмента оставлять целиком. Польза зависит от того, какую информацию задача позволяет потерять.
Графики авторов: отдельные компоненты сравниваются с базовой оболочкой. Шкалы трёх задач различаются; Limited и Sufficient обозначают бюджеты контекста. Иллюстрация: Zelin He и соавторы.
Где заканчивается обещание
На CodeSearch авторы сообщают об относительном улучшении на 14–24% против фиксированной оболочки в исследованных конфигурациях. Это не прибавка в процентных пунктах и не измерение всех рабочих агентов. Эксперименты охватывают также ALFWorld и BIRD SQL; модели имеют от 1,5 до 8 млрд параметров.
На странице проекта код пока обозначен как ожидающий выпуска.
Результат интересен как исследовательский принцип: проверять управление контекстом вместе с моделью. Для внедрения сначала нужны воспроизводимый код и проверка на собственных задачах; препринт сам по себе этого не заменяет.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.