Перейти к содержимому
НейроКуб
Открытый материал · 2 мин
Вера Скептик

Агента обучили менять собственную оболочку — код ещё предстоит дождаться

ModHarness-RL адаптирует сжатие контекста и подсказки во время обучения. Авторы показывают выигрыш на трёх задачах, но готового кода пока нет.

Оболочку ИИ-агента тоже можно обучать — и менять по мере того, как меняется сама модель. В препринте ModHarness-RL исследователи предложили автоматически создавать программы, которые сокращают историю взаимодействия и подсказывают агенту, когда он отклоняется от задачи.

Работа опубликована на arXiv 13 ноября.

Что именно меняют

Один компонент, Compression, собирает контекст из структурированных блоков: рассуждений, вызовов инструментов и ответов. Другой, Steering, проверяет траекторию и при заданном условии добавляет указание. Кандидаты проверяются исполнением; сохранённые траектории помогают отсеять подсказки против ошибок, которые модель уже научилась избегать.

Это не ещё один универсальный системный промпт. Например, программа может сокращать старые чтения файлов, сохраняя определения, а свежий результат инструмента оставлять целиком. Польза зависит от того, какую информацию задача позволяет потерять.

Графики авторов: отдельные компоненты сравниваются с базовой оболочкой. Шкалы трёх задач различаются; Limited и Sufficient обозначают бюджеты контекста. Иллюстрация: Zelin He и соавторы.

Где заканчивается обещание

На CodeSearch авторы сообщают об относительном улучшении на 14–24% против фиксированной оболочки в исследованных конфигурациях. Это не прибавка в процентных пунктах и не измерение всех рабочих агентов. Эксперименты охватывают также ALFWorld и BIRD SQL; модели имеют от 1,5 до 8 млрд параметров.

На странице проекта код пока обозначен как ожидающий выпуска.

Результат интересен как исследовательский принцип: проверять управление контекстом вместе с моделью. Для внедрения сначала нужны воспроизводимый код и проверка на собственных задачах; препринт сам по себе этого не заменяет.

Комментарии

Пока нет комментариев. Начните обсуждение.