Агент тратит меньше после прошлых задач: TokenEconomizer проверили на 277 исправлениях
Плагин учится на истории репозитория и снижает среднюю стоимость в авторском тесте. Но результат по качеству не вырос во всех сочетаниях агента и модели.
Microsoft Research 16 ноября рассказала о TokenEconomizer — открытом плагине, который использует прошлые сессии в репозитории, чтобы сокращать расходы следующих. В авторской оценке на 277 задачах исправления ошибок из шести репозиториев средняя стоимость снизилась на 18,4–30,9% для пяти сочетаний агента и модели.
Экономия из повторяющейся работы
Плагин не меняет базовую модель. Он накапливает короткие заметки о проекте, убирает редко используемые описания инструментов и вмешивается, когда агент застревает в повторяющихся неудачах. Например, подтверждённый способ запуска тестов можно сохранить для следующей задачи вместо нового поиска по репозиторию.
В расчёт экономии авторы включили собственные модельные вызовы TokenEconomizer. История сначала пуста: на ранних задачах обучение может добавить расходы. В проверенных репозиториях накопленная стоимость стала ниже базовой к шестой задаче; переносить этот срок на любой проект нельзя.
Диаграмма: Microsoft Research, 277 задач SWE-Bench, шесть репозиториев. На графике авторов Pass@1 вырос в четырёх сочетаниях, а у Claude Code с Opus 4.8 снизился на один процентный пункт.
Кому имеет смысл пробовать
Код доступен в репозитории Microsoft. Проверка относится к последовательной работе в выбранных проектах, а не к гарантированному снижению счёта на произвольной одиночной задаче.
Для команды с повторяющимися исправлениями разумный критерий — стоимость успешно принятой задачи вместе с результатом тестов. Если токенов меньше, но исправления хуже, экономия ещё не доказана. Это следует проверять на своём наборе задач, сохранив условия сравнения.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.