JSON обвиняли в потере точности. Новая работа отделила формат от декодера

Требование отвечать в JSON может ухудшить результат, но виноват ли сам декодер? В препринте от 26 октября исследователи разделили изменение промпта и маскирование токенов: при одинаковых условиях последнее не оказалось неизбежным источником потери точности.

Что именно сравнивали

Работа различает три вмешательства: контроль формы ответа, исключение недопустимых значений и ограничение хода рассуждения. Они решают разные задачи. Например, требование вернуть число ещё не подсказывает правильное число, а запрет невозможных значений уже сужает пространство ответов.

В экспериментах участвовали 11 открытых моделей четырёх семейств: десять решали задачи, ещё одна извлекала ответы в двухэтапной схеме. Авторы сопоставляли варианты с одинаковыми промптами и ожидаемыми форматами, отдельно учитывая точность и возможность разобрать ответ.

Диаграмма: Ngoc Trinh Hung Nguyen и соавторы, CC BY 4.0. Синий — базовый InWriting, оранжевый — вклад контроля формы, зелёный — дополнительный вклад допустимых значений.

Где заканчивается обещание

Наиболее последовательную пользу дал контроль допустимых значений. Однако его основная проверка ограничена задачами соединения последних букв. JSON-схемы были сравнительно простыми. Ограничение рассуждений давало смешанные результаты: полезный шаблон для одной модели мог мешать другой.

Это предварительный результат, а не гарантия для любого API. Практический вывод для собственного сравнения: сохраните промпт и формат, меняйте только режим декодирования. Отдельно считайте ошибки содержания и ошибки разбора — иначе улучшение JSON легко принять за улучшение мышления.