Адаптация уронила точность до 22,58%. PORTAL проверяет, когда её включать

Улучшение модели на входящем потоке способно ухудшить её ответы. В препринте от 27 октября авторы показали: на PACS адаптация BN+flip при группировке изображений по классу дала 22,58% точности против 50,88% у неизменённой модели. Контроллер PORTAL выбрал между вариантами и получил 51,28%.

Что именно проверили

PACS включает фотографии, художественные изображения, рисунки и скетчи. В этом опыте использовали ResNet-50, обученную на фотографиях, и пакеты по 64 изображения. Сравнивали неизменённую модель, обновление статистик нормализации, усреднение предсказаний исходного и отражённого изображения и сочетание этих приёмов.

PORTAL не предполагает, что вмешательство всегда полезно. Он запрашивает правильные метки части примеров и сравнивает на них уже зафиксированные предсказания всех кандидатов. Одна полученная метка помогает сразу нескольким сравнениям. Контроллер прекращает запросы, когда дальнейшая информация не оправдывает цену либо уже не может изменить выбор.

Jiahao Zhang, Xinling Wen, Liangliang Li и Yu Chen, When Should We Intervene at Test Time?, Figure 2, 2026. Условия Domain, Mixed и Class означают разные порядки поступления данных. Столбцы усреднены по трём порядкам; погрешности точности показывают стандартное отклонение.

Где заканчивается обещание

Это эксперимент авторов, а не доказательство безопасной самоадаптации любого ИИ. Метки для выбора и итоговой оценки разделены; перенос выводов требует представительности обратной связи. Смещённые запросы могут усиливать уверенность в неправильном решении.

Для команды с меняющимися данными полезен сам критерий: сравнить вмешательство с исходной моделью при разных порядках потока и посчитать цену разметки. Высокое среднее качество ещё не доказывает, что обновление нужно включать на каждом пакете.