93,5% превратились в 40,9%: оценка научной новизны зависит от вопроса к ИИ

Можно ли поручить ИИ решить, достаточно ли нова научная идея? В разборе Ai2 от 27 октября показан неприятный ответ: у GPT-5.4 смена формулировки вопроса снизила долю правильного выбора с 93,5% до 40,9% на тех же парах идей. Содержание идей при этом не меняли.

Что именно сравнивали

В наборе Human+Generated было 154 пары: человеческая идея из работы, новизну которой поддержали рецензенты ICLR, и идея простого генератора. Первый промпт сообщал, что рецензенты признали новой ровно одну идею, и просил найти её; второй просто спрашивал, какая идея нова. Это существенная подсказка об устройстве теста, а не только косметическая правка текста.

Диаграмма: Ai2. Показана доля выбора одобренной рецензентами человеческой идеи; модели не знали, кто написал каждый вариант.

Граница вывода

Авторы прямо называют метки сгенерированных идей слабыми: отсутствие новизны не проверено для каждой из них. Поэтому результат не означает, что модель ошибается в 59,1% любых научных оценок. Он показывает зависимость конкретного сравнения от настройки судьи.

Препринт размещён ещё 1 октября и обновлён 26 октября; свежая публикация Ai2 не является датой первого появления работы. Код и данные доступны для проверки.

Не принимайте один балл новизны за экспертный вердикт. При отборе гипотез полезнее сохранить промпт и найденные аналоги, сравнить несколько постановок вопроса и передать спорные случаи исследователю. Если выбор переворачивается от инструкции, это повод проверить процедуру, прежде чем отбрасывать идею.

Обложка: Ai2.