Двенадцать моделей оставили без подсказки в мире с другой физикой — открытия сделала одна

Модели умеют объяснять знакомую физику, но заметить и исследовать незнакомый закон оказалось сложнее. В препринте LongChang, поданном 27 октября, только GPT-6-Astra получил ненулевую долю открытий: 16,7%, остальные 11 моделей — ноль.

Необычное поведение ещё не открытие

Авторы создали виртуальные миры MuJoCo: обычную контрольную сцену и 14 сцен с одним изменённым физическим законом. Моделям разрешали двигать предметы и строить инструменты, но не давали исследовательскую задачу или подсказку о нарушенном законе. Основной лимит составлял 100 ходов.

Открытием считалось одновременное выполнение двух условий: правильное описание закона и экспериментальное обоснование. Поэтому удачная догадка без подтверждающих опытов не засчитывалась. Отчёты оценивала другая модель — GPT-6.1-Sol; это ограничение методики, а не независимая человеческая экспертиза.

Иллюстрации симуляции: Zhen Yang, Wen Wang, Xander Xu, Ying-Cong Chen, LongChang, Figures 1 и 3. Показано поведение виртуального мира, а не реальный физический опыт.

Что проверить в красивом отчёте

На странице проекта есть показательный случай: столкновение красного и синего шаров совместимо и с обменом цветами, и с независимым переключением каждого цвета. Повтор того же опыта не различает объяснения. Столкновение двух красных шаров уже даёт разные предсказания.

Низкие результаты относятся к конкретным сценам, моделям и процедуре оценивания. Препринт не доказывает, что ИИ вообще не способен заниматься наукой. Для проверки ИИ-исследователя полезнее искать опыт, который разделяет конкурирующие гипотезы, чем считать число действий или убедительные абзацы: активность сама по себе ещё не подтверждает вывод.