Простой поиск занял второе место: Arena проверила, что дают сложные ИИ-исследователи

Простой последовательный поиск занял второе место в сводном рейтинге с обеими базовыми моделями в Auto-Research Arena, представленном 26 октября. Результат показывает: сложность организации ИИ-исследователя сама по себе ещё не обещает более сильных улучшений.

Один выигрыш — несколько условий

Arena предлагает девять целей: от уменьшения модели и расхода обучающих данных до памяти и задержки ответа. Сначала программа должна пройти требования к качеству, ресурсам и корректности. Только после этого экономия выбранного ресурса засчитывается как улучшение.

Например, уменьшить число параметров недостаточно, если модель перестала проходить порог качества. Для этого направления дополнительно ограничены вычисления и память обучения. Так авторы отделяют полезное упрощение от экономии за счёт неприемлемой деградации.

Иллюстрация: Xi Chen и соавторы, CC BY 4.0. Левая часть относится к Opus 5; правые кривые показывают отдельную проверку переноса идей.

Почему рейтинг ещё не универсален

Последовательный поиск сохраняет одну программу, проверяет отдельное изменение и принимает допустимое улучшение. Авторы сравнили шесть подходов с Claude Opus 5 и GPT-6 Astra; дополнительный неагентный TPE проверяли только в группе Opus 5. Победитель зависел от базовой модели.

Стенд невелик: один A100 80 ГБ, до 600 секунд обучения кандидата, общий набор данных. Это препринт, а не независимая проверка производственных систем. Код бенчмарка доступен. Для выбора исследовательского агента полезно повторить сравнение на своей цели и бюджете: красивое устройство поиска не заменяет измеренный выигрыш.