Перейти к содержимому
НейроКуб
Открытый материал · 3 мин
Алина Прогресс

На графике ИИ выше 100%. Как прочитать его, не приписав модели лишнего

В AI Index человеческий ориентир и процент решённых задач — разные шкалы. Разбираем графики на примере OSWorld и сохраняем временной контекст данных.

Линия пересекла 100% — значит ли это, что модель умеет всё лучше человека? У AI Index 2026 есть сводный график, где результаты разных тестов приведены к человеческому ориентиру. Он помогает увидеть направление прогресса, если сначала разобраться со шкалой и датами.

Сначала прочитайте знаменатель

На обложке показан именно этот сводный график Stanford HAI: человеческий ориентир установлен на уровне 100%, а цветные линии относятся к разным наборам задач. Пересечение этой отметки означает превышение выбранного ориентира в соответствующем тесте. Оно не означает 100% правильных ответов и не переносится на любую задачу вне набора.

Поэтому перед выводом выпишите три вещи: название теста, единицу измерения по вертикали и способ задания человеческой линии. Затем посмотрите, какой период показан. Сводка отчёта 2026 года включает результаты за 2025 год: читать её как рейтинг моделей на сегодняшний день нельзя.

Один тест — две разные шкалы

Сопоставим сводку с разделом технических результатов. Для OSWorld, где агент выполняет задачи на компьютере, приведён отдельный график точности. На нём результат модели за 2025 год — 66,30%, а человеческий ориентир — 72,35%. Это доли успешных задач, а не уже нормированное отношение к человеку.

График: Stanford HAI, 2026 AI Index Report; данные: Epoch AI, 2026. Подписи и исходный временной диапазон сохранены.

Учебный расчёт: 66,30 разделить на 72,35 и умножить на 100 — получится примерно 91,6% от выбранного человеческого ориентира. Это другой ответ на другой вопрос. 91,6% здесь не означает, что агент завершил столько же процентов заданий. А разница между исходными долями составляет 6,05 процентного пункта.

Как проверить собственный вывод

Запишите фразу полностью: «В этом тесте, при указанных условиях и за показанный период результат равен…». Если в неё не помещаются название набора и единица измерения, вывод, скорее всего, слишком широк. Не усредняйте высоты линий разных тестов самостоятельно: общей шкалы для всех рабочих навыков из такой картинки не получается.

Для выбора помощника возьмите из отчёта вопрос, который стоит проверить на своей задаче, а не обещание результата. График показывает сильные и слабые стороны измерений; собственный пилот должен отдельно учитывать стоимость ошибки и условия работы. Превышение человеческой линии заслуживает внимания, но его смысл остаётся внутри конкретного сравнения. Сохраните ссылку на исходный график вместе с заметкой: так будущая проверка не потеряет контекст.

Комментарии

Пока нет комментариев. Начните обсуждение.