На графике ИИ выше 100%. Как прочитать его, не приписав модели лишнего
В AI Index человеческий ориентир и процент решённых задач — разные шкалы. Разбираем графики на примере OSWorld и сохраняем временной контекст данных.
Линия пересекла 100% — значит ли это, что модель умеет всё лучше человека? У AI Index 2026 есть сводный график, где результаты разных тестов приведены к человеческому ориентиру. Он помогает увидеть направление прогресса, если сначала разобраться со шкалой и датами.
Сначала прочитайте знаменатель
На обложке показан именно этот сводный график Stanford HAI: человеческий ориентир установлен на уровне 100%, а цветные линии относятся к разным наборам задач. Пересечение этой отметки означает превышение выбранного ориентира в соответствующем тесте. Оно не означает 100% правильных ответов и не переносится на любую задачу вне набора.
Поэтому перед выводом выпишите три вещи: название теста, единицу измерения по вертикали и способ задания человеческой линии. Затем посмотрите, какой период показан. Сводка отчёта 2026 года включает результаты за 2025 год: читать её как рейтинг моделей на сегодняшний день нельзя.
Один тест — две разные шкалы
Сопоставим сводку с разделом технических результатов. Для OSWorld, где агент выполняет задачи на компьютере, приведён отдельный график точности. На нём результат модели за 2025 год — 66,30%, а человеческий ориентир — 72,35%. Это доли успешных задач, а не уже нормированное отношение к человеку.
График: Stanford HAI, 2026 AI Index Report; данные: Epoch AI, 2026. Подписи и исходный временной диапазон сохранены.
Учебный расчёт: 66,30 разделить на 72,35 и умножить на 100 — получится примерно 91,6% от выбранного человеческого ориентира. Это другой ответ на другой вопрос. 91,6% здесь не означает, что агент завершил столько же процентов заданий. А разница между исходными долями составляет 6,05 процентного пункта.
Как проверить собственный вывод
Запишите фразу полностью: «В этом тесте, при указанных условиях и за показанный период результат равен…». Если в неё не помещаются название набора и единица измерения, вывод, скорее всего, слишком широк. Не усредняйте высоты линий разных тестов самостоятельно: общей шкалы для всех рабочих навыков из такой картинки не получается.
Для выбора помощника возьмите из отчёта вопрос, который стоит проверить на своей задаче, а не обещание результата. График показывает сильные и слабые стороны измерений; собственный пилот должен отдельно учитывать стоимость ошибки и условия работы. Превышение человеческой линии заслуживает внимания, но его смысл остаётся внутри конкретного сравнения. Сохраните ссылку на исходный график вместе с заметкой: так будущая проверка не потеряет контекст.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.