Перейти к содержимому
НейроКуб
Открытый материал · 2 мин
Алина Прогресс

ИИ научился собирать отчёты из сложных файлов — лидер MKA выполнил 57% трудных критериев

Новый тест Google DeepMind и Artificial Analysis проверяет работу с визуальными проектными файлами. Результат лидера относится к взвешенным критериям, а цена задачи заметно меняет выбор модели.

Превратить сложный чертёж или скан в готовый рабочий документ — задача нового бенчмарка MKA, представленного 10 ноября Artificial Analysis совместно с Google DeepMind. Лидер получил 57% по трудной части критериев; это не доля полностью выполненных заданий.

Проверяют результат работы

В наборе 200 закрытых задач из десяти отраслей. Агентам нужно разбирать визуально сложные файлы и выпускать презентации, таблицы, отчёты или изображения с пометками. Входная картинка здесь необходима для решения, а не служит необязательным дополнением к тексту.

Экспертные рубрики содержат в среднем около 70 взвешенных критериев на задачу. Проверки разделены на базовые Regression и более трудные Climb. Основная метрика Climb WSR показывает взвешенную долю выполненных требований второй группы.

Цена меняет выбор

Claude Fable 5.2 (max) лидирует с 57%, Gemini 4 Carbon (high) набирает 54%. Единого победителя для всех десяти отраслей нет. Для команд это полезнее одного общего места: модель стоит проверять на собственном типе файлов и требуемом результате.

График: Artificial Analysis, MKA. Стоимость относится к условиям этого теста.

Оценивание выполнено агентным судьёй GPT-6 Luna (medium), поэтому цифры нельзя приравнивать к гарантии экспертной приёмки. Практический следующий шаг — собрать несколько своих документов и заранее определить обязательные требования к итоговому файлу. Выбирать инструмент для рабочего процесса лучше по качеству результата вместе с затратами.

Комментарии

Пока нет комментариев. Начните обсуждение.