Опечатка или неверная цифра? ParseBench-2 учит метрику различать ущерб
LlamaIndex пересобрала оценку разбора документов вокруг тяжести ошибок. Высокий общий балл больше не должен скрывать испорченный факт.
Почему неверная цифра может стоить парсеру меньше, чем безобидное изменение оформления? LlamaIndex 12 ноября представила ParseBench-2, где метрики настраиваются под последствия ошибок. Это важно для ИИ-агентов, которые используют извлечённые из документов данные для следующих действий.
Вместо одной оценки внешнего сходства авторы задают сценарии: что считать критической, серьёзной, небольшой или безвредной ошибкой. Затем проверяют, соответствует ли штраф этой политике. К примеру, замена 75% на 57% меняет факт, а перенос строк может сохранить смысл.
Иллюстрация: LlamaIndex. Каждое изменение внесено отдельно в одну страницу отчёта Walmart 10-K; это пример работы метрики, а не сравнение точности парсеров.
В препринте описаны 4317 страниц и шесть направлений оценки: текст, оформление, таблицы, диаграммы, положение элементов и формы. Итог страницы ограничивается штрафом за обнаруженные ошибки: большое количество правильно извлечённых данных не должно маскировать серьёзную подмену.
Есть существенная оговорка: тяжесть задают люди, а не универсальный закон. Это работа разработчиков бенчмарка, не независимая гарантия качества всех парсеров. Код и инструкции доступны для собственной проверки; баллы второй версии нельзя напрямую сравнивать с первой.
Для рабочего выбора начните со своих дорогих ошибок: перепутанный заголовок столбца, сумма или незаполненное поле. Затем проверьте, штрафует ли их выбранная оценка. Красивый общий балл полезен лишь тогда, когда он замечает то, что действительно ломает вашу задачу.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.