Модель стала новее. Стало ли понятнее, на чём её учили?

Проверка документов помогает выбрать новую языковую модель без лишних догадок об обучающих данных. Для этого полезно сравнить сведения по пунктам: новый номер версии сам по себе не подтверждает, что прежнее описание корпуса по-прежнему применимо.

Что показывает проверка документов

В препринте от 27 октября исследователи разобрали 41 запись о моделях из 17 семейств по 24 критериям раскрытия предобучения. В 24 сравнениях соседних выпусков итоговая оценка снижалась 11 раз, росла шесть и оставалась прежней семь. Это выбранная исследователями выборка, а не перепись всех моделей.

Показательный случай — OLMo 2 и OLMo 3: обе записи получили 17 из 24, хотя три критерия добавились, а три потерялись. Одинаковая сумма скрывает разные наборы сведений. При этом отсутствие достаточного описания не доказывает, что разработчик изменил практику или удалил старые документы.

На иллюстрации авторы отдельно сравнивают происхождение данных и их обработку у Llama. Раскрытие обработки может восстановиться, а подробность описания источников — нет. Это оценка документации, а не качества ответов модели.

Иллюстрация: Md Sakib Ul Islam и S M Mehedi Zaman, What Carries Forward? Рисунок 1, CC BY 4.0. SVG переведён в PNG на белом фоне; содержание сохранено.

Как собрать свою карточку сравнения

Начать можно с README.md выбранной модели: документация Hugging Face объясняет, что он отображается как model card. Поля datasets и base_model помогают найти датасеты и базовую модель. Указатель new_version ведёт к следующему выпуску; это ещё не ответ на вопрос о составе его предобучения.

• Запишите точное обозначение двух сравниваемых выпусков и ссылки на их собственные отчёты. Отделите предобучение от последующего дообучения.

• Создайте строки «источники корпуса», «языковой состав», «обработка», «вычисления». В каждой сохраните утверждение, документ и раздел, где оно найдено.

• Если новый отчёт отсылает к старому, выпишите, что именно наследуется. Общая ссылка на семейство не заменяет явного указания на применимость сведений.

• Разделите результат на «подтверждено для этой версии», «явно унаследовано» и «не установлено». Последнюю метку не превращайте в обвинение.

Пример решения

Допустим, команда выбирает модель для русскоязычного поиска. В учебном примере у версии А описан языковой состав корпуса, а у версии Б найден только объём токенов. В карточке Б поставьте «состав не установлен», затем запросите уточнение или проведите отдельный тест на своих запросах. Это разные вопросы: документы объясняют происхождение, тест — пригодность для вашей задачи.

Выбирайте по сведениям, которые действительно нужны вашему сценарию. Если критически важная строка осталась пустой, полезнее сохранить эту неопределённость и искать подтверждение, чем переносить ответ из прежней версии по привычке.