Candela проверит ваш ИИ целиком — но высокий процентиль не равен доле безопасных ответов

Оценить безопасность можно у того ИИ, которым команда действительно пользуется, со своими инструкциями и подключёнными инструментами. MLCommons 29 октября запустила Candela: сервис проверки моделей и готовых систем по тестам AILuminate.

Один балл — два разных назначения

Сервис разделяет тренировочные прогоны и официальный результат. Первые нужны для частых внутренних проверок; подробный вариант добавляет пары вопросов и ответов с оценками. Официальный тест использует отдельный закрытый набор заданий, а результат можно указывать в документации продукта. Это уменьшает риск выдать подготовку к знакомым вопросам за устойчивость системы.

Вместе с запуском вышли Safety 1.2.1 и Jailbreak 1.1. Первый охватывает 12 категорий вредного содержания, второй — 11 категорий под воздействием атакующих запросов. В сопроводительном сообщении опубликованы Safety-результаты для 27 систем: 22 моделей с открытыми весами и пяти защитных систем. Публичные результаты Jailbreak обещаны позднее.

Что означает число

Оценка представлена процентилем относительно фиксированной группы систем. 70-й процентиль не означает 70% безопасных ответов. Это положение в сравнительной шкале, а не вероятность отсутствия вреда.

Для команды с корпоративным помощником полезен тест всей конфигурации: модель, поиск по документам и защитные фильтры вместе. Но результат остаётся измерением выбранных рисков. Он не заменяет проверку собственной задачи, а независимое подтверждение качества самого сервиса из заявления разработчика не следует.