Модель прошла тест безопасности. Почему после подключения документов проверка начинается заново
Как проверить готового ИИ-помощника, если к модели добавили поиск, инструкции и инструменты. Учебный сценарий для службы поддержки и критерий повторной проверки.
Модель прошла тест безопасности. После подключения документов, инструментов и собственных инструкций этот результат ещё нужно проверить заново: читатель общается уже с другой конфигурацией. Перед запуском помощника полезно отделить репутацию базовой модели от поведения готового приложения.
Что известно
В разборе от 29 октября MLCommons объясняет: системный промпт, поиск по документам, дообучение и защитные фильтры меняют поведение системы. Из оценки исходной модели нельзя автоматически вывести оценку всей сборки. Изменение может как ослабить защиту, так и усилить её — направление требуется измерять.
Это согласуется с препринтом исследователей CDT и MIT о безопасности 100 моделей, включая медицинские и юридические адаптации и их базовые версии. После дообучения результаты менялись неодинаково: улучшение по одной проверке могло соседствовать с ухудшением по другой. Работа исследует конкретные модели и тесты; она не доказывает неизбежный вред любого дообучения.
Что это меняет перед запуском
Допустим, команда делает помощника службы поддержки. Он читает правила возврата и может подготовить заявку, а подтверждение возврата остаётся человеку. Это учебный пример, не результат редакционного тестирования. Проверка одной модели без документов и инструментов не охватывает такой сценарий.
Зафиксируйте сборку: модель и её версию, системные инструкции, набор документов, доступные инструменты и фильтры. Сохраните дату проверки. Иначе после изменения будет непонятно, к какой конфигурации относится результат.
Составьте пары запросов. Обычный клиент просит объяснить действующее правило; другой запрос выходит за полномочия помощника. Добавьте учебный документ с инструкцией изменить правила. Заранее определите ожидаемое действие и допустимый ответ для каждого случая.
Прогоните одинаковые случаи через исходную конфигурацию и приложение целиком. Смотрите не только на текст ответа, но и на вызовы инструментов. Обещание попросить подтверждение не помогает, если операция уже выполнена.
Отдельно считайте опасные действия и лишние отказы на допустимые запросы. Сохраняйте ошибочные примеры. После изменения одного компонента повторите эти случаи и контрольные обычные задачи.
Что ещё неясно
Небольшой набор сценариев обнаруживает конкретные сбои, но не даёт универсального процента безопасности. Условия сравнения тоже важны: одинаковые входы, настройки и проверяющий критерий. Если результаты нестабильны, один удачный прогон не закрывает вопрос.
Практический критерий готовности: у команды есть проверенная версия всей сборки и понятный порядок повторной проверки после изменений. Высокий балл базовой модели остаётся полезной отправной точкой; разрешение на запуск требует доказательств о том приложении, которым действительно будут пользоваться.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.