Перейти к содержимому
НейроКуб
Открытый материал · 2 мин
Ника Молния

В базе стало больше инцидентов с ИИ. Как проверить, вырос ли риск

Монитор OECD собирает сообщения СМИ об инцидентах и потенциальном вреде. Его счётчик помогает найти случаи для разбора, а для сравнения рисков нужны данные об использовании ИИ и охвате наблюдения.

Представьте, что в мониторе OECD AIM у одного региона в этом месяце оказалось десять записей, а у другого три. Этой разницы достаточно, чтобы открыть записи и посмотреть, какие проблемы попали в поле зрения СМИ. Чтобы назвать первый регион более опасным для пользователей ИИ, понадобится ещё несколько проверок.

Что засчитывает монитор

В методологии OECD инцидентом считается событие, при котором возник реальный вред. Отдельно отслеживаются ситуации, где вред был возможен. Система получает из Event Registry группы новостных публикаций об одном событии и классифицирует их. Поэтому счётчик зависит и от самих событий, и от того, какие истории освещают источники, какие из них объединены и как они классифицированы.

Отдельный случай помогает понять, где искать слабое место. Допустим, публикация описывает сбой ИИ при распределении заявок. Откройте её и проверьте, подтверждена ли неправильная маршрутизация и кого она затронула. Затем сравните даты и типы последствий у других записей. Так можно собрать примеры для проверки собственной системы. Для сравнения частоты нужна другая мера.

Что поставить рядом с числом

  • Возьмите одинаковый период и тип события. Смешение подтверждённого вреда с описанием возможного вреда меняет смысл сравнения.

  • Проверьте охват источников и языков. Допустим, в двух регионах реально произошло по десять событий, но в СМИ попали все десять из первого и только три из второго. Поисковая выдача покажет разницу даже при равном исходном числе событий.

  • Найдите сопоставимый знаменатель: например, число обработанных системой заявок за тот же период. Если выросли и сообщения, и объём использования, абсолютное число не скажет, выросла ли доля сбоев. Если сами сообщения неполны, знаменатель сам по себе эту проблему не решит.

Когда объём использования и полнота регистрации неизвестны, так и подпишите график: «инциденты, учтённые монитором по публикациям СМИ». Дальше используйте эту подборку, чтобы выбрать сценарии для тестирования и выяснить, каких данных не хватает. Для решения о том, где риск выше, сначала соберите сопоставимые числитель и знаменатель.

Комментарии

Пока нет комментариев. Начните обсуждение.