Редкие факты не спасли память группы ИИ: CrossProfile проверил, что теряется при сжатии

В препринте CrossProfile от 27 октября исследователи показали: короткая память группы ИИ может сохранить редкие или тематически подходящие факты и всё равно привести к неверному решению. Редкость утверждения не гарантирует его пользу для выбора.

Почему удачный фильтр перестаёт помогать

Авторы построили 60 шаблонов и 480 задач. Текст фактов оставался прежним, а распределение полезных, отвлекающих и посторонних сведений между четырьмя агентами менялось. Так можно отделить содержание доказательства от того, скольким участникам оно известно.

На Qwen2.5-7B и Llama-3.1-8B отбор самых редких фактов в среднем не превосходил случайный. Он выигрывал там, где редкие сведения оказывались полезными, и проигрывал при обратном распределении. Тематический фильтр тоже пропускал отвлекающие факты: они касались нужных критериев, но поддерживали конкурирующий ответ.

Согласие участников — ещё не доказательство

В отдельном контрольном условии удаление подписей о том, сколько агентов владеют фактом, повышало точность примерно на 13–24 процентных пункта. Это результат конкретной конфигурации, а не универсальная прибавка для любого помощника.

Диаграмма: Anouar Imel и соавторы, рис. 5 препринта. Сравнение при одинаковом условии; R1 использует бюджет памяти r=0,6. Обложка — рис. 3 той же работы: 60 шаблонов, три seed, r=0,6; диаграммы растрированы без изменения данных.

Работа остаётся препринтом с искусственными задачами и ограниченным набором моделей. Для разработчика вывод прикладной: проверяйте, какие доводы пережили сжатие контекста. Само наличие «памяти» и число согласных агентов не заменяют проверку основания решения.