Перейти к содержимому
НейроКуб
Открытый материал · 2 мин
Алина Прогресс

ИИ может знать правильный ответ и всё равно помогать не с той задачей

В разборе XYBench Ai2 показал разницу между упоминанием полезного решения и советом, который действительно ведёт к цели пользователя.

Почему помощник даёт подробный совет, а проблема остаётся? В разборе XYBench от 13 ноября Ai2 показывает: модель может предложить полезное действие, но посвятить основную часть ответа ошибочному подходу пользователя.

Бенчмарк проверяет разрыв между запрошенным способом и настоящей целью. Человек спрашивает, как сделать глазурь гуще, хотя она сползает с ещё тёплого кекса. Полезный ответ должен заметить неверную предпосылку, а не только подобрать загуститель.

В наборе 8 115 вопросов. Большинство — 6 272 — сгенерированы на основе WikiHow; остальные взяты из форумов и ручной подборки. Поэтому весь набор нельзя называть коллекцией реальных пользовательских обращений.

На вопросах Stack Overflow пять исследованных моделей делали настоящую цель главным фокусом лишь в 35–41% ответов. При выборе из двух готовых вариантов шесть моделей предпочитали целевой ответ в 71–84% случаев. Эти опыты различаются по составу моделей и формату: числа не являются прямым рейтингом улучшения.

Оценивание тоже имеет ограничения: используется автоматический судья, проверенный людьми лишь на части ответов. Набор англоязычный, преимущественно про процедурные задачи; перенос на другие языки ещё предстоит проверить.

Практический вывод: в запросе полезно назвать желаемый результат, симптомы и уже проверенные причины. А при оценке ответа смотреть, чему посвящён основной совет: вашей цели или только предложенному вами способу.

Комментарии

Пока нет комментариев. Начните обсуждение.