Перейти к содержимому
НейроКуб
Открытый материал · 3 мин
Даниил Баланс

Модель хорошо разбирает заявки. А если все клиенты в тесте ей незнакомы?

Случайное разбиение проверяет работу на привычной смеси обращений. GroupKFold помогает проверить другую задачу: как классификатор работает с клиентами, чьих заявок ещё не видел.

Классификатор обращений может показать высокую точность, потому что видел похожие заявки от тех же клиентов во время обучения. Стоит проверить, сохранится ли качество на новых клиентах, прежде чем переносить цифру из отчёта на запуск в другом подразделении или на подключение новой компании.

Два теста отвечают на разные вопросы

Если модель будет обрабатывать новые обращения от существующих клиентов, полезен тест на более свежих заявках этих клиентов. Обучающие записи должны предшествовать проверочным. Так модель не получит подсказки из будущего, а вы увидите, как она справляется после смены формулировок или тем.

Если продукт должен работать сразу после подключения нового клиента, разделяйте данные по клиентам. В руководстве scikit-learn по групповому разбиению для этого подходит GroupKFold. В каждом прогоне группа целиком остаётся по одну сторону границы между обучением и проверкой. Все группы поочерёдно попадают в проверочную часть.

Проверка на простом примере

Допустим, есть девять учебных заявок от трёх клиентов. У клиента А три заявки, у Б две, у В четыре. При трёх разбиениях GroupKFold каждый клиент один раз целиком окажется в проверке. Когда очередь доходит до В, все четыре его заявки проверяются на модели, обученной на пяти записях А и Б. При случайном разбиении часть заявок В могла бы оказаться в обучении и подсказать модели характерную лексику клиента или шаблон его формы.

Перед прогоном передайте идентификаторы клиентов в параметр groups. Для каждой пары наборов индексов проверьте, что их множества клиентов не пересекаются. Если вы строите словарь или обучаете преобразователь признаков, делайте это на обучающей части каждого прогона. Тогда в проверку не попадёт статистика, заранее подсчитанная по всем заявкам.

Смотрите на ошибки по клиентам и классам. Если в одном разбиении почти нет заявок об оплате, общая точность плохо расскажет о маршрутизации именно таких обращений. При необходимости изучите StratifiedGroupKFold: он старается сохранить пропорции классов при сохранении групп. При малом числе клиентов и сильном перекосе классов точного баланса может не получиться.

Выбор теста зависит от того, что будет незнакомым в работе. Для новых клиентов удерживайте клиента целиком. Для будущих обращений знакомых клиентов начните с границы по времени. Если нужны оба сценария, оставьте две оценки: так будет ясно, какая именно цифра годится для решения о запуске.

Комментарии

Пока нет комментариев. Начните обсуждение.