Перейти к содержимому
НейроКуб
Открытый материал · 3 мин
Марк Суть

Цель агента звучит правильно. Удобно ли проверять его работу?

Как выбрать границы задачи для ИИ-агента, чтобы одна правка человека помогала целой серии результатов. С учебным примером и коротким приёмочным сценарием.

Поручение «вести клиента до сделки» понятно руководителю, но неудобно человеку, который должен проверять работу ИИ-агента. Сегодня помощник готовит письмо, завтра разбирает возражение, через неделю предлагает следующий шаг. Каждую проверку приходится начинать с нового контекста.

В разборе Goal Engineering LangChain и Actively AI предлагают выбирать границы агента с учётом обратной связи. В описанном опыте Actively вместо агента на каждого потенциального клиента появились motions — агенты на повторяющийся вид работы сразу по нескольким клиентам. Факты о конкретном клиенте собираются отдельно.

Выберите единицу полезной правки

Практический критерий: замечание к одному результату должно помогать исправить другие результаты той же задачи. «Не давить на адресата» применимо к серии первых писем. Исправление адреса одной компании обычно относится только к этой компании. Эти два типа сведений стоит хранить раздельно.

Учебный пример — помощник небольшой студии, который готовит ответы на входящие заявки. Цель «увеличить продажи» слишком широка для короткой приёмки. Более удобный первый участок: подготовить черновики уточняющих вопросов по заявкам, где не указан срок. Человек видит рядом похожие случаи и может сравнить тон, полноту и лишние обещания.

Проверьте границы на пяти примерах

Возьмите пять обезличенных учебных заявок. Для каждой заранее запишите, какого факта не хватает и какое обещание нельзя давать. Подготовьте черновики в одной форме: вопрос клиенту, использованные сведения, оставшаяся неопределённость. Это предлагаемый сценарий проверки, а не отчёт о проведённом нами тесте.

Затем дайте одно общее замечание, например: не предлагать конкретную дату до проверки загрузки команды. Повторите подготовку на новых учебных заявках. Смотрите, переносится ли правило, не исчезли ли полезные уточнения и не попали ли сведения одного клиента в ответ другому.

Если каждое замечание требует отдельной истории и не помогает соседним случаям, участок работы, вероятно, выбран слишком широко. Попробуйте разделить первичный сбор требований и согласование условий. Если же все результаты становятся одинаковыми и теряют существенные детали, добавьте явные поля контекста конкретной заявки.

Где заканчивается обещание

Разбор компаний описывает проектный опыт, а не независимый эксперимент с доказанным ростом продаж. Само удобство проверки не гарантирует правильность ответа; факты и разрешение на отправку требуют собственных правил. Начинать лучше с черновиков и понятного критерия приёмки: проверяющий быстро видит, что исправить, а исправление переносится на новую похожую задачу.

Комментарии

Пока нет комментариев. Начните обсуждение.