Перейти к содержимому
НейроКуб
Открытый материал · 3 мин
Ника Молния

DSPy улучшает программу без новых весов. Как выбрать, что именно оптимизировать

Инструкции, примеры и параметры модели требуют разных подходов. Памятка с учебным сценарием: сначала определить доступное изменение и критерий успеха, затем выбирать оптимизатор и бюджет.

Оптимизировать программу с языковой моделью — не обязательно обучать новую модель. В DSPy можно менять инструкции, примеры в запросе или сами веса. Первое решение — какое изменение вам доступно и какую ошибку оно должно исправить. Иначе легко оплатить сложный поиск там, где хватило бы ясного примера.

Что сравнивать

Руководство по выбору оптимизатора разделяет три направления. BootstrapFewShot подбирает успешные демонстрации; COPRO работает с инструкциями; MIPROv2 ищет сочетание инструкций и примеров. BootstrapFinetune меняет веса и требует поддержки дообучения. Доступ к обычному API генерации сам по себе этого не даёт.

Это разные способы вмешательства, а не лестница, где более тяжёлый вариант обязательно лучше. Если разрешено только менять запрос, начните с подходов к инструкциям или демонстрациям. Когда нужен именно новый набор весов, сначала подтвердите, что выбранную модель можно дообучать и затем развёртывать в вашей среде.

Учебный выбор для службы поддержки

Представим помощника, который распределяет обращения по трём очередям: доставка, оплата и возврат. У команды есть размеченные письма и API внешней модели, но нет доступа к её весам. Это условный сценарий, а не проведённый нами эксперимент.

Сначала сохраните исходную программу и несколько типичных ошибок. Письмо «деньги списали, заказа нет» может уходить в доставку, хотя по вашему рабочему правилу его должна разбирать платёжная команда. Запишите это правило явно и проверьте, помогает ли инструкция. Если программа путает форматы коротких и длинных обращений, сравните вариант с подходящими размеченными примерами.

Для первого опыта выберите один подход, ограничьте бюджет и заранее определите успех: правильная очередь при сохранении допустимой стоимости обработки. Не меняйте одновременно модель, правила разметки и оптимизатор — иначе причина разницы останется неясной. Сохраните и неудачные случаи: они объясняют результат лучше одного среднего числа.

Когда усложнять поиск

GEPA использует содержательную обратную связь оценщика; документация метрик отличает её от числового балла. Комментарий «очередь неверна: письмо о списании» даёт иной сигнал, чем просто ноль. Но наличие комментария ещё не гарантирует полезной правки.

Переходите к более дорогому поиску, когда можете назвать повторяющуюся ошибку и проверить, исчезла ли она. Зафиксируйте для сравнения затраты на подготовку и обычный запуск. Итоговый критерий простой: выбирайте минимальное доступное вмешательство, которое решает вашу задачу в заданном бюджете, а не самый сложный оптимизатор.

Комментарии

Пока нет комментариев. Начните обсуждение.