Лимит расходов ИИ задан. Почему несколько процессов могут потратить больше
Как выбрать Alert или Reject в MLflow Gateway, проверить общий учёт расходов и подготовить помощника к бюджетному отказу. С безопасным учебным сценарием.
Бюджет ИИ-помощника нужен до первого неожиданного счёта. В MLflow AI Gateway можно выбрать предупреждение или остановку запросов, но одинаковое число долларов ещё не означает одинаковую защиту. Решение зависит от того, допустим ли простой и сколько процессов обслуживает шлюз.
Сначала определите цену остановки
В документации бюджетов описаны два режима. Alert отправляет уведомление через webhook и продолжает обслуживание. Reject отвечает на последующие запросы кодом HTTP 429 после превышения порога. Запрос, который вывел расход за предел, завершается: это не обещание остановиться ровно на заданном центе.
Для экспериментального помощника разработчика остановка обычно приемлемее бесконтрольного расхода. Для важного рабочего процесса сначала решите, кто получит тревогу и как продолжить задачу вручную. Это критерий выбора политики, а не универсальная рекомендация всем включить Reject.
MLflow Project / Databricks, Apache-2.0. Снимок из документации: интерфейс 3.10.2.dev0; расположение элементов в вашей версии может отличаться.
Общий порог требует общего учёта
У локального трекера расходы учитываются отдельно в каждом процессе. Поэтому несколько работников или реплик могут суммарно превысить настроенный лимит. Redis позволяет разделять состояние между процессами; цена — отдельная инфраструктура и обращение по сети. Ежедневное окно сбрасывается в полночь UTC.
В разборе MLflow 3.17.1 пять программных агентов направляют через единый шлюз. Провайдерские ключи остаются на сервере, а запросы и отказы попадают в трассы. Это демонстрация разработчика, а не независимый тест надёжности. Там же показано, почему агенту нужно корректно обрабатывать бюджетный отказ вместо бесконечных повторов.
Проверьте политику на учебном запуске
Пример: два тестовых работника пользуются одним небольшим бюджетом. Запишите исходный расход, отправьте несколько безопасных запросов через каждого, затем сопоставьте ответы, общий счётчик и трассы. При Reject проверьте, что после отказа помощник сохраняет незавершённую задачу и сообщает причину остановки. При Alert убедитесь, что уведомление действительно дошло ответственному человеку.
Затем повторите проверку после перезапуска шлюза. Не переносите такой эксперимент на рабочий поток: используйте отдельный тестовый контур без клиентских данных. Успехом считайте объяснимый расход и предсказуемую реакцию обоих работников, а не один увиденный код 429.
Заранее назначьте владельца такого теста: человек должен понимать причину отказа и иметь право согласовать продолжение. Иначе техническая остановка лишь перенесёт неопределённость на дежурного.
Если нельзя объяснить, какие процессы делят счётчик и что произойдёт после отказа, бюджет пока остаётся числом в форме. Рабочая политика связывает порог, общий учёт и понятный способ продолжить задачу.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.