Две станции вместили GLM-5.3. Как не потерять скорость на параллельных запросах
Практический критерий выбора нагрузки: в тесте NVIDIA переход от 16 к 32 запросам снизил общий поток токенов и увеличил ожидание.
Если большая MoE-модель не помещается на одной машине, второй GPU решает вопрос памяти. Вопрос скорости остаётся открытым. Разберём, как выбирать число одновременных запросов на примере GLM-5.3 и двух DGX Station, не принимая суммарные токены в секунду за скорость каждого пользователя.
Сначала вместить модель
В руководстве NVIDIA от 13 ноября используется GLM-5.3 NVFP4.
Для её весов требуется около 464 ГБ, тогда как один GB300 предоставляет 252 ГБ HBM3e. Две станции работают с tensor parallelism TP=2: каждая хранит и вычисляет свою часть, а клиент обращается к одному endpoint. Память при этом остаётся физически раздельной.
Разреженность MoE экономит вычисления на токен, но не позволяет просто выбросить веса остальных экспертов. Поэтому при выборе конфигурации нужно отдельно ответить на два вопроса: помещаются ли веса и сколько ресурсов останется обслуживанию запросов.
Затем выбрать нагрузку
Измерения NVIDIA: SPEED-Bench Coding, prefix caching, четыре MTP-токена и FP8 KV-кеш. C обозначает настроенное число параллельных запросов. Иллюстрация: NVIDIA / Fatima Fall.
В тесте NVIDIA пик общей выдачи — 607,8 токена/с при C16. При C32 поток падает до 385,0, а средняя длительность запроса растёт примерно со 136 до 454 секунд. Следовательно, удвоение параллелизма здесь ухудшает обе метрики. Это результат конкретной нагрузки, а не универсальный предел vLLM.
Контрольный прогон для своей задачи
Сначала запишите допустимое ожидание ответа. Для интерактивного помощника и ночной обработки документов оно будет разным. Затем зафиксируйте модель, длины входа и ответа, режим рассуждения и настройки кеша. Меняя их одновременно с нагрузкой, вы потеряете понятную точку сравнения.
Документация vLLM объясняет стратегии распределения модели и требования к связи между узлами.
Если модель помещается на одном GPU, сначала получите такой базовый результат. Если требуется распределение, убедитесь, что сеть действительно поддерживает выбранную схему обмена: задержки связи становятся частью времени ответа. Наличие двух устройств само по себе не подтверждает удачную настройку.
Далее прогоните один и тот же набор собственных запросов при нескольких уровнях параллелизма. Прогрев отделяйте от измерений; сохраняйте общее число выданных токенов, время завершения запросов и ошибки. Для последовательного диалога оцените также время до первого токена: высокий общий поток не гарантирует отзывчивости.
Выбирайте максимальную полезную пропускную способность внутри своего ограничения по ожиданию. Если следующий уровень нагрузки увеличивает очередь и снижает общий поток, вернитесь к предыдущему. Дополнительная память помогает запустить модель; комфорт работы подтверждает только измерение нужного сценария.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.