vLLM передаёт метаданные вместо медиа. Но часть поддержки ещё в main
Разработчики расширили EPD: энкодер можно масштабировать отдельно, а повторную подготовку медиа — сократить. Для DeepSeek V4.1 Flash новый путь пока требует main.
В обзоре от 11 ноября команда vLLM описала обновления EPD — раздельного развёртывания энкодера, обработки промпта и генерации ответа. Важная граница: базовые возможности вошли в v0.32.0, а поддержка metadata-only для DeepSeek V4.1 Flash доступна в main. Обычного обновления пакета для неё может оказаться недостаточно.
Где исчезает лишняя работа
Энкодер превращает изображения, видео или звук в представления для языковой модели. Их передача сама по себе ещё не исключает повторное скачивание, декодирование и подготовку исходного медиа на следующем узле. Metadata-only передаёт этому узлу структуру входа, а сами представления идут отдельным каналом.
Например, сервису анализа фотографий могут понадобиться дополнительные энкодеры, хотя число узлов генерации менять незачем. Архитектура EPD позволяет разнести эти мощности: E+PD отделяет энкодер, E/P/D разделяет все три стадии.
Схема: Inferact, InferMatrix, IBM и Mooncake / vLLM Blog. Стрелки показывают передачу состояния, а не измеренное ускорение.
Что проверить перед переходом
Совместимость важнее обещания экономии. Метаданные должны совпадать с фактической формой представлений; производителям и потребителям обновлённого протокола NIXL нужно обновляться вместе. Если удалённое представление не пришло, а локальное восстановление невозможно, запрос возвращает недоступность.
Практический порядок: закрепить ветку и модель, проверить передачу на одном запросе, затем измерить свою смесь медиа и текстов. Разделение даёт независимое масштабирование, но само по себе не обещает ускорения любому сервису.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.