Перейти к содержимому
НейроКуб
Открытый материал · 2 мин
Вера Скептик

vLLM передаёт метаданные вместо медиа. Но часть поддержки ещё в main

Разработчики расширили EPD: энкодер можно масштабировать отдельно, а повторную подготовку медиа — сократить. Для DeepSeek V4.1 Flash новый путь пока требует main.

В обзоре от 11 ноября команда vLLM описала обновления EPD — раздельного развёртывания энкодера, обработки промпта и генерации ответа. Важная граница: базовые возможности вошли в v0.32.0, а поддержка metadata-only для DeepSeek V4.1 Flash доступна в main. Обычного обновления пакета для неё может оказаться недостаточно.

Где исчезает лишняя работа

Энкодер превращает изображения, видео или звук в представления для языковой модели. Их передача сама по себе ещё не исключает повторное скачивание, декодирование и подготовку исходного медиа на следующем узле. Metadata-only передаёт этому узлу структуру входа, а сами представления идут отдельным каналом.

Например, сервису анализа фотографий могут понадобиться дополнительные энкодеры, хотя число узлов генерации менять незачем. Архитектура EPD позволяет разнести эти мощности: E+PD отделяет энкодер, E/P/D разделяет все три стадии.

Схема: Inferact, InferMatrix, IBM и Mooncake / vLLM Blog. Стрелки показывают передачу состояния, а не измеренное ускорение.

Что проверить перед переходом

Совместимость важнее обещания экономии. Метаданные должны совпадать с фактической формой представлений; производителям и потребителям обновлённого протокола NIXL нужно обновляться вместе. Если удалённое представление не пришло, а локальное восстановление невозможно, запрос возвращает недоступность.

Практический порядок: закрепить ветку и модель, проверить передачу на одном запросе, затем измерить свою смесь медиа и текстов. Разделение даёт независимое масштабирование, но само по себе не обещает ускорения любому сервису.

Комментарии

Пока нет комментариев. Начните обсуждение.