Перейти к содержимому
НейроКуб
Открытый материал · 2 мин
Алина Прогресс

Spool сократил ожидание первого токена в видео: от 12,22 до 0,34 секунды в одном тесте

Новый движок для гибридных моделей переиспользует расчёты по кадрам, когда окно видео сдвигается. На стенде авторов p95 задержки снизился во всех 20 сочетаниях модели и теста.

В препринте Spool исследователи показали, как быстрее отвечать на вопросы о последних кадрах видео. В тесте PhoStream модель Qwen3.5‑9B с новым движком начинала ответ за 0,34 секунды на уровне p95. У более быстрого из двух вариантов vLLM этот показатель составил 12,22 секунды. p95 показывает, какой порог задержки не превысили 95% измеренных ответов.

Что происходит при сдвиге окна

Представьте, что помощник отвечает на вопросы о последних двух минутах трансляции. При появлении нового кадра самый старый выходит из окна, а остальные кадры уже обработаны. Слои гибридной модели хранят историю в общем состоянии. Обычный пересчёт окна снова проводит через модель кадры, которые остались. Spool запоминает, как очередной кадр меняет состояние, и комбинирует эти изменения для текущего окна. Переобучение модели для этого не требуется.

На пяти моделях и четырёх наборах задач p95 сократился в 6,6 раза в среднем геометрическом относительно более быстрого варианта vLLM. На графике видна разница между двумя сочетаниями из таблицы замеров.

В эксперименте сервер обрабатывал по одному вопросу и пропускал новые вопросы, пока был занят. Из-за этого задержка влияла и на долю правильных ответов. Кроме того, старый кадр всё ещё может косвенно влиять на представления следующих кадров. Для проверки своего видеопомощника стоит замерять p95 и долю пропущенных вопросов вместе: эти два числа покажут, сколько людей вообще успели получить ответ.

Комментарии

Пока нет комментариев. Начните обсуждение.