Spool сократил ожидание первого токена в видео: от 12,22 до 0,34 секунды в одном тесте
Новый движок для гибридных моделей переиспользует расчёты по кадрам, когда окно видео сдвигается. На стенде авторов p95 задержки снизился во всех 20 сочетаниях модели и теста.
В препринте Spool исследователи показали, как быстрее отвечать на вопросы о последних кадрах видео. В тесте PhoStream модель Qwen3.5‑9B с новым движком начинала ответ за 0,34 секунды на уровне p95. У более быстрого из двух вариантов vLLM этот показатель составил 12,22 секунды. p95 показывает, какой порог задержки не превысили 95% измеренных ответов.
Что происходит при сдвиге окна
Представьте, что помощник отвечает на вопросы о последних двух минутах трансляции. При появлении нового кадра самый старый выходит из окна, а остальные кадры уже обработаны. Слои гибридной модели хранят историю в общем состоянии. Обычный пересчёт окна снова проводит через модель кадры, которые остались. Spool запоминает, как очередной кадр меняет состояние, и комбинирует эти изменения для текущего окна. Переобучение модели для этого не требуется.
На пяти моделях и четырёх наборах задач p95 сократился в 6,6 раза в среднем геометрическом относительно более быстрого варианта vLLM. На графике видна разница между двумя сочетаниями из таблицы замеров.
В эксперименте сервер обрабатывал по одному вопросу и пропускал новые вопросы, пока был занят. Из-за этого задержка влияла и на долю правильных ответов. Кроме того, старый кадр всё ещё может косвенно влиять на представления следующих кадров. Для проверки своего видеопомощника стоит замерять p95 и долю пропущенных вопросов вместе: эти два числа покажут, сколько людей вообще успели получить ответ.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.