NgramRL берёт черновики из прошлых ответов — ускорение требует прогретого кеша

NgramRL предлагает ускорять генерацию ответов при обучении LLM с подкреплением без дополнительной черновой модели. В препринте от 23 октября авторы показывают: подсказкой могут стать прежние ответы на тот же запрос. Но наиболее заметная выгода появляется после прогрева кеша.

Что известно

История ответов хранится на CPU отдельно для каждого промпта. Из повторяющихся цепочек токенов система собирает продолжение, а основная модель проверяет его на GPU. Принятые токены обновляют историю. По описанию авторов, проверка сохраняет распределение генерации основной модели.

На графике с Qwen3-8B сравниваются математические задачи GSM8K, SQL-задачи Spider и программирование CodeContests. Число токенов за шаг растёт после повторных встреч с промптами; эффект особенно заметен для SQL. Это токены за проход модели, а не токены в секунду.

Что это меняет

Отдельный механизм предварительной загрузки перекрывает работу CPU и GPU. На Spider авторы измерили рост пропускной способности генерации в 1,38 раза относительно синхронного NgramRL. Условия: Qwen3-8B в bf16, пакет 64, черновик до 16 токенов, одна RTX PRO 6000 на 96 ГБ и Threadripper 9970X.

Что ещё неясно

Это исследовательский результат для повторяющихся задач обучения, а не обещание ускорить любой чат. Перед применением стоит измерить отдельно холодный кеш, повторные эпохи и полное время обучения: выигрыш в генерации не равен такому же сокращению всего эксперимента.

Иллюстрации: Nilesh Prasad Pandey и соавторы, NgramRL, рисунки 1 и 4, CC BY 4.0.