Два разработчика подключили SGLang к Spyre за неделю. Что уже было готово
Команда использовала ИИ для интеграции, опираясь на существующий код PyTorch. Прирост к эталонному инференсу не означает такой же отрыв от vLLM.
Подключить сервер языковых моделей к новому ускорителю за неделю помогает не только ИИ. Команда IBM и RadixArk 12 ноября описала интеграцию SGLang с IBM Spyre: два разработчика с агентами написали плагин примерно на 1500 строк, используя уже работающий аппаратный слой PyTorch.
Авторы рассказали об интеграции в блоге PyTorch.
Агенты адаптировали существующие реализации операций под интерфейсы SGLang. Готовый компилятор и определённые точки расширения сократили объём новой работы. Поэтому срок нельзя переносить на создание всей поддержки ускорителя с нуля.
Быстрее какого варианта
Команда сообщила примерно о 3,6-кратной пропускной способности относительно эталонного инференса PyTorch с torch-spyre. Сравнение с vLLM дало другую картину: на измеренных нагрузках Granite 3.3 8B и Gemma 4 26B A4B результаты оказались близкими.
График авторов PyTorch / IBM / RadixArk: vLLM принят за 1, ниже — лучше. TP/DP = 4/1, размер пакета 4. Это конкретное сравнение задержки, а не доказательство универсального ускорения в 3,6 раза.
Что проверить перед переносом
Плагин опубликован с открытым кодом. Пример запуска требует настроенных Spyre runtime, torch-spyre, плагина и патчей совместимости. Поддержку динамических форм авторы относят к дальнейшим планам.
Практический вывод: переиспользуемый аппаратный слой делает интеграцию доступнее. Решение о переносе всё равно стоит принимать по своей модели, режиму нагрузки и корректности ответов.
Обложка: официальное изображение IBM Spyre Accelerator, IBM Research.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.