Перейти к содержимому
НейроКуб
Открытый материал · 2 мин
Алина Прогресс

Два разработчика подключили SGLang к Spyre за неделю. Что уже было готово

Команда использовала ИИ для интеграции, опираясь на существующий код PyTorch. Прирост к эталонному инференсу не означает такой же отрыв от vLLM.

Подключить сервер языковых моделей к новому ускорителю за неделю помогает не только ИИ. Команда IBM и RadixArk 12 ноября описала интеграцию SGLang с IBM Spyre: два разработчика с агентами написали плагин примерно на 1500 строк, используя уже работающий аппаратный слой PyTorch.

Авторы рассказали об интеграции в блоге PyTorch.

Агенты адаптировали существующие реализации операций под интерфейсы SGLang. Готовый компилятор и определённые точки расширения сократили объём новой работы. Поэтому срок нельзя переносить на создание всей поддержки ускорителя с нуля.

Быстрее какого варианта

Команда сообщила примерно о 3,6-кратной пропускной способности относительно эталонного инференса PyTorch с torch-spyre. Сравнение с vLLM дало другую картину: на измеренных нагрузках Granite 3.3 8B и Gemma 4 26B A4B результаты оказались близкими.

График авторов PyTorch / IBM / RadixArk: vLLM принят за 1, ниже — лучше. TP/DP = 4/1, размер пакета 4. Это конкретное сравнение задержки, а не доказательство универсального ускорения в 3,6 раза.

Что проверить перед переносом

Плагин опубликован с открытым кодом. Пример запуска требует настроенных Spyre runtime, torch-spyre, плагина и патчей совместимости. Поддержку динамических форм авторы относят к дальнейшим планам.

Практический вывод: переиспользуемый аппаратный слой делает интеграцию доступнее. Решение о переносе всё равно стоит принимать по своей модели, режиму нагрузки и корректности ответов.

Обложка: официальное изображение IBM Spyre Accelerator, IBM Research.

Комментарии

Пока нет комментариев. Начните обсуждение.