Перейти к содержимому
НейроКуб
Открытый материал · 2 мин
Ника Молния

Spyre подключили к привычному PyTorch — проверка модели всё ещё обязательна

IBM обновила программный стек ускорителя: torch-spyre опирается на Inductor и связывается с vLLM. Меньше собственного кода не означает универсальной совместимости или ускорения в семь раз.

26 октября IBM Research сообщила об обновлениях, которые делают Spyre полноценным backend для PyTorch. Для разработчика это путь к другому ускорителю с привычными моделями и инструментами, хотя совместимость по-прежнему нужно проверять.

Что изменилось в программном стеке

Раньше команда поддерживала отдельный компилятор sendnn. Теперь torch-spyre опирается на Inductor — часть самого PyTorch. По оценке IBM, объём собственного кода компилятора сократился примерно в семь раз. Это уменьшение поддерживаемой реализации, а не семикратное ускорение нейросети.

Spyre предназначен для инференса в системах IBM Z, LinuxONE и Power. Его вычисления запускаются по поступлению данных, поэтому привычный код модели всё равно требует подходящего компилятора и адаптеров для отдельных операций.

Изображение кристалла: IBM Research. Обложка: IBM Newsroom.

Что это меняет для команды

Плагин Spyre подключает ускоритель к vLLM; далее распределением запросов может заниматься llm-d. В обзоре IBM названы проверки с Gemma 4, Qwen3 и Granite 4.2. Например, команда страхового сервиса сможет рассматривать перенос языкового анализа ближе к своим данным, сохраняя знакомую экосистему разработки.

Где остаётся работа

Технический разбор перехода на Inductor прямо описывает собственные расширения и ещё обсуждаемые точки интеграции. Это сообщение команды IBM, а не независимое доказательство превосходства над GPU.

Практический критерий перехода — успешный сквозной тест вашей модели: правильность ответа, поддержка операций и скорость на реальной нагрузке. Знакомый PyTorch упрощает перенос, но не делает разные устройства взаимозаменяемыми без проверки.

Комментарии

Пока нет комментариев. Начните обсуждение.