WebGPU Plugin EP 0.5.0 запускает сессии параллельно — версия ONNX Runtime решает

Можно ли после обновления WebGPU-плагина выполнять несколько сессий ИИ одновременно? ONNX Runtime WebGPU Plugin EP 0.5.0, выпущенный 29 октября, поддерживает такой режим, но ответ зависит от версии ядра. Это полезное условие для приложений, которые обслуживают несколько запросов на одном устройстве.

Какие сочетания подходят

Независимые сессии могут выполняться параллельно на ONNX Runtime 1.28.3 и новее внутри ветки 1.28, на 1.30.1 и новее внутри 1.30, а также на 1.31 и последующих версиях. Остальные поддерживаемые сочетания, включая ветку 1.29, используют последовательный режим совместимости.

В этом режиме приложение само должно сериализовать операции WebGPU на одном устройстве: создание и удаление сессий, выделение памяти, привязку входов и выходов, переносы и Run. Плагин не обеспечивает такое упорядочивание автоматически. Даже параллельный режим не разрешает перекрывать I/O binding и Run внутри одной сессии.

Что это даёт разработчику

Параллельная обработка может пригодиться, например, сервису с двумя независимыми моделями. Но просто поставить новый плагин недостаточно: сначала проверьте пару версий и организацию вызовов. В разборе совместимости разработчика отдельно зафиксирован отказ ядра 1.26.0 при проверке версии плагина. Принудительный последовательный режим его не устраняет.

Релиз также расширяет поддержку attention, MoE и квантованных операций. Это не готовая цифра ускорения для вашей модели. Критерий перехода — корректная работа нужного сочетания ядра, плагина и нагрузки; производительность стоит измерять отдельно.