Речь на Arm обработали вдвое быстрее — ждать аудиофрагмент всё равно придётся

26 октября инженеры Arm показали в блоге PyTorch, как ускорить потоковое распознавание речи через ExecuTorch. На Pixel 11 включение SME2 сократило обработку записи в FP16 с 9,79 до 4,61 секунды, но это не время ожидания первой строки.

Что известно

В опыте использовали Nemotron 3.5, запись длиной 24,9 секунды и фрагменты по 1 120 мс. Работал один вычислительный поток, закреплённый за средним ядром CPU. Две сборки ExecuTorch 1.3.1 отличались поддержкой SME2; перед измерением сделали два прогрева и один запуск с трассировкой. Для INT8 QC8W время уменьшилось с 5,20 до 3,24 секунды.

SME2 ускоряет матричные вычисления. Однако распознавание начинается после накопления очередного фрагмента звука: запас вычислительной скорости эту задержку не отменяет.

Что это меняет

Длину фрагмента нужно выбирать вместе с точностью. На отдельной проверке 14 019 высказываний из четырёх корпусов увеличение фрагмента с 80 до 1 120 мс снизило WER для FP16 с 15,2% до 11,5%. Меньше ошибок здесь оплачивается более долгим ожиданием аудио.

Графики: Josiah Davis и Kshitij Sisodia, Arm / PyTorch Blog. Проверка WER выполнена на хосте, а время обработки записи — на Pixel 11.

Что ещё неясно

Это измерения авторов разбора, а не независимый тест всех телефонов. Они не устанавливают задержку интерфейса или устойчивость при длительном нагреве. Практический вывод: сначала задать допустимые ошибки и ожидание текста, затем проверять выбранную конфигурацию на своём устройстве.