Перейти к содержимому
НейроКуб
Открытый материал · 2 мин
Даниил Баланс

Helion сократил цену быстрого старта: настройки ядра выбираются без перебора

Эвристики компилятора приблизили скорость некоторых ядер к автотюнингу. Результаты относятся к конкретным тестам на NVIDIA, а не ко всей модели.

Раньше разработчику ядра Helion приходилось выбирать между слабой настройкой по умолчанию и затратным перебором конфигураций. Теперь эвристики времени компиляции дают ещё один вариант: подобрать параметры из структуры вычислений без автотюнинга.

В публикации PyTorch от 12 ноября объясняется механизм. Компилятор распознаёт матричные операции, редукции или поэлементные вычисления и оценивает потребность в регистрах и памяти. На этой основе выбираются размеры блоков, число групп потоков и стадии конвейера.

По замерам разработчиков на H100, для проверенного набора линейного внимания эвристика дала 1,18× скорости рукописного FLA Triton в прямом проходе. Старый вариант без настройки давал 0,52×, а полный автотюнинг — 1,26×. Это геометрическое среднее по набору конфигураций, не обещание одинакового выигрыша для каждого ядра.

Схема на обложке и график: Caleb Min Sup Kim, Ethan Che, Jongsok Choi, Jason Ansel / PyTorch. Условия сравнения и различия прямого и обратного проходов сохранены на рисунке.

Эвристики уже включены по умолчанию для H100 и B200 с Triton. Если размеры вычислений неизвестны при компиляции, механизм может вернуться к прежней конфигурации. Оценка ресурсов приблизительна; встречаются и регрессии. Независимую проверку этих замеров здесь не проводили.

Выбор теперь зависит от задачи: для быстрого эксперимента полезна конфигурация без поиска. Для фиксированного набора размеров, который будет многократно работать в продукте, разовый полный автотюнинг по-прежнему может окупиться.

Комментарии

Пока нет комментариев. Начните обсуждение.