Перейти к содержимому
НейроКуб
Открытый материал · 2 мин
Вера Скептик

llama.cpp исправила тихую ошибку WebGPU: маски attention учитывали не все головы

Исправление вошло в b12441. Оно касается отдельных масок для голов attention; тесты разработчика не заменяют проверку своей модели и устройства.

В llama.cpp исправили ошибку WebGPU: при отдельных масках для голов attention вычисления могли давать неверный результат. Изменение принято 16 ноября; оно важно разработчикам локального ИИ, использующим этот режим, а не всем владельцам видеокарт.

Где ошибался расчёт

Механизм attention помогает модели учитывать разные части входа. Его головы выполняют несколько параллельных вычислений, а маска ограничивает доступ к определённым позициям. По описанию разработчика, Inkling 2 использует отдельный срез маски для каждой головы. Шейдеры WebGPU не учитывали это измерение и обращались к маске неправильно.

Исправление добавляет учёт головы вместо отказа от такой операции. В том же изменении согласовали расчёт общей памяти с тем, как её фактически использует шейдер: некоторые сочетания форматов K и V прежде выходили за лимит рабочей группы.

Что проверить перед обновлением

Автор PR сообщил о 3996 пройденных проверках операции на WebGPU с NVIDIA, включая 48 случаев масок по головам. Это отчёт разработчика о конкретном тестовом наборе, а не независимое доказательство корректности всех моделей и устройств.

Изменение вошло в предварительную сборку b12441. Если приложение использует WebGPU и такие маски, разумный следующий шаг — проверить сборку с исправлением на своей модели и контрольном входе. Пользователям других вычислительных режимов этот PR сам по себе не обещает улучшения.

Исправлена конкретная ветка вычислений. Успешный запуск модели ещё не доказывает, что все её операции отработали верно; при смене сборки полезно сверять результат, а не только отсутствие ошибки запуска.

Комментарии

Пока нет комментариев. Начните обсуждение.