llama.cpp исправила тихую ошибку WebGPU: маски attention учитывали не все головы
Исправление вошло в b12441. Оно касается отдельных масок для голов attention; тесты разработчика не заменяют проверку своей модели и устройства.
В llama.cpp исправили ошибку WebGPU: при отдельных масках для голов attention вычисления могли давать неверный результат. Изменение принято 16 ноября; оно важно разработчикам локального ИИ, использующим этот режим, а не всем владельцам видеокарт.
Где ошибался расчёт
Механизм attention помогает модели учитывать разные части входа. Его головы выполняют несколько параллельных вычислений, а маска ограничивает доступ к определённым позициям. По описанию разработчика, Inkling 2 использует отдельный срез маски для каждой головы. Шейдеры WebGPU не учитывали это измерение и обращались к маске неправильно.
Исправление добавляет учёт головы вместо отказа от такой операции. В том же изменении согласовали расчёт общей памяти с тем, как её фактически использует шейдер: некоторые сочетания форматов K и V прежде выходили за лимит рабочей группы.
Что проверить перед обновлением
Автор PR сообщил о 3996 пройденных проверках операции на WebGPU с NVIDIA, включая 48 случаев масок по головам. Это отчёт разработчика о конкретном тестовом наборе, а не независимое доказательство корректности всех моделей и устройств.
Изменение вошло в предварительную сборку b12441. Если приложение использует WebGPU и такие маски, разумный следующий шаг — проверить сборку с исправлением на своей модели и контрольном входе. Пользователям других вычислительных режимов этот PR сам по себе не обещает улучшения.
Исправлена конкретная ветка вычислений. Успешный запуск модели ещё не доказывает, что все её операции отработали верно; при смене сборки полезно сверять результат, а не только отсутствие ошибки запуска.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.