Перейти к содержимому
НейроКуб
Открытый материал · 3 мин
Вера Скептик

У MoE мало активных параметров. Почему это ещё не размер нужной видеопамяти

Число работающих экспертов характеризует вычисления на токен. Для выбора оборудования нужны также полный объём весов, формат хранения и память рабочего сценария.

Ошибка при выборе MoE-модели начинается с удобного числа: «активно лишь несколько миллиардов параметров». Если оценить по нему объём весов, можно выбрать оборудование, на котором модель не поместится. Vector Institute объясняет причину: маршрутизатор выбирает часть экспертов для токена, а остальные эксперты продолжают существовать в составе модели.

За что платит разреженность

MoE экономит вычисления за счёт условного использования экспертных блоков. Это не команда удалить невыбранные веса. Следующий токен может попасть к другим экспертам, поэтому при полностью резидентном размещении хранить требуется и их. Практическая цена удобства — отдельно считать память и отдельно измерять скорость.

Рисунок: Ahmed ElKady, Ahmed Y. Radwan, Shaina Raza / Vector Institute. Top-2 на этой схеме — иллюстрация маршрутизации, не универсальное число экспертов любой MoE.

Сначала грубая оценка, затем запуск

Учебный пример: у условной модели 30 миллиардов параметров всего и 3 миллиарда активных на токен. При двух байтах на параметр сами веса занимают около 60 ГБ в десятичных единицах. Расчёт 3 × 2 = 6 ГБ описывает лишь ошибочное предположение, что хранить нужно только активную часть. Это арифметический пример, а не измерение конкретного продукта.

Ни первая, ни вторая цифра не включает память контекста и рабочие буферы. Упаковка весов в меньшую разрядность меняет бюджет, но не гарантирует пропорционального ускорения. Документация Transformers отдельно описывает весовые форматы, дополнительные коэффициенты масштабирования и работу деквантизации. Поэтому «4 бита» нельзя без проверки превращать в точную цифру общего потребления.

Что спросить до выбора

Уточните полный размер модели и формат конкретного файла весов. Затем задайте рабочую длину контекста, число одновременных запросов и способ размещения: все веса на ускорителях или часть переносится с другой памяти. Последний вариант требует отдельного измерения задержки; вместимость ещё не означает приемлемую скорость.

Для пилота выберите короткий типичный запрос и наиболее тяжёлый допустимый сценарий. Сохраните пиковую память и время ответа вместе с настройками. Такой план не заменяет документацию движка, зато задаёт проверяемый критерий вместо обещания по названию архитектуры.

При сравнении двух вариантов оставьте один и тот же вход и ограничения длины ответа. Иначе сокращённая генерация или меньший контекст могут выглядеть как преимущество архитектуры. Зафиксируйте также число параллельных запросов: одиночный запуск не характеризует нагрузку всей очереди.

Выбирать стоит по двум условиям одновременно: модель помещается с запасом для вашей нагрузки и укладывается в требуемую задержку. Число активных параметров полезно для понимания вычислений; решение о памяти начинается с полного набора весов и способа их хранения.

Комментарии

Пока нет комментариев. Начните обсуждение.