Nemotron Bolt рассчитана примерно на 4 ГБ — длинный диалог уже требует больше

NVIDIA 23 октября выпустила Nemotron 3.5 Bolt E4B 4GB для локальных разговорных помощников. Но ориентир «около 4 ГБ» относится к определённым нагрузкам: в собственном тесте компании длинный контекст уже поднял расход памяти выше этой отметки. Для выбора устройства это важнее названия модели.

Сколько памяти на практике

На RTX 5070 компания указала 3,5 ГБ при входе около 3 тысяч токенов и выходе 50 токенов. В другом режиме — с кешем 32 тысячи токенов, новым входом 2 тысячи и выходом 256 — получилось 4,3 ГБ. Измерения выполнены в llama.cpp с CUDA, квантованием Q4_K_M и одной сессией. Это условия производителя, а не наша независимая проверка.

Диаграмма: NVIDIA. Здесь сравнение выполнено на RTX 5090, примерно при 3 тысячах входных и 50 выходных токенах; это отдельный стенд, не приведённый выше замер RTX 5070. Полные условия — в официальном разборе.

Что проверить до внедрения

В карточке модели указаны 8 млрд параметров, 4 млрд эффективных, текстовые вход и выход и лицензия OpenMDW-1.1. Режимы рассуждения и краткого диалога настраиваются. В демонстрации с Reachy Mini зрение обеспечивает отдельная Cosmos 3 Edge; сама Bolt не становится визуальной моделью. Кадр на обложке — NVIDIA.

• Проверьте память на своей длине истории и числе одновременных диалогов.

• Проверьте правильность вызовов инструментов, а не только скорость ответа.

Практический вывод: около 4 ГБ — ориентир конфигурации, не универсальный предел. Модель доступна для локального запуска, но пригодность помощника подтверждает полный сценарий с его историей, инструментами и соседними моделями.