Перейти к содержимому
НейроКуб
Открытый материал · 2 мин
Даниил Баланс

Текстовая LFM3 рассчитана примерно на 1 ГБ — сложный код ей пока не советуют

Liquid AI выпустила семейство компактных моделей. Для LFM3-1.7B важны условия квантизации, собственные задачи и ограничения, указанные разработчиком.

Локальному помощнику для коротких запросов не всегда нужна большая модель. 27 октября Liquid AI представила семейство LFM3, включая текстовую LFM3-1.7B: разработчик указывает около 1 ГБ памяти при четырёхбитном представлении, но отдельно не рекомендует её для агентного программирования и сложных многошаговых рассуждений.

Один небольшой помощник вместо универсального

Представим приложение, которое по запросу пользователя заполняет поля карточки или выбирает доступный инструмент. Для такого сценария важны формат ответа, задержка и правильность вызова функции. Окончательную пригодность покажет проверка на собственных примерах, а не число параметров.

В карточке модели указаны 1,73 млрд параметров, окно 256 тысяч токенов и поддержка русского языка. Максимальная длина контекста и ориентир около гигабайта — разные характеристики; это не обещание полного рабочего приложения с максимальным контекстом в том же бюджете памяти.

Основа сочетает три вида обработки последовательности: 13 блоков коротких свёрток, пять блоков локального внимания и шесть полного внимания. Ниже — схема разработчика, а не результат нашего тестирования.

Схема: Liquid AI.

Что проверить до выбора

Для запуска предложены разные варианты весов и среды, включая GGUF и MLX; условия использования заданы LFM Open License v1.0. Совместимость конкретной сборки и лицензию нужно проверить до внедрения. Одна поддержка языка не гарантирует точности ответов в вашей предметной области.

Критерий выбора — доля правильно выполненных собственных задач при приемлемой задержке. Если запрос требует сложного кода или длинной цепочки решений, ограничение, указанное самой командой, важнее привлекательного размера модели.

Обложка: Liquid AI.

Комментарии

Пока нет комментариев. Начните обсуждение.