Текстовая LFM3 рассчитана примерно на 1 ГБ — сложный код ей пока не советуют
Liquid AI выпустила семейство компактных моделей. Для LFM3-1.7B важны условия квантизации, собственные задачи и ограничения, указанные разработчиком.
Локальному помощнику для коротких запросов не всегда нужна большая модель. 27 октября Liquid AI представила семейство LFM3, включая текстовую LFM3-1.7B: разработчик указывает около 1 ГБ памяти при четырёхбитном представлении, но отдельно не рекомендует её для агентного программирования и сложных многошаговых рассуждений.
Один небольшой помощник вместо универсального
Представим приложение, которое по запросу пользователя заполняет поля карточки или выбирает доступный инструмент. Для такого сценария важны формат ответа, задержка и правильность вызова функции. Окончательную пригодность покажет проверка на собственных примерах, а не число параметров.
В карточке модели указаны 1,73 млрд параметров, окно 256 тысяч токенов и поддержка русского языка. Максимальная длина контекста и ориентир около гигабайта — разные характеристики; это не обещание полного рабочего приложения с максимальным контекстом в том же бюджете памяти.
Основа сочетает три вида обработки последовательности: 13 блоков коротких свёрток, пять блоков локального внимания и шесть полного внимания. Ниже — схема разработчика, а не результат нашего тестирования.
Схема: Liquid AI.
Что проверить до выбора
Для запуска предложены разные варианты весов и среды, включая GGUF и MLX; условия использования заданы LFM Open License v1.0. Совместимость конкретной сборки и лицензию нужно проверить до внедрения. Одна поддержка языка не гарантирует точности ответов в вашей предметной области.
Критерий выбора — доля правильно выполненных собственных задач при приемлемой задержке. Если запрос требует сложного кода или длинной цепочки решений, ограничение, указанное самой командой, важнее привлекательного размера модели.
Обложка: Liquid AI.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.