Три модели, один энкодер: hf CLI перестал хранить лишние копии Xet-файлов

26 октября Hugging Face подвела итог обновлениям hf CLI и huggingface_hub. Общий кеш теперь хранит один и тот же Xet-файл единожды, даже если он нужен нескольким репозиториям: это экономит загрузки и место под модели.

Один энкодер вместо трёх копий

В примере разработчиков FLUX.1-dev, FLUX.1-schnell и FLUX.1-Krea-dev используют одинаковый текстовый энкодер размером 9,5 ГБ. Общая копия занимает 9,5 ГБ вместо 28,6 ГБ. Для этого механизма, по сообщению команды, отдельная настройка не нужна.

Иллюстрация: Hugging Face. Статичный кадр демонстрации общего кеша.

Удалять стало точнее: hf cache rm принимает путь к отдельному файлу, например одной квантованной версии GGUF. Команда hf cache prune очищает общие файлы, на которые больше не ссылается ни один репозиторий.

Меньше ручного обслуживания

В Jobs появились повторы после сбоя и повторный запуск с прежним оборудованием и секретами. Для скриптов полезно другое изменение: hf jobs stats возвращает снимок состояния и завершает работу; следить за обновлениями можно с флагом -f.

Экспериментальные Sandboxes позволяют запускать код в отдельных облачных машинах. Это самостоятельная возможность сервиса, а не свойство локального кеша и не гарантия безопасности произвольного агента.

Что проверить перед обновлением

Полный перечень изменений есть в release notes. Обновления выходили в течение нескольких недель; дата обзора не означает, что всё появилось одним релизом.

Выигрыш кеша относится к одинаковым Xet-файлам. Он не уменьшает разные веса разных моделей и сам по себе не ускоряет генерацию. Если вы держите несколько родственных моделей, сначала проверьте, какие крупные файлы у них действительно общие.