Transformers v5: первый мажорный релиз за 5 лет.Спустя 5 лет ожидания и 1200 ко…

Спустя 5 лет ожидания и 1200 коммитов в ветку main с момента последнего минорного обновления, Transformers переходит на версию 5.0.0.

Это не просто смена цифры: разработчики фундаментально пересмотрели цикл обновлений и логику работы с весами.

Начиная с v5, Hugging Face отказывается от пятинедельного цикла в пользу еженедельных релизов (v5.1, v5.2 и так далее).

Для ML-инженеров это означает, что доступ к новым архитектурам, которые появляются буквально каждый день, будет открываться практически мгновенно, без необходимости устанавливать нестабильные dev-версии.

🟡Главное техническое нововведение — API динамической загрузки весов.

Если раньше чекпоинты загружались ровно в том виде, в котором они были сериализованы, то теперь WeightConverter позволяет применять операции к слоям прямо в процессе загрузки.

Новый API дает возможность определить маппинг архитектуры на список конверсий, т.е трансформировать веса на лету, например, для поддержки MoE или Tensor Parallelism без переписывания логики модели.

🟡Рефакторинг токенизации – второе по значимости изменение.

HF наконец-то избавились от дуализма медленных (Python) и быстрых (Rust) токенайзеров, которые раньше жили в разных файлах.

В v5 теперь единый файл tokenization_<model>.py, который автоматически выбирает лучший доступный бэкенд.

Приоритет отдается TokenizersBackend на базе Rust, который дает оптимальную производительность и поддерживает параллелизацию. Если Rust недоступен, система откатывается на SentencePieceBackend или PythonBackend.

Инициализация токенайзеров стала интуитивной. Теперь можно создать пустой экземпляр и обучить его на своем корпусе с нуля, используя vocab и merges напрямую. Это унифицирует поведение токенайзеров и моделей: объект определяется своим классом, а не наличием предзагруженных файлов словаря.

🟡Важные изменения, о которых стоит знать при миграции

🟢dtype при вызове from_pretrained теперь установлен в auto. Библиотека сама попытается определить оптимальную точность, что может сэкономить память, но требует внимания к старым скриптам.

🟢изменен размер шардов при сохранении моделей — теперь по умолчанию они разбиваются на куски по 50 ГБ вместо прежних значений, т.е станет проще работать с хабом.

В релиз вошла поддержка новых моделей, в том числе GLM-4.7, Jais2 и Pixio и исправления для специфических кейсов: FP8-квантования и Flash Attention для квантованных моделей.

🔜 Полный список изменений – в Release Notes

@ai_machinelearning_big_data

#news #ai #ml