🌟 CogVideoX Factory: оптимизация файнтюна моделей генерации видео семейства CogVideoX.
CogVideoX Factory – репозиторий с набором скриптов для эффективного файнтюна моделей семейства
CogVideoX (CogVideoX-2B и CogVideoX-5B) с фокусом на оптимизацию VRAM. CogVideoX Factory позволяет выполнять обучение на GPU с 24 GB.
Проект предоставляет гибкость в выборе между LoRA и файнтюном всей модели для задач “text-to-video” и “IMG-to-video”.
Чтобы сделать возможным файнтюн на ограниченных ресурсах, CogVideoX использует методы оптимизации:
🟢CPUOffloadOptimizer – перемещает обучаемые параметры и градиенты модели в CPU, освобождая память GPU для других операций;
🟢DeepSpeed Zero2 – распределяет параметры модели по нескольким GPU, что позволяет обучать большие модели, которые иначе не поместились бы в память одного GPU;
🟢LoRA – метод тонкой настройки, который изменяет только небольшое подмножество параметров модели, сохраняя при этом основную часть весов неизменной.
CogVideoX Factory предлагает сценарии обучения:
🟠LoRA для “text-to-video”: cкрипт train_text_to_video_lora.sh
;
🟠LoRA для “IMG-to-video”: cкрипт train_image_to_video_lora.sh
;
🟠SFT всей модели для “text-to-video”: скрипт train_text_to_video_sft.sh
.
⚠️ Предварительная подготовка данных – один из важнейших условий CogVideoX Factory. Скрипт prepare_dataset.py
играет ключевую роль в этом процессе, преобразуя видео и аннотации в латенты и эмбединги. Использование предварительно вычисленных латентов и эмбедингов позволяет не загружать VAE и T5 во время обучения.
CogVideoX Factory предлагает подробную документацию, в которой объясняются шаги по подготовке датасетов, настройке параметров обучения, запуску инференса, информацию о требованиях к памяти для каждой модели и конфигурации, помогая принять корректные решения о выборе стратегии обучения.
📌Лицензирование : Apache 2.0 License.
🖥Github
@ai_machinelearning_big_data
#AI #ML #LoRA #T2V #IMG2V #Finetune