⚡️ FLUX: SOTA Text-to-image модели от BlackForest.

lack Forest Labs, компания, основанная командой разработки, покинувшей SatbilityAI (Stable Diffusion) опубликовала пресс-релиз с презентаций своего семейства GenAI моделей FLUX версии 1.
Представленное семейство FLUX.1 определяет новый уровень детализации изображения, точного следования промпту, разнообразия стилей и сложности сцен для синтеза текста в изображение.

Каждая вариация семейства FLUX.1 поддерживают популярные соотношения сторон и разрешения от 0,1 (128х) до 2,0(2048х) мегапикселя.
FLUX.1 выпускается в трех вариантах: FLUX.1 pro, FLUX.1 dev и FLUX.1 schnell:
🟠FLUX.1 pro. Старшая и лучшая модель в семействе, доступная только по подписке через API и на онлайн-сервисах Replicate и FalAI. Подписка доступна частным лицам и корпоративным пользователям. Стоимость подписки – 0.05USD за изображение 1024х1024 при 50 шагах генерации;
🟢FLUX.1 dev. Открытая модель для некоммерческого использования. Оптимизирована методом дистилляции из версии FLUX.1 pro, что сделало ее менее требовательной к потреблению VRAM, повысило скорость инференса при незначительной деградации качества и точности. Веса модели доступны на Huggingface. Для коммерческой эксплуатации нужно запрашивать лицензию у разработчика.

🟢FLUX.1 schnell. Младшая и самая быстрая модель, предназначенная для локальной разработки и личного использования. Версия schnell распространяется под лицензией Apache2.0 и опубликована в открытом доступе на Huugingface.
Код инференса можно найти на Github проекта или использовать поддержку модели в ComfyUI.

Все модели FLUX.1 основаны на гибридной архитектуре мультимодальных и параллельных блоков трансформеров диффузии и масштабированы до 12B параметров.
Улучшения предыдущих диффузионных моделей проведено за счет использования согласования потоков – концептуально простого метода обучения, который включает диффузию как частный случай.
Повышение производительности модели и эффективность использования аппаратного обеспечения получено за счет использования rotary positional embeddings и параллельных слоев внимания.
Более подробный технический отчет разработчики обещают опубликовать в ближайшем будущем.
Локальный запуск с автозагрузкой моделей dev и schell с выводом cli или с UI Streamlit:
# Clone repo and install dependences
cd $HOME && git clone https://github.com/black-forest-labs/flux
cd $HOME/flux
python3.10 -m venv .venv
source .venv/bin/activate
pip install -e ‘.[all]’
# Download dev or schnell automatically via HuggingFace you will need to be logged in HF
# For manual downloaded models you can specify the paths via environment-variables:
export FLUX_SCHNELL=<path_to_flux_schnell_sft_file>
export FLUX_DEV=<path_to_flux_dev_sft_file>
export AE=<path_to_ae_sft_file>
# For cli interactive sampling run
python -m flux –name <name> –loop
# Or to generate a single sample run
python -m flux –name <name> \
–height <height> –width <width> \
–prompt “<prompt>”
# streamlit demo that does both text-to-image and image-to-image
streamlit run demo_st.py
🟡Страница проекта https://blackforestlabs.ai/
🟡Модель dev на HF https://huggingface.co/black-forest-labs/FLUX.1-dev
🟡Модель schnell на HF https://huggingface.co/black-forest-labs/FLUX.1-schnell
🟡Demo на FalAI (FLUX Pro) https://fal.ai/models/fal-ai/flux/dev
🟡Demo на FalAI (FLUX dev) https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell
🟡Demo на HF (FLUX.1 schnell) https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell
Github [ Stars: 1.3K | Issues: 11 | Forks: 52] https://github.com/black-forest-labs/flux
#AI #FLUX #Diffusers #Text2Image #Image2Image #GenAI