⚡️ FLUX: SOTA Text-to-image модели от BlackForest.

lack Forest Labs, компания, основанная командой разработки, покинувшей SatbilityAI (Stable Diffusion) опубликовала пресс-релиз с презентаций своего семейства GenAI моделей FLUX версии 1.

Представленное семейство FLUX.1 определяет новый уровень детализации изображения, точного следования промпту, разнообразия стилей и сложности сцен для синтеза текста в изображение. 

⚡️ FLUX: SOTA Text-to-image модели от BlackForest.

Каждая вариация семейства FLUX.1 поддерживают популярные соотношения сторон и разрешения от 0,1 (128х) до 2,0(2048х) мегапикселя.

FLUX.1 выпускается в трех вариантах: FLUX.1 pro, FLUX.1 dev и FLUX.1 schnell:

🟠FLUX.1 pro. Старшая и лучшая модель в семействе, доступная только по подписке через API и на онлайн-сервисах Replicate и FalAI. Подписка доступна частным лицам и корпоративным пользователям. Стоимость подписки – 0.05USD за изображение 1024х1024 при 50 шагах генерации;

🟢FLUX.1 dev. Открытая модель для некоммерческого использования. Оптимизирована методом дистилляции из версии FLUX.1 pro, что сделало ее менее требовательной к потреблению VRAM, повысило скорость инференса при незначительной деградации качества и точности. Веса модели доступны на Huggingface. Для коммерческой эксплуатации нужно запрашивать лицензию у разработчика.

⚡️ FLUX: SOTA Text-to-image модели от BlackForest.

🟢FLUX.1 schnell. Младшая и самая быстрая модель, предназначенная для локальной разработки и личного использования. Версия schnell распространяется под лицензией Apache2.0 и опубликована в открытом доступе на Huugingface. 

Код инференса можно найти на Github проекта или использовать поддержку модели в ComfyUI.

⚡️ FLUX: SOTA Text-to-image модели от BlackForest.

Все модели FLUX.1 основаны на гибридной архитектуре мультимодальных и параллельных блоков трансформеров диффузии и масштабированы до 12B параметров. 

Улучшения предыдущих диффузионных моделей проведено за счет использования согласования потоков – концептуально простого метода обучения, который включает диффузию как частный случай. 

Повышение производительности модели и эффективность использования аппаратного обеспечения  получено за счет использования rotary positional embeddings и параллельных слоев внимания.

Более подробный технический отчет разработчики обещают опубликовать в ближайшем будущем.

Локальный запуск с автозагрузкой моделей dev и schell с выводом cli или с UI Streamlit:

# Clone repo and install dependences

cd $HOME && git clone https://github.com/black-forest-labs/flux

cd $HOME/flux

python3.10 -m venv .venv

source .venv/bin/activate

pip install -e ‘.[all]’

# Download dev or schnell automatically via HuggingFace you will need to be logged in HF

# For manual downloaded models you can specify the paths via environment-variables:

export FLUX_SCHNELL=<path_to_flux_schnell_sft_file>

export FLUX_DEV=<path_to_flux_dev_sft_file>

export AE=<path_to_ae_sft_file>

# For cli interactive sampling run

python -m flux –name <name> –loop

# Or to generate a single sample run

python -m flux –name <name> \

  –height <height> –width <width> \

  –prompt “<prompt>”

# streamlit demo that does both text-to-image and image-to-image

streamlit run demo_st.py

🟡Страница проекта https://blackforestlabs.ai/
🟡Модель dev на HF https://huggingface.co/black-forest-labs/FLUX.1-dev
🟡Модель schnell на HF https://huggingface.co/black-forest-labs/FLUX.1-schnell
🟡Demo на FalAI (FLUX Pro) https://fal.ai/models/fal-ai/flux/dev
🟡Demo на FalAI (FLUX dev) https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell
🟡Demo на HF (FLUX.1 schnell) https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell

Github [ Stars: 1.3K | Issues: 11 | Forks: 52] https://github.com/black-forest-labs/flux

#AI  #FLUX  #Diffusers #Text2Image #Image2Image #GenAI

+1
0
+1
0
+1
0
+1
0
+1
1

Ответить

Ваш адрес email не будет опубликован. Обязательные поля помечены *