Self-Flow: обучение диффузионных моделей без внешних энкодеров от Black Forest …

Black Forest Labs и MIT решили проблему, с которой сталкиваются диффузионные и flow-модели: чтобы генерировать качественные картинки, им нужны сильные семантические представления. Обычно их берут снаружи – выравнивают внутренние признаки модели с признаками энкодера вроде DINOv2. Метод работает, но есть нюанс.

Чем сильнее энкодер, тем хуже результат: в экспериментах замена DINOv2-B на более мощный DINOv3-H+ стойко ухудшала FID. Модель привязывалась к фиксированным внешним представлениям и переставала масштабироваться. На видео и аудио выравнивание с энкодерами V-JEPA2 и MERT вообще давало результат хуже ванильного flow matching.

🟡Self-Flow предлагает механизм Dual-Timestep Scheduling

В стандартном flow matching все токены нойзятся одинаково, поэтому модель решает задачу локально и не учится строить глобальные связи. Self-Flow сэмплирует 2 разных уровня шума и случайно назначает их разным токенам (часть входа зашумлена сильнее, часть чище). Это создает асимметрию: чтобы восстановить сильно зашумленные токены, модель вынуждена опираться на чистые и строить глобальный контекст.

Поверх этого работает самообучение по принципу дистилляции. Обучаются одновременно 2 копии модели: модель-ученик видит смешанный зашумленный вход, модель-учитель – более чистую версию (EMA-копия с экспоненциальным скользящим средним).

Ученик учится предсказывать признаки учителя из зашумленного входа, и это вынуждает его развивать сильные семантические представления без какого-либо внешнего энкодера.

🟡Результаты тестов

🟢На ImageNet 256×256 Self-Flow показал FID 5.70 против 5.89 у REPA;

Это, кстати, первый случай, когда self-supervised метод превзошел внешнее выравнивание на этом бенче

🟢На text-to-image: FID 3.61 против 3.92 у REPA;

🟢По видео: FVD 47.81 против 49.75 у REPA;

🟢По аудио: лучшие FAD-оценки среди всех вариантов.

При этом на масштабировании (с 290M до 1B) разрыв с REPA увеличивается: модель Self-Flow на 625M параметров обходит REPA на 1B.

Метод универсален для модальностей – он работает одинаково на картинках, видео и аудио, что намекает на применение для мультимодального обучения.

В репозитории проекта есть код инференса на основе SiT-XL/2 с per-token timestep conditioning, чекпоинт на основе ImageNet 256×256 и скрипты для генерации сэмплов под FID-оценку через ADM evaluation suite. Поддерживаются режимы SDE и ODE, мульти-GPU через torchrun.

🟡Статья
🟡Техотчет
🖥GitHub

@ai_machinelearning_big_data

#AI #ML #Multimodal #Framework #BFL