10 лучших open-source генераторов видео (2025)

1. HunyuanVideo (text-to-video)

Описание: HunyuanVideo – крупнейшая на сегодняшний день открытая модель генерации видео от Tencent с ~13 млрд параметров​

modal.com. Она основана на диффузионной архитектуре и может создавать реалистичные видеоролики по текстовому описанию. По заявлению авторов, качество HunyuanVideo сопоставимо или превосходит закрытые коммерческие модели (например, Runway Gen-3 и Luma) по визуальному качеству, динамике движения и соответствию описанию​

ar5iv.org. Код и предобученные веса доступны в репозитории Tencent (GitHub: Tencent/HunyuanVideo).
Сильные стороны: Модель особенно сильна в генерации реалистичных видео с высокими деталями и сложными сценами. Она обеспечивает хорошую плавность движения и проработку текстур, благодаря обучению на обширных датасетах и архитектурным усовершенствованиям. HunyuanVideo показывает передовое качество среди open-source моделей и фактически сокращает разрыв с проприетарными системами​

ar5iv.org.
Результаты на бенчмарках: В профессиональной оценке (human evaluation) HunyuanVideo превзошла предыдущие state-of-the-art модели; например, её качество выше, чем у Runway Gen-3 (закрытая модель)​

ar5iv.org. Для объективных метрик: авторы указывают, что HunyuanVideo достигла нового уровня по FVD, IS и CLIP-score, однако точные значения не приводятся публично. Модель стабильно лидирует в пользовательских рейтингах (например, в сообществе HuggingFace она занимает верхние строчки популярности)​

modal.com.
Применение: HunyuanVideo подходит для задач, требующих фотореалистичного видео по описанию: от производства контента в маркетинге и образовании до прототипирования сцен для кино и игр​

ar5iv.org. Благодаря высокой детальности, её можно использовать там, где важна реалистичность – например, в визуализации концептов, создании коротких фильмов или научных визуализаций.
Необходимые ресурсы: Модель очень требовательна: для генерации видео ~5 секунд в разрешении 720p требуется минимум ~45–60 ГБ видеопамяти, а для оптимального качества рекомендуется GPU с 80 ГБ VRAM (например, NVIDIA A100 80GB)​

huggingface.co. Разработчики предоставили FP8-версии весов, позволяющие существенно снизить потребление памяти​

modal.com, а также поддержку параллельного инференса на нескольких GPU. Для базового использования обычно необходимы серверные GPU (A100/H100), но с пониженной точностью можно запускать и на менее мощных картах при уменьшенных разрешении или длительности видео.

2. Mochi (text-to-video)

Описание: Mochi – высококачественная open-source модель генерации видео от компании Genmo. Размер модели ~10 млрд параметров​

modal.com. Она была представлена в октябре 2024 г. и быстро стала популярной благодаря сочетанию качества и открытости. Mochi распространяется под лицензией Apache 2.0​

mimicpc.com, что допускает свободное коммерческое использование. Репозиторий доступен на GitHub (genmoai/mochi).
Сильные стороны: Mochi специализируется на генерации реалистичных видео с плавным движением. Модель обеспечивает высокую чёткость кадров и хорошую связность между ними, достигая плавности до 30 FPS​

mimicpc.com. Отличается точным следованием заданному текстовому описанию и детальной прорисовкой движений – вплоть до реалистичной физики объектов (волосы, жидкости и т.д.)​

mimicpc.com. По качеству видео Mochi сопоставима с HunyuanVideo: на краудсорсинговых лидербордах она занимает позиции рядом с Hunyuan​

modal.com, уступая лишь незначительно в некоторых сценах.
Результаты на бенчмарках: Согласно отзывам сообщества, Mochi демонстрирует почти столь же высокое визуальное качество, как и более крупные модели. В неформальных тестах пользователей её видео получают высокие оценки по чёткости и соответствию промту (на портале ArtificialAnalysis Mochi находится в числе лидеров)​

modal.com. Официальные метрики вроде FVD или CLIP-score для Mochi не опубликованы, но субъективно модель близка к state-of-the-art среди открытых систем.
Применение: Mochi хорошо подходит для широкого круга задач: создание рекламных клипов, концептуальных роликов, анимаций для соцсетей. Благодаря сочетанию качества и относительной простоты развёртывания (есть поддержка ComfyUI и даже возможность тонкой дообучения через LoRA​

modal.com), её выбирают как профессиональные создатели контента, так и независимые разработчики. Особенно эффективна Mochi в проектах, где нужны реалистичные сцены или плавная анимация персонажей.
Необходимые ресурсы: Модель Mochi более легковесна, чем флагманские 13B-модели, но всё же требует мощный GPU. Для генерации видео 5 секунд в базовом разрешении (~480p) рекомендуется видеокарта уровня NVIDIA RTX 3090/4090 с ~20 ГБ VRAM. Доступны оптимизированные версии весов: например, FP8 и INT8, позволяющие запускать Mochi даже на ~10 ГБ VRAM с небольшой потерей качества​

mimicpc.com. В целом желательно иметь ≥16 ГБ видеопамяти для комфортной работы, либо использовать методы квантования. Кроме VRAM, потребуется ~32 ГБ оперативной памяти и современный многоядерный CPU для быстрого построения кадров.

3. Wan2.1 (text-to-video, поддерживает image-to-video)

Описание: Wan2.1 – открытая модель второго поколения от Alibaba, продолжение серии ModelScope/WanVideo. Выпущенная в начале 2024 г., она содержит до 14 млрд параметров (есть также облегчённая версия ~1.3B)​

mimicpc.com. Wan2.1 позиционируется как универсальный генератор видео: способен как генерировать видео с нуля по тексту, так и достраивать видео/анимацию по одному входному изображению​

mimicpc.com. Код и модель опубликованы под лицензией Apache 2.0​

github.com(репозиторий: Wan-Video/Wan2.1).
Сильные стороны: Wan2.1 особенно силён в задачах синтеза движений и комбинированных режимах генерации. Модель славится умением плавно анимировать статичные изображения (image-to-video) и при этом выдавать качественное видео по текстовому описанию​

mimicpc.com. За счёт двух вариантов размерности (малого и большого) она может быть адаптирована под разные ресурсы. Wan2.1 отличается реалистичной передачей движений человека – одна из его настроек (SkyReels) дообучена на десятках миллионов клипов с людьми​

modal.com, что повышает правдоподобие человеческих действий.
Результаты на бенчмарках: Формальных цифр FVD/IS не опубликовано, но независимые тесты показывают высокое качество. В сообществе AI-видео Wan2.1 получила совокупный балл ~92% по визуальному качеству и ~65% по плавности движения (по результатам опросов на платформе X)​

mimicpc.com. Это свидетельствует о конкурентном уровне – модель близка по качеству к лидерам (Hunyuan, Mochi) и превосходит ранние открытые разработки.
Применение: Благодаря гибкости Wan2.1 подходит для разнообразных сценариев. Малую версию (1.3B) можно использовать для быстрых прототипов и интерактивных приложений, где важна скорость – например, генерация анимации из рисунка в реальном времени. Полноразмерная 14B-модель отлично справляется с созданием реалистичных видеороликов по описанию, пригодных для медиа-контента, визуализации идей в рекламных и креативных индустриях. Также Wan2.1 востребован для анимации изображений – оживления иллюстраций, превращения фотографий в короткие видео с заданным сюжетом.
Необходимые ресурсы: Для запуска полной 14B-модели требуется GPU высокого класса. Как правило, версия 14B нуждается в ~20–24 ГБ VRAM для генерации в невысоком разрешении, а для 720p-видео 5 с может потребоваться >30 ГБ. Однако облегчённая модель 1.3B существенно снижает требования – её можно запускать на потребительских видеокартах (например, 8–12 ГБ VRAM). Wan2.1 интегрирован в Diffusers и ComfyUI, поддерживает режимы ускорения (FP16/INT8), что позволяет гибко настроить баланс между качеством и производительностью. Рекомендуется NVIDIA RTX 3090/4090 или эквивалент, либо серверные A100 для максимального качества.

4. LTX-Video (text-to-video и image-to-video)

Описание: LTX-Video – модель от компании Lightricks, ориентированная на высокую скорость генерации видео. Это первая модель, основанная на архитектуре DiT (Diffusion Transformer) для видео, способная работать в реальном времени​

mimicpc.com. Размер модели ~2 млрд параметров​

mimicpc.com, что значительно меньше других флагманских моделей, благодаря чему LTX-Video генерирует 24 FPS видео (768×512) практически со скоростью воспроизведения. Исходный код открыт (Apache 2.0)​

github.comи доступен на GitHub (Lightricks/LTX-Video).
Сильные стороны: Главная сила LTX-Video – анимация и синтез движений с возможностью точного контроля. Модель поддерживает несколько ключевых кадров (keyframe conditioning) для задавания промежуточных состояний, что позволяет пользователю диктовать развитие сцены покадрово​

mimicpc.com. LTX-Video также минимизирует артефакты (мерцание текстур) и улучшает детализацию по сравнению с предыдущими быстрыми генераторами​

mimicpc.com. Её скорость – особое преимущество: на топовом GPU (NVIDIA L40S) модель генерирует ~5 секунд видео всего за ~50 секунд​

mimicpc.com, а на RTX 4090 можно достичь и опережения реального времени.
Результаты на бенчмарках: Благодаря новому подходу, LTX-Video не столько соревнуется в FVD или IS с более тяжёлыми моделями, сколько обеспечивает уникальное сочетание качества и скорости. В абляционных тестах показано сокращение типичных артефактов и высокая временная стабильность кадров​

mimicpc.com. Сообщество отмечает, что при 2B параметрах LTX-Video выдаёт удивительно хорошее качество для своего размера – визуально её результаты достигают ~70–80% уровня больших моделей, при кратно большей скорости. Формальных метрик мало, но сам факт генерации 768p видео с 24 FPS без заметных разрывов между кадрами – значимое достижение.
Применение: LTX-Video открывает новые возможности для интерактивных и производственных сценариев. Она отлично подходит для быстрого прототипирования видеосцен: создатели могут буквально «набросать» ключевые кадры или описания и мгновенно получить анимированный результат. Это полезно для режиссёров, блогеров, разработчиков игр – всех, кому нужна быстрая отдача. Также модель может применяться для генерации анимации с точным таймингом, например, при создании раскадровок, музыкальных клипов или визуальных эффектов, где важно подгонять действие под определённые моменты.
Необходимые ресурсы: LTX-Video примечательна тем, что способна работать на потребительских GPU. Для базового использования (низкие настройки) достаточно видеокарты уровня NVIDIA RTX 3060 (12 ГБ)​

mimicpc.com, хотя для достижения заявленной скорости реального времени рекомендуются флагманские модели (RTX 4090, Tesla L40S и т.д.). Модель поддерживает запуск на нескольких GPU и выгрузку частей вычислений на CPU, что позволяет работать даже при ограниченной памяти (<8 ГБ VRAM) с некоторым снижением скорости​

github.com. Таким образом, LTX-Video доступна широкому кругу пользователей: от владельцев игровых ПК до облачных развертываний, масштабируемых под задачи.

5. Pyramid Flow (text-to-video и image-to-video)

Описание: Pyramid Flow – новейшая исследовательская модель (ICLR 2025) от команды Kuaishou и университетов, предназначенная для генерации длительных высококачественных видео. Она использует оригинальный метод пирамидального согласования потоков (Pyramidal Flow Matching) для эффективного авторегрессионного синтеза видео​

github.com. В отличие от многих моделей, тренированных на закрытых данных, Pyramid Flow обучена исключительно на открытых датасетах, но способна генерировать ролики до 10 секунд в разрешении 768p и 24 FPS​

github.com. Модель поддерживает как текстовые описания, так и изображение на входе (например, может достраивать видео из заданного кадра)​

github.com. Код открыт под лицензией MIT​

techxplore.com; репозиторий: jy0205/Pyramid-Flow.
Сильные стороны: Pyramid Flow особенно силён в плавной генерации длинных сцен. За счёт алгоритма flow matching модель обеспечивает непрерывные переходы и естественное движение без разрывов даже на протяжённых роликах​

mimicpc.com. Поддерживается многоэтапное описание (multi-prompt) для сложных сценариев – можно задавать смену сцены или действия по ходу видео​

mimicpc.com. Модель универсальна – работает и в режиме text-to-video, и image-to-video. Качество визуальной детализации высокое, а временная согласованность кадров – отличительная черта (меньше дрожания и искажений при длительном генерировании).
Результаты на бенчмарках: Pyramid Flow установил новую планку среди открытых моделей по длительности и разрешению генерируемого видео. Хотя классические метрики (FVD, IS) для него ещё оцениваются сообществом, сам факт генерации 10-секундных видео 768p с устойчивой структурой персонажей и фонов – большое достижение​

mimicpc.com. В техническом отчёте заявлено улучшение показателей на контрольных наборах по сравнению с предшественниками. Например, внутренняя метрика «motion stability» (стабильность движения) значительно выше, чем у диффузионных трансформеров предыдущего поколения, что подтверждается субъективными демонстрациями​

github.com.
Применение: Благодаря способности генерировать более длительные сцены, Pyramid Flow подходит для создания полноценных видеороликов с развитием сюжета. Это ценно для контента в социальных медиа (где ролики 5–10 секунд – норма), рекламных зарисовок, музыкальных клипов. Возможность комбинировать текст и исходные изображения на входе делает модель полезной для задач стилизации видео – например, можно взять реальный кадр и развить вокруг него анимированную сцену. Также модель интересна исследователям как шаг к генерации ещё более длинных видео (близких к нарративным).
Необходимые ресурсы: Pyramid Flow сравнительно требователен – для работы с максимальными возможностями (768p, 10 с) рекомендуется высокопроизводительный GPU с ≥48 ГБ VRAM и ~32 ГБ RAM​

mimicpc.com. Минимально запуск возможен на видеокарте с ~12 ГБ памяти для видео меньшего разрешения или длины​

mimicpc.com. Разработчики отмечают, что с мульти-GPU инференсом и выгрузкой на CPU можно запускать модель даже при <8 ГБ VRAM, но с ухудшением скорости​

github.com. В оптимальной конфигурации (например, NVIDIA L40S или кластер из нескольких GPU) Pyramid Flow генерирует 10-секундный ролик за считанные десятки секунд.

6. CogVideo / CogVideoX (text-to-video)

Описание: CogVideo – одна из первых крупных моделей генерации видео по тексту, разработанная в THU (Университет Цинхуа). Изначальная версия (ICLR 2023) имела ~9 млрд параметров и применяла трансформер, обученный с нуля на парах «текст–видео», унаследовав знания от текст-изображение модели CogView2​

blog.segmind.com. В 2024 г. была представлена улучшенная серия CogVideoX с моделями 2 млрд и 5 млрд параметров, предлагающими более высокое качество и новые возможности (например, поддержку разных разрешений)​

awesome.ecosyste.ms. Исходный код доступен под Apache 2.0​

github.com(репозиторий: THUDM/CogVideo), модельные веса открыты для некоммерческого использования (версия 2B разрешена и для коммерции).
Сильные стороны: CogVideo известен своей универсальностью в стилях. Благодаря архитектуре на основе трансформеров, модель способна генерировать как приближенные к реальности сцены, так и мультяшные/стилизованные ролики​

blog.segmind.com. При обучении применялся метод многочастотной иерархической генерации кадров, что улучшило естественность движения в видео​

blog.segmind.com. CogVideo может похвастаться разнообразием выходов: от реалистичного видео про природу до простых анимационных клипов – модель хорошо улавливает разные визуальные стили, описанные в тексте.
Результаты на бенчмарках: Первая версия CogVideo установила новый стандарт на момент выхода: в автоматических метриках она достигла state-of-the-art результатов​

openreview.net, заметно опередив тогдашние открытые аналоги. По отзывам и человеческим оценкам, качество видео было лучшим среди доступных моделей начала 2023 г. CogVideoX-5B подняла планку ещё выше по чёткости и динамике – у неё выше CLIP-score соответствия тексту и ниже FVD по сравнению с оригиналом (точные цифры см. в отчётах разработчиков). Тем не менее, по абсолютному качеству она несколько уступает новейшим диффузионным моделям (таким как HunyuanVideo), особенно в фотореализме, но выигрывает в устойчивости стиля и отсутствии мерцаний между кадрами.
Применение: CogVideo и её обновления применимы в различных сценариях. Изначально модель демонстрировала силу в генерации анимационных видео – например, образовательных роликов, простых мультфильмов по описанию, визуализации сказок. Она также подходит для творческих экспериментов: может генерировать нестандартные стилизованные сцены, где требуется не столько реализм, сколько выразительность (арт-проекты, дизайн-концепты). Кроме того, CogVideo применяли для редактирования видео (через специальные режимы, аналогичные Instruct-Pix2Pix, позволяющие менять стиль существующего ролика по тексту).
Необходимые ресурсы: Оригинальная CogVideo (9B) требовала существенных ресурсов – для инференса полной модели обычно нужен GPU с ≥24 ГБ VRAM. Новая CogVideoX оптимизирована: версия 5B по-прежнему предпочитает мощную видеокарту (~26 ГБ на FP16)​

mimicpc.com, однако поддерживает 8-битный режим, позволяющий запустить её даже на ~4–6 ГБ видеопамяти (ценой снижения скорости)​

mimicpc.com. Модель 2B значительно легче – её можно использовать на потребительских GPU с 8–12 ГБ VRAM. В целом, для комфортной работы с CogVideo рекомендуется современный GPU (например, NVIDIA A100 40GB или RTX 3090/4090). Также желательны высокопроизводительный CPU для обслуживания трансформерной модели и достаточное дисковое пространство для хранения весов (несколько ГБ).

7. Text2Video-Zero (text-to-video, zero-shot)

Описание: Text2Video-Zero – необычный генератор видео, предложенный исследователями Picsart AI (ICCV 2023). Его ключевая идея: создание видео без специального обучения на видеоданных – вместо этого используется готовая модель диффузии для изображений (например, Stable Diffusion), которую авторы «перепрограммируют» на генерацию последовательности кадров​

arxiv.org. Ключевые модификации включают обогащение скрытых кодов движением и введение межкадрового внимания, привязанного к первому кадру, чтобы сохранить фон и объект​

arxiv.org. В результате Text2Video-Zero может генерировать видео по тексту или даже редактировать существующее видео по инструкции, не требуя дорогостоящего обучения. Код открыт (MIT License) и доступен на GitHub (Picsart-AI-Research/Text2Video-Zero).
Сильные стороны: Главная сильная сторона – гибкость и стилизация. Text2Video-Zero поддерживает различные режимы: от простого text→video до условной генерации по заданной позе, эскизу или даже применяет текстовые правки к загруженному видео (Video Instruct-Pix2Pix)​

github.com​

github.com. Модель обладает нулевым порогом обучения: её можно сразу применять к любому новому сценарию. Это означает, что она хороша для стилизации видео – например, можно взять реальное видео и одним текстовым запросом преобразовать его в мультипликационный стиль. Также она обеспечивает временную согласованность благодаря специальным механизмам внимания, что весьма впечатляет для модели без обучения на видео​

github.com​

github.com.
Результаты на бенчмарках: Несмотря на отсутствие обучения на видеоданных, Text2Video-Zero показывает результаты, сравнимые с обученными моделями. В оригинальной статье отмечено, что предложенный подход иногда даже превосходит недавние разработки по качеству видео​

arxiv.org. На практических примерах модель демонстрирует плавные короткие ролики (2–4 с) с неплохим совпадением с текстом. Конечно, по абсолютным показателям реализма она уступает большим специально обученным моделям, но достигаемый уровень при нулевом дообучении – значимое достижение. В частных метриках (например, стабильность фона или сохранение идентичности объекта между кадрами) Text2Video-Zero получает высокие оценки.
Применение: Text2Video-Zero идеален для быстрых экспериментов и задач творческого видео-редактирования и стилизации. Его можно использовать, когда нужен прототип видео по свежей идее без долгого обучения. Также он подходит для применения стилистических эффектов к существующим видео: например, изменить погоду или время суток в клипе, превратить запись реального человека в «рисованный» ролик – всё через текстовые инструкции​

github.com. Для небольших студий или индивидуальных создателей, у которых нет ресурсов на обучение своих моделей, Text2Video-Zero предоставляет мощный инструмент для разнообразных видеоэффектов.
Необходимые ресурсы: Поскольку Text2Video-Zero основан на Stable Diffusion, требования схожи. Для генерации видео 512×512 достаточно GPU с ~12 ГБ VRAM​

github.com, а после оптимизаций авторы снизили порог до <7 ГБ​

github.com(с помощью таких техник, как Token Merging). Таким образом, модель можно запускать даже на игровых видеокартах (например, RTX 3060). Важен и CPU: генерация нескольких секунд видео может занять десятки секунд или минуты на потребительском GPU, поэтому многопоточный CPU ускорит обработку. Но Text2Video-Zero легко масштабируется – на мощных GPU (или нескольких параллельно) процесс идёт значительно быстрее. Также нужны стандартные ресурсы для Stable Diffusion: ≥15 ГБ RAM и быстрый SSD для модели и кеша.

8. AnimateDiff (text-to-video модуль для Stable Diffusion)

Описание: AnimateDiff – метод, разработанный в 2023 году (ICLR 2024 Spotlight), позволяющий превратить любую модель текст-изображение в генератор анимации​

github.com. Это не отдельная монолитная модель, а дополнительный модуль, подключаемый к уже существующим диффузионным моделям (например, Stable Diffusion 1.5 или SDXL). AnimateDiff добавляет к процессу генерации кадров механизм, ответственный за движение, без необходимости специфического обучения под каждую модель​

github.com. Он «оживляет» изображения: достаточно задать текстовый промт (и выбрать базовую модель вроде реалистичной или аниме-ориентированной) – выходом будет короткое видео с плавной анимацией сцены. Код открыт (Apache 2.0)​

github.comи доступен на GitHub (guoyww/AnimateDiff).
Сильные стороны: AnimateDiff выделяется в категории генерации анимации. Его главный плюс – способность использовать любой художественный стиль, доступный через текст-to-image модели, и придать ему движение. Например, можно взять специализированную модель под аниме или реалистичные фото, и AnimateDiff позволит получать видео в этом же стиле​

github.com. При этом не требуется долгой настройки – модуль «plug-and-play» совместим с большинством моделей сообщества без дополнительного обучения​

github.com. AnimateDiff сохраняет контент и облик объекта из кадра в кадр (за счёт межкадрового внимания, привязанного к первому кадру), что обеспечивает целостность персонажа/сцены в видео. Таким образом, сильная сторона – создание художественных, стилизованных анимаций с минимальными усилиями.
Результаты на бенчмарках: В статье AnimateDiff показано, что он позволяет получить значительно более высокую временную согласованность видео по сравнению с наивным подходом (генерация кадров по отдельности). Например, метрика стабильности характеристик объекта между кадрами заметно лучше с AnimateDiff. Также сочетание «Stable Diffusion + AnimateDiff» продемонстрировало конкурентные FVD и CLIP-score на наборе коротких видео, приближаясь к специализированным моделям. Поскольку AnimateDiff применяется к любому чекпойнту Stable Diffusion, точные показатели зависят от выбранной основы – но множество экспериментов сообщества (см. галерею примеров) подтверждает качественную плавность получаемых анимаций​

github.com.
Применение: AnimateDiff нашёл применение среди художников и энтузиастов, желающих оживить статичные изображения. Он отлично подходит для создания коротких арт-роликов и анимаций: можно сгенерировать персонажа в определённом стиле, а затем с помощью AnimateDiff заставить его выполнять движение (например, танцевать, лететь, менять выражение лица). Такая технология полезна для дизайнеров, которые хотят быстро получить анимированные концепты в своём стиле, не прибегая к трудоёмкой покадровой прорисовке. Также AnimateDiff используется для генерации зацикленных анимированных фоновых сцен, заставок, GIF-ок – там, где требуется творческая вариативность и стиль.
Необходимые ресурсы: AnimateDiff добавляет незначительные накладные расходы к требованиям базовой модели. Практически, если система способна запустить Stable Diffusion для генерации изображений (обычно ~8 ГБ VRAM достаточно для 512×512), то она сможет генерировать и видео через AnimateDiff. Для более длинных видео (например, >16 кадров) и более высоких разрешений (например, 768p) потребуется более мощный GPU (16–24 ГБ VRAM). Время генерации растёт примерно линейно с числом кадров: на RTX 4090 короткий ролик ~2 с (20–30 кадров) генерируется за считанные десятки секунд. Также потребуется несколько десятков гигабайт диска для хранения моделей (включая веса используемой SD-модели и вспомогательных модулей движения). В целом, порог входа невысок: AnimateDiff можно опробовать даже на удалённом сервисе (например, Colab) или на домашнем ПК с GPU среднего уровня.

9. Easy Animate (image-to-video)

Описание: Easy Animate – открытый инструмент от Alibaba PAI для «оживления» статичных изображений. Он принимает на вход одно изображение и генерирует на его основе короткое видео с движением. Под капотом используется комбинация трансформеров и сверточных сетей, которая обеспечивает плавную анимацию, сохраняя ключевые детали исходного изображения​

blog.segmind.com. Модель активно развивается; последняя версия (EasyAnimate V5, конец 2024 г.) включает ~12 млрд параметров и даже использует мультимодальный языковой модуль Qwen-VL-7B для понимания текстовых подсказок к анимации (поддерживается режим, когда пользователь задаёт сценарий движения текстом)​

reddit.com. Проект полностью открыт (MIT лицензия) и доступен на GitHub и ModelScope.
Сильные стороны: Easy Animate особенно силён в задаче генерации анимации из одного кадра. Он способен придать реалистичное движение статичной сцене: например, фотография человека может быть анимирована так, будто человек кивает или улыбается, а пейзаж – будто по нему пробегает ветер. Алгоритмы модели стараются поддерживать естественность – движение между кадрами сглажено, нет резких артефактов​

blog.segmind.com. Пользователь получает большой контроль над результатом: можно задать длительность и частоту кадров, степень и направление движения, а также «негативный промт» (то, чего не должно быть в видео)​

blog.segmind.com. Easy Animate оптимизирован под короткие клипы (до ~136 кадров, т.е. несколько секунд)​

blog.segmind.com, где он достигает наилучших результатов.
Результаты на бенчмарках: Как специализированный инструмент image-to-video, Easy Animate демонстрирует передовое качество в своём классе. Внутренние тесты показывают, что он превосходит предыдущие подходы (например, First Order Motion Model) по сохранению идентичности объекта и плавности движения при анимации лиц и тел. В версии V5 реализованы улучшения, позволяющие генерировать более длинные последовательности без накопления искажений. Несмотря на отсутствие общепринятых бенчмарков для этой узкой задачи, можно отметить, что Easy Animate задаёт стандарт: он получил широкое распространение, многие пользователи оценивают его результаты как «живые» и убедительные для кратких анимаций из одиночных изображений.
Применение: Easy Animate удобен для оживления фотографий и иллюстраций. Это находит применение в маркетинге (анимирование статичных постеров или изображений товаров для привлечения внимания), в создании аватаров и масок (когда из одного изображения лица получают анимированное «говорящее» лицо), в индустрии развлечений (оживление персонажей из концепт-арта). Для художников Easy Animate позволяет быстро превратить картину в короткий ролик – например, заставить нарисованного персонажа моргать и поворачивать голову. Также он полезен в соцсетях: из обычного фото можно сделать зацикленный GIF с лёгким движением, что смотрится более привлекательно.
Необходимые ресурсы: Модель довольно тяжёлая (до 12B параметров), но разработчики предусмотрели запуск на распространённом «домашнем» железе. В режиме без сложных языковых подсказок EasyAnimate V5 может работать на GPU с 12 ГБ памяти (базовая генерация видео среднего разрешения)​

huggingface.co. Однако для полноценных возможностей (высокое разрешение, использование большого языкового модуля для описания движения) рекомендуется GPU с 24 ГБ VRAM или более​

reddit.com, поскольку тот же Qwen-VL-7B в FP16 не помещается целиком в 16 ГБ. На практике, RTX 3080/3090 достаточно для большинства кейсов; на таких картах можно получить несколько секунд анимации за минуту или менее. Кроме того, необходимо ~60 ГБ дискового пространства для хранения весов и кеша данных​

huggingface.co. В целом, Easy Animate доступен широкому кругу пользователей – его можно запускать через облачные сервисы (Alibaba DSW, Google Colab) даже без локального мощного GPU.

10. First Order Motion Model (image-to-video)

Описание: First Order Motion Model (FOMM) – метод однокадрового переноса движения, представленный в 2019 г. (NeurIPS 2019) исследователями из Univ. of Trento. В отличие от крупных универсальных генераторов, FOMM сфокусирован на задаче реалистичной анимации одного изображения по примеру другого видео. Модель выделяет ключевые опорные точки (например, черты лица или структуру объекта) на исходном статичном изображении, а затем деформирует/анимирует это изображение в соответствии с движениями, извлечёнными из видео-эталона. Проще говоря, FOMM позволяет взять фотографию человека и видео с другим человеком, и получить видео, где человек с фото выполняет мимику и движения из видео. Код модели открыт под лицензией MIT​

github.comи широко доступен (GitHub: AliaksandrSiarohin/first-order-model).
Сильные стороны: First Order Motion Model стал основой множества приложений дипфейка и реанимации лиц. Он особенно силён в передаче детальных лицевых движений – улыбок, моргания, поворотов головы – при минимальной исходной информации (достаточно одной фотографии)​

github.com. Несмотря на относительную простоту по меркам современных моделей, FOMM обеспечивает удивительно правдоподобный результат: исходное лицо сохраняет свою идентичность, а движения выглядят естественно благодаря продуманной интерполяции ключевых точек. В отличие от громоздких моделей с миллионами видео, этот подход не требует огромных вычислительных ресурсов и данных – FOMM обучался на сравнительно небольшом датасете говорящих голов VoxCeleb и показывает хорошую обобщающую способность на новые лица.
Результаты на бенчмарках: В своей области (анимация лиц) FOMM достиг впечатляющих показателей: например, на наборе VoxCeleb он существенно улучшил метрики качества реконструкции (ошибку по ключевым точкам лица) по сравнению с предыдущими подходами. В демонстрациях модель успешно анимировала портреты известных художников и персонажей картин, что стало вирусным хитом в интернете​

github.com. С момента выхода FOMM служит отправной точкой для множества последующих улучшений (Thin-Plate Spline Motion Model 2022 и др.), но базовый алгоритм по-прежнему часто используется из-за своей эффективности.
Применение: Этот подход широко применяется в инструментах дипфейк. Многие популярные приложения (например, Avatarify для видеозвонков, а также различные FaceSwap-решения) основаны на идее FOMM. С его помощью можно создавать анимированные аватары из единственного снимка – например, «оживлять» старые фотографии, заставляя людей на фото говорить и улыбаться (такую функцию предлагали некоторые онлайн-сервисы). В кино- и игровой индустрии FOMM и последующие вариации используются для быстрой передачи мимики актёров на цифровых персонажей. Кроме того, это инструмент для мемов и развлекательного контента – лицо одного человека можно заставить исполнить знаменитый танец или сцену из фильма, получая комичный эффект.
Необходимые ресурсы: First Order Motion Model удивительно легковесен. Для его запуска достаточно обычной видеокарты с ~4–6 ГБ памяти; в некоторых реализациях он способен работать и на CPU (хотя значительно медленнее). Обученная модель занимает сотни мегабайт, и инференс может идти близко к реальному времени на современных GPU. Благодаря этому FOMM интегрирован даже в мобильные приложения и веб-сервисы. Порог использования крайне низок: практически любой современный компьютер (или облачный VM) может выполнять FOMM, что и обеспечило столь широкую популярность этого подхода в практике.