Запуск MusicGen на Google Colab/Windows11

Что такое MusicGen

Audiocraft – это библиотека для обработки и генерации аудио с помощью глубокого обучения. Она включает в себя современный аудиокомпрессор/токенизатор EnCodec, а также MusicGen, простой и управляемый генератор музыки LM с текстовыми и мелодическими условиями.

Шаги для Colab

1. Перейдите в Google Colab
2. Изменить время выполнения
3. Запустите код
4. Попробуйте сгенерировать звук

Шаг 1. Перейдите в Google Colab

Ссылка

Шаг 2. Изменить время выполнения

Нажмите Runtime и выберите GPU

Шаг 3. Выполнить код

!git clone -b dev https://github.com/camenduru/MusicGen-hf
cd MusicGen-hf/
!pip install -r requirements.txt
!python app.py

Установка пакетов python займет некоторое время.
Если все работает правильно, вы увидите что-то вроде этого.

Шаг 4. Попробуйте сгенерировать звук

Если вы нажмете на ссылку Running on public URL:, вы увидите Gardio.

Теперь пришло время создать свой собственный звук с помощью подсказки!
Для создания файла mp4 потребуется около 1-2 минут.

Шаги для Windows11

Вам необходимо установить cuda11.7 на Windows11.

1. Создайте venv
2. Установите pytorch
3. Клонируйте репозиторий и установите требования
4. Попробуйте сгенерировать звук

Шаг 1. Создайте venv

python -m venv musicgen
# activate venv
./musicgen/scripts/activate

Шаг 2. Установите pytorch

Этот шаг займет некоторое время.

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

Шаг 3. Клонирование репозитория и установка требований

git clone https://github.com/facebookresearch/audiocraft.git
cd audiocraft
pip install -e .

Шаг 4. Попробуйте сгенерировать звук

В качестве Google Colab мы запустим web ui с помощью следующей команды.

python app.py