🌟 MoMo: моделирование движения для интерполяции видеокадров.

MoMo - метод интерполяции видеокадров VFI, основанный на диффузии, который улучшает качество изображения, за счет генеративного моделирования промежуточного движения.

Метод строится на рассогласованном двухэтапном процессе обучения. Сначала обучается модель синтеза кадров для генерации кадров из входных пар и их оптических потоков. Затем обучается модель диффузии движения, разработанной для оптических потоков, для создания двунаправленных потоков между кадрами.

В процессе создания модели использовался набор данных Vimeo90k, содержащий 51 312 видеотриплетов, где каждый триплет состоит из двух входных кадров и одного целевого промежуточного кадра.

Этот метод, используя простое низкочастотное представление движений, достигает высокого качества при меньших вычислительных требованиях по сравнению с другими генеративными методами моделирования.

Демо результаты MoMo для 2K и 4К видеороликов можно посмотреть на Google Drive.

⚠️ Перед установкой загрузите модель для инференса и сохраните в папку проекта так, чтобы иерархический путь выглядел так: MoMo/experiments/diffusion/momo_full/weights/model.pth

▶️Установка и запуск:

# Create venv 
conda create -n momo python=3.10.9
conda activate momo

# Install requirements
pip install -r requirements.txt

# Run x2 interpolation on single GPU
python demo.py --video <path_to_video.mp4> --output_path <path_to_x2_video.mp4>

▪Arxiv
▪Модель
▪Сообщество в Discord
▪Github


@data_analysis_ml

#AI #ML #Diffusers #Interpolation #MoMo