⚡️ Stable Video 4D: Модель для динамической генерации видео с разных ракурсов.
Stable Video 4D - модель генерации видео от Stability AI, способная преобразовывать одиночное видео объекта в несколько новых видео с различных ракурсов с поддержкой согласованности внешнего вида объекта по пространственным и временным осям..
Модель использует комбинацию из четырех визуальных энкодеров (SigLIP, CLIP, DINOv2 и OpenCLIP ConvNeXt) и пространственный агрегатор зрения для создания 5 кадров для каждого из 8 ракурсов примерно за 40 секунд.
В Stable Video 4D пользователю доступны параметры:
🟢Входное видео: загрузка одиночного видео объекта, которое будет использоваться как основа для генерации новых ракурсов. Поддерживаемые форматы — .gif, .mp4 или секвенция кадров в формате .png\.jpeg\.jpg;
🟢3D-позиции камеры: указание конкретных ракурсов и углов обзора, с которых модель должна сгенерировать новые видео;
🟢Количество кадров: по умолчанию модель генерирует 5 кадров для каждого ракурса, но этот параметр может быть изменен;
🟢Количество ракурсов: стандартно модель создает 8 новых ракурсов, но пользователь может настроить это количество в зависимости от своих потребностей;
🟢Количество шагов оптимизации: регулировка количества шагов, затрачиваемое на 4D-оптимизацию, чем больше шагов - тем лучше результат.
▶️Технические рекомендации по запуску официально не публиковались, но в сообществе пользователей подтверждают о возможности запуска Stable Video 4D на
16 GB VRAM.
▶️Для локального запуска необходимы модели:
🟠Stable Video 3D_U🟠Stable Video 3D_P🟠Stable Video 4D▶️Локальный запуск Stable Video 4D:
с автозагрузкой моделей и дефолтными параметрами
python scripts/sampling/simple_video_sample_4d.py --input_path assets/test_video1.mp4 --output_folder outputs/sv4d
с настраиваемыми параметрами
python scripts/sampling/simple_video_sample_4d.py --input_path <path/to/video> --<sv3d_version> -- <elevations_deg> -- <num_steps> --output_folder_path <output/folder/path>
📌Лицензирование :
🟢бесплатно для исследовательского, некоммерческого и коммерческого использования организациями и частными лицами, получающими годовой доход в размере до 1 млн USD;
🟠для коммерческого использования организациями и частными лицами, получающими годовой доход в размере, превышающим 1 млн USD -
запрос-консультация через форму🟡Страница проекта🟡Модель на HF🟡Video на YT🟡Сообщество в Discord🟡Arxiv🖥Github [ Stars: 25K | Issues: 239 | Forks: 2.6K]
@ai_machinelearning_big_data#AI #StabilityAI #ML #Generative #SV4D 