🌟 FoleyCrafter: Генерация звуковых эффектов для беззвучных видео.

FoleyCrafter - методика, разработанная для автоматического создания звуковых эффектов, синхронизированных с целевым видеорядом
Архитектура метода построена на основе предварительно обученной модели преобразования текста в аудио (Text2Audio). Система состоит из двух ключевых компонентов:

🟢Семантический адаптер - использует параллельные слои cross-attention для обусловливания генерации аудио на основе видеопризнаков. Выполняет семантическое соответствие генерируемых звуков визуальному контенту.
🟢Временной контроллер - детектор временных меток анализирует и предсказывает интервалы звука и тишины в видео. Временной адаптер синхронизирует аудио с видео на основе выставленных детектором временных меток.

Оба компонента являются обучаемыми модулями, которые принимают видео в качестве входных данных для синтеза аудио. При этом модель Text2Audio остается фиксированной для сохранения ее способности к синтезу аудио постоянного качества.

Разработчики FoleyCrafter провели количественные и качественные эксперименты на наборах данных VGGSound и AVSync15 по метрикам семантического соответствия MKL, CLIP Score, FID и временной синхронизации Onset ACC, Onset AP.
По сравнению с существующими методами Text2Audio (SpecVQGAN, Diff-Foley и V2A-Mapper) FoleyCrafter показал лучшие результаты.

▶️ Локальный запуск с использованием GradioUI:

# Clone the Repository
git clone https://github.com/open-mmlab/foleycrafter.git

# Navigate to the Repository
cd projects/foleycrafter

# Create Virtual Environment with Conda & Install Dependencies
conda create env create -f requirements/environment.yaml
conda activate foleycrafter

# Install GiT LFS
conda install git-lfs 
git lfs install

# Download checkpoints 
git clone https://huggingface.co/auffusion/auffusion-full-no-adapter checkpoints/auffusion
git clone https://huggingface.co/ymzhang319/FoleyCrafter checkpoints/

# Run Gradio
python app.py --share

🔗 Лицензирование: Apache-2.0


🔗Страница проекта
🔗Arxiv
🔗Модели на HF
🔗Demo
🔗Github [ Stars: 272 | Issues: 4 | Forks: 15]

@ai_machinelearning_big_data

#AI #Text2Audio #FoleyCrafter #ML

⚡️ ControlNet ProMax: Обновление набора ControlNet++ для Stable Diffusion XL.

ControlNet++ - это набор моделей ControlNet, собранный на новой архитектуре и упакованный в один единый файл без необходимости скачивать дополнительные препроцессоры и наборы моделей.

Обновление ProMaх включает в себя весь существующий набор ControlNet Union, в который были добавлены возможности комбинации нескольких типов ControlNet к одному исходному изображению и новые функции Tile Deblur, Tile Superresolution, Tile Variation, Inpaint и Outpaint.

C учетом обновления, набор ControlNet ProMax выполняет 12 функций и 5 дополнительных методик редактирования изображений:

🟢Openpose. Оценивает и аннотирует ключевые точки на теле, лице и руках человека, выполняет комплексную оценку позы;
🟢Depth. Предназначен для задач оценки глубины;
🟢Сanny. Обнаруживает края на изображениях с помощью детектора алгоритма Canny;
🟢Lineart. Извлекает контуры объектов из изображений, в частности для создания реалистичного воспроизведения с уточнением толщин контуров;
🟢AnimeLineart. Извлекает контуры, характерные для техник, используемых в аниме;
🟢MLSD (Mobile Line Segment Detection). Выделяет линейные структуры;
🟢Scribble. Обнаруживает неточные и неровные линии. Используется для имитации рисунков, похожих на скетчи;
🟢HED (Holistically-Nested Edge Detection). Извлекает линии с мягкими краями. Он предварительно обрабатывает изображения, чтобы усилить или изолировать особенности линий для задач, требующих детального обнаружения краев или линий;
🟢Pidi (Softedge). Выделяет линии мягких краев с использованием методов PiDiNet. Его цель - улучшить задачи анализа и обработки и предоставить уточненные исходные данные для дальнейшей обработки или анализа;
🟢TEED. Извлекает линии мягких краев с помощью техники TEDDetector;
🟢Segment. Выполняет визуальную сегментацию объектов и их частей;
🟢Normal. Создает карту нормалей на основе визуально-вычислительного анализ глубины;
🟠Tile Deblur. Устраняет размытие методом анализа наложенных плиток (Tiles) заданного размера (от 64х64 до 1024х1024);
🟠Tile Variation. Генерирует вариации с небольшим изменением в деталях методом Tiles;
🟠Tile Super Resolution. Кратно повышает разрешение методом анализа наложенных плиток;
🟠Inpainting. Заменяет или добавляет объекты на существующее изображение;
🟠Outpainting. Расширяет границы изображения, сохраняя общую композицию.

В архитектуре ControlNet++ были разработаны два новых модуля: Condition Transformer и Control Encoder, которые улучшают представление и обработку условий в модели.
Каждому условию назначается уникальный идентификатор типа управления, который преобразуется в эмбеддинги.
Condition Transformer позволяет обрабатывать несколько условий одновременно, используя один кодировщик и включает слой трансформера для обмена информацией между исходным изображением и условными изображениями.
Condition Encoder увеличивает количество каналов свертки для повышения представительной способности, сохраняя оригинальную архитектуру.
Также была использована единая стратегия обучения, которая одновременно оптимизировала сходимость для одиночных условий и управляла слиянием множественных условий, повышая устойчивость сети и ее способность к генерации качественных изображений.

▶️Набор ControlNet Pro Max может быть использован как в виде консольного инференса, так и в интерфейсе ComfyUI, где разработчиками были обновлены наборы нод для работы с моделями ControlNet.
ControlNet Pro Max поддерживает работу с любой генеративной моделью семейства Stable Diffusion XL. Поддержка семейства Stable Diffusion 3 находится в разработке.


📌Лицензирование : Apache-2.0 license


🟡Модель на HF
🖥Github [ Stars: 1.4K | Issues: 31 | Forks: 22]


@ai_machinelearning_big_data

#AI #ControlNet #ML #Diffusers #SDXL

🌟Qwen2-Audio: Общайтесь с LLM помощью голоса.

Qwen2-Audio - аудио-языковых модель, которая способна принимать аудио и текст на вход и генерировать текст на выходе.

Предусмотрено два режима взаимодействия:
🟠голосовой чат: пользователи могут использовать голос для передачи инструкций модели без без ввода текста;
🟠аудио-анализ: пользователи могут предоставлять аудиоинформацию (включая речь, звук, музыку) и текстовые инструкции для анализа.

Обе опубликованные модели поддерживают 8 языков и диалектов: китайский, английский, кантонский, французский, итальянский, испанский, немецкий и японский:

🟢Qwen2-Audio-7B

🟢Qwen2-Audio-7B-Instruct

Инференс на transformers в cli возможен в нескольких режимах:

🟠простой инференс модели Qwen2-Audio;
🟠пакетный инференс (например, несколько текстовых запросов к аудиофайлу);
🟠инференс анализа аудио (в этом режиме доступны и текстовые и аудио-инструкции);
🟠инференс голосового чата.


▶️Локальный запуск с GradioUI:

# Ensure you have latest Hugging face transformers
pip install git+https://github.com/huggingface/transformers

# to build a web UI demoinstall the following packages
pip install -r requirements_web_demo.txt

# run Gradio web UI
python demo/web_demo_audio.py

📌Лицензирование : Apache 2.0


🟡Страница проекта
🟡Коллекция моделей на HF
🟡Arxiv
🟡Сообщество в Discord
🟡Demo
🖥Github [ Stars: 618 | Issues: 7 | Forks: 17]

@ai_machinelearning_big_data

#AI #LLM #ML #Qwen2