Взял картинку, сделал анимацию в Stable Video Diffusion с низким motion_bucket_id. Затем засунул в Silly tavern Wav2lip. Голос XTTSv2, стих от Mixtral, рифма моя.

В общем, теперь можно и с любой фоткой чатиться, если видео под рукой нет. Главное, чтобы в анимации было морганание и движение глаз, чтобы смотрелось реалистичнее.

Нейронка для создания музыки по картинке Image 2 music.

Создаёт 10 секунд музыки, анализируя загруженную картинку и созданное описание. Описание можно изменять для изменения стиля или нужных инструментов.

https://huggingface.co/spaces/fffiloni/image-to-music-v2

Взял 10 секунд этого голоса и загнал в генератор речи XTTSv2. Для придания акцента установил язык на турецкий, а не на русский. Затем закинул полученное аудио в Wav2lip для синхронизации губ и видео 😁😁

Talk-llama-fast - неформальный голосовой помощник с поддержкой русского и XTTSv2.

Взял talk-llama и накодил за неделю:
- Добавил XTTSv2 streaming.
- уменьшил задержки везде где только мог.
- русский язык и UTF-8.
- голосовые команды: Google, стоп, переделай, удали всё.

Под капотом:
- STT: whisper.cpp medium
- LLM: Mistral-7B-v0.2-Q6_k.gguf
- TTS: XTTSv2 streaming mode
- Google: langchain google-serper

Работает на 3060 12 GB, скорее всего 8 GB тоже хватит. В планах запустить все чисто на android.

Код, exe, инструкция:
https://github.com/Mozer/talk-llama-fast

https://www.youtube.com/watch?v=N3Eoc6M3Erg
Talk-llama-fast - Informal voice assistant [English video]

I took talk-llama and added:
- XTTSv2 streaming.
- low latencies.
- Russian and other languages, UTF-8.
- voice commands: Google, stop, regenerate, reset.

Under the hood:
- STT: whisper.cpp medium
- LLM: Mistral-7B-v0.2-Q6_k.gguf
- TTS: XTTSv2 in streaming mode
- Google: langchain google-serper

In this video I used nvidia 3060 12 GB, but I guess 8 GB of VRAM is also enough. Have plans to port everything to android.

Code, exe, manual:
https://github.com/Mozer/talk-llama-fast

Нейронка Wayve Gaia генерирует видео для предсказания трафика на дороге. На вход подаётся первый кадр, а она строит несколько секунд дальнейшего видео на его основе. Используется для автопилота.
https://youtu.be/SEt2HIs2Bp8?feature=shared

Talk-llama-fast 0.0.3

Добавил поддержку нескольких персонажей. Сами общаются между собой и могут быть вызваны голосовой командой "Ты меня слышишь?"
Ещё добавил поддержку лайв перевода с английского на русский прямо внутри основной LLM модели. Это прокачивает мозги модели, но добавляет грамматических ошибок.

https://github.com/Mozer/talk-llama-fast

Mistral-7B. Маленькая 7B модель, а может в базовую математику. Я впечатлен. И это все на русском после 12000 токенов диалога 🤯

Сделал разговорный файнтюн XTTSv2 Banana для русского языка. Основан на голосовых сообщениях с матом от 5 разных девушек.

- добавляет больше интонаций, эмоциональности, придыханий, делая речь более живой.
- лучше справляется с ударениями в словах (мат, разговорная лексика).
- только для русского языка, остальные языки остались неизменными.
- основан на женских голосах, поэтому все мужские голоса будут слегка феминными.
- обучение заняло всего 1 час.

Веса: https://huggingface.co/Ftfyhh/xttsv2_banana