Talk-llama-fast - неформальный голосовой помощник с поддержкой русского и XTTSv2.

Взял talk-llama и накодил за неделю:
- Добавил XTTSv2 streaming.
- уменьшил задержки везде где только мог.
- русский язык и UTF-8.
- голосовые команды: Google, стоп, переделай, удали всё.

Под капотом:
- STT: whisper.cpp medium
- LLM: Mistral-7B-v0.2-Q6_k.gguf
- TTS: XTTSv2 streaming mode
- Google: langchain google-serper

Работает на 3060 12 GB, скорее всего 8 GB тоже хватит. В планах запустить все чисто на android.

Код, exe, инструкция:
https://github.com/Mozer/talk-llama-fast

https://www.youtube.com/watch?v=N3Eoc6M3Erg
Talk-llama-fast - Informal voice assistant [English video]

I took talk-llama and added:
- XTTSv2 streaming.
- low latencies.
- Russian and other languages, UTF-8.
- voice commands: Google, stop, regenerate, reset.

Under the hood:
- STT: whisper.cpp medium
- LLM: Mistral-7B-v0.2-Q6_k.gguf
- TTS: XTTSv2 in streaming mode
- Google: langchain google-serper

In this video I used nvidia 3060 12 GB, but I guess 8 GB of VRAM is also enough. Have plans to port everything to android.

Code, exe, manual:
https://github.com/Mozer/talk-llama-fast

Нейронка Wayve Gaia генерирует видео для предсказания трафика на дороге. На вход подаётся первый кадр, а она строит несколько секунд дальнейшего видео на его основе. Используется для автопилота.
https://youtu.be/SEt2HIs2Bp8?feature=shared

Talk-llama-fast 0.0.3

Добавил поддержку нескольких персонажей. Сами общаются между собой и могут быть вызваны голосовой командой "Ты меня слышишь?"
Ещё добавил поддержку лайв перевода с английского на русский прямо внутри основной LLM модели. Это прокачивает мозги модели, но добавляет грамматических ошибок.

https://github.com/Mozer/talk-llama-fast

Mistral-7B. Маленькая 7B модель, а может в базовую математику. Я впечатлен. И это все на русском после 12000 токенов диалога 🤯

Сделал разговорный файнтюн XTTSv2 Banana для русского языка. Основан на голосовых сообщениях с матом от 5 разных девушек.

- добавляет больше интонаций, эмоциональности, придыханий, делая речь более живой.
- лучше справляется с ударениями в словах (мат, разговорная лексика).
- только для русского языка, остальные языки остались неизменными.
- основан на женских голосах, поэтому все мужские голоса будут слегка феминными.
- обучение заняло всего 1 час.

Веса: https://huggingface.co/Ftfyhh/xttsv2_banana

Вышел Claude 3.
Это заявка на победу. (GPT4 стихи на русском писать практически не умеет).

Бесплатно для РФ есть тут - во вкладке Direct chat - Claude 3 opus (он самый умный)

https://chat.lmsys.org/

SDXL lightning от ByteDance

Очень быстрая генерация картинок по тексту в разрешении 1024х1024 (для сравнения, у SDXL turbo базовое разрешение 512х512). Веса есть.

https://huggingface.co/spaces/radames/Real-Time-Text-to-Image-SDXL-Lightning