🗣️ RealtimeVoiceChat — живой голосовой чат с ИИ.

RealtimeVoiceChat — это open-source проект, который позволяет общаться с LLM в реальном времени голосом. Он объединяет распознавание речи, LLM и синтез речи в единую систему с минимальной задержкой — около 500 мс при локальной установке.

➡️ Как работает:

1. Запись речи в браузере
2. Передача аудио по WebSocket на сервер
3. Распознавание речи через RealtimeSTT (на базе Whisper)
4. Ответ от LLM (Ollama, OpenAI и др.)
5. Озвучка ответа через RealtimeTTS (Coqui XTTSv2, Kokoro и др.)
6. Обратная передача аудио в браузер
7. Поддержка прерываний и динамики через turndetect.py

✨ Особенности:

- Задержка ~500 мс
- Поддержка разных LLM и TTS движков
- Быстрый запуск через Docker Compose
- Чистый веб-интерфейс на Vanilla JS + Web Audio API

✔️ Стек:

- Backend: Python + FastAPI
- Frontend: JS + WebSockets
- ML: transformers, torchaudio, Ollama, Whisper, TTS
- Контейнеризация: Docker

✔️ Требуется CUDA-совместимая видеокарта (для Whisper/TTS) и Docker.

🔥 Отличный проект для тех, кто хочет интегрировать голосовой интерфейс с LLM — например, для ассистентов, чат-ботов, презентаций или UX-экспериментов.

🔜 Репозиторий: https://github.com/KoljaB/RealtimeVoiceChat
🔜 Демо: https://www.youtube.com/watch?v=-1AD4gakCKw

@pythonl

#tts #llm #opensource

🌟 Zyphra опубликовала компактную TTS-модель

ZONOS3-Mini синтезирует речь и клонирует голос по образцу, рассчитана на использование в реальном времени на телефонах, ноутбуках и браузере.

Модель копирует голос по записи длиной до минуты, но также можно собрать новый, задав возраст, акцент и тембр. Эмоции, темп и подачу можно настраивать вплоть до отдельных слов.

Поддерживается девять языков, среди них английский, китайский, японский, немецкий, испанский и французский, русского нет.

🟡Архитектура

Под капотом MoE на 800 млн общих при 100 млн активных параметров, где из 64 экспертов на каждом шаге включаются два.

Из 11 слоёв девять построены на Gated DeltaNet и два на обычном глобальном внимании.

Звук кодирует собственный кодек ZAC-1 с частотой 15 кадров в секунду.

🟡Тесты
Задержка до первого звука в браузере на Pixel 9 меньше 570 мс, на MacBook Air с M3 меньше 150 мс, а на одной H100 при восьми одновременных запросах в среднем 80 мс.

Пиковая выработка на той же H100 - 457 секунд звука за секунду.

По внутреннему бенчмарку ZTTS2-Eval, новинка занимает первое место среди открытых моделей, за ней идут Fish S2 Pro и MOSS TTS v1.5.

Модель запускается в браузере через WebGPU, классическим путём с SGLang и vLLM, на Mac через MLX и на обычных процессорах через ggml.

По API в облаке Zyphra Inference она стоит 10 долларов за мегабайт текста, лимиты - один запрос за раз и 100 генераций в сутки.


📌Лицензирование: Apache 2.0


🟡Блогпост
🟡Веса
🟡Демо
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #TTS #ZONOS3 #Zyphra