Нейросеть для озвучки текста (с придыханиями, смехом и песнями)

Вышел алгоритм Bark для озвучки текста: в отличии от других доступных алгоритмов, этот умеет и придыхания, и копирование голоса (правда в дисклеймере написано, что эта функция ограничена из-за этических рисков), и даже в пение (!), причем на разных языках. Правда в связи с высоким спросом демо работает не очень быстро.

Главное достижение данной модели - она может передавать помимо текста – эмоции, которые в тексте дополнительно прописываются промптами.

Для тех, кто хочет попробовать сам, добавляйте их к тексту:

📣 [laughter] или [laughs] - и диктор засмеется во время озвучки,
📣 [sighs] или [gasps] - озвучит вздох или испуг,
📣 [music] - будет музыкальная вставка (не очень хорошо работает),
📣 [clears throat] - и диктор прочистит горло,
📣 — или ... и нейронка "запнется", как человек,
📣 ♪ и нейронка попробует напеть текст, работает не очень стабильно.
📣 А если выделить капсом, то алгоритм сделает акцент на этом слове.

На видео выше пример такой озвучки женским голосом на английском

✨ Потестировать онлайн | Исходный код на гитхабе

Как это может быть применено в играх и в образовании?

✔️ качественная замена авточтеца для звуковых отрывков (упражнения и аудиокниги)
✔️ озвучка всех диалогов NPC в играх
✔️ примеры произношения для иностранных языков
✔️ озвучка интерактивных элементов корпоративных онлайн тренингов

А какие альтернативные варианты применения нейросети предложите вы?

В общем и целом это элемент ооочень существенной экономии бюджетов озвучки. Правда как и прочие ИИ-усиленные решения он «подвигает» на рынке определенную профессию. В данном случае под ударом оказываются актеры озвучки…

На данный момент это пожалуй самая сильная заявка на «Лучший опенсорс алгоритм озвучки 2023»

🏳️ Создание игр, игропрактика и гейм дизайн на канале Игрострой

🏳️ИИ, дата центричный педдизайн, нейрофизиология и игропедагогика на канале Дизайн Образования

#ai #newtech #audio #lxpd

Прикладной ИИ - улучшатель звука

Те из вас, кто пробовал записывать собственные подкасты, видео и прочие ауди-обращения к народу знает как важно приобрести качественный микрофон и чтобы на заднем плане также не было никаких шумов.

Но с появлением ИИ этf проблема начинает очень качественно решаться. У безраздельно царившего на этом рынке Adobe podcast появляются конкуренты.

Сервис для улучшения звука на аудио.
⚜️https://ai-coustics.com/⚜️
Можно записывать свой микрофон прямо на сайте. Попробуйте там есть демо. Причем аудио можно как грузить файлом так и сразу писать голосом.

🏳️ Создание игр, игропрактика и гейм дизайн на канале Игрострой

🏳️ИИ, дата центричный педдизайн, нейрофизиология и игропедагогика на канале Дизайн Образования

#ai #edtool #audio