Нейросеть для клонирования голоса MARS5. Сравнение с ElevenLabs

Записала для вас видео сравнение двух нейросетей в клонировании голосов. Про ElevenLabs вы в курсе, освежить память можно, нажав #elevenlabs

Новая нейросеть MARS5 доступна бесплатно в GitHub, либо либо на платформе Camb AI. Где на старте дается 5 минут. На самой платформе еще есть видеодубляж с переводом, и это тоже входит в бесплатные 5 минут.
Политика как и у ElevenLabs - те каждый месяц дают бесплатно 10к знаков (10 мин аудио), которые можно потратить на дубляж с переводом, перевести текст в аудио, создать голоса, а звуковые эффекты и вовсе пока бесплатны.

🟣 Клонирование голоса:
Для того, чтобы клонировать голос, загружать аудио нужно в формате .wav, длина от 90 секунд до 10 минут.
Бесплатно дает загрузить 2 голоса для клонирования. Голосами можно озвучить до 400 символов текста за раз.
Работает со 140 языками, включая русский.

Намеренно не стала сравнивать с Whisper Speech и PlayHT, так как они не поддерживают русский язык.
Их возможности представлены в этих постах:

🟣 Бесплатное клонирование с Whisper Speech
🟣 Клонирование с PlayHT

Что скажете? Кто пробовал MARS5, у вас какие результаты?

#elevenlabs #mars5 #text2audio #texttoaudio

НейроProfit

Профессиональный сервис для работы со звуком

Заметила, в чате несколько раз были запросы на нейросети для работы со звуком. Крутой сервис для постобработки аудио Auphonic использует ИИ для улучшения качества звука.
Например, вы записали подкаст, видео или аудиосообщение, но в записи есть шумы, разная громкость, посторонние звуки, слова-паразиты, а музыка слишком громкая. Auphonic исправляет всё это автоматически

Что конкретно может 🔡

🔴 Автоуровень - автоматически выравнивает громкость между различными источниками звука, чтобы звучание было равномерным. Вы записали подкаст, где у одного спикера голос громкий, а у другого – тихий, плюсом, музыка заглушает речь. Сервис автоматически выровняет громкость всех источников, чтобы слушателям не приходилось крутить громкость.

🔴 Для профессионалов очень классная функция - Поддержка видео, метаданных и глав.
К примеру, вы записали видеоподкаст и хотите, чтобы зрители могли переключаться между темами. Чтобы самому вручную или в стороннем сервисе не разбивать метки тем, Auphonic создаст главы и аудиограммы, которые упрощают навигацию и делают контент удобнее.

🔴 Удалит паузы и слова-паразиты - автоматически вырежет длительные паузы и слова-паразиты, типа «э-э», «мм». Очень удобно для подкастов, где паузы между словами слишком длинные или «э-э», «мм» через каждое слово - тут тоже сервис всё это удалит, чтобы речь звучала плавно.

🔴 Уменьшить шум и реверберацию - удалит статические и динамические шумы, а также эхо, улучшит четкость записи. Например, вы записали интервью на улице, и в записи слышен шум машин. Сервис уберёт эти фоновые звуки, сделав голос чётким и разборчивым.

🔴 Фильтрация и автоматический эквалайзер -устранит нежелательные частоты и сибилянты, создавая чистый и приятный звук. Представьте, что в записи вашей речи слышны "свистящие" звуки от буквы "С" или низкочастотный гул от микрофона. Сервис исправит эти дефекты, улучшив общее качество звука.

🔴 Может обработать несколько аудиодорожек. Допустим, вы записали подкаст с несколькими участниками на отдельных микрофонах. Сервис обработает каждую дорожку отдельно, а затем сведёт их так, чтобы не было перекрёстных шумов и всё звучало сбалансировано.

🔴 Преобразует аудио в текст, сервис мультиязычный, поэтому проблем с распознанием речи не будет, плюсом создаст заметки с главами. Например, вы провели вебинар и хотите сделать текстовый конспект. Сервис автоматически преобразует вашу речь в текст и добавит структуру в виде заметок и глав.

Работает просто:
🟣 Заходите на сайт Auphonic
🟣 Нажимаете «drop audio file» и загружаете видео
🟣 Далее, выбираете нужную опцию из списка, например, voice cleaner keep music и получаете результат

Бесплатно можно обработать до 2 часов аудио в месяц. Но вы уже знаете, что делать 😉

😳 Другие нейросети для работы со звуком

НейроProfit | Закрытый клуб НейроУчеба

#звук #аудио #звукорежиссер #подкаст #аудиовтекст #нейросетьдлязвука #убратьшумы #auphonic #texttoaudio #text2audio

Сервис для генерации и клонирования голоса от Hailuo

Вышел заменитель ElevenLabs - многозадачной платформы для генерации реалистичных голосов. Долгое время они оставались одними из лучших, впрочем, и сейчас остаются из-за расширенных настроек и функций, которых пока нет в обозреваемом сервисе. Но в РФ недоступны, и нужен хороший “телепорт” в другие страны.

Итак, Hailuo - которые раньше были известны благодаря видеогенератору Minimax, сейчас решили выкатить еще и генератор текста в аудио с функцией клонирования голосов MiniMax Audio

Что крутого 🔡
🔴 Бесплатно
🔴 Легко клонирует за 10 секунд
🔴 Поддерживает русский язык
🔴 Пока нет цензуры на клонирование голосов знаменитостей, ну вы поняли)
🔴 Есть библиотека с более, чем 300 голосами на разных языках, с разными стилями и акцентами
🔴 Поддерживает 18 языков

🌸 Бесплатно можно сделать 3 клонирования голоса. Можно предоставить аудио файлы до 50 МБ или записать голос прямо на сайте от 10 до 60 секунд. Я загрузила 8-минутный аудиоотрезок с моим голосом. Результат на ваш суд.

Лично мне пока больше нравится ElevenLabs. Не смотря на настройки голоса в MiniMax Audio, с клонированным голосом мало, что можно сделать, а ElevenLabs дают три раза перегенерировать бесплатно результат, если вам не понравится.

А вообще, сравнивать смысла нет, ElevenLabs это уже многофункциональные гиганты с привлеченным капиталом. ElevenLabs это не только генерация голосов и звуков, это так же dubbing, студия дубляжа, с функцией смешивания, клонирования, в том числе профессионального клонирования, и создания голосов, с собственной технологией, которая определяет был ли голос сгенерирован в каком-либо сервисе. А MiniMax Audio надо быстренько бежать тестить для своих целей, пока бесплатно )

НейроProfit | Закрытый клуб НейроУчеба

#бесплатно #free #text2audio #texttoaudio