VoiceCraft: Zero-Shot редактор речи и Text2Speech

VoiceCraft - это нейрокодек, который может в редактирование записанной речи, позволяющий заменять сказанные слова на новые. На все про все ему нужно пару секунд референса, который можно взять из остальной записи.

Получается, можно полноценно редактировать какой-нибудь подкаст, вырезая лишнее и генеря заново текст.

Модель представляет собой авторегрессионный трансформер на 830М параметров, обученный на Gigaspeech XL. Чтобы перевести аудио в latent space используется модель EncodecModel с 56М параметров, натренированная по принципу VQGAN.

VoiceCraft генерит 13 секунд аудио примерно за 8 секунд на RTX 3080 (те быстрее самой записи), что по идее дает возможность редактировать речь в риалтайме.

Пока доступен только английский язык.

В перспективе, как уже сказано, можно использовать для монтажа подкастов, а также закадрового голоса. На данный момент, это вроде как SOTA из того, что есть в опенсорсе.

Ну а если прикрутить еще какой-нибудь wav2lip, то и видосы тоже можно будет редачить.

Статья
Сайт проекта с примерами
Код
Потыкать самостоятельно в хаггинге
Notebook

@ai_newz

Нейродайджест за неделю (#13)

1. Заметки
— Канада выделила 1.5 млрд долларов на AI кластер. Молодежь радуется шансу разбогатеть. Государственики медленно просыпаются к AI-лихорадке.
— ШАД от Яндекса - бесплатная программа по фундаменту в ML. Хороший буст по знаниям.
— llm.c от Андрея Карпатого - тренируй LLM на умных лампочках
— NeurIPS трек для старшеклассников. Скоро без статей на Нипсе и в шарагу не возьмут?

2. Релизы и обновления
— JetMoE - очень дешевый трейн LLM. Можно юзать как основу для файнтюнов.
— GPT-4 - теперь с картинками через API. В целом значительно лучше. Обнову уже завезли и в чатик.
— Дроп Mixtral-8x22B. Веса уже на торренте.
— Grok 1.5V от Маска с виженом и любовью. Скоро.

3. Утилиты и приложения
— Креативный апскейл от Леонардо. Дают опрокинуть 5 бесплатных грузовиков с деталями в день.
— Lightning Studio - альтернатива Google Colab с бесплатным хранилищем и интеграцией IDE. 22 GPU-часа бесплатно в месяц.
— VoiceCraft - редактор речи. Как поменять кусок текста в аудиозаписи.

4. Подкасты
— Разговор о RAG с Олой Пиктус, ресерч инженерном из Cohere. И о том как перекатиться из SWE а ресерч на ее примере.

5. Личное
— Об авторе канала + подборка избранных постов для новоприбывших.

#дайджест
@ai_newz

Adobe закупается видосиками

По интернету и так ходят слухи, что в нём закончилась дата для тренировки диффузионок. А если ты Adobe и хочешь все делать на лицензионном контенте, то и того хуже. Так что теперь адобченко платят по 3 доллара (доходит и до $7) за минуту видео-контента для своих моделей. При чем на видео люди просто живут, двигают руками, ногами; злятся и говорят по телефону. Что, наверное, не так часто снимают специально. Может быть, таких данных действительно не хватает.

Никогда бы не подумал, что для того чтобы успеть в гонке ии-моделек, весь бигтех дружно перейдет на пиратский контент (хотя, считать это fair use или нет все еще является дилеммой). Кстати, слышал где-то, что 6-ю версию Midjourney тренировали на кадрах из фильмов. Поэтому там такие красивые картинки. Файнтюн на эстетику.

Ну, и теперь, очевидно, что Adobe готовят свою видео модель, конкурента SORA.

@ai_newz

Решил я стать промпт-инженером и получать $300кк/сек, поэтому посмотрел курс Эндрю Ына "ChatGPT Prompt Engineering for Developers". Шучу, конечно. Просто хотелось понять, насколько полезны такого рода курсы, может там действительно учат заклинать нейронки – я впервые смотрел лекции по промпт-инжинирингу.

Мой честный отзыв:
– Курс будет полезен для новичков, которые слабо представляют как работать с LLM, и что у нее можно просить (и как). Классно, что параллельно с видео можно самому играться с промптами и вызывать GPT-3.5 через API в бесплатном ноутбуке, который встроен в интерфейс курса.
– Кроме этого, особо ничему там не научат. Разве, что я увидел прикольную тулзу redlines для подсветки разницы между двумя текстами в python (см скрин в первом коммментарии).

Так что для новичков — рекомендую. Для остальных — нет, лучше почитайте статьи какие-нибудь.

Ссылка на курс (бесплатно)

#туториал
@ai_newz