VoiceCraft: Zero-Shot редактор речи и Text2Speech

VoiceCraft - это нейрокодек, который может в редактирование записанной речи, позволяющий заменять сказанные слова на новые. На все про все ему нужно пару секунд референса, который можно взять из остальной записи.

Получается, можно полноценно редактировать какой-нибудь подкаст, вырезая лишнее и генеря заново текст.

Модель представляет собой авторегрессионный трансформер на 830М параметров, обученный на Gigaspeech XL. Чтобы перевести аудио в latent space используется модель EncodecModel с 56М параметров, натренированная по принципу VQGAN.

VoiceCraft генерит 13 секунд аудио примерно за 8 секунд на RTX 3080 (те быстрее самой записи), что по идее дает возможность редактировать речь в риалтайме.

Пока доступен только английский язык.

В перспективе, как уже сказано, можно использовать для монтажа подкастов, а также закадрового голоса. На данный момент, это вроде как SOTA из того, что есть в опенсорсе.

Ну а если прикрутить еще какой-нибудь wav2lip, то и видосы тоже можно будет редачить.

Статья
Сайт проекта с примерами
Код
Потыкать самостоятельно в хаггинге
Notebook

@ai_newz

Нейродайджест за неделю (#13)

1. Заметки
— Канада выделила 1.5 млрд долларов на AI кластер. Молодежь радуется шансу разбогатеть. Государственики медленно просыпаются к AI-лихорадке.
— ШАД от Яндекса - бесплатная программа по фундаменту в ML. Хороший буст по знаниям.
— llm.c от Андрея Карпатого - тренируй LLM на умных лампочках
— NeurIPS трек для старшеклассников. Скоро без статей на Нипсе и в шарагу не возьмут?

2. Релизы и обновления
— JetMoE - очень дешевый трейн LLM. Можно юзать как основу для файнтюнов.
— GPT-4 - теперь с картинками через API. В целом значительно лучше. Обнову уже завезли и в чатик.
— Дроп Mixtral-8x22B. Веса уже на торренте.
— Grok 1.5V от Маска с виженом и любовью. Скоро.

3. Утилиты и приложения
— Креативный апскейл от Леонардо. Дают опрокинуть 5 бесплатных грузовиков с деталями в день.
— Lightning Studio - альтернатива Google Colab с бесплатным хранилищем и интеграцией IDE. 22 GPU-часа бесплатно в месяц.
— VoiceCraft - редактор речи. Как поменять кусок текста в аудиозаписи.

4. Подкасты
— Разговор о RAG с Олой Пиктус, ресерч инженерном из Cohere. И о том как перекатиться из SWE а ресерч на ее примере.

5. Личное
— Об авторе канала + подборка избранных постов для новоприбывших.

#дайджест
@ai_newz

Adobe закупается видосиками

По интернету и так ходят слухи, что в нём закончилась дата для тренировки диффузионок. А если ты Adobe и хочешь все делать на лицензионном контенте, то и того хуже. Так что теперь адобченко платят по 3 доллара (доходит и до $7) за минуту видео-контента для своих моделей. При чем на видео люди просто живут, двигают руками, ногами; злятся и говорят по телефону. Что, наверное, не так часто снимают специально. Может быть, таких данных действительно не хватает.

Никогда бы не подумал, что для того чтобы успеть в гонке ии-моделек, весь бигтех дружно перейдет на пиратский контент (хотя, считать это fair use или нет все еще является дилеммой). Кстати, слышал где-то, что 6-ю версию Midjourney тренировали на кадрах из фильмов. Поэтому там такие красивые картинки. Файнтюн на эстетику.

Ну, и теперь, очевидно, что Adobe готовят свою видео модель, конкурента SORA.

@ai_newz

Решил я стать промпт-инженером и получать $300кк/сек, поэтому посмотрел курс Эндрю Ына "ChatGPT Prompt Engineering for Developers". Шучу, конечно. Просто хотелось понять, насколько полезны такого рода курсы, может там действительно учат заклинать нейронки – я впервые смотрел лекции по промпт-инжинирингу.

Мой честный отзыв:
– Курс будет полезен для новичков, которые слабо представляют как работать с LLM, и что у нее можно просить (и как). Классно, что параллельно с видео можно самому играться с промптами и вызывать GPT-3.5 через API в бесплатном ноутбуке, который встроен в интерфейс курса.
– Кроме этого, особо ничему там не научат. Разве, что я увидел прикольную тулзу redlines для подсветки разницы между двумя текстами в python (см скрин в первом коммментарии).

Так что для новичков — рекомендую. Для остальных — нет, лучше почитайте статьи какие-нибудь.

Ссылка на курс (бесплатно)

#туториал
@ai_newz

TikTok тестирует AI-инфлуенсеров для интеграции в рекламный кабинет.

Уже были попытки реализовать что-то подобное, завирусившееся в твиттере, правда там было не совсем ai generated (там был простой липсинк). Но выглядело очень правдоподобно – говорящая голова эмоционально зачитывает любой рекламный текст за несколько десятков $.

И вот в сеть утекла информация, что тикток и сам пробует нечто похожее. Неясно, как это будет реализовано и еще более неясно, как на это отреагирует аудитория. А вот криэйторам стоит побеспокоиться, ведь их доход в основном состоит из таких вот партнерств с брэндами, которые AI-аватары могут перетянуть на себя. Криэйторам там и так не платят, а теперь еще и спонсоров хотят отжать. О этот новый дивный мир!

@ai_newz

До сих пор довольно мало инфы известно о реализации модели SORA. Есть только спекуляции, и часто ошибочные. Основная идея — это то, что там огромный и медленный DiT (диффузионный трансформер), натренированный на большом объеме качественных видео.

Я наткнулся на запись доклада, где основные авторы SORA Tim Brooks & Bill Peebles трут о модели на каком-то митапе в Долине. Запись шакальная, как экранная копия кино, снятого с сони-эриксона в кинотеатре (ну зато субтитры приделали). Но все равно, думаю, интересно послушать про Сору от самих авторов, хоть и глубоких деталей они все равно не дают, конечно.

@ai_newz

Вышел AI Index Report 2024 - ежегодный отчет от Стенфорда про тренды в AI (не только в ресерче).

1. AI местами уже обходит людей в задачах связанных с классификацией изображений и пониманием (английского) языка. Но еще не везде (пока).

2. Бигтех продолжает жестко доминировать в АИ ресерче выпустив, помимо прочего, 51 достойную модель, пока академия лишь 15.

3. По оценкам AI Index, затраты на обучение современных моделей ИИ достигли беспрецедентного уровня, например, на обучение GPT-4 от OpenAI было потрачено около 78 млн $, а на Gemini Ultra от Google - 191 млн $ .

4. США – лидер в AI гонке, а Китай в робототехнике. Китай клепает много статей, но реально крутых моделей у них меньше чем у Американцев.

5. Остро стоит вопрос алайнмента. Сейчас нет каких-то бенчмарков или утвержденных эталонов для оценки ответственности LLM, что затрудняет систематическое сравнение рисков и регуляцию моделей между сосбой.

6. Инвестиции в AI резко возросли, почти в восемь раз по сравнению с 2022 годом и достигли 25,2 миллиарда долларов, несмотря на общее снижение частных инвестиций в нишу в прошлом году.

7. AI повышает производительность труда, а также сужает разрыв между начинающими и опытными сотрудниками. Так что учимся пользоваться!

8. Научный прогресс ускоряется еще больше благодаря AI. В 2023 году были запущены AI-интсрументы во всех сферах научной деятельности, начиная с AlphaDev, повышающего эффективность алгоритмической сортировки, до GNoME, облегчающего процесс открытия новых материалов.

9. Мы видим все больше регуляций AI со стороны государств. Количество нормативных актов, связанных с AI, в США резко возросло за последний год и последние пять лет, в 2023 году их было 25, а в 2016 – всего один.

10. До людей постепенно доходит что AI это вам не NFT, согласно опросу Ipsos, доля тех, кто считает, что искусственный интеллект кардинально повлияет на их жизнь в ближайшие три-пять лет, увеличилась с 60% до 66%, а 52% выражают обеспокоенность в отношении AI. Люди боятся того, чего не понимают.

Репорт в PDF

@ai_newz

Кажется, мы стали забывать, сколько стоит тренировка Gemini Ultra... ее оценивают в 191.4 миллиона долларов $$$!

Это почти в 2.5 раза больше чем GPT-4, и тут еще не учтены остальные эксперименты, которые не выгорели.

Но и инференс же тоже не дешевый. Уверен, что гугл сейчас в убыток раскатывает свои модели в прод.

@ai_newz

Новый Atlas от Boston Dynamics

Только вчера они прощались с классической моделью Атласа, над которым как только не измывались, а сегодня уже показывают его замену. В отличие от прошлых, гидравлических, поколений, новое поколение Atlas - полностью электрическое, что делает его сильнее и ловче.

Выглядит прикольно - дизайном напоминает фантастику 50-х. Мелкой моторики Optimus мы тут, конечно же, не увидим, но двигается он гораздо живее. И, самое важное, его возможно будет купить после бета-тестирования клиентами (пока что это только Hyundai). Но, смотря на цену Spot (да-да, та самая робо-собачка) в $75k, страшно и представить сколько попросят за гуманоидного робота.

@ai_newz