🎙 DeepVoiceClone 📻

Как-то давно я уже публиковал у себя пару нейросетей по клонированию голоса, но с тех пор качество значительно возросло. Сейчас я поковырял парочку свежих сеток и выбрал текущего фаворита. Им стала зеро-шот моделька под названием YourTTS. Да, там не только с голоса, но и с текста можно делать перенос. Если вы выбираете текст, то имейте в виду, что нейросеть может транслировать только английский, французский и португальский языки. Есть даже вэб-версия, но там дополнительно накладывается закадровая музыка (думаю сами понимаете почему). Если хотите на других языках клонировать, то милости прошу в перенос с голоса на голос, который так же имеется в Колабе. Но свой текст надо стараться проговаривать интонацией того человека, кто будет его озвучивать. Результат генерируется быстро, но получается чуточку шумным, что легко фиксится, например сторонними нейронками.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/DeepVoiceClone.ipynb

🐶 PetBreeder 1.1 🐱

Если (ну вдруг) у вас когда-либо возникало желание взглянуть на себя в облике пёселя или кошары, то сейчас появилась прекрасная возможность. Почему я это собрал? Дело в том, что я наткнулся на стайлгановские веса ffhq, дотюниные собачьим и кошачьим датасетами, которые дают весьма хорошие результаты и при этом «черты» лица человека (с входного изображения) сохраняются. Разве это не повод сделать что-нибудь забавное? В общем, по ссылке ниже можно генерировать как простое изображение своего психологического питомца, так и анимацию морфинга.

P.S. время удобства колаба медленно, но верно уходит. Возможно следующую нейронку соберу каким-нибудь градио, но не факт. Вот, кстати, пример от подписчика. Плюс хотел бы все-таки постить время от времени что-то новостное, обзорное, образовательное или тому подобное. А то канал пустует, а мне иногда есть что рассказать.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/PetBreeder.ipynb

Upscaler VS Frame Interpolator

Наконец я созрел до написания статейки (как в старые добрые времена). В этот раз весьма занимательный эксперимент, а именно: пробую увеличить FPS с помощью Real-ESRGAN и сделать апскейл интерполятором кадров RIFE. По ощущению будто заглядываешь в 4 измерение, когда делаешь пространственно-временной своп, которому и посвящен этот текст, но не стоит пугаться незнакомых фраз. Я очень старался сделать материал максимально доступным, поэтому проблем быть не должно.

P.S. Даже колаб собрал (пусть и думал от него отказаться), но он внутри статьи. Как появится какая-нибудь интересная нейросетка, обязательно соберу и для нее.

«Колоризация. Введение»

Колоризация кадров - одна из моих любимых задач в машинном обучении. Я протестировал, наверное, все существующие, на данный момент, репозитории с сетками по раскрашиванию, написанные на питоне, что-то писал сам (но лучше пусть это так и останется в старых, забытых колабах) и теперь могу подвести некоторые итоги. Отправной точкой возьму DeOldify (как самого популярного представителя жанра). У него есть проблемы, такие как синие ореолы вокруг объектов, отсутствие консистентности кадров, а также он часто пятнит. Приходится балансировать между буйством красок и согласованностью кадров. Либо куча цветов и фликер, либо стабильная ржавчина, но при всем при этом DeOldify все еще многие используют ибо он полностью автоматизированный. Хотя добавь немного ручной работы и видео заиграет новыми красками, так как есть куча алгоритмов, которые красят по референсу, а значит можно и богатую палитру, и когерентность сохранить.