«Колоризация. Введение»

Колоризация кадров - одна из моих любимых задач в машинном обучении. Я протестировал, наверное, все существующие, на данный момент, репозитории с сетками по раскрашиванию, написанные на питоне, что-то писал сам (но лучше пусть это так и останется в старых, забытых колабах) и теперь могу подвести некоторые итоги. Отправной точкой возьму DeOldify (как самого популярного представителя жанра). У него есть проблемы, такие как синие ореолы вокруг объектов, отсутствие консистентности кадров, а также он часто пятнит. Приходится балансировать между буйством красок и согласованностью кадров. Либо куча цветов и фликер, либо стабильная ржавчина, но при всем при этом DeOldify все еще многие используют ибо он полностью автоматизированный. Хотя добавь немного ручной работы и видео заиграет новыми красками, так как есть куча алгоритмов, которые красят по референсу, а значит можно и богатую палитру, и когерентность сохранить.

В прикрепленном примере слева DeOldify, а справа я разбил ч/б видео на сцены, взял из них по одному кадру, прогнал их через image2text (да, такие сетки тоже кому-то нужны в 2к22), загуглил картинки по тексту (хотя можно было бы и сгенерить) и подал как референс, а в колабе ниже я попытался все это автоматизировать на примере одной старенькой сетки. Видно, результат сыроват, но это ведь только «Введение». Далее, если эта тема окажется интресной не только мне, я постараюсь простым языком шире ее раскрыть. Пока не решил серия ли это будет постов, или в статейку все уместить.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/VCR.ipynb

За последние годы я сильно пристрастился к Колабу. Не припомню и дня, когда я бы не запускал в нем какую-нибудь нейронку. Что уж там, я в ML начал погружаться в том числе благодаря доступности ВычМощей, которые он предлагал. Но в какой-то момент халява подходит к концу и мы замечаем, что остается всего 15 часов до момента, когда ресурсы закончатся. Этого времени как раз хватит, чтобы пару деньков позапускать какие-нибудь старенькие ноутбуки, выпить бутылочку вина за прекрасные мгновения, проведенные вместе, и попрощаться с Колабом, так и не став его амбассадором. Через месяц снова появится возможность пользоваться сервисом в полной мере, но опять всего на несколько часов.

🎤 Pop2Piano 🎹

Ку. Продолжаем пилить колабы? Вроде как активнее начали появляться интересные проекты, а значит я снова в строю. На этот раз сетка, которая изменить музыкальное сопровождение какой-нибудь попсовой песенки на аккомпонимент пианино. Работает быстро и звучит миленько. Париться с вырезанием голоса не нужно (все, что необходимо я вшил в колаб). Просто грузите трек как есть и получайте забавный результат. Учтите, что если у песни долгое вступление, то и мелодия начнется не сразу.

P.S. буду стараться собирать все то, что тянет бесплатный колаб. В платном вы сами знаете что творится.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Pop2Piano.ipynb

💠 ComfyUI 🏞

Я тут колаб принес, пользовательский интерфейс которого позволит вам проектировать пайплайн стабильной диффузии, используя интерфейс на основе нод (да да, прям в колабе). Если это кажется сложным, то предлагаю ознакомиться с этими примерами. Может работать асинхронно, куча оптимизаций, поддержка ckpt и safetensors, эмбэды, контролнеты и кучу всего другого. Контролнеты, к слову, можно миксовать друг с другом.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/SDNode_v_1_0.ipynb