Обнаженный портрет скорчившейся женщины, спрятанный под поверхностью картины Пабло Пикассо был восстановлен при помощи нейронных сетей

Пикассо закрасил фигуру при создании «Завтрака слепого» в 1903 году. Работу помог найти рентгенофлуоресцентный анализ. Затем нейросеть восстановила детали в стилистике Пикассо. Подробнее читай CNN.

Слева вверху: «Завтрак слепого»
Слева внизу: обнаженный портрет
Справа: Восстановленное изображение

Мне кажется, что это скорее не отдельная уникальная история, а просто нейронные сети, перенос стиля, суперрезолющн и энхансмент становится новой нормой работы с изображениями.

К тому же при такой генерации (восстановлении) имеет место мультимодальность: генерация неоднозначна, и никто не гарантирует, что картина была именно такой.

В моем эксперименте для генерации “сидящей женщины в солдатской шинели на голое тело в стилистике Пабло Пикассо” я использовал все тот же Zero-Shot Image Transfer, о котором подробно рассказывал на своей лекции:

🎬 Zero-Shot Image Transfer

На все “восстановление” изображения ушло мин 15, так как это Zero-Shot, и ничего нового делать было не нужно!

В твитторе началоcь безумство со StyleGAN3 (как и ожидалось).

Вот колаб (StyleGAN3+CLIP), который может генерить картинки по текстовому запросу с помощью эмбеддинга картинок и текста в общее пространство сетью CLIP.

На видео, например, таким макаром человек преобразуется в дерево. Инициализация - это фото, а затем зупускаем оптимизацию в сторону эмбеддинга "дерево". В колабе можно преобразовать себя в дерево или ракушку 🌚 (правда для этого нужно будет немного допилить ноутбук, чтобы спроецировать своё фото в пространство стайлгана).

🏆 Поздравляем Facebook AI команду Detectron с получением приза PAMI Everingham Prize на #ICCV 2021.

Detectron2 был разработан Facebook AI Research (FAIR) для поддержки новых имплементаций и оценки новых алгоритмов в области компьютерного зрения. Detectron2 включает в себя реализации следующих алгоритмов:

▪️Mask R-CNN
▪️RetinaNet
▪️Faster R-CNN
▪️RPN
▪️TensorMask
▪️PointRend
▪️DensePose
▪️и т.д.

🕋 Подробнее про Detectron2: FAIR's next-generation platform for object detection and segmentation.

🧛‍♀️StyleGAN3 + CLIP

prompt: Vampire Queen Monica Bellucci portrait in style of Gustav Klimt

p.s.: в процессе colab от Мишин Лернинг, куда переношу все фишки, которые делал для VQGAN+CLIP версии

🧛‍♀️🐍 Colab StyleGAN3 + CLIP by Мишин Лернинг

Подготовил для вас отполированную и доведённую до ума версию colab для генерации StyleGAN3 арта по текстовому описанию!

🤖 Для гиков: за основу взял выложенный вчера вечером в твиттере nshepperd1 колаб StyleGAN3 + CLIP, с прикрученным интерфейсом от nn_for_science. Улучшил стабильность и качество генерации, перенеся идеи, которые считаю важными, из vqgan версии.

🎓 Что улучшено в версии от “Мишин Лернинг”:
▪️Добавил дифференцируемые аугментации. Сильно накидывают в качестве
▪️Увеличил размер батча для CLIP на каждом шаге оптимизации
▪️Увеличил размер кропов в батче для CLIP
▪️Подобрал параметры оптимизации

🔮StyleGAN3 + CLIP by Мишин Лернинг colab

Советы:
▫️Экспериментируйте с разными моделями: там есть версии для лиц, портретов и для животных
▫️Пробуйте и t и r версии, t - для сдвигов, r - для поворотов
▫️Не бойтесь длинных описаний

p.s. prompt для анимации к посту: “A vampire woman with big lips & long hairs made of snakes in style of Gustav Klimt”

📣 Хотели CLIP? Получайте!

CLIP based Zero-shot Object Detection & Segmentation (20.10 следущая среда 19-30) от крутейшего специалиста по детекшену Юрия Пащенко | Sr Machine Learning Engineer at Depositphotos

p.s.: лекция обещает быть супер интересной, да еще и CLIP.. дайте два

🎓 Сегодня в 19-30.. А ладно давайте просто поговорим

Пока я еще не увлекся StyleGAN3+CLIP, хотел пару слов сказать про transformer.community и про ивенты, которые кидаю раз в неделю.

Я давно хотел сделать проект направленный на образование и knowledge sharing в области именно machine/deep learning. Создать комьюнити, где мы могли бы обмениваться знаниями, общаться и делать что-то новое.

Так что, когда вы видите очередную инфу про какой-то ивент в Трансформер, то это не реклама. Это именно наш проект. Наш с вами.

Мы провели 3 онлайн лекции:
▪️Zero-Shot — Zero Problem
▪️Attention: Vision Transformer ViT
▪️Deep Metric Learning | Kha Vu, Microsoft

Предстоящие ивенты:
▫️Сегодня (14.10) Speeding Up ML Pipelines
▫️Среда (20.10) CLIP based Zero-shot Object Detection & Segmentation

До встречи вечером, коллеги! Пообщаемся в чате на YouTube!

p.s.: + планируем запустить на YouTube формат Transfromer Paper Club 🧼

arxiv поднялся

📣 Лекция Speeding Up ML Pipelines от «Мишин Лернинг» | Иван Слобожан, Sr Researcher at SQUAD

📼👉 https://youtu.be/8Ejcrwn0XQE

🐍 Comprehensive Python Cheatsheet

Удобный сборник с основными подсказками и примерами по Python, который может быть полезен не только новичкам.

🔉Жанровая меломания нейросетей (видео к посту содержит джазовый пример генерации)

Тут мой коллега Александр, прекрасный ресерчер и автор, как бы я его назвал, гонзо ai телеграм-канала Love. Death. Transformers 🖤☠️🤗, с командой выкатили Music Composer (MIDI Music Transformer).

По факту это gpt-like архитектура, которая обучена генерировать не текст, а MIDI (можно сказать ноты) в четырех различных жанрах, которые префиксно кодируются в начале генерации (см Conditional Transformer). Подробности подхода и аттеншена этого трансформера есть в статье на хабре. Сгенерированные MIDI можно “рендерить”, используя библиотеку семплов фортепиано, рояля или любого другого midi-интсрумента.

📇статья на Хабр 💻 git 🔮colab

🎹p.s.: джаз, сгенерированный сетью, из видео к посту по духу напомнил мне Bill Evans - Blue in Green. кидаю ссылку всем любителям хорошего джаза

👾Pixray Panorama Colab

Тут altsoph выложил в своем твиттере курой колаб по созданию панорамного пиксель арта.

🔮colab

Текст: Астрологи объявили неделю stylegan3. Количество видео с трясущимися головами увеличилось вдвое.

🔮StyleGAN3 + CLIP by Мишин Лернинг colab

Чем прекрасен StyleGAN3 + CLIP? Контролируемым морфином от одного лица и стиля к другому благодаря одному лишь текстовому описанию!