​Image Inpainting: Partial Convolution vs Gated convolution

Продолжая рубрику #fundamentals,
поговорим о конволюциях, используемых в нейронных сетях для инпейнтинга. В модели для инпейнтинга изображений на вход обычно подается поврежденное изображение (с некоторыми замаскированными частями). Однако, мы не хотим, чтобы свёртки полагались на пустые области при вычислении фичей. У этой проблемы есть простое решение (Partial convolution) и более элегантное (Gated convolution).

🔻Partial Convolutions делают свертки зависимыми только от валидных пикселей. Они похожи на обычные свертки, где к каждой выходной feature-map применяется умножение на жесткую маску. Первая маска вычисляется непосредственно из покоцанного изображения или предоставляется пользователем в качестве входных данных. Маски для каждой следующей частичной свертки вычисляются путем нахождения ненулевых элементов в промежуточных feature-мапах.

- Для частичной свертки недопустимые пиксели будут постепенно исчезать в глубоких слоях, постепенно преобразовывая все значения маски в единицы.
- частичная свертка несовместима с дополнительным вводом пользователя. Однако мы хотели бы иметь возможность использовать дополнительные пользовательские инпуты для условной генерации (например, скетч внутри маски).
- Все каналы в каждом слое используют одну и ту же маску, что ограничивает гибкость. По сути, частичную свертку можно рассматривать как необучаемое одноканальное зануление фичей по маске.

🔻Gated convolutions. Вместо жесткой маски, обновляемой с помощью жестких правил, закрытые свертки автоматически учат soft маску из данных. Дополнительная конволюция берет входную feature-map и предсказывает соответствующую soft маску, которая применяется к выходу оригинальной свертки.

- Gated convolution может принимать любой дополнительный инпут пользователя (например, маску, эскиз) в качестве входных данных. Все они могут быть склеены с поврежденным изображением и скормлены в сеть.
- Gated convolution динамически учит механизм выбора признаков для каждого канала и каждого пространственного расположения.
- Интересно, что визуализация промежуточных значений предсказанных масок показывает, что gated convolution учится выбирать фичи не только по фону, маске, эскизу, но и с учетом семантической сегментации в некоторых каналах.
- Даже в глубоких слоях gated convolution учится выделять именно маскированные области и информацию о входном скетче в отдельных каналах, что позволяет более качественно генерировать восстановленную картинку.

@ai_newz

📸 DALL•E 2 уже используют профессиональные фотографы для «генеративной фотографии»!

Создать грамотную композицию, расставить объекты и свет, выставить кадр, обозначить акценты — сложная задача для фотопортрета. Но ещё более сложная — сама творческая идея. Зачем обязательно фотографировать, если можно фотографии генерить?

DALL•E 2 не очень хорошо генерит лица и глаза. Но Mathiue Stern предложил подход и же запилил туториал на YouTube:

- Описываем фотопортрет, описываем все что хотим: позу, окружение, свет, тип объектива, тип пленки, и т.д. Генерим, генерим, генерим.
- Выбираем интересные варианты, в основном ориентируемся на гармоничность снимка и удачную художественную идею. На лицо не смотрим. Если не нравятся результаты, правим описание в прошлом пункте.
- Часть картинки можно профиксить в режиме инпеинтинг.
- В фотошопе исправляем лица и глаза «направлением взгляда» в их нейронных фильтрах
- Делаем цветокор и прочую постобработку

В итоге получаем отличные кадры!

@мишин лернинг

🧜‍♀️ Мне дали DALL•E 2

Я подал заявку и попал в Waitlist DALL•E 2 в первый час после выхода сети. За это время я уже отчаялся, что даже решил, что свой DALL•E 2 like будет сделать быстрее.. Но нет, доступ на почту пришёл сегодня утром.

У меня не было времени долго экспериментировать, я лишь проверил идею, которая была в моей голове давно, а именно создать Нейрогенеративный Коллаж. Я скрестил «Рождение Венеры» Сандро Боттичелли и поп арт портрет Мерлин из (Marilyn Diptych) — полотна Энди Уорхола.

На создание такой работы ушло несколько минут. И я понимаю, почему началась такая паника в твиттере у иллюстраторов. Нейросеть даже вспомнила, про поднятое платье Мерлин, и удачно применило его к коллажу! Так что, буду спамить в своём втором канале:

🌊 Н Е Й Р О Э С Т Е Т И К А — мой канал с генеративным артом там уже есть много крутого генеративного арта, теперь буду постить туда свои эксперименты и с DALL•E 2. Так же предлагаю общаться и генерить и придумывать что-то вместе.

Мишин Лернинг ✖️ Нейроэстетика

Заявок на доступ к DALL•E 2 уже намного больше миллиона! На сегодняшний день OpenAI дали доступ 100,000 юзерам, а их следующая цель — 1,000,000.

👉 так что регаемся, все будет

@Мишин Лернинг

🧠❗️Andrej Karpathy уходит из Tesla

«Типа автопилот работает на ура, а я пошёл пилить опенсорс AI.» Так написал у себя в твиттере Андрей Карпаты.

Напомню, что недавно Ian Goodfellow ушел из Apple и уже вышел в DeepMind. Не думаю, что с Андрем Карпаты повторится история Яна СлавногоПаренька, скорее всего это будет независимый AI ресерч с большим компьютом.

@мишин лернинг

CS25: Transformers United

Ух! Вышел курс чисто по Трансформерам от Стенфорда! Думаю, должно быть интересно.

Выложили уже 4 лекции. Го смотреть, прокачиваться.

🌐 Сайт
📺 Видео лекции

@ai_newz

🌊 Приглашаю в Нейроэстетика HUB

Создал чат где мы можем:
- обсуждать генеративный арт
- нейронные сети
- площадки и мероприятия
- просто общаться и флудить на тему генеративки

Мы живем в эпоху нейронных сетей. Я называю эту эпоху — нейромодерном. А у каждой эпохи должна быть своя эстетика, своё отражение в искусстве и своя тусовка.

Мне кажется, что Хаб Нейроэстетика станет прекрасным цифровым клубом художников этой эпохи.

👉 в Нейроэстетика HUB

Мишин Лернинг ✖️ Нейроэстетика

✌️ Я знаю куда уходит Andrej Karpathy..

🧠 Andrej Karpathy станет независимым ресерчером и частью stability.ai, куда входят такие команды как: EleutherAI и LAION