🧛‍♀️🐍 Colab StyleGAN3 + CLIP by Мишин Лернинг

Подготовил для вас отполированную и доведённую до ума версию colab для генерации StyleGAN3 арта по текстовому описанию!

🤖 Для гиков: за основу взял выложенный вчера вечером в твиттере nshepperd1 колаб StyleGAN3 + CLIP, с прикрученным интерфейсом от nn_for_science. Улучшил стабильность и качество генерации, перенеся идеи, которые считаю важными, из vqgan версии.

🎓 Что улучшено в версии от “Мишин Лернинг”:
▪️Добавил дифференцируемые аугментации. Сильно накидывают в качестве
▪️Увеличил размер батча для CLIP на каждом шаге оптимизации
▪️Увеличил размер кропов в батче для CLIP
▪️Подобрал параметры оптимизации

🔮StyleGAN3 + CLIP by Мишин Лернинг colab

Советы:
▫️Экспериментируйте с разными моделями: там есть версии для лиц, портретов и для животных
▫️Пробуйте и t и r версии, t - для сдвигов, r - для поворотов
▫️Не бойтесь длинных описаний

p.s. prompt для анимации к посту: “A vampire woman with big lips & long hairs made of snakes in style of Gustav Klimt”

📣 Хотели CLIP? Получайте!

CLIP based Zero-shot Object Detection & Segmentation (20.10 следущая среда 19-30) от крутейшего специалиста по детекшену Юрия Пащенко | Sr Machine Learning Engineer at Depositphotos

p.s.: лекция обещает быть супер интересной, да еще и CLIP.. дайте два

🎓 Сегодня в 19-30.. А ладно давайте просто поговорим

Пока я еще не увлекся StyleGAN3+CLIP, хотел пару слов сказать про transformer.community и про ивенты, которые кидаю раз в неделю.

Я давно хотел сделать проект направленный на образование и knowledge sharing в области именно machine/deep learning. Создать комьюнити, где мы могли бы обмениваться знаниями, общаться и делать что-то новое.

Так что, когда вы видите очередную инфу про какой-то ивент в Трансформер, то это не реклама. Это именно наш проект. Наш с вами.

Мы провели 3 онлайн лекции:
▪️Zero-Shot — Zero Problem
▪️Attention: Vision Transformer ViT
▪️Deep Metric Learning | Kha Vu, Microsoft

Предстоящие ивенты:
▫️Сегодня (14.10) Speeding Up ML Pipelines
▫️Среда (20.10) CLIP based Zero-shot Object Detection & Segmentation

До встречи вечером, коллеги! Пообщаемся в чате на YouTube!

p.s.: + планируем запустить на YouTube формат Transfromer Paper Club 🧼

arxiv поднялся

📣 Лекция Speeding Up ML Pipelines от «Мишин Лернинг» | Иван Слобожан, Sr Researcher at SQUAD

📼👉 https://youtu.be/8Ejcrwn0XQE

🐍 Comprehensive Python Cheatsheet

Удобный сборник с основными подсказками и примерами по Python, который может быть полезен не только новичкам.

🔉Жанровая меломания нейросетей (видео к посту содержит джазовый пример генерации)

Тут мой коллега Александр, прекрасный ресерчер и автор, как бы я его назвал, гонзо ai телеграм-канала Love. Death. Transformers 🖤☠️🤗, с командой выкатили Music Composer (MIDI Music Transformer).

По факту это gpt-like архитектура, которая обучена генерировать не текст, а MIDI (можно сказать ноты) в четырех различных жанрах, которые префиксно кодируются в начале генерации (см Conditional Transformer). Подробности подхода и аттеншена этого трансформера есть в статье на хабре. Сгенерированные MIDI можно “рендерить”, используя библиотеку семплов фортепиано, рояля или любого другого midi-интсрумента.

📇статья на Хабр 💻 git 🔮colab

🎹p.s.: джаз, сгенерированный сетью, из видео к посту по духу напомнил мне Bill Evans - Blue in Green. кидаю ссылку всем любителям хорошего джаза

👾Pixray Panorama Colab

Тут altsoph выложил в своем твиттере курой колаб по созданию панорамного пиксель арта.

🔮colab

Текст: Астрологи объявили неделю stylegan3. Количество видео с трясущимися головами увеличилось вдвое.

🔮StyleGAN3 + CLIP by Мишин Лернинг colab

Чем прекрасен StyleGAN3 + CLIP? Контролируемым морфином от одного лица и стиля к другому благодаря одному лишь текстовому описанию!

Краткая История CLIP based Text2Image Арта

Начали за здравие: BigGAN,
StyleGAN, VQ-GAN, Diffusion, потом на pixel art перешли. А закончили на CLIP is all you need.. что по факту deep dream - дип дримом.. вот оно как бывает)

🧿 DeepMind выложил курс Reinforcement Learning Lecture Series 2021

13 лекций по основам обучения с подкреплением и планирования в задачах последовательного принятия решений.

На курсе подробно разбирается:
▪️Markov Decision Processes
▪️Sample-based learning algorithms ▪️Q-learning
▪️SARSA
▪️Deep reinforcement learning

А также в курс входят более продвинутые темы, и имплементации deep reinforcement learning алгоритмов.

👉 Курс от DeepMind: Reinforcement Learning Lecture Series 2021

💻 MacBook 14’ & 16’ M1 PRO or M1 MAX with mini-LED | Apple Event — October 18

Сегодня Apple представила новое поколение макбуков.

⚙️ Новые чипы:
- M1 PRO | +70% CPU / 2x GPU (m1)
- M1 MAX | 4х GPU (m1)

💻 New MacBook Pro с челкой
- 14.2’’ from 2000$
- 16.2’’ from 2500$
- mini-LED, челка, порты, отсутсвие полоски для идиотов и M1 PRO or M1 MAX на выбор

🎼 AirPod 3 (dynamic headtracking | adaptive EQ) 180$

🎬 Apple Event — October 18

⚠️🎓 CLIP Zero-shot Detection & Segmentation | Yurii Pashchenko | Object Detection Specialist

В эту среду в 19:30 один из самых ожидаемых ивентов!

Можете представить себе детектор для любых объектов, и для получения которого вам не нужно данных? Представили? Звучит как CLIP, но не для классификации, а для задач детекции? Все верно!

Лектор: Yurii Pashchenko, Sr Machine Learning Engineer at Depositphotos
🧠 Over 8 years of research and commercial experience in applying Deep Learning models
🛵 Object Detection Specialist
🎓 Knowledge Sharing Master at Transformer

Что будет на лекции:
▪️ Short Intro to CLIP, Zero-Shot and Object Detection
▪️ Difficulties of applying CLIP to existing detectors
▪️ Assembling Object Detector without bells and whistles
▪️ Different ways to generate region proposals
▪️ Knowledge distillation is all you need

Ссылки и полезные материалы придут по почте по итогам лекции

📅 19-30 (эта среда) 20 октября
🎓 Онлайн и бесплатно (по регистрации)
👉 ссылка на лекцию в Transformer

💻 MacBook 14,2’’ from 2000$ & MacBook 16,2’’ from 2500$

С челкой, портами и mini-LED, без мертворожденной полосы для эмоджи и на чипах M1 PRO (16-core GPU) или M1 MAX (32-core GPU) на выбор