🤖⚡️ Лекция Speeding Up ML Pipelines от «Мишин Лернинг» | Иван Слобожан, Sr Researcher at SQUAD

Must have для всех, кто жаждет серьезной ML практики от топового ml инженера и ресерчера Ивана Слобожана!

Что будет на лекции Speeding UP machine learning pipelines part I:

▪️Pipeline performance analysis using TF Profiler
▪️Optimizing data pipeline using tf. data API
▪️Preprocessing vs Model bottleneck
▪️Accelerating data preprocessing using DALI
▪️Distributed training using Horovod

Please, note, this will be a more practical lecture with examples rather than theoretical.

Ссылки и материалы придут по почте по итогам лекции

📅 19-30 (этот четверг) 14 октября
🎓 Онлайн и бесплатно (по регистрации)
👉 ссылка на лекцию в Transformer

🏆 MT-NLG от NVIDIA (2021) в 3x раза больше GPT-3 от OpenAI (2020)

Наследник Turing NLG 17B и Megatron-LM, MT-NLG имеет в 3 раза больше параметров (530B) по сравнению с крупнейшей языковой моделью этого типа (GPT-3, 175B) и показывает превосходную точность в широком наборе задач естественного языка, таких как:

▪️Продолжение текста
▪️Понимание прочитанного
▪️Обоснование
▪️Вывод на естественном языке
▪️Устранение неоднозначности в смысле слов

105-слойный трансформер MT-NLG, обученный благодаря коллаборация между NVIDIA Megatron-LM и Microsoft DeepSpeed (эффективное масштабирование и 3D параллелизм) бьет SOTA в zero- one- few-shot learning’е оставляя в прошлом, известную всеми, GPT-3.

📇 подробнее: blog NVIDIA

🎴 NVIDIA выкатили StyleGAN3

Сегодня NVIDIA выложила в доступ код и модели сети StyleGAN3, которую описали 23 июня 2021 в пейпере Alias-Free Generative Adversarial Networks.

Имя StyleGAN3 планировали дать в день публикации кода и моделей.

⚠️ Проблема StyleGAN
В процессе иерархического синтеза StyleGAN’ами изображений возникает нездоровая зависимость паттернов от абсолютных пиксельных координат. Это проявляется, например, в том, что текстура кажется приклеенной к координатам изображения, а не к поверхностям изображаемых объектов.

✅ Решение или основная идея StyleGAN3
Ресерчеры из NVIDIA и Aalto University нашли основную причину из-за которой возникает aliasing в сети генератора, и добились “эквивариантности за счет непрерывной интерпретации сигнала”. По факту перешли из дискретных репрезентаций в континуальные [смотри видео к посту]. Спасибо Клоду Шеннону и теореме Котельникова!

Результаты открывают путь для GAN’ов к качественной и стабильной генерации видеоконтента.

🤖 сайт 💻 код 📰 paper 🔮 colab

StyleGAN3 одновременно выигрывает и определенно страдает от перехода на континуальные периодические функции для внутренних репрезентаций

Как говорил Фридрих Ницше: “Новым GANам нужны новые артефакты“, иначе процесс встанет. Ну теперь знаем что улучшать, хотя змеиный периодический паттерн — достаточно логичный артефакт для новой архитектуры.

Обнаженный портрет скорчившейся женщины, спрятанный под поверхностью картины Пабло Пикассо был восстановлен при помощи нейронных сетей

Пикассо закрасил фигуру при создании «Завтрака слепого» в 1903 году. Работу помог найти рентгенофлуоресцентный анализ. Затем нейросеть восстановила детали в стилистике Пикассо. Подробнее читай CNN.

Слева вверху: «Завтрак слепого»
Слева внизу: обнаженный портрет
Справа: Восстановленное изображение

Мне кажется, что это скорее не отдельная уникальная история, а просто нейронные сети, перенос стиля, суперрезолющн и энхансмент становится новой нормой работы с изображениями.

К тому же при такой генерации (восстановлении) имеет место мультимодальность: генерация неоднозначна, и никто не гарантирует, что картина была именно такой.

В моем эксперименте для генерации “сидящей женщины в солдатской шинели на голое тело в стилистике Пабло Пикассо” я использовал все тот же Zero-Shot Image Transfer, о котором подробно рассказывал на своей лекции:

🎬 Zero-Shot Image Transfer

На все “восстановление” изображения ушло мин 15, так как это Zero-Shot, и ничего нового делать было не нужно!

В твитторе началоcь безумство со StyleGAN3 (как и ожидалось).

Вот колаб (StyleGAN3+CLIP), который может генерить картинки по текстовому запросу с помощью эмбеддинга картинок и текста в общее пространство сетью CLIP.

На видео, например, таким макаром человек преобразуется в дерево. Инициализация - это фото, а затем зупускаем оптимизацию в сторону эмбеддинга "дерево". В колабе можно преобразовать себя в дерево или ракушку 🌚 (правда для этого нужно будет немного допилить ноутбук, чтобы спроецировать своё фото в пространство стайлгана).

🏆 Поздравляем Facebook AI команду Detectron с получением приза PAMI Everingham Prize на #ICCV 2021.

Detectron2 был разработан Facebook AI Research (FAIR) для поддержки новых имплементаций и оценки новых алгоритмов в области компьютерного зрения. Detectron2 включает в себя реализации следующих алгоритмов:

▪️Mask R-CNN
▪️RetinaNet
▪️Faster R-CNN
▪️RPN
▪️TensorMask
▪️PointRend
▪️DensePose
▪️и т.д.

🕋 Подробнее про Detectron2: FAIR's next-generation platform for object detection and segmentation.

🧛‍♀️StyleGAN3 + CLIP

prompt: Vampire Queen Monica Bellucci portrait in style of Gustav Klimt

p.s.: в процессе colab от Мишин Лернинг, куда переношу все фишки, которые делал для VQGAN+CLIP версии