🕺Keypoint Communities (human/object pose estimation)

Быстрый метод, который в один прогон обнаруживает более 100 ключевых точек на людях или объектах, для задачи human/object pose estimation.

Эксперименты показывают, что метод превосходит все предыдущие оценки позs человека с детальными аннотациями ключевых точек на лице, руках и ногах (всего 133 ключевых точек).

Метод подходит и для на оценки “позы” (ориентации) автомобилей.

📰 paper 💻 code 🤗 demo

🎓 Сегодня в 19-30 | Deep Metric Learning | Microsoft | Transformer

Must have лекция по Metric Learning:
▪️ What is Metric Learning, and why do we need it?
▪️ Contrastive approaches
▪️ When can they produce good results, and what are their limitations?
▪️Contrastive, Triplet, and N-Pair losses
▪️Angular margin approaches
▪️In which cases are they better than Contrastive approaches?
▪️ArcFace, CosFace, and other SOTA methods
▪️A survey of how Metric Learning is used to solve real-world and Kaggle problems

Я скину ссылку на лекцию в 17-30, и сделаю напоминание перед началом. До встречи вечером!

на лекцию

🎓 Лекция от Kha Vu, Microsoft | Deep Metric Learning

Что на лекции: Metric Learning to solve real-world and Kaggle problems, Contrastive, Triplet and N-Pair losses, Angular margin, ArcFace, CosFace и многое другое

👉 https://youtu.be/aU9yEwgrJ54

🏆 Facebook AI представили две крутейшие 3D нейронки на ICCV2021: 3DETR и DepthContrast

Понимание 3D на основе трансформера и self-supervised learning’a. И да, есть код и обученные модели!

▪️DepthContrast:
Супервайзд претрейн на огромных датасетах стал основным инструментом для разработки моделей компьютерного зрения. Хотя подход отлично работает для многих доменов, он не получил широкого распространения для задач 3D распознавания.

🛋 Пример: ’определение местоположения дивана на трехмерном скане гостиной’.

Собрать и разметить огромный 3D датасет — колоссальная работа. DepthContrast self-supervised претрейн, предложенный FAIR, не требует аннотации.

▪️3DETR:
An End-to-End Transformer Model for 3D Object Detection (3D DEtection TRansformer) без inductive bias.

🗺 На gif‘ке показана карта внимания декодера трансформера 3DETR, изолирующая отдельный объекты. Декодер юзает в основном эту инфу при предсказании 3D-bbox’ов.

📇 подробнее на блоге FAIR

3DETR: 📰 paper 💻 code
DepthContrast: 📰 paper 💻 code

🦑 Полезные ссылки для старта в Quantum Machine Learning

💡Концепция квантового машинного обучения
🔢 Туториал по quantum neural network (QNN) упрощенного MNIST + colab
🏞 Quantum Convolutional Neural Network: туториал + colab
📰 Paper: Classification with Quantum Neural Networks on Near Term Processors
📄 Paper: TensorFlow Quantum:
A Software Framework for Quantum Machine Learning
📚TensorFlow Quantum TFQ
📼 YouTube: TensorFlow Quantum hybrid quantum-classical machine learning

HeadGAN визуальный редактор.

🤖⚡️ Лекция Speeding Up ML Pipelines от «Мишин Лернинг» | Иван Слобожан, Sr Researcher at SQUAD

Must have для всех, кто жаждет серьезной ML практики от топового ml инженера и ресерчера Ивана Слобожана!

Что будет на лекции Speeding UP machine learning pipelines part I:

▪️Pipeline performance analysis using TF Profiler
▪️Optimizing data pipeline using tf. data API
▪️Preprocessing vs Model bottleneck
▪️Accelerating data preprocessing using DALI
▪️Distributed training using Horovod

Please, note, this will be a more practical lecture with examples rather than theoretical.

Ссылки и материалы придут по почте по итогам лекции

📅 19-30 (этот четверг) 14 октября
🎓 Онлайн и бесплатно (по регистрации)
👉 ссылка на лекцию в Transformer

🏆 MT-NLG от NVIDIA (2021) в 3x раза больше GPT-3 от OpenAI (2020)

Наследник Turing NLG 17B и Megatron-LM, MT-NLG имеет в 3 раза больше параметров (530B) по сравнению с крупнейшей языковой моделью этого типа (GPT-3, 175B) и показывает превосходную точность в широком наборе задач естественного языка, таких как:

▪️Продолжение текста
▪️Понимание прочитанного
▪️Обоснование
▪️Вывод на естественном языке
▪️Устранение неоднозначности в смысле слов

105-слойный трансформер MT-NLG, обученный благодаря коллаборация между NVIDIA Megatron-LM и Microsoft DeepSpeed (эффективное масштабирование и 3D параллелизм) бьет SOTA в zero- one- few-shot learning’е оставляя в прошлом, известную всеми, GPT-3.

📇 подробнее: blog NVIDIA

🎴 NVIDIA выкатили StyleGAN3

Сегодня NVIDIA выложила в доступ код и модели сети StyleGAN3, которую описали 23 июня 2021 в пейпере Alias-Free Generative Adversarial Networks.

Имя StyleGAN3 планировали дать в день публикации кода и моделей.

⚠️ Проблема StyleGAN
В процессе иерархического синтеза StyleGAN’ами изображений возникает нездоровая зависимость паттернов от абсолютных пиксельных координат. Это проявляется, например, в том, что текстура кажется приклеенной к координатам изображения, а не к поверхностям изображаемых объектов.

✅ Решение или основная идея StyleGAN3
Ресерчеры из NVIDIA и Aalto University нашли основную причину из-за которой возникает aliasing в сети генератора, и добились “эквивариантности за счет непрерывной интерпретации сигнала”. По факту перешли из дискретных репрезентаций в континуальные [смотри видео к посту]. Спасибо Клоду Шеннону и теореме Котельникова!

Результаты открывают путь для GAN’ов к качественной и стабильной генерации видеоконтента.

🤖 сайт 💻 код 📰 paper 🔮 colab

StyleGAN3 одновременно выигрывает и определенно страдает от перехода на континуальные периодические функции для внутренних репрезентаций

Как говорил Фридрих Ницше: “Новым GANам нужны новые артефакты“, иначе процесс встанет. Ну теперь знаем что улучшать, хотя змеиный периодический паттерн — достаточно логичный артефакт для новой архитектуры.