Forwarded from Мишин Лернинг 🇺🇦🇮🇱
This media is not supported in your browser
VIEW IN TELEGRAM
🧛♀️🐍 Colab StyleGAN3 + CLIP by Мишин Лернинг
Подготовил для вас отполированную и доведённую до ума версию colab для генерации StyleGAN3 арта по текстовому описанию!
🤖 Для гиков: за основу взял выложенный вчера вечером в твиттере nshepperd1 колаб StyleGAN3 + CLIP, с прикрученным интерфейсом от nn_for_science. Улучшил стабильность и качество генерации, перенеся идеи, которые считаю важными, из vqgan версии.
🎓 Что улучшено в версии от “Мишин Лернинг”:
▪️Добавил дифференцируемые аугментации. Сильно накидывают в качестве
▪️Увеличил размер батча для CLIP на каждом шаге оптимизации
▪️Увеличил размер кропов в батче для CLIP
▪️Подобрал параметры оптимизации
🔮StyleGAN3 + CLIP by Мишин Лернинг colab
Советы:
▫️Экспериментируйте с разными моделями: там есть версии для лиц, портретов и для животных
▫️Пробуйте и t и r версии, t - для сдвигов, r - для поворотов
▫️Не бойтесь длинных описаний
p.s. prompt для анимации к посту: “A vampire woman with big lips & long hairs made of snakes in style of Gustav Klimt”
Подготовил для вас отполированную и доведённую до ума версию colab для генерации StyleGAN3 арта по текстовому описанию!
🤖 Для гиков: за основу взял выложенный вчера вечером в твиттере nshepperd1 колаб StyleGAN3 + CLIP, с прикрученным интерфейсом от nn_for_science. Улучшил стабильность и качество генерации, перенеся идеи, которые считаю важными, из vqgan версии.
🎓 Что улучшено в версии от “Мишин Лернинг”:
▪️Добавил дифференцируемые аугментации. Сильно накидывают в качестве
▪️Увеличил размер батча для CLIP на каждом шаге оптимизации
▪️Увеличил размер кропов в батче для CLIP
▪️Подобрал параметры оптимизации
🔮StyleGAN3 + CLIP by Мишин Лернинг colab
Советы:
▫️Экспериментируйте с разными моделями: там есть версии для лиц, портретов и для животных
▫️Пробуйте и t и r версии, t - для сдвигов, r - для поворотов
▫️Не бойтесь длинных описаний
p.s. prompt для анимации к посту: “A vampire woman with big lips & long hairs made of snakes in style of Gustav Klimt”
This media is not supported in your browser
VIEW IN TELEGRAM
🦾 На ICCV21 подвезли новую соту для 3D реконструкции кистей рук по RGB изображению.
Риал тайм. Высокая точность. Даже код есть. Оргазм для AR разработчиков.
Сама статья: Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction
Риал тайм. Высокая точность. Даже код есть. Оргазм для AR разработчиков.
Сама статья: Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction
This media is not supported in your browser
VIEW IN TELEGRAM
Переодеваем людей с помощью нейронок
SIGGRAPH Asia 2021
По одному виду можно сегенирить новый вид с другого ракурса либо переодеть человека в другую ожежду.
Алгоритм коротко: Стайлган + DensePose + хитрое заполнение пробелов в местах, которые не видно на входной картинке.
Мое мнение: Работает на шестёрочку, но сама идея и её имплементация на уровне архитектуры заслуживает внимания.
Кода пока нет. Сайт проекта.
SIGGRAPH Asia 2021
По одному виду можно сегенирить новый вид с другого ракурса либо переодеть человека в другую ожежду.
Алгоритм коротко: Стайлган + DensePose + хитрое заполнение пробелов в местах, которые не видно на входной картинке.
Мое мнение: Работает на шестёрочку, но сама идея и её имплементация на уровне архитектуры заслуживает внимания.
Кода пока нет. Сайт проекта.
Forwarded from AI Для Всех
This media is not supported in your browser
VIEW IN TELEGRAM
Наконец-то хоть кто-то научился генерировать красивые кроссовки 😁. Ещё и веса модели выложили в публичный доступ.
Какая же все-таки фундаментальная статья StyleGAN. И Tero Karras красавчик.
Какая же все-таки фундаментальная статья StyleGAN. И Tero Karras красавчик.
Telegram
Denis Sexy IT 🤖
Еще один проект для любителей кроссовок – бесконечное полотно сгенерированной обуви:
https://thissneakerdoesnotexist.com/
Самое прикольное, что можно открыть какие-то кроссовки и ползунками выбрать тот вид, который нравится больше всего.
А еще автор молодец…
https://thissneakerdoesnotexist.com/
Самое прикольное, что можно открыть какие-то кроссовки и ползунками выбрать тот вид, который нравится больше всего.
А еще автор молодец…
This media is not supported in your browser
VIEW IN TELEGRAM
DeepMind выкупил популярный в научной среде физический симулятор MuJoCo и сделал его бесплатным. Все для развития исследований в области робототехники и RL. Это действительно достойный шаг!
Происходя в микроскопических масштабах на границе раздела двух тел, физические контакты могут быть мягкими или жесткими, упругими или губчатыми, скользкими или липкими. MuJoCo в этом плане довольно потрясающая штука, которая позволяет хорошо симулировать различные виды контактов. И часто работает гораздо быстрее чем real-time.
А в 2022 году ресерчеры из DeepMind опубликуют код симулятора на GitHub!
Подробности: dpmd.ai/mujoco-blog.
Происходя в микроскопических масштабах на границе раздела двух тел, физические контакты могут быть мягкими или жесткими, упругими или губчатыми, скользкими или липкими. MuJoCo в этом плане довольно потрясающая штука, которая позволяет хорошо симулировать различные виды контактов. И часто работает гораздо быстрее чем real-time.
А в 2022 году ресерчеры из DeepMind опубликуют код симулятора на GitHub!
Подробности: dpmd.ai/mujoco-blog.
Нейронные сети и глубокое обучение к 2021г захватили человечество, но иначе чем ожидали фантасты. Захвачено главное — внимание людей. Но любая тема, ставшая популярной, развивается в сторону увеличения количества публикуемых материалов и их упрощения, а также хайпа во всех проявлениях.
В результате, перед теми кто хочет действительно разобраться в этой области, хотя бы верхнеуровнево, возникает бурлящий поток из блогов, статей, репозиториев, онлайн-курсов и пр. В такой ситуации нужно выбирать источники от авторов, которые стоят за созданием оснований этих технологий и способны рассказать о них как о своих детях. С любовью и натянутым нервом.
Ян Лекун является патриархом машинного обучения, который провел десятилетия в работе над базовыми исследованиями и инженерии первых работающих систем, даже в ситуациях, когда в академической среде такая работа считалась абсолютно бесперспективной, а соответственно нефинансируемой.
Уйдя в преподавание в 43 года, он продолжал работу над исследованиями в составе очень ограниченной группы коллег фактически в стелс режиме. До момента, когда в 2013г Цукерберг лично уговорил его построить лабораторию, а дальше все направления машинного обучение в Facebook. Приняв его условие совмещать эту работу с продолжением преподавания. (Сейчас Лекун является VP & Chief AI Scientist в Facebook.)
Книга Лекуна Как учится машина дает развернутую историческую панораму становления технологий машинного обучения. Через примеры уникальных прорывов, иногда совершенно случайных успехов, больших провалов конкретных исследователей и их работ, их влияния на то, что используется сейчас "в одну строчку кода", разбираются "первые принципы" всех основных архитектур нейронных сетей. С именами и личными историями, что делает все повествование очень литературным и интересным.
Свистнуто у @dxspace
В результате, перед теми кто хочет действительно разобраться в этой области, хотя бы верхнеуровнево, возникает бурлящий поток из блогов, статей, репозиториев, онлайн-курсов и пр. В такой ситуации нужно выбирать источники от авторов, которые стоят за созданием оснований этих технологий и способны рассказать о них как о своих детях. С любовью и натянутым нервом.
Ян Лекун является патриархом машинного обучения, который провел десятилетия в работе над базовыми исследованиями и инженерии первых работающих систем, даже в ситуациях, когда в академической среде такая работа считалась абсолютно бесперспективной, а соответственно нефинансируемой.
Уйдя в преподавание в 43 года, он продолжал работу над исследованиями в составе очень ограниченной группы коллег фактически в стелс режиме. До момента, когда в 2013г Цукерберг лично уговорил его построить лабораторию, а дальше все направления машинного обучение в Facebook. Приняв его условие совмещать эту работу с продолжением преподавания. (Сейчас Лекун является VP & Chief AI Scientist в Facebook.)
Книга Лекуна Как учится машина дает развернутую историческую панораму становления технологий машинного обучения. Через примеры уникальных прорывов, иногда совершенно случайных успехов, больших провалов конкретных исследователей и их работ, их влияния на то, что используется сейчас "в одну строчку кода", разбираются "первые принципы" всех основных архитектур нейронных сетей. С именами и личными историями, что делает все повествование очень литературным и интересным.
Свистнуто у @dxspace
Новая статья на NeurIPS: мы обучаем надежный кодировщик CLIP, который аппроксимирует CLIP, видя сильно искаженные изображения. Мы можем классифицировать изображения, наблюдая только 2% случайных пикселей или очень размытые изображения лучше, чем люди.
Сама статья.
Сама статья.
This media is not supported in your browser
VIEW IN TELEGRAM
Краска-электропроводник!
Нашел прикольный проект. Чуваки сделали краску, которая переносит электрический сигнал. То есть можно нарисовать любую интерактивную электросхему у себя на стене или на листе бумаги и сделать какой-нибудь прибамбас для умного дома, ну, или что у вас там на уме. За 150 франков можно заказать стартер-кит, включающий тачборд (плату, которая подключается к нарисованным линиям и регистрирует касания).
Теперь захотелось избавиться от выключателей дома и просто нарисовать их 😏
Нашел прикольный проект. Чуваки сделали краску, которая переносит электрический сигнал. То есть можно нарисовать любую интерактивную электросхему у себя на стене или на листе бумаги и сделать какой-нибудь прибамбас для умного дома, ну, или что у вас там на уме. За 150 франков можно заказать стартер-кит, включающий тачборд (плату, которая подключается к нарисованным линиям и регистрирует касания).
Теперь захотелось избавиться от выключателей дома и просто нарисовать их 😏
А вот и отличные новости с фронта борьбы AMD и Nvidia за диплернинг превосходство. Теперь стало еще проще гонять нейронки на картах AMD с помощью Pytorch.
https://t.iss.one/derplearning/713
https://t.iss.one/derplearning/713
Telegram
Derp Learning
AMD has joined the game.
Microsoft вместе с PyTorch выкатили новый бэкенд - DirectML.
Позволяет крутить эти ваши нейронки на любых DirectX12-совместимых девайсах и в WSL, без танцев с CUDA.
Наконец-то AMD сможет полноценно ворваться в гонку, хоспаде.
Набор…
Microsoft вместе с PyTorch выкатили новый бэкенд - DirectML.
Позволяет крутить эти ваши нейронки на любых DirectX12-совместимых девайсах и в WSL, без танцев с CUDA.
Наконец-то AMD сможет полноценно ворваться в гонку, хоспаде.
Набор…
Forwarded from Мишин Лернинг 🇺🇦🇮🇱
📣🤗 T0 — Быстрее, умнее и легче GPT-3 в 16 раз + собрал Colab | Zero-Shot NLP
Объясню разницу между T0 и GPT-3 через аналогию:
▪️ GPT-3 — ребенка заперли в большой библиотеке и сказали: читай. GPT-3 училась предсказывать следующие слова в текстах.
▪️ T0 — ребенка помладше посадили в библиотеку, но уже с преподавателем, который натаскивал его к олимпиадам. Взяв 62 датасетов дообучили T5 (11B) на специальных задачах.
T0 в 16x меньше GPT-3 и обходит GPT-3 на 9 из 11 сетах!
Создал сolab (3B, 100ms) для быстрого решения многих nlp задач, ведь T0 и GPT-3 — нейросети, которые можно не дообучать!
▫️Суммаризация начала “Generation П”:
“In the seventies, the Soviet Union was a country of children who drank Pe”
▫️Суммаризация абстракта DALL·E:
“A computer program has been trained to create a wide range of images from text”
▫️“Самое большое здание в мире?”:
“The Burj Khalifa”
▫️“А - сын дяди Б. Каковы семейные отношения между А и Б?”:
“B is A's cousin.”
📰 Paper 🤗 demo 🔮 T0 Colab от @mishin_learning
Объясню разницу между T0 и GPT-3 через аналогию:
▪️ GPT-3 — ребенка заперли в большой библиотеке и сказали: читай. GPT-3 училась предсказывать следующие слова в текстах.
▪️ T0 — ребенка помладше посадили в библиотеку, но уже с преподавателем, который натаскивал его к олимпиадам. Взяв 62 датасетов дообучили T5 (11B) на специальных задачах.
T0 в 16x меньше GPT-3 и обходит GPT-3 на 9 из 11 сетах!
Создал сolab (3B, 100ms) для быстрого решения многих nlp задач, ведь T0 и GPT-3 — нейросети, которые можно не дообучать!
▫️Суммаризация начала “Generation П”:
“In the seventies, the Soviet Union was a country of children who drank Pe”
▫️Суммаризация абстракта DALL·E:
“A computer program has been trained to create a wide range of images from text”
▫️“Самое большое здание в мире?”:
“The Burj Khalifa”
▫️“А - сын дяди Б. Каковы семейные отношения между А и Б?”:
“B is A's cousin.”
📰 Paper 🤗 demo 🔮 T0 Colab от @mishin_learning
Media is too big
VIEW IN TELEGRAM
Новый стайл трансфер: c помощью AdaptiveConvolutions (AdaConv)
Disney Research в Цюрихе вдохновились AdaIn, который широко используется в генеративных сетках, и предложили адаптивные свертки, веса которых предсказываются другой сеткой.
Применяют AdaConv к стайл трансферу с помощью старичка VGG19, а также втыкают их в StyleGAN!
Подробнее тут.
Disney Research в Цюрихе вдохновились AdaIn, который широко используется в генеративных сетках, и предложили адаптивные свертки, веса которых предсказываются другой сеткой.
Применяют AdaConv к стайл трансферу с помощью старичка VGG19, а также втыкают их в StyleGAN!
Подробнее тут.
This media is not supported in your browser
VIEW IN TELEGRAM
Тут обалденная стать вышла. Layered Neural Atlases for Consistent Video Editing. Рассказывают как консистентно редактировать видео.
Примеры вы видите. Код тоже есть.
Вот сайт проекта.
Примеры вы видите. Код тоже есть.
Вот сайт проекта.
This media is not supported in your browser
VIEW IN TELEGRAM
Еще примерчик применения метода из статьи выше. Качество видео немного шакальное, лучше посмотреть у них на сайте.