Forwarded from эйай ньюз
Очередная крутая работа от OpenAI: Diffusion Models Beat GANs on Image Synthesis. SOTA для генерации картинок на ImageNet
Предлагается новый тип генеративных моделей — вероятностная модель диффузии (Diffusion Probabilistic Model), для краткости «диффузионная модель». Диффузионная модель представляет собой параметризованную цепь Маркова, обученную с использованием вариационного вывода для создания выборок, соответствующих данным, за конечное число шагов. Процесс диффузии тут — это цепь Маркова, которая постепенно добавляет шум к данным в направлении, противоположном семплированию, пока сигнал не будет разрушен. Так вот мы учим обратные переходы в этой цепочке, которые обращают вспять процесс диффузии. И к бабке не ходи, мы параметризуем всё нейронными сетями.
Получается очень качественная генерация, даже лучше чем ганами (особенно хорошо видно на дядьке с Язем, которого здорово так колошматит в моделе BigGAN). Минус диффузионных моделей сейчас — это медленная тренировка и инференс.
Есть код. Подробнее тут.
Предлагается новый тип генеративных моделей — вероятностная модель диффузии (Diffusion Probabilistic Model), для краткости «диффузионная модель». Диффузионная модель представляет собой параметризованную цепь Маркова, обученную с использованием вариационного вывода для создания выборок, соответствующих данным, за конечное число шагов. Процесс диффузии тут — это цепь Маркова, которая постепенно добавляет шум к данным в направлении, противоположном семплированию, пока сигнал не будет разрушен. Так вот мы учим обратные переходы в этой цепочке, которые обращают вспять процесс диффузии. И к бабке не ходи, мы параметризуем всё нейронными сетями.
Получается очень качественная генерация, даже лучше чем ганами (особенно хорошо видно на дядьке с Язем, которого здорово так колошматит в моделе BigGAN). Минус диффузионных моделей сейчас — это медленная тренировка и инференс.
Есть код. Подробнее тут.
Jakub_Langr,_Vladimir_Bok_GANs_in_Action_Deep_learning_with_Generative.pdf
22 MB
На картинке не было ошибки (стр. 114)
Посмотрел очень по диагонали, но выглядит довольно релевантно (на концептуальном уровне как минимум):
YouTube
#ScientificML #Julia
YouTube
#ScientificML #Julia
YouTube
Webinar: Scientific Machine Learning for Enterprises | Feb 25 2020
Scientific machine learning is an emerging discipline which pulls together scientific modeling and machine learning techniques in order to allow for data-efficient, interpretable, and extrapolatable neural architectures. This webinar will dive into this Julia…
Как получить гарантии генерализации машинного обучения? В статье моих любимейших ACME Labs предлагается использовать смесь размеченных данных и данных размеченных случайным образом.
Если модель выдает маленькую ошибку на чистых данных и большую ошибку на случайной разметке - мы можем надеятся на хорошую генерализацию.
В статье есть формальные доказательства и ещё много всего интересного
ArXiv
#training #classification
Если модель выдает маленькую ошибку на чистых данных и большую ошибку на случайной разметке - мы можем надеятся на хорошую генерализацию.
В статье есть формальные доказательства и ещё много всего интересного
ArXiv
#training #classification
Я вообще не представляю как это кому-то может понадобиться, но посмотрите как мило!
Twitter пост
P.s.: обратите внимание на сайт. Papers with #datasets - отличный ресурс для поиска датасетов
Twitter пост
P.s.: обратите внимание на сайт. Papers with #datasets - отличный ресурс для поиска датасетов
Twitter
Papers with Datasets
🐇 SyntheticFur: A dataset for neural rendering with high quality lighting simulation via ray tracing. It contains approximately 140,000 procedurally generated images and 15 simulations with Houdini. Paper: paperswithcode.com/paper/syntheti… Dataset: pape…
Если у кого-то есть аспиранты гуманитарии или интересующиеся, нашёл семинар BERT для гумунитариаев: https://melaniewalsh.github.io/BERT-for-Humanists/workshop/
#ScientificML #гумунитарии #social
#ScientificML #гумунитарии #social
Media is too big
VIEW IN TELEGRAM
Сгенерил мем-ролик (сегментация при помощи DINO), что показать студент на лекции по сегментации
Завтра (19ого мая) будет интересный доклад по зуму: https://www.physicsmeetsml.org/posts/sem_2021_05_20/
#news
#news
www.physicsmeetsml.org
Are wider nets better given the same number of parameters?
Anna Golubeva, Perimeter Institute, 12:00 ET
Просто шикарный психодел. Чувак написал песню используя названия классов из ImageNet и сгенерировал к ней видиоклип используя CLIP и BigGan:
YouTube
#GAN #joke #text2image #CLIP
YouTube
#GAN #joke #text2image #CLIP
YouTube
AI made this music video | What happens when OpenAI's CLIP meets BigGAN?
#artificialintelligence #musicvideo #clip
I used OpenAI's CLIP model and BigGAN to create a music video that goes along with the lyrics of a song that I wrote. The song lyrics are made from ImageNet class labels, and the song itself is performed by me on…
I used OpenAI's CLIP model and BigGAN to create a music video that goes along with the lyrics of a song that I wrote. The song lyrics are made from ImageNet class labels, and the song itself is performed by me on…