По ссылкам в твиттере уввидел вот это:

Проект
ArXiv

Мне кажется интересным. Сравниваются авторы в основном не с state-of-art #GAN, где идет State-of-thee-art - результаты хуже (как в таблице выше).

Основано все на #diffusion process, который скидывал ранее Артемий и который ему очень понравился.
Предлагалось добавить его в лекцию по GAN.

Видим, что идея работает. Работает ли она лучше GAN - нет, потому по логике ее надо добавлять в конец.
И после того, как мы добавим объяснение тех же StyleGAN.

Но если у кого-то есть примеры успехов в сравнении с GAN - можно посмотреть, не добавить ли в часть с практическим кодом.

#generative #images

Продолжаем про #diffusion. Вот крутая сетка которая делает super-resolution.

И блог пост.

#generative #images

Кроме того, у Lilian Weng есть целая серия крутых постов о генеративных моделях:
- Про Generative Adversarial Netowrks (GANs)
- Про Aunoencoders & Variational Autoencoders (VAE)
- Про модели основанные на Normalizing Flows

В закладки!

Оказывается попиксельная классификация в задачах сегментации In not all you need.
Facebook предлагает ещё в добавок предсказывать бинарные маски, а затем уже для них предсказывать класс

#segmentation #transformer

Combiner: Full Attention Transformer with Sparse Computation Cost

Предлагается O(L log L) эффективный преобразователь внимания, который дает результаты SotA на нескольких задачах моделирования изображений и текстов, как авторегрессионных, так и MLM.

ArXiv

#transformer

Появился код и предобученные модели для Efficient Self-supervised ViT.

Точность выше чем у BYOL и DINO 🦖, обратите внимание на скорость работы (на порядок выше чем у предыдущих моделей). Достигается за счёт sparse attention

#SSL #images #transformer

Дедупликация обучающих данных делает языковые модели лучше.

Дедупликация позволяет обучать модели, которые выдают запомненный текст в десять раз реже и требуют меньшего количества шагов обучения для достижения той же или лучшей точности.

Тут ещё крутая история в том что сначала это сделали на ProteinBERT, а только потом уже применили в общем ML.

#NLP #Training

Про то, как нейросетки преобразуют под себя исходное пространство

ArXiv
GitHub

#theory

Новый CLIP art блокнот от RiverHasWings.
Результаты просто ошеломительные!

#generative #images #CLIP

Релиз AlphaFold v2.

#ScientificML #biology

FLEX Unifying Evaluation for Few-Shot NLP

#datasets #NLP

Мультимодальный датасет для representation learning.

ArXiv

#datasets #multimodal

JupyterLite is a JupyterLab distribution that runs entirely in the web browser, backed by in-browser language kernels.

Scientific, Data science and visualisation packages are supported.

Basically it means you can use Jupyter just by opening a new browser tab. Starting to learn Data Science has never been easier.

Read the intro[1] for full feature list, or try it online[2].

#jupyterlab #jupyterlite
[1] https://blog.jupyter.org/jupyterlite-jupyter-%EF%B8%8F-webassembly-%EF%B8%8F-python-f6e2e41ab3fa

[2] https://jupyterlite.github.io/demo

Recurrent Parameter Generators
(LeCun научик этой статьи)

ArXiv

demonstrate how to build a one-layer neural network to achieve similar performance compared to other traditional CNN models on various applications and datasets

#Training #CNN

LOGML Videos

LOGML is an exciting summer school with projects and talks about graph ML happening this week. A collection of videos that includes presentations of the cutting edge research as well as industrial applications from leading companies are available now for everyone.

Хорошая статья про отбор важных признаков в табличных данных, зачем нам это надо, и классификацию подходов. Там же есть ссылка на хорошую статью этого же автора про Boruta

#tabular

Прикольная визуализация. Пока не знаю, можно ли к нам прикпутить и нужно ли

Туториал как запустить в Colab

#code #python #visualization

Библиотека self-supervised методов для representation visual learning на базе PyTorch Lightning.

#SSL #images

#alphafold2

Сделали частичный запуск alphafold2 прямо в колабе (без известных структур и, частично, без выравнивания)

Twitter

#ScientificML #biology

Веселая статья.
Из слов авторов получается, что self-attention слои не всегда нужны (но иногда качество улучшают, особенно когда надо выравнять два представления, в случае авторов - два предложения)

Pay Attention to MLPs

Не хватает рисунка как в Mixer MLP зависимости качества разных архитектур от объема обучающей выборки.

#MLP #images #multimodal