AI для Всех
15K subscribers
1.33K photos
181 videos
11 files
1.52K links
Канал, в котором мы говорим про искусственный интеллект простыми словами

Главный редактор и по рекламе: @crimeacs

Иногда пишут в канал: @GingerSpacetail, @innovationitsme
Download Telegram
Combiner: Full Attention Transformer with Sparse Computation Cost

Предлагается O(L log L) эффективный преобразователь внимания, который дает результаты SotA на нескольких задачах моделирования изображений и текстов, как авторегрессионных, так и MLM.

ArXiv

#transformer
Появился код и предобученные модели для Efficient Self-supervised ViT.

Точность выше чем у BYOL и DINO 🦖, обратите внимание на скорость работы (на порядок выше чем у предыдущих моделей). Достигается за счёт sparse attention

#SSL #images #transformer
Дедупликация обучающих данных делает языковые модели лучше.

Дедупликация позволяет обучать модели, которые выдают запомненный текст в десять раз реже и требуют меньшего количества шагов обучения для достижения той же или лучшей точности.

Тут ещё крутая история в том что сначала это сделали на ProteinBERT, а только потом уже применили в общем ML.

#NLP #Training
Про то, как нейросетки преобразуют под себя исходное пространство

ArXiv
GitHub

#theory
Новый CLIP art блокнот от RiverHasWings.
Результаты просто ошеломительные!

#generative #images #CLIP
Мультимодальный датасет для representation learning.

ArXiv

#datasets #multimodal
JupyterLite is a JupyterLab distribution that runs entirely in the web browser, backed by in-browser language kernels.

Scientific, Data science and visualisation packages are supported.

Basically it means you can use Jupyter just by opening a new browser tab. Starting to learn Data Science has never been easier.

Read the intro[1] for full feature list, or try it online[2].

#jupyterlab #jupyterlite
[1] https://blog.jupyter.org/jupyterlite-jupyter-%EF%B8%8F-webassembly-%EF%B8%8F-python-f6e2e41ab3fa

[2] https://jupyterlite.github.io/demo
Recurrent Parameter Generators
(LeCun научик этой статьи)

ArXiv

demonstrate how to build a one-layer neural network to achieve similar performance compared to other traditional CNN models on various applications and datasets

#Training #CNN
Forwarded from Graph Machine Learning
LOGML Videos

LOGML is an exciting summer school with projects and talks about graph ML happening this week. A collection of videos that includes presentations of the cutting edge research as well as industrial applications from leading companies are available now for everyone.
Хорошая статья про отбор важных признаков в табличных данных, зачем нам это надо, и классификацию подходов. Там же есть ссылка на хорошую статью этого же автора про Boruta

#tabular
Веселая статья.
Из слов авторов получается, что self-attention слои не всегда нужны (но иногда качество улучшают, особенно когда надо выравнять два представления, в случае авторов - два предложения)

Pay Attention to MLPs

Не хватает рисунка как в Mixer MLP зависимости качества разных архитектур от объема обучающей выборки.

#MLP #images #multimodal
Ян Лекун поделился ссылкой на пакет для работы с массивными линейными слоями

Medium

#code #resources #python