Combiner: Full Attention Transformer with Sparse Computation Cost
Предлагается O(L log L) эффективный преобразователь внимания, который дает результаты SotA на нескольких задачах моделирования изображений и текстов, как авторегрессионных, так и MLM.
ArXiv
#transformer
Предлагается O(L log L) эффективный преобразователь внимания, который дает результаты SotA на нескольких задачах моделирования изображений и текстов, как авторегрессионных, так и MLM.
ArXiv
#transformer
Появился код и предобученные модели для Efficient Self-supervised ViT.
Точность выше чем у BYOL и DINO 🦖, обратите внимание на скорость работы (на порядок выше чем у предыдущих моделей). Достигается за счёт sparse attention
#SSL #images #transformer
Точность выше чем у BYOL и DINO 🦖, обратите внимание на скорость работы (на порядок выше чем у предыдущих моделей). Достигается за счёт sparse attention
#SSL #images #transformer
Дедупликация обучающих данных делает языковые модели лучше.
Дедупликация позволяет обучать модели, которые выдают запомненный текст в десять раз реже и требуют меньшего количества шагов обучения для достижения той же или лучшей точности.
Тут ещё крутая история в том что сначала это сделали на ProteinBERT, а только потом уже применили в общем ML.
#NLP #Training
Дедупликация позволяет обучать модели, которые выдают запомненный текст в десять раз реже и требуют меньшего количества шагов обучения для достижения той же или лучшей точности.
Тут ещё крутая история в том что сначала это сделали на ProteinBERT, а только потом уже применили в общем ML.
#NLP #Training
Forwarded from Data Science by ODS.ai 🦜
JupyterLite is a JupyterLab distribution that runs entirely in the web browser, backed by in-browser language kernels.
Scientific, Data science and visualisation packages are supported.
Basically it means you can use Jupyter just by opening a new browser tab. Starting to learn Data Science has never been easier.
Read the intro[1] for full feature list, or try it online[2].
#jupyterlab #jupyterlite
[1] https://blog.jupyter.org/jupyterlite-jupyter-%EF%B8%8F-webassembly-%EF%B8%8F-python-f6e2e41ab3fa
[2] https://jupyterlite.github.io/demo
Scientific, Data science and visualisation packages are supported.
Basically it means you can use Jupyter just by opening a new browser tab. Starting to learn Data Science has never been easier.
Read the intro[1] for full feature list, or try it online[2].
#jupyterlab #jupyterlite
[1] https://blog.jupyter.org/jupyterlite-jupyter-%EF%B8%8F-webassembly-%EF%B8%8F-python-f6e2e41ab3fa
[2] https://jupyterlite.github.io/demo
Medium
JupyterLite: Jupyter ❤️ WebAssembly ❤️ Python
JupyterLite is a JupyterLab distribution that runs entirely in the web browser, backed by in-browser language kernels powered by…
Forwarded from Graph Machine Learning
LOGML Videos
LOGML is an exciting summer school with projects and talks about graph ML happening this week. A collection of videos that includes presentations of the cutting edge research as well as industrial applications from leading companies are available now for everyone.
LOGML is an exciting summer school with projects and talks about graph ML happening this week. A collection of videos that includes presentations of the cutting edge research as well as industrial applications from leading companies are available now for everyone.
www.logml.ai
LOGML 2025
London Geometry and Machine Learning Summer School, July 7-11 2025
Хорошая статья про отбор важных признаков в табличных данных, зачем нам это надо, и классификацию подходов. Там же есть ссылка на хорошую статью этого же автора про Boruta
#tabular
#tabular
Medium
“MRMR” Explained Exactly How You Wished Someone Explained to You
Want to improve your feature selection? “Maximum Relevance — Minimum Redundancy” (aka MRMR) is a simple, fast and efficient algorithm for…
Библиотека self-supervised методов для representation visual learning на базе PyTorch Lightning.
#SSL #images
#SSL #images
GitHub
GitHub - vturrisi/solo-learn: solo-learn: a library of self-supervised methods for visual representation learning powered by Pytorch…
solo-learn: a library of self-supervised methods for visual representation learning powered by Pytorch Lightning - vturrisi/solo-learn
#alphafold2
Сделали частичный запуск alphafold2 прямо в колабе (без известных структур и, частично, без выравнивания)
Twitter
#ScientificML #biology
Сделали частичный запуск alphafold2 прямо в колабе (без известных структур и, частично, без выравнивания)
#ScientificML #biology
Twitter
Sergey Ovchinnikov
Successfully predicted one of the @foldit denovo designs using #alphafold in google-colab😎 (1 model, no template, single sequence input, and no amber refine, ~2 mins). Notebook if anybody wanna try input your favorite sequence: colab.research.google.com/drive/1qWO6Arw…
Веселая статья.
Из слов авторов получается, что self-attention слои не всегда нужны (но иногда качество улучшают, особенно когда надо выравнять два представления, в случае авторов - два предложения)
Pay Attention to MLPs
Не хватает рисунка как в Mixer MLP зависимости качества разных архитектур от объема обучающей выборки.
#MLP #images #multimodal
Из слов авторов получается, что self-attention слои не всегда нужны (но иногда качество улучшают, особенно когда надо выравнять два представления, в случае авторов - два предложения)
Pay Attention to MLPs
Не хватает рисунка как в Mixer MLP зависимости качества разных архитектур от объема обучающей выборки.
#MLP #images #multimodal
Ян Лекун поделился ссылкой на пакет для работы с массивными линейными слоями
Medium
#code #resources #python
Medium
#code #resources #python
Medium
Introduction to TorchShard
A Lightweight Library for Scaling-up the Training