Transformer²: Самоадаптирующиеся трансформеры

Статья демонстрирует силу LLM, которая может самостоятельно адаптировать свои веса к своей среде. Вероятно в будущем граница между «предварительным обучением» и «после обучения» исчезнет, ​​и наши модели и агенты будут постоянно адаптироваться и самосовершенствоваться. Такие системы проложат путь для нового поколения адаптивного ИИ, способного изменять свои собственные веса и архитектуру, чтобы адаптироваться к изменяющейся природе задач, с которыми они сталкиваются в среде.

https://arxiv.org/abs/2501.06252

https://sakana.ai/transformer-squared/

«TinySwallow-1.5B» - отличный пример того что эффективная языковая модель это не всегда облачный сервис. Это может быть локальным продуктом даже на смартфоне без необходимости доступа в интернет.

Новый метод извлечения знаний под названием «Временно адаптивная интерполированная извлечение (TAID)» эффективно переносит знания из крупномасштабных языковых моделей (LLM) в более мелкие модели. Этот метод обеспечивает эффективную передачу знаний путем переноса знаний из крупномасштабной модели в соответствии с процессом обучения маломасштабной модели. Данное исследование было принято на ICLR 2025 — международной конференции в области машинного обучения.
Используя TAID, были перенесены знания из 32B параметров LLM в мелкомасштабную языковую модель с 1,5B параметрами, что составляет около 1/20 размера LLM. Затем превратилось в японскую модель TinySwallow. Компактный «TinySwallow-1.5B» позволяет вам общаться прямо на вашем смартфоне или ПК, не прибегая к внешнему API.
Демо: https://pub.sakana.ai/tinyswallow/
Бумага: https://arxiv.org/abs/2501.16937
ГитХаб: https://github.com/SakanaAI/TAID

Сверточная нейронная сеть (CNN) предсказывающая рукописные цифры. Все полностью на glsl и шейдерах. Модель состоит из 2023 параметров и слои активации отображаются по мере рисования
https://www.shadertoy.com/view/msVXWD

Интерактивная визуализация сверточной нейронной сети
можно смотреть что именно происходит на каждом шаге прямо в браузере
https://poloclub.github.io/cnn-explainer/

PolyDiff: Создание 3D-полигональных сеток с использованием моделей диффузии»

Модель работает непосредственно с полигонами трехмерных сеток и генерирует новые формы в качестве выходных данных посредством итеративного процесса диффузии.
arxiv.org/abs/2312.11417
https://youtu.be/Dzdu4cQlS2k

Исследуйте модели трансформеров в вашем браузере

Интерактивная система визуализации, призванная помочь исследователям и практикам NLP анализировать и сравнивать весовые коэффициенты внимания в моделях на основе трансформаторов с лингвистическими знаниями.
https://poloclub.github.io/dodrio/

Модель трансформера с интерактивной визуализацией
https://poloclub.github.io/transformer-explainer/

Еще одна классная демка для понимания работы GAN от poloclub
https://poloclub.github.io/ganlab/

Hugging Face сегодня в ударе: помимо опенсорсного агента Deep Research они релизнули целый стор ИИ приложений

Он так и называется: AI App store. В нем уже 400к (!) аппсов и найти можно вообще все, что хочешь. Например, нужна вам для вашего проекта тулза, транскрибирующая или обобщающая видео:

1. Заходите на huggingface.co/spaces

2. Вводите запрос «summary of video» (в поисковой строке кстати тоже встроена моделька) или переходите в нужный раздел из предложенных

3. Из множества вариантов выбираете то, что подходит, пользуетесь прямо внутри Hugging Face или качаете себе проект: они все опенсорсные и бесплатные

Так что если вы под каждую задачу искали по сусекам отдельный сервис, то больше так делать не нужно: Hugging Face объединил их все в одном месте и тут буквально за минуту отыщется действительно все. А если вы разработчик, то можно и самому добавить Space

🍯

Transformer реализованный в excel 🤯🤯🤯
Здесь есть все
• Positional Encoding
• Self-Attention
• Cross-Attention
• Multi-head Attention
• Skip Connection
• LayerNorm
• ReLU Activation
• Feed Forward
• Softmax