⚡️ xLSTM: расширенная долгая краткосрочная память

С тех пор как LSTM возникли и выдержали испытание временем, они способствовали многочисленным успехам глубокого обучения, в частности, привели к созданию LLM.
Однако появление технологии Transformer с распараллеливаемым самовниманием в основе ознаменовало рассвет новой эры, превзойдя LSTM по масштабу.
Возникают вопросы: как далеко мы можем продвинуться в языковом моделировании при масштабировании LSTM до миллиардов параметров, используя новейшие методы современных LLM, но смягчая известные ограничения LSTM?
• 1 — можно использовать экспоненциальный гейтинг с соответствующими методами нормализации и стабилизации.
• 2 — можно модифицировать структуру памяти LSTM, получая: (I) sLSTM со скалярной памятью, скалярным обновлением и новым смешиванием памяти; (II) полностью распараллеливаемую mLSTM с матричной памятью и правилом обновления ковариации.

Так и возникает xLSTM — расширенная долгая краткосрочная память.
Экспоненциальный гейтинг и модифицированные структуры памяти повышают возможности xLSTM и позволяют сравнить их с современными трансформерами как по производительности, так и по масштабированию.

Держите совсем свежую статью с описанием xLSTM
📎 Arxiv

@data_analysis_ml

🖥 Phidata — фреймворк для добавления памяти, знаний и новых опций к LLM

— pip install -U phidata

А вот пара примеров AI-веб-приложений, созданных с помощью Phidata:
🟡 PDF AI — обобщает и отвечает на вопросы из PDF-файлов
🟡 ArXiv AI — отвечает на вопросы о статьях ArXiv, используя ArXiv API
🟡 HackerNews AI — обобщает истории, пользователей и делится тем, что нового на HackerNews

🖥 GitHub
🟡 Доки

@data_analysis_ml

🌟 Пошаговая реализация архитектуры Transformer

В этом ноутбуке максимально подробно описан каждый шаг реализации трансформера с нуля, с необходимым теоретическим минимумом
Для полного просветления можно скомбинировать с видео 3b1b

▶️ Jupyter Notebook

@data_analysis_ml

🌟 GPT-4o доступна в предварительной версии службы Microsoft Azure

Новейшая модель ChatGPT-4o от OpenAI теперь доступна в предварительной версии службы Microsoft Azure.

Microsoft заявила, что клиенты службы могут изучить обширные возможности GPT-4o с помощью песочницы в Azure OpenAI Studio. Она частично доступна в США. В первом выпуске основное внимание уделяется вводу текста и изображений.

🟡 Подробнее
▶️ Azure AI Studio

@data_analysis_ml

⚡️ Большая шпаргалка-учебник по ML

Здесь и основная теория по Machine Learning, и примеры реализации конкретных ML-алгоритмов — в общем, самое то, чтобы освежить базу перед собеседованием

📎 Шпаргалка

@data_analysis_ml