📌Featuretools для генерации признаков

— python -m pip install featuretools

Featuretools — это Python библиотека для автоматизированной разработки фич, т.е. определения переменных из набора данных для обучения ML-модели.
Featuretools отлично справляется с преобразованием временных и реляционных наборов данных в матрицы признаков для машинного обучения.

🖥 GitHub
🟡 Доки

@data_analysis_ml

⚡️ xLSTM: расширенная долгая краткосрочная память

С тех пор как LSTM возникли и выдержали испытание временем, они способствовали многочисленным успехам глубокого обучения, в частности, привели к созданию LLM.
Однако появление технологии Transformer с распараллеливаемым самовниманием в основе ознаменовало рассвет новой эры, превзойдя LSTM по масштабу.
Возникают вопросы: как далеко мы можем продвинуться в языковом моделировании при масштабировании LSTM до миллиардов параметров, используя новейшие методы современных LLM, но смягчая известные ограничения LSTM?
• 1 — можно использовать экспоненциальный гейтинг с соответствующими методами нормализации и стабилизации.
• 2 — можно модифицировать структуру памяти LSTM, получая: (I) sLSTM со скалярной памятью, скалярным обновлением и новым смешиванием памяти; (II) полностью распараллеливаемую mLSTM с матричной памятью и правилом обновления ковариации.

Так и возникает xLSTM — расширенная долгая краткосрочная память.
Экспоненциальный гейтинг и модифицированные структуры памяти повышают возможности xLSTM и позволяют сравнить их с современными трансформерами как по производительности, так и по масштабированию.

Держите совсем свежую статью с описанием xLSTM
📎 Arxiv

@data_analysis_ml

🖥 Phidata — фреймворк для добавления памяти, знаний и новых опций к LLM

— pip install -U phidata

А вот пара примеров AI-веб-приложений, созданных с помощью Phidata:
🟡 PDF AI — обобщает и отвечает на вопросы из PDF-файлов
🟡 ArXiv AI — отвечает на вопросы о статьях ArXiv, используя ArXiv API
🟡 HackerNews AI — обобщает истории, пользователей и делится тем, что нового на HackerNews

🖥 GitHub
🟡 Доки

@data_analysis_ml

🌟 Пошаговая реализация архитектуры Transformer

В этом ноутбуке максимально подробно описан каждый шаг реализации трансформера с нуля, с необходимым теоретическим минимумом
Для полного просветления можно скомбинировать с видео 3b1b

▶️ Jupyter Notebook

@data_analysis_ml