⚡️ Marqo — векторный поиск для ML-приложений и не только

— pip install marqo

Marqo — это open-source фреймворк тензорного поиска, который обеспечивает работу приложений для поиска, извлечения информации и ML-приложений.

Особенности Marqo
— генерация, хранение и поиск векторов из коробки
— позволяет создавать приложения для поиска, разрешения сущностей и изучения данных, используя свои тексты и изображения
— можно создавать сложные семантические запросы, комбинируя взвешенные поисковые термины
— поддерживается фильтрация результатов поиска с помощью DSL запросов Marqo
— позволяет использовать ML-модели от PyTorch, Huggingface, OpenAI и не только
— можно использовать предварительно сконфигурированную модель или подключить свою собственную
— поддержка CPU и GPU
— модели хранятся в индексах HNSW в памяти, что позволяет достичь высокой скорости поиска
— масштабирование до индексов на сотни миллионов документов с помощью горизонтального чередования индексов
— асинхронная и неблокируемая загрузка данных и поиск

🖥 GitHub
🟡 Доки

@data_analysis_ml

⚡️ DeepSeek-V2 — экономичная и эффективная языковая модель Mixture-of-Experts

Встречайте DeepSeek-V2, производительную языковую модель Mixture-of-Experts (MoE), характеризующуюся экономичным обучением и эффективным выводом. Она включает в себя 236B параметров, из которых 21B активируется для каждой лексемы. По сравнению с DeepSeek 67B, DeepSeek-V2 достигает более высокой производительности, при этом экономит 42,5% затрат на обучение, сокращает кэш KV на 93,3% и увеличивает максимальную производительность генерации в 5,76 раза.

Предварительное обучение DeepSeek-V2 было проведено на разнообразном и высококачественном наборе из 8,1 триллиона лексем. После этого комплексного предварительного обучения последовал процесс Supervised Fine-Tuning (SFT) и Reinforcement Learning (RL) для полного раскрытия возможностей DeepSeek-V2.
Результаты оценок подтверждают эффективность такого подхода: DeepSeek-V2 достигает выдающихся результатов как в стандартных бенчмарках, так и в открытой системе оценивания.

🖥 GitHub
🤗 Hugging Face
🟡 Arxiv

@data_analysis_ml

📌Featuretools для генерации признаков

— python -m pip install featuretools

Featuretools — это Python библиотека для автоматизированной разработки фич, т.е. определения переменных из набора данных для обучения ML-модели.
Featuretools отлично справляется с преобразованием временных и реляционных наборов данных в матрицы признаков для машинного обучения.

🖥 GitHub
🟡 Доки

@data_analysis_ml

⚡️ xLSTM: расширенная долгая краткосрочная память

С тех пор как LSTM возникли и выдержали испытание временем, они способствовали многочисленным успехам глубокого обучения, в частности, привели к созданию LLM.
Однако появление технологии Transformer с распараллеливаемым самовниманием в основе ознаменовало рассвет новой эры, превзойдя LSTM по масштабу.
Возникают вопросы: как далеко мы можем продвинуться в языковом моделировании при масштабировании LSTM до миллиардов параметров, используя новейшие методы современных LLM, но смягчая известные ограничения LSTM?
• 1 — можно использовать экспоненциальный гейтинг с соответствующими методами нормализации и стабилизации.
• 2 — можно модифицировать структуру памяти LSTM, получая: (I) sLSTM со скалярной памятью, скалярным обновлением и новым смешиванием памяти; (II) полностью распараллеливаемую mLSTM с матричной памятью и правилом обновления ковариации.

Так и возникает xLSTM — расширенная долгая краткосрочная память.
Экспоненциальный гейтинг и модифицированные структуры памяти повышают возможности xLSTM и позволяют сравнить их с современными трансформерами как по производительности, так и по масштабированию.

Держите совсем свежую статью с описанием xLSTM
📎 Arxiv

@data_analysis_ml