🌟 Lux.jl — фреймворк Julia для Deep Learning

— import Pkg; Pkg.add("Lux")

Lux бесшовно интегрируется с CUDA и AMDGPU, также поддерживается экспериментальная поддержка Metal Hardware.
Фреймворк используется по умолчанию во многих пакетов SciML, включая DiffEqFlux.jl, NeuralPDE.jl и другие.
Lux изначально поддерживает произвольные типы параметров, что делает его совместимым с другими пакетами Julia (и даже с пакетами, не относящимися к Julia).

🖥 GitHub
🟡 Примеры использования
🟡 Доки

@data_analysis_ml

🌟 Hamilton — библиотека Python для создания направленных ациклических графов (DAG), визуализирующих потоки данных

— pip install sf-hamilton

Чтобы создать граф при помощи Hamilton, ничего особенного не требуется: нужно просто писать обычные функции Python, которые указывают свои зависимости с помощью параметров.
Как раз по этим параметрам Hamilton и построит граф, по которому можно легко увидеть, как преобразуются данные и передаются из одной функции в другую

Hamilton может быть очень полезным инструментом при работе с большими конвейерами данных и в ML-системах

🖥 GitHub
🟡 Доки
🟡 Затестить Hamilton онлайн

@data_analysis_ml

🌟 BM25S — очень быстрая реализация алгоритма BM25 на чистом Python

— pip install bm25s[full]

Это сверхбыстрая библиотека лексического поиска, реализующая BM25 с помощью Scipy (ускорение до 500 раз).
BM25S построена исключительно на Numpy и Scipy, с дополнительными зависимостями для stemming и selection, а также интеграцией с Huggingface Hub, позволяющей вам легко делиться и использовать другие индексы BM25.

Благодаря минимальному количеству зависимостей bm25s позволяет сделать все внутри Python всего за несколько строк.
BM25S позволяет достичь скорости, сравнимой или превышающей скорость ElasticSearch, при этом отпадает необходимость в настройке веб-серверов, установке и запуске Java и использовании абстрактных API.

На графике — относительное ускорение BM25S и Elastic по отношению к rank-bm25, самой популярной реализации BM25 на Python. Скорость рассчитывается как отношение количества запросов в секунду по отношению к rank-bm25.

🖥 GitHub
🤗 Hugging Face

@data_analysis_ml

🌟 σ-GPT — новый взгляд на авторегрессионные модели

GPT генерируют последовательности в порядке слева направо. Возможно ли по-другому?
Arnaud Pannatier и его коллеги разработали σ-GPT, способный генерировать последовательности в любом порядке, динамически выбираемом во время вывода.

🟡 Arxiv
🖥 GitHub

@data_analysis_ml

🌟 DataComp-LM — комплексный фреймворк, предназначенный для построения и обучения LLM на различных наборах данных

DataComp-LM предлагает стандартизированный набор из более чем 300Т нефильтрованных лексем из CommonCrawl, эффективные рецепты предварительного обучения на основе фреймворка open_lm и большой набор из более чем 50 бенчмарков.

DCLM позволяет исследователям экспериментировать с различными стратегиями построения наборов данных в различных вычислительных масштабах, от 411M до 7B моделей с параметрами.

🖥 GitHub
🟡 Arxiv

@data_analysis_ml

🖥 Mesop — Python фреймворк для быстрого создания UI для LLM-приложений и не только

Особенности Mesop:
— UI пишется очень идиоматично и лаконично
— масса готовых компонентов, просто plug-and-play
— поддержка горячей перезагрузки, когда браузер сам обновляет UI по мере написания; при этом сохраняется состояние
— можно работать с готовым UI как с простым наборов функций Python

🖥 GitHub

@data_analysis_ml

🌟 Создание text-to-SQL системы с Mistral AI, Neon, и LangChain

Если использовать просто LLM для генерации SQL, то может получиться синтаксически неверный SQL, усугубляет ситуацию и масса диалектов SQL в разных БД.
К тому же LLM не имеет доступа к полной схеме базы данных, именам таблиц и столбцов, а также индексам, что ограничивает его возможности по созданию точных/эффективных запросов. А передавать полную схему в промпте каждый раз дорого и неудобно.

Ок, но ведь LLM отлично обучаются в контексте, поэтому, передавая релевантную информацию в промпте, можно улучшить их результаты — так мы приходим к RAG.
И здесь по ссылке ниже разбирается построение системы RAG с использованием Mistral AI, Neon Postgres как векторной БД, и LangChain, чтобы связать всё это вместе.

🟡 Создание Text-to-SQL системы

@data_analysis_ml

🌟 4M: Massively Multimodal Masked Modeling

4M-21 — open-source фреймворк от Apple для обучения мультимодальных моделей и решения множества задач

Из-за CVPR релиз 4M-21 прошёл незаметно, а ведь фреймворк очень функциональный.

4M-21 позволяет обучать универсальные мультимодальные модели, способные выполнять разные задачи, связанные с CV.
4M-21 позволяет:
— создавать подписи к изображениям
— оценивать глубину
— обнаруживать объекты на изображении
— делать сегментацию объектов
— генерировать изображения
— и решать много других задач

🟡 Страничка 4M-21
🖥 GitHub
🟡 Arxiv
🟡 Hugging Face

@data_analysis_ml