📌Julia для Data Science

Отличный ресурс о том, как использовать Julia в DS
Здесь очень подробно на примерах раскрыто всё, что нужно знать: от загрузки датасета до кластеризации/классификации

Есть целый раздел End-End, где показан весь процесс работы с данными на примере известных датасетов, вот например для Telco Churn

📎 Ноутбук

@data_analysis_ml

⚡️ AnythingLLM: The all-in-one AI app you were looking for.

AnythingLLM — AI-приложение с возможностями RAG и AI Agent.

Это полнофункциональное приложение, в котором вы можете использовать коммерческие LLM или популярные open-source LLM для создания частного ChatGPT без цензуры и ограничений который можно запускать как локально, так и на сервер.


🖥 GitHub
🟡 Страничка AnythingLLM
🟡 Презентация YouTube

@data_analysis_ml

🌟 LangChain-Chatchat — LLM-приложение Q&A, использующее локальную базу знаний

⏩LangChain-Chatchat (ранее Langchain-ChatGLM) — это что-то наподобие поисковой системы на основе Langchain, которая может использовать локальные файлы.

⏩Основная идея Chatchat довольно проста, вот основные этапы процесса:
загрузка файлов базы знаний ⟶ чтение текста ⟶ сегментация текста ⟶ векторизация текста ⟶ векторизация вопроса ⟶ поиск вектора текста, наиболее похожего на вектор вопроса ⟶ найденный вектор добавляется в промпт в качестве контекста и вопроса ⟶ передается в LLM для генерации ответа

⏩А вот так можно начать работу с Chatchat:

git clone https://github.com/chatchat-space/Langchain-Chatchat.git
cd Langchain-Chatchat
pip install -r requirements.txt
pip install -r requirements_api.txt
pip install -r requirements_webui.txt

git lfs install
git clone https://huggingface.co/THUDM/chatglm2-6b
git clone https://huggingface.co/moka-ai/m3e-base

python copy_config_example.py
python init_database.py --recreate-vs

python startup.py -a

🖥 GitHub

@data_analysis_ml

🔥 LightGBM — система градиентного бустинга для решения задач ML

— pip install lightgbm

Если подробнее, то LightGBM — это фреймворк для градиентного бустинга (GBT, GBDT, GBRT, GBM или MART) на основе алгоритмов дерева решений, используемая для ранжирования, классификации и многих других задач Machine Learning.

LightGBM разработан как распределенная и эффективная система, обладающая следующими преимуществами:
— Высокая скорость обучения и эффективность.
— Низкое потребление памяти.
— Высокая точность.
— Поддержка параллельного, распределенного и GPU-обучения.
— Возможность работы с большими объемами данных.

Благодаря этим преимуществам LightGBM широко используется во многих проектах, победивших в соревнованиях по Machine Learning.

🖥 GitHub
🟡 Доки
🟡 Пример использования LightGBM на Kaggle

@data_analysis_ml

🌟 Новая статья на Habr: разработчики из команды AllSee поделились опытом внедрения YandexGPT API в свои проекты

Авторы пишут, что официального SDK пока нет, поэтому они создали свой. Здесь полное решение, включая создание класса YandexGPT Thread для хранения и управления отдельными чатами.

Из интересного: в начале есть сравнение эффективности YandexGPT и ChatGPT в одной из задач. Две модели показали хорошие результаты, но стоимость нейросети от Яндекса вышла значительно меньше.

https://habr.com/ru/articles/812979/

@data_analysis_ml

🌟 TrustLLM для оценивания ответов LLM

TrustLLM — инструмент на Python для комплексного исследования ответов от LLM.
TrustLLM рассматривает 6 аспектов ответов: правдивость, безопасность, этичность, соблюдение конфиденциальности и другие.

В этом документе подробно объясняется, как использовать инструмент для оценки эффективности собственных моделей.

pip install trustllm

▪GitHub
▪Arxiv
▪Docs
▪Project

#llm

🌟 TrustLLM для оценивания ответов LLM

TrustLLM — инструмент на Python для комплексного исследования ответов от LLM.
TrustLLM рассматривает 6 аспектов ответов: правдивость, безопасность, этичность, соблюдение конфиденциальности и другие.

В этом документе подробно объясняется, как использовать инструмент для оценки эффективности собственных моделей.

pip install trustllm

▪GitHub
▪Arxiv
▪Docs
▪Project

#llm

⚡️ Marqo — векторный поиск для ML-приложений и не только

— pip install marqo

Marqo — это open-source фреймворк тензорного поиска, который обеспечивает работу приложений для поиска, извлечения информации и ML-приложений.

Особенности Marqo
— генерация, хранение и поиск векторов из коробки
— позволяет создавать приложения для поиска, разрешения сущностей и изучения данных, используя свои тексты и изображения
— можно создавать сложные семантические запросы, комбинируя взвешенные поисковые термины
— поддерживается фильтрация результатов поиска с помощью DSL запросов Marqo
— позволяет использовать ML-модели от PyTorch, Huggingface, OpenAI и не только
— можно использовать предварительно сконфигурированную модель или подключить свою собственную
— поддержка CPU и GPU
— модели хранятся в индексах HNSW в памяти, что позволяет достичь высокой скорости поиска
— масштабирование до индексов на сотни миллионов документов с помощью горизонтального чередования индексов
— асинхронная и неблокируемая загрузка данных и поиск

🖥 GitHub
🟡 Доки

@data_analysis_ml