🔥 Haystack — фреймворк Python для создания приложений на базе LLM

— pip install haystack-ai

Haystack — это фреймворк для создания настраиваемых, готовых к продакшену LLM-приложений.
Позволяет подключать компоненты (разные модели, векторные БД, конвертеры файлов) к конвейерам или агентам для взаимодействия с данными.
Благодаря продвинутым методам поиска, он лучше всего подходит для создания RAG, чат-ботов или семантического поиска.

Haystack бурно развивается, относительно недавно вышло значительное обновление — Haystack 2.0.

🖥 GitHub
🟡 Доки

@data_analysis_ml

🌟 Xinference — лёгкая замена LLM в своём приложении

pip install "xinference[all]"
xinference-local

Xinference позволяет заменить GPT от OpenAI в своём приложении на другую LLM, изменив всего одну строчку кода.

Быстрый старт с помощью Docker (предполагается, что CUDA настроен):
docker run --name xinference -d -p 9997:9997 -e XINFERENCE_HOME=/data -v </on/your/host>:/data --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0

🖥 GitHub
🟡 Доки
🟡 Google Colab для экспериментов

@data_analysis_ml

🌟 PennyLane — open-source кроссплатформенный фреймворк Python для квантового Machine Learning и квантовых вычислений

— pip install pennylane

PennyLane — это фреймворк для квантового Machine Learning и не только; некий аналог TensorFlow и PyTorch, но для квантовых вычислений.
PennyLane может работать практически на любом оборудовании.

🖥 GitHub
🟡 Доки

@data_analysis_ml

⚡️ Albumentations — библиотека для апскейла изображений

— pip install -U albumentations

Albumentations — это быстрая и гибкая библиотека Python для увеличения изображений.
Широко используется в промышленности, исследованиях в области Deep Learning, в соревнованиях по Machine Learning и в разных open-source проектах.

🖥 GitHub
🟡 Доки
🟡 Примеры использования Albumentations

@data_analysis_ml

🌟 Mistral-finetune — кодовая база для файнтюнинга моделей Mistral

cd $HOME && git clone https://github.com/mistralai/mistral-finetune.git

cd mistral-finetune
pip install -r requirements.txt

Буквально вчера выкатили Mistral-finetune;
это легкая кодовая база, позволяющая эффективно использовать память и выполнять finetune моделей Mistral. В основе Mistral-finetune LoRA — метод обучения при котором большинство весов не меняется, а корректируются только 1-2 % весов.

Для достижения максимальной эффективности рекомендуется использовать графические процессоры A100 или H100.
Кодовая база оптимизирована для обучения на нескольких GPU, но для небольших моделей, таких как 7B, достаточно одного GPU.

🖥 GitHub
🟡 Погонять в Google Colab

@data_analysis_ml