🌟 TorchMetrics — большой набор реализованных метрик для ML-систем

— pip install torchmetrics

TorchMetrics — это коллекция из 100+ реализаций метрик PyTorch и простой в использовании API для создания собственных метрик.

Особенности API TorchMetrics:
— стандартизированный интерфейс для воспроизводимости

— можно использовать для распределенных ML-систем

— автоматическая синхронизация между несколькими устройствами

🖥 GitHub
🟡 Доки
🟡 Все метрики

@data_analysis_ml

🌟 Тонкая настройка + RAG с помощью MistralAI

В этом Colab'е детально показывается, как тонко настроить Mistral-7B для соответствия уровня ответов Mistral-Large на RAG-конвейере обработки документов.

Такая тонкая настройка стала возможной благодаря недавно вышедшему MistralAI Finetune Engine

🟡 Google Colab

@data_analysis_ml

🌟 Cambrian-1 — семейство мультимодальных LLM, ориентированных на CV-задачи

Cambrian-1 — это семейство MLLM, разработанных с упором на работу с визуальной информацией. На страничке Cambrian-1 представлены модели 3 размеров (8B, 13B и 34B), данные для обучения, скрипты для обучения на TPU.
Скоро на GitHub появится скрипт для обучения на GPU.

🟡 Страничка Cambrian-1
🖥 GitHub
🤗 Hugging Face

@data_analysis_ml

🌟 OSS Vizier — open-source инструмент для оптимизации, настройки гиперпараметров ML-систем

— pip install google-vizier[jax]

OSS Vizier — это инструмент, написанный на Python для оптимизации и исследования нейросетей и т.д.
OSS Vizier основан на Google Vizier, одном из первых сервисов для настройки гиперпараметров, рассчитанных на работу с масштабными ML-системами.

🖥 GitHub
🟡 Доки

@data_analysis_ml

🌟 Nous Hermes 2 - Mistral 7B - DPO - GGUF

Это квантизованная версия модели Nous Hermes 2 Mistral 7B DPO; работает очень быстро и неплохо умеет в код

Сама исходная модель Nous Hermes 2 показала отличные результаты во всех бенчмарках — AGIEval, BigBench Reasoning, GPT4All и TruthfulQA;
была обучена на 1000000 пар промпт-ответ качества GPT-4 или выше, а также на других высококачественных наборах данных, доступных в teknium/OpenHermes-2.5.

🤗 Hugging Face

@data_analysis_ml

🖥 Unstructured — библиотека Python для предобработки сырых данных

— pip install "unstructured[all-docs]"

Unstructured предоставляет компоненты для предобработки изображений, текстовых документов; поддерживает многие форматы: PDF, HTML, Word docs и др.

Запустить библиотеку в контейнере:

docker run -dt --name unstructured downloads.unstructured.io/unstructured-io/unstructured:latest
docker exec -it unstructured bash

🖥 GitHub
🟡 Доки

@data_analysis_ml

🌟 Scikit-LLM — библиотека Python, призванная упростить разработку сложных и готовых к продакшену конвейеров NLP

— pip install scikit-llm

Scikit-LLM может взаимодействовать с различными провайдерами LLM, независимо от того, работают ли они локально (например, GPT4All) или в облаке (включая Azure, OpenAI и Vertex AI).

Scikit-LLM поддерживает широкий спектр задач анализа текста, включая классификацию, анализ эмоциональной составляющей и т.д. Для сложных сценариев можно объединить несколько задач в конвейер scikit-learn.

🖥 GitHub
🟡 Доки

@data_analysis_ml