🖥 По сравнению с pandas, Polars предоставляет более продвинутый синтаксис для создания сложных пайплайнов преобразования данных.

Каждая функция в Polars генерирует новую функцию, и эти функции можно объединять в конвейер.

@data_analysis_ml

⚡️ Инструменты визуализации графов/сетей

- Geph
- VOSviewer
- Cytoscape
- Kumu
- GraphInsight
- NodeXL
- Orange
- Graphia
- Graphistry
- SocNetV
- Tulip
- Gephisto

🖥 Библиотеки Python
- networkx
- graphviz
- pydot
- python-igraph
- pyvis
- ipycytoscape
- pygsp
- graph-tool
- nxviz
- py2cytoscape
- ipydagred3
- ipysigma
- Py3Plex
- net wulf

@data_analysis_ml

🚀 Window ops

Эта библиотека для анализа данных, которая содержит функции альтернативы pd.Series.rolling и pd.Series.expanding,которые позволяют получить ускорение за счет использования оптимизированных под numba функций, работающих с массивами numpy.

pip install window-ops

▪Github
▪Документация

@data_analysis_ml

⚡️ OneFormer: Один трансформер для управления универсальной сегментацией изображений.

Модель позволяет решать три разных задачи сегментации: semantic, instance и panoptic segmentation.

🦒colab: https://github.com/camenduru/OneFormer-colab
🌐page: https://praeclarumjj3.github.io/oneformer
📄paper: https://arxiv.org/abs/2211.06220
🧬code: https://github.com/SHI-Labs/OneFormer

@data_analysis_ml

🎓 Бесплатный курс от Weights & Biases: Валидация данных в конвейерах ML.

Научитесь поддерживать качество данных и использовать TensorFlow Data Validation,получите практический опыт проверки данных для создания надежных конвейеров ML.

https://www.wandb.courses/courses/data-validation-for-machine-learning

@data_analysis_ml

💻 Создайте ИИ-клон из своих чатов вWhatsApp

Этот репозиторий поможет вам создать чатбота с ИИ, используя ваши чаты WhatsApp в качестве обучающих данных.

По умолчанию используется модель Mistral-7B-Instruct-v0.2.

Код в этом репозитории в значительной степени опирается на llama-recipes (https://github.com/facebookresearch/llama-recipes), где вы можете найти больше примеров того, что можно делать с моделями llama.

▪Github

@data_analysis_ml

📊 Facets

Проект Facets предоставляет инструменты визуализации для понимания и анализа наборов данных машинного обучения: Facets Overview и Facets Dive.

Визуализации реализованы в виде веб-компонентов Polymer и могут быть легко встроены в блокноты Jupyter или веб-страницы.

Прмеры визуализаций можно найти на странице описания проекта Facets: pair-code.github.io/facets/

▪Github

@data_analysis_ml

💻 Чтобы расширить возможности вашего терминала за счет автозаполнения кода, подобного IDE, используйте Fig.

Это позволит ускорить рабочий процесс и сократить количество опечаток и ошибок, особенно при работе с длинными или сложными командами.

https://fig.io/

@data_analysis_ml

⚡️ ExLlamaV2: самая быстрая библиотека для работы с LLM

Квантизация больших языковых моделей (Large Language Models, LLM) — наиболее популярный подход для уменьшения размера этих моделей и ускорения вывода. GPTQ (Post-Training Quantization for GPT, пост-тренировочная квантизация GPT) — один из алгоритмов, обеспечивающих потрясающую производительность на графических процессорах. По сравнению с неквантированными моделями, он использует почти в 3 раза меньше VRAM (Video Random Access Memory, оперативная видеопамять), обеспечивая при этом аналогичный уровень точности и более высокую скорость генерации. GPTQ стал настолько популярным, что недавно был напрямую интегрирован в библиотеку Transformers.

ExLlamaV2  — это библиотека, позволяющая выжать еще больше производительности из GPTQ. Благодаря новым ядрам, она оптимизирована для (молниеносно) быстрого вывода. Кроме того, в ней представлен новый формат квантизации EXL2, обеспечивающий большую гибкость при хранении весов.

В этой статье рассмотрим, как квантировать базовые модели в формате EXL2 и как их запускать. Код доступен на GitHub и Google Colab.

📌 Читать

@data_analysis_ml

⚡️ mergekit - это инструмент для слияния предварительно обученных языковых моделей.

Может выполняться полностью на CPU или ускоряться с помощью всего 8 ГБ VRAM.

Проект поддерживает множество алгоритмов.

▪Github
▪Colab

@data_analysis_ml