📌PyTorch Sentiment Analysis — анализ эмоциональной составляющей текста

В этом репозитории содержатся разные реализации анализа текста в PyTorch:
— с использованием "мешка слов" (bag of words)
— с помощью рекурретной нейросети (RNN)
— посредством свёртной нейросети (CNN)
— с помощью модных трансформеров

🖥 GitHub

@data_analysis_ml

💨 Scaling hierarchical agglomerative clustering to trillion-edge graphs

Кластеризация графов объединяет похожие элементы в группы, что помогает лучшему понять взаимосвязи в данных.

В этой статье инженеры Google рассказывают о ключевых методах, которые позволили им построить мощнейший алгоритм, позволяющий группировать графы с триллионами ребер.

https://research.google/blog/scaling-hierarchical-agglomerative-clustering-to-trillion-edge-graphs/

@data_analysis_ml

🖥 Whisper.cpp для перевода аудио в текст

🟡Высокопроизводительный интерфейс на C++ для модели Whisper от OpenAI, которая отлично распознаёт текст.
Простая реализация на C/C++ без зависимостей.

Особенности самой модели Whisper:
— Хорошо распознает русский текст (даже с вкраплениями английского)
— Хорошо распознает цифры

🖥 GitHub
🟡 Использование

Кстати, интересный факт: Whisper.cpp был написан Георгием Гергановым всего за 5 дней

@data_analysis_ml

🖥 Обнаружение аномалий с помощью PyOD

— pip install pyod

PyOD — это универсальная масштабируемая библиотека Python для поиска аномалий в многомерных данных.

Содержит ряд очень полезных алгоритмов:
🟡TODS — для обнаружения выбросов временных рядов

🟡PyGOD — для обнаружения выбросов на графиках

Кстати, к PyOD прилагается 45-страничный подробный документ по эталонному обнаружению аномалий (если не открывается, вы знаете)

И да, PyOD отлично скейлится — здесь инструкция по запуску PyOD на распределенных системах и на центрах обработки данных

🖥 GitHub

@data_analysis_ml

🌟 Большой список ресурсов для практики Data Science

Это подборка библиотек Python, ссылок на туториалы, ссылок на примеры кода для решения DS-задач.

🖥 GitHub

@data_analysis_ml

⚡️ Платформа для разработки LLM-решений — Dify

Dify — это open-source платформа для разработки LLM-приложений.
Имеет интуитивно понятный интерфейс, позволяет настраивать весь рабочий процесс AI, конвейер RAG, возможности агентов, управление моделями, и многое другое
Всё это позволяет быстро перейти от прототипа к продукту.

🖥 GitHub
🟡 Dify.AI

@data_analysis_ml

🌟 CUDA/C++: с чего начиналось глубокое обучение

Думаю, многие слышали про победу AlexNet в 2012 году на конкурсе ImageNet и о начавшейся тогда революции в глубоком обучении.

Менее известным является тот факт, что код для AlexNet был написан с нуля на CUDA/C++ Алексом Крижевским. Репо называлось cuda-convnet и находилось на Google Code.
Вероятно, этот репозиторий Google Code был закрыт, но есть несколько форков на GitHub, например этот.

AlexNet — это было одно из первых громких применений CUDA для глубокого обучения, и именно размер нейросети, который был обеспечен CUDA, позволил этой сети получить такую высокую производительность в бенчмарке ImageNet.
На самом деле это было довольно сложное мульти-GPU приложение, включающее, например, распараллеливание моделей, когда 2 параллельных потока свертки разделяются между 2 GPU.

Также стоит понимать, что в это время в 2012 году (~12 лет назад) большая часть глубокого обучения проводилась в Matlab, на CPU, в игрушечных условиях, с экспериментами над всевозможными алгоритмами обучения, архитектурами и идеями оптимизации. Поэтому было очень ново и неожиданно увидеть, как Алекс, Илья и Джефф говорят: забудьте про все алгоритмы, просто возьмите стандартный ConvNet, сделайте его очень большим, обучите его на большом наборе данных (ImageNet) и просто реализуйте все это на CUDA/C++. И именно таким образом глубокое обучение как область получило большую искру.

Конечно, уже были намеки на сдвиг в сторону масштабирования, например, Matlab изначально поддерживал GPU, и большая часть работы в лаборатории Эндрю Ына в Стэнфорде в это время шла в направлении использования GPU для глубокого обучения и масштабирования.

▶️ Подробнее об истоках глубокого обучения в треде X

@data_analysis_ml