⚡️ GraphRAG — методология улучшенного извлечения данных для генерации текста из определенных источников (RAG) от Microsoft.

GraphRAG использует графы знаний для улучшения ответов на запросы. Во время запроса система обращается к графу знаний и использует резюме сообществ и связи между сущностями для формирования контекста, который помогает LLM дать более точный ответ, чем традиционные методы, основанные на поиске по векторным сходствам.

Архитектура GraphRAG состоит из ключевых компонентов:

Indexer : разделяет корпус данных на мелкие текстовые блоки (TextUnits), извлекает из них сущности, связи и ключевые утверждения.
Clustering : группирует данные в иерархическую структуру с использованием метода Лейдена, создавая граф знаний.
Community Summarization : генерирует обобщенные описания для каждой группы данных, что помогает в понимании контекста и смыслового связывания всей информации.
Knowledge Graph : структура, объединяющая сущности и их связи, созданная на основе данных.

GraphRAG значительно улучшает работу моделей языка с частными данными, позволяя им более точно и полно отвечать на сложные вопросы, требующие синтеза информации из разных источников.

⚠️ Рекомендации и предупреждения:

- Эффективность индексации зависит от правильной идентификации понятий
- Индексация может быть дорогостоящей, рекомендуется создание тестового набора данных
- Система предназначена для опытных пользователей в предметной области
- Необходим анализ ответов человеком для получения достоверной информации
- Методология наиболее эффективна на текстовых данных с общей темой и множеством сущностей

📄 Документация:

🟢локальный запуск
🟢конфигурирование
🟢эмулятор Azurite

🖥Github
🖥Github для запуска на API Azure
🟡Страница проекта
🟡Arxiv

@ai_machinelearning_big_data

#LLM #GraphRAG #ML #RAG #NLP #Deeplearning

🌟 CSCE585: Machine Learning Systems

Держите отличную подборку лекций по ML, есть и pdf, и видео.
Всего здесь 20 лекций, они раскрывают такие темы ML как:
— построение масштабируемых и распределённых ML-систем
— методы оптимизации и нейронные сети
— сжатие моделей и квантование
— аппаратная сторона ML-систем
— обзор ML-платформ

🟡 Лекции по ML, pdf
🟡 Плейлист YouTube

@machinelearning_interview

🌟 Количественные методы с использованием R

В этой свободной книге представлены практические примеры, которые легко можно применить к любому набору данных, плюс детально обсуждается, как работает каждый пример.
Здесь рассматривается описательная и базовая статистика, включая анализ графиков, распределения, дисперсию, вероятность, проверку гипотез, корреляцию, простую регрессию и тесты 𝛘-квадрат.

Будет полезно начинающим ML-специалистам и не только

🟡 Quantitative Methods Using R

@machinelearning_interview

📌Deep Learning на практике

Очень полезный практический учебник/туториал по Deep Learning;
каждый раздел подробно объясняет, что происходит в конкретном Jupyter Notebook'е

Вот некоторые из затрагиваемых тем:
— NLP и работа с текстом
— классификация изображений
— распознавание (начиная с классического MNIST и до более сложных примеров)

🟡 Deep Learning на практике
🖥 Ноутбуки на GitHub

@machinelearning_interview

📌 Applied Statistics with R — отличная книга для аналитиков, ML-инженеров и специалистов по DS

Здесь подробно объясняется линейная и логистическая регрессия и как работать с ними в R, описываются параметры данных такие как гомоскедастичность, гетероскедастичность и т.д.
Приведено много формул, при этом всё детально объясняется

🟡 Applied Statistics with R

@machinelearning_interview

🌟 Основные методы рекомендательной системы — подробный блокнот Kaggle

Этот блокнот Kaggle — практическое введение в основные методы рекомендательных систем.

В частности, здесь рассматриваются такие методы как:

— коллаборативная фильтрация: этот метод делает автоматические прогнозы (фильтрацию) об интересах пользователя, собирая информацию о предпочтениях или вкусах других пользователей (похожих на данного). В основе такого подхода лежит предположение: если человек A выбирает те же товары, что и человек B, то вероятность того, что A будет придерживаться мнения B по данному товару, выше, чем вероятность, что мнение А совпадёт с мнением случайного человека

— фильтрация на основе содержимого: этот метод использует для моделирования предпочтений пользователя только информацию об описании и атрибутах товаров, которые он ранее употреблял. То есть, такие алгоритмы пытаются рекомендовать товары, похожие на те, которые нравились пользователю в прошлом

— гибридные методы, сочетающие коллаборативную фильтрацию и фильтрацию на основе контента

🟡 Блокнот Kaggle с пошаговой реализацией

@machinelearning_interview

🌟 Репозиторий с основной теорией по Data Science и Machine Learning

Здесь конспективно приводится самая основная информация с формулами и графиками, в частности говорится о таких понятиях:
— наивный Байесовский классификатор
— метод XGBoost
— кластеризация/классификация
— метод случайного леса
— обучение нейросети, признаки переобучения
— и также затрагивается множество других тем/алгоритмов

Неплохой репозиторий, чтобы полистать перед собеседованием

🖥 GitHub

@machinelearning_interview