🌟 Детальный разбор реального кейса ML — предсказание исхода больных пациентов по их физиологическим данным

Параллельно затрагиваются такие моменты:
— подготовка данных, удаление выбросов
— обучение ML-модели
— проверка прогнозов модели, оценивание

Используемые данные были взяты из датасета eICU Collaborative Research Database, содержащего обезличенные физиологические данные тяжелобольных пациентов.

🟡 Introduction to Machine Learning

@machinelearning_interview

⚡️ GraphRAG — методология улучшенного извлечения данных для генерации текста из определенных источников (RAG) от Microsoft.

GraphRAG использует графы знаний для улучшения ответов на запросы. Во время запроса система обращается к графу знаний и использует резюме сообществ и связи между сущностями для формирования контекста, который помогает LLM дать более точный ответ, чем традиционные методы, основанные на поиске по векторным сходствам.

Архитектура GraphRAG состоит из ключевых компонентов:

Indexer : разделяет корпус данных на мелкие текстовые блоки (TextUnits), извлекает из них сущности, связи и ключевые утверждения.
Clustering : группирует данные в иерархическую структуру с использованием метода Лейдена, создавая граф знаний.
Community Summarization : генерирует обобщенные описания для каждой группы данных, что помогает в понимании контекста и смыслового связывания всей информации.
Knowledge Graph : структура, объединяющая сущности и их связи, созданная на основе данных.

GraphRAG значительно улучшает работу моделей языка с частными данными, позволяя им более точно и полно отвечать на сложные вопросы, требующие синтеза информации из разных источников.

⚠️ Рекомендации и предупреждения:

- Эффективность индексации зависит от правильной идентификации понятий
- Индексация может быть дорогостоящей, рекомендуется создание тестового набора данных
- Система предназначена для опытных пользователей в предметной области
- Необходим анализ ответов человеком для получения достоверной информации
- Методология наиболее эффективна на текстовых данных с общей темой и множеством сущностей

📄 Документация:

🟢локальный запуск
🟢конфигурирование
🟢эмулятор Azurite

🖥Github
🖥Github для запуска на API Azure
🟡Страница проекта
🟡Arxiv

@ai_machinelearning_big_data

#LLM #GraphRAG #ML #RAG #NLP #Deeplearning

🌟 CSCE585: Machine Learning Systems

Держите отличную подборку лекций по ML, есть и pdf, и видео.
Всего здесь 20 лекций, они раскрывают такие темы ML как:
— построение масштабируемых и распределённых ML-систем
— методы оптимизации и нейронные сети
— сжатие моделей и квантование
— аппаратная сторона ML-систем
— обзор ML-платформ

🟡 Лекции по ML, pdf
🟡 Плейлист YouTube

@machinelearning_interview

🌟 Количественные методы с использованием R

В этой свободной книге представлены практические примеры, которые легко можно применить к любому набору данных, плюс детально обсуждается, как работает каждый пример.
Здесь рассматривается описательная и базовая статистика, включая анализ графиков, распределения, дисперсию, вероятность, проверку гипотез, корреляцию, простую регрессию и тесты 𝛘-квадрат.

Будет полезно начинающим ML-специалистам и не только

🟡 Quantitative Methods Using R

@machinelearning_interview

📌Deep Learning на практике

Очень полезный практический учебник/туториал по Deep Learning;
каждый раздел подробно объясняет, что происходит в конкретном Jupyter Notebook'е

Вот некоторые из затрагиваемых тем:
— NLP и работа с текстом
— классификация изображений
— распознавание (начиная с классического MNIST и до более сложных примеров)

🟡 Deep Learning на практике
🖥 Ноутбуки на GitHub

@machinelearning_interview