📌Годная шпаргалка по R для специалиста Data Science

⏩Не так часто я упоминаю R в постах, а ведь это прекрасный инструмент, знание которого поможет там, где не справляется Python, Julia и другие ребята

⏩Итак, с помощью R можно:
— Очистить и обработать данные. Например, для обработки массива информации о популярности разных товаров на R можно написать программу, которая сгруппирует данные о покупках по товарам, удалит дубли и подготовит таблицу для дальнейшей аналитики.

— Провести статистический тест. Посчитать среднюю продолжительность и увидеть, есть ли статистически значимая разница между несколькими показателями.

— Объединять данные из разных таблиц. Взять таблицы разных форматов, собрать из них данные и обрабатывать все как единый файл.

— Отрисовать интерактивный график. Распределить данные, отрегулировать параметры.

— Анализировать регрессионные модели. Выявить отношения между переменными — например, как доход магазина зависит от разных факторов.

— Провести другую математическую операцию. Объединить многомерные массивы, спрогнозировать величину, распознать текст. Для большинства задач есть готовые библиотеки, либо можно написать собственный код, используя широкий математический инструментарий.

⏩А вот держите годную шпаргалку по R)

@data_analysis_ml

🖥 Линейный дискриминантный анализ (LDA). Принцип работы и реализация с нуля на Python

Держите полезную статью)
LDA — алгоритм классификации и понижения размерности, позволяющий производить разделение классов наилучшим образом. Основная идея LDA заключается в предположении о многомерном нормальном распределении признаков внутри классов и поиске их линейного преобразования, которое максимизирует межклассовую дисперсию и минимизирует внутриклассовую.

Некоторые мысли из статьи:
⏩LDA может быть предпочтительнее логистической регрессии в ряде случаев.

⏩Алгоритм LDA включает расчет априорных вероятностей и средних значений признаков, а также нахождение собственных векторов и значений.

⏩Существуют другие подходы к решению задач через нахождение собственных векторов, такие как сингулярное разложение и метод наименьших квадратов.

⏩Модификации LDA, такие как квадратичный дискриминантный анализ (QDA), гибкий дискриминантный анализ (FDA) и ядерный дискриминантный анализ (KDA), улучшают качество модели и увеличивают количество задач, в которых его можно применить.

⏩Регуляризация поддерживается в LDA и его модификациях через степень сжатия ковариационной матрицы.

📎 Статья

@data_analysis_ml

▶️7 типов баз данных, понимание которых пригодится специалисту Data Science

⏩Иерархические БД — DNS, LDAP
В иерархических БД каждая запись имеет одного «родителя». Это создаёт древовидную структуру, в которой записи классифицируются по их отношениям с цепочкой родительских записей.

⏩Сетевые БД — IDMS
Сетевые БД расширяют функциональность иерархических: записи могут иметь более одного родителя. А значит, можно моделировать сложные отношения.

⏩Реляционные БД — PostgreSQL, MariaDB, SQLite, MySQL
Реляционные БД – старейший тип до сих пор широко используемых БД общего назначения. Данные и связи между данными организованы с помощью таблиц. Каждый столбец в таблице имеет имя и тип. Каждая строка представляет отдельную запись или элемент данных в таблице, который содержит значения для каждого из столбцов.

⏩Базы данных «ключ-значение» — Redis, Memcached
В БД «ключ-значение» для хранения информации вы предоставляте ключ и объект данных, который нужно сохранить. Например, JSON-объект, изображение или текст. Чтобы запросить данные, отправляете ключ и получаете blob-объект.

⏩Документная база данных — MongoDB, RethinkDB
Документные БД совместно используют базовую семантику доступа и поиска хранилищ ключей и значений. Такие БД также используют ключ для уникальной идентификации данных. Разница между хранилищами «ключ-значение» и документными БД заключается в том, что вместо хранения blob-объектов, документоориентированные базы хранят данные в структурированных форматах – JSON, BSON или XML.

⏩Графовая база данных — Neo4j, JanusGraph, Dgraph
Вместо сопоставления связей с таблицами и внешними ключами, графовые БД устанавливают связи, используя узлы, рёбра и свойства.

⏩Колоночные БД — Cassandra, HBase
Колоночные БД принадлежат к семейству NoSQL БД, но внешне похож на реляционные БД. Как и реляционные, колоночные БД хранят данные, используя строки и столбцы, но с иной связью между элементами.

📎 Читать подробнее

@data_analysis_ml