❤️ 100+ шпаргалок для аналитиков данных и data scientists

Шпаргалки помогут:

- подготовиться к экзамену
- подготовиться к собеседованию
- в повседневной работе – быстро вспомнить нужную информацию

Сохраняйте себе, чтобы не потерять

➡️ Читать дальше

@data_analysis_ml

⭐️ Как получить данные в нужном формате с помощью Pandas

Всем дата-сайентистам хорошо известно: данные никогда не будут такими, какими вы хотите их видеть. Вы можете получить сколько-нибудь упорядоченный спредшит или более-менее точные табличные данные, но в любом случае вам придется проводить очистку, прежде чем перейти к анализу.

Поэтому очень важно научиться переходить от одного формата данных к другому. Иногда это исключительно вопрос читабельности и простоты интерпретации. В других случаях программный пакет или алгоритм, который вы пытаетесь использовать, просто не заработает, пока данные не будут отформатированы определенным образом. Как бы там ни было, этим навыком нужно владеть всем дата-сайентистам.

Предлагаю рассмотреть два распространенных формата данных: длинный и широкий. Обе версии — часто используемые парадигмы в науке о данных, поэтому стоит ознакомиться с ними. Разберем несколько примеров, чтобы понять, как именно выглядит каждый формат данных, а затем посмотрим, как конвертировать один формат в другой с помощью Python (и, в частности, Pandas).

➡️ Читать дальше

@data_analysis_ml

🖥 Одна панель, чтобы объединить все визуализации. Panel for Python

Качественная визуализация данных не менее важна для анализа данных, чем методы математической обработки. На сегодняшний день существуют десятки (если не сотни) библиотек для визуализации наборов данных на Python, но иногда в них встречаются уникальные возможности и хотелось бы иметь возможность объединить различные инструменты в единой панели. В статье мы рассмотрим основы библиотеки panel для реализации реактивной модели интерактивных визуализаций и попробуем объединить визуализации из разных библиотек в одном dashboard.

pip install panel

➡️ Читать дальше
🔧 Demo
🖥 Github

@data_analysis_ml

✅ Первая глава анализа данных 

Данные поступают из разных источников, таких как устройства IoT, извергающие поток данных для анализа. Первая и наиболее важная цель науки о данных — использовать возможно большой объем необработанных данных и преобразовать их в практические знания. В большинстве случаев необработанные данные собираются в виде неструктурированных или полуструктурированных данных. Чтобы извлечь знания, неструктурированные данные должны быть преобразованы в структурированные данные. Типичной формой структурированных данных являются прямоугольные данные (иногда называемые фреймом данных), которые состоят из множества строк, называемых записями, с несколькими столбцами, называемыми функциями. В Python с библиотекой Pandas базовой прямоугольной структурой данных является объект DataFrame.

➡️ Читать дальше

@data_analysis_ml

⭐️ Начало работы с языковой моделью Galactica

Galactica — научно-ориентированная языковая модель со 120 миллиардами параметров. Galactica предсказывает аннотации к белкам, создает конспекты лекций и излагает математические формулы текстом.

Galactica может обобщать научную литературу, решать математические задачи, генерировать статьи Wiki, писать научный код, аннотировать молекулы и белки и многое другое.

➡️ Читать дальше
🖥 Github
⭐️ Проект

@data_analysis_ml

🚀 ClickHouse: как обрабатывать big data в 800 раз быстрее

Классифицировать СУБД можно по нескольким признакам, например, по модели организации данных: реляционные SQL и нереляционные NoSQL. Первые организуют данные в виде двумерных таблиц с большим количеством строк, вторые представляют их в виде графов, пар «ключ-значение», колонок в таблицах.

Из нереляционных СУБД часто используются Redis и MongoDB. Они менее универсальны, подходят не для любых типов данных. Например, Redis стоит выбрать, если необходим скоростной доступ к данным — загрузка из кэша. А MongoDB подойдет для приложения, которое работает с документами.

Реляционные базы более распространены. Яркие представители — MySQL, PostgreSQL, Oracle и другие. Информация в них вносится в строки таблиц, колонки которых соответствуют типам данных. Между строками можно настроить связи, а для работы с базой данных использовать SQL-синтаксис.

ClickHouse тоже относится к реляционным СУБД, но данные в ней вносятся не в строки, а в колонки двумерной таблицы: такой способ хранения повышает производительность веб-сервисов. Ее профиль — обработка большого объема аналитических запросов. Разработка ClickHouse началась в 2009 году с внутренней системы управления данными Яндекса — OLAP. С 2016 года СУБД доступна как открытое программное обеспечение по лицензии Apache 2.0. Технологию нельзя назвать абсолютно уникальной: у нее достаточно аналогов, систем управления большими данными. Например, Paracell, Vertica, Sybase IQ, InfiniDB.

➡️ Читать дальше

@data_analysis_ml

🐼 Пакетная обработка 22 ГБ данных о транзакциях с помощью Pandas

С большими наборами данных работать сложно, особенно при отсутствии необходимых ресурсов. У большинства из нас нет доступа к распределенному кластеру, GPU-установкам или более 8 ГБ оперативной памяти. Это не значит, что мы не можем работать с большими данными. Просто нужно обрабатывать их по одному фрагменту за раз, то есть при итерации полного набора данных работать с отдельно с каждым подмножеством.

➡️ Читать дальше
🖥 Датасет
⭐️ Код

@data_analysis_ml

⭐️ Собеседование на вашу первую работу Data Scientist'ом: чего ожидать и к чему готовиться

Виды собеседований на должность Data Scientist'а, их течение и советы для успеха.

Если вы ошеломлены подготовкой к собеседованию на должность Data Scientist'а, вы не одиноки. Поиск "собеседование в Data Science" вернет вам бесконечное количество ссылок, включая статьи о Python, R, статистике, A/B тестированию, машинному обучению, Big Data. Вам посоветуют прочитать бесконечное количество книг. К сожалению, мы и сами давали такие же обширные рекомендации другим.

В реальности вам не нужно готовиться ко всему, чтобы получить свою первую работу Data Scientist'ом.

В этой статье мы расскажем вам о четырех ключевым вещах:

- Виды должностей Data Scientist'ов.
- Виды собеседований, к которым вы должны приготовиться.
- Чего ожидать в процессе собеседования.
- Что оценивают собеседующие.
Давайте погрузимся в эти темы.

➡️ Читать дальше

@data_analysis_ml

🛠 Ансамбли моделей для распознавания рукописных цифр

Применение нескольких моделей машинного обучения для решения задачи является частой практикой и данная технология преимущественно выигрывает по качеству по сравнению с одной моделью. Однако, для успешного результата такой технологии необходимо разбираться в ее модификациях.

В данном посте будет рассказано об алгоритмах ансамблирования. Ансамблевые методы применяются, чтобы объединить в себе несколько моделей машинного обучения. Такая композиция может привести к увеличению качества решаемой задачи за счет использования сразу нескольких моделей вместо одной. Логику алгоритма можно объяснить поговоркой – “одна голова хорошо, а две лучше”. Далее будет объяснено с математической точки зрения, почему же это так.

Например, есть некоторый метод обучения - линейная регрессия. У этого алгоритма существует ошибка. Ошибку метода обучения можно разложить на 3 компоненты: шум, смещение и разброс. Шум показывает, насколько ошибается построенная модель, и он не зависит от модели. Он характеризует насколько репрезентативна была выборка данных, на которой мы обучали модель. Смещение (bias) показывает, насколько отличается средняя модель по всем возможным обучающим выборкам от истинной зависимости. Разброс (variance) - как сильно меняется модель в зависимости от выборки, на которой обучается модель. Подытожив, шум – это показатель данных, смещение характеризует приближенность к реальной зависимости модели, разброс говорит о чувствительности к обучающей выборке. Такое разложение называется bias-variance decomposition.

➡️ Читать дальше

@data_analysis_ml

🐘 Как найти «слона» в песочнице на Hadoop

В процессе работы часто требуется создать базу данных (командное пространство, песочница и т.п.), которую необходимо использовать для временного хранения данных.

Как у любого «помещения» в «песочнице» есть ограничение по объёму выделенного места для хранения данных. Иногда это ограничение забывается и заканчивается объём выделенной памяти.

В этом случае можно применить маленький «лайфхак», который позволит оперативно просмотреть, какая таблица занимает больше всего места, кто её владелец, как долго она находится в общей песочнице и т.д. Используя его, можно оперативно почистить место в песочнице, предварительно согласовав эти действия с владельцем данных, без нанесения вреда данным другим пользователям. Кроме того, данный инструмент позволит периодически проводить мониторинг наполняемости общей песочницы.

➡️ Читать дальше

@data_analysis_ml

🖥 Парсинг Яндекс Карт или как собрать целевую аудиторию

Перед тем как перейти к парсингу Яндекс Карт, расскажу, какую задачу я хотел решить.

Я решил узнать, кто является целевой аудиторией для сервисов мультиссылок, например Taplink. Если зайти на сайт Taplink'a[ссылка удалена модератором], то они там показывают сценарии использования сервиса и пишут о категориях клиентов, на которые они ориентируются. Это “популярные люди”, “бизнес”, “интернет-магазин” и “каждый”. На лендинге немало примеров работ для оффлайн бизнеса, поэтому появилась идея проверить, используют ли вообще эти категории бизнеса сервисы мультиссылок. И для этого пригодится информация с Яндекс Карт.

➡️ Читать дальше
🖥 Код парсера
🖥 Ноутбук для анализа сайтов организаций

@data_analysis_ml

❇️ Почему при разработке ИИ главное — это данные

Системы машинного обучения рождаются от союза кода и данных. Код сообщает, как машина должна учиться, а данные обучения включают в себя то, чему нужно учиться. Научные круги в основном занимаются способами улучшения алгоритмов обучения. Однако когда дело доходит до создания практических систем ИИ, набор данных, на котором выполняется обучение, по крайней мере столь же важен для точности, как и выбор алгоритма.

Существует множество инструментов для улучшения моделей машинного обучения, однако чрезвычайно мало способов улучшения набора данных. Наша компания много размышляет над тем, как можно систематически улучшать наборы данных для машинного обучения.

➡️ Читать дальше

@data_analysis_ml

⭐️ CRISP-DM: проверенная методология для Data Scientist-ов

Постановка задач машинного обучения математически очень проста. Любая задача классификации, регрессии или кластеризации – это по сути обычная оптимизационная задача с ограничениями. Несмотря на это, существующее многообразие алгоритмов и методов их решения делает профессию аналитика данных одной из наиболее творческих IT-профессий. Чтобы решение задачи не превратилось в бесконечный поиск «золотого» решения, а было прогнозируемым процессом, необходимо придерживаться довольно четкой последовательности действий. Эту последовательность действий описывают такие методологии, как CRISP-DM.

➡️ Читать дальше

@data_analysis_ml

⭐️Awesome data science

Вероятно, лучший кураторский список программного обеспечения для обработки данных на Python.

🖥 Github

@data_analysis_ml

💨 Предобработка изображений с OpenCV

Огромную долю в восприятии информации человеком занимает визуальная информация. Практически всё в мире можно представить в виде изображения. Изображения и видео могут содержать в себе очень много данных — именно поэтому задачи по обработке изображений человек отдает машине.

➡️ Читать дальше

@data_analysis_ml

🔎 Разведочный анализ данных в одной строке кода

Разведочный анализ данных (Exploratory Data Analysis, EDA) — это выявление скрытой информации в наборе данных.

sweetviz — библиотека, которая предоставляет важную информацию о наборе данных без написания большого количества кода.

pip install sweetviz

➡️ Читать дальше
🖥 Github

@data_analysis_ml

⭐️ Почему точные модели не всегда полезны

Для начала позволю себе заметить, что в интернете есть много качественного технического контента, посвященного оцениванию моделей. Такие метрики, как F1-score (гармоническое среднее), MSE (средняя квадратическая ошибка), MAE (среднее абсолютное отклонение), Huber Loss (функция потерь Хьюбера), precision (точность), recall (полнота), cross-entropy loss (потери перекрестной энтропии) и многие другие, детально описаны на различных платформах. Однако эти метрики обычно фокусируются на подгонке модели к данным, а не на оптимизации ее для конкретного бизнеса.

Чего зачастую не хватает, так это инструментов экономического анализа для оптимизации полезности модели. Полезность определяется просто как удовольствие или ценность, которые клиент может получить от услуги  —  в данном случае от модели МО.

Хотя эта концепция не преподается будущим специалистам МО, я уверен: экономический анализ и оценка полезности имеют большое значение для создания практичных и долговечных моделей в реальном мире. Пока все заинтересованные стороны (технические и нетехнические работники) совместно не создадут экономический слой МО-модели, бизнес-ценность и предельную полезность машинного обучения можно считать неопределенными.

Примечание. Эта публикация предназначена для технических МО-специалистов, а также для менеджеров по продуктам и менее технически подготовленных заинтересованных лиц, работающих с ИИ-продуктами. Здесь будет немного математики, но в заключительный раздел включены высокоэффективные концептуальные шаги.

➡️ Читать дальше

@data_analysis_ml

20 Бесплатных курсов, чтобы научиться делать дашборды

➡️ Читать дальше

@data_analysis_ml

🖥 Математическая модель предсказала лидера ЧМ по футболу в 2022 году

Математическая модель учитывает данные прошлых лет и показатели сборных.

Дисклеймер: не используйте модель для ставок на спорт, ради бога! Это всего лишь математика, развлечение для гиков, а не оракул, которому можно безусловно доверять. Реальность куда более непредсказуема, поэтому поберегите свои деньги.

❤️ Читать

@data_analysis_ml