🧙‍♂️ 9 волшебных команд IPython, которые упростят вам процесс программирования


IPython является ядром Jupyter Notebook и лучшим другом специалистов по обработке данных.

Конечно, мы можем просто использовать IPython как обычную утилиту Python, не прибегая к каким-либо специальным трюкам.

Однако будет большим вашим преимуществом, если вы изучите “магические” трюки IPython ,а затем внедрите их в свою практику написания кода.

В этой статье будут описаны 9 простых в использовании “волшебных” команд IPython с интуитивно понятными примерами.

▪ Читать
▪Зеркало

@data_analysis_ml

🏠 Строим свое будущее: как выбрать квартиру, опираясь на методы регрессионного анализа?

Для анализа ситуации на рынке недвижимости будем использовать готовый датасет, который состоит из списков уникальных объектов популярных порталов по продаже недвижимости.

Набор данных содержит информацию о месторасположении дома, материале, из которого он построен (кирпичный, панельный, деревянный и т.д.), количестве этажей, площади квартиры и его стоимости.

▪Читать

@data_analysis_ml

⚡️ Как работать с Big Data быстрее и эффективнее: Kubernetes для Data Science

Традиционный подход к построению работы с большими данными — развернуть Hadoop-кластер, установить дополнительные инструменты и построить на нем платформу для работы с данными. Но в таком подходе есть несколько ограничений, вроде невозможности разделения Storage- и Compute-слоев, сложностей масштабирования и изоляции сред для разных приложений. Даже несмотря на то, что Hadoop можно арендовать у облачного провайдера как сервис (aaS), такой подход все равно мало чем отличается от развертывания на собственном оборудовании.

Однако есть другой, Cloud-Native подход работы с большими данными. Он позволяет решить эти проблемы, а также получить дополнительные возможности от облачных технологий. Для этого используют Kubernetes, интегрируя его с различными инструментами.

Из статьи вы узнаете, как Kubernetes помогает в работе с Big Data, какие используются инструменты и какие преимущества можно получить по сравнению с классическим развертыванием.

▪Читать

@data_analysis_ml

🔍 4 Библиотеки Python для Feature Engineering, которые вам стоит использовать в 2023 году

"Feature Engineering" (отбор признаков)- это процесс использования предметной области данных для создания признаков.

Feature Engineering является фундаментом для приложений машинного обучения, a также процессом трудным и затратным. Необходимости ручного конструирования признаков можно избежать при автоматизации прикладного обучения признакам.

В этой статье я покажу вам 4 популярные библиотеки Python для автоматизированного отбора признаков с которыми каждый Data Science-разработчик должен быть знаком.

▪Читать
▪Зеркало

@data_analysis_ml

🔥 7 расширенных операций со списками Python, которые могут эффективно оптимизировать ваш код

В этой статье мы покажем вам семь расширенных операций со списками, которые сделают ваш код аккуратнее, чище и качественнее.

▪Читать
▪Зеркало

@data_analysis_ml

Хакатон с призом в 650 000 рублей

Big Data МТС готовит турнир по Machine Learning для датасаентистов, ML-инженеров и аналитиков.

Задача – определить пол и возраст владельца синтетических cookie. Участником может стать любой, от джуна до сеньора.

Призовой фонд MTC ML Cup – 650 000 рублей: 350 000 рублей за первое место, 200 000 рублей – за второе, 100 000 рублей – обладателю бронзы.

Начало – 30 января, регистрация открыта до 15 марта: простая анкета для участников и все подробности.

📂 3 способа сбора данных для DS-проекта.

Любой проект по науке о данных нуждается в данных. Чтобы извлечь их с сайта и создать необходимый набор, используются инструменты веб-скрейпинга.

Однако на одном сайте не всегда находятся все нужные данные либо там могут быть несоответствия, из-за которых можно извлечь только часть данных.

Так случилось со мной, когда я искал данные о футбольных матчах, проведенных на Чемпионатах мира с 1930 по 2022 год. Некоторые данные были извлечены, но не все. С помощью этого руководства мы извлечем остальные данные с нуля с помощью Selenium, чтобы в дальнейшем использовать их в проекте.

▪Читать

@data_analysis_ml

5️⃣ генераторов синтетических данных на Python и как их использовать, когда вам не хватает данных

В этой статье будут рассмотрены пять библиотек Python для генерации данных и то, как их использовать.

Список Библиотек:

▪ Faker
▪ Scikit learn datasets
▪ Pyod
▪ CTGAN
▪ Mimesis

📌 Читать
📍Зеркало

@data_analysis_ml