Анализ данных (Data analysis)
46.3K subscribers
2.33K photos
275 videos
1 file
2.07K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
💲 Прогнозирование временных рядов криптовалют с Python

В обанкротившейся криптофирме FTX отсутствует, по меньшей мере, 1 миллиард долларов клиентских средств, а их токен FTX потерял большую часть своей стоимости в ноябре 2022 года. Как бы вы уберегли свой портфель от огромных потерь в случае краха?

Это руководство поможет вам понять метод очистки данных временных рядов и то, как крупные финансовые компании создают популярные индексы, такие как S &P 500 или Nasdaq. Самое главное, как создать индекс вашего портфеля, содержащий различные криптовалюты, чтобы отслеживать ваши показатели и использовать машинное обучение для прогнозирования движения индекса в ближайшем будущем.

Цель этого руководства – помочь новичку, который немного разбирается во временных рядах, но испытывает трудности с обработкой реальных наборов данных. Вы сможете быстро восполнить пробел с помощью этого руководства. Я надеюсь, что каждый сможет найти что-то полезное в нём.

➡️ Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14👎5🔥4😁41🤔1🤣1
🚀 Tableau подборка бесплатных и полезных материалов.

- Основы работы в Tableau по основам работы в программе Tableau Public. В этом курсе вы узнаете, как подключаться к источникам данных, создавать дашборды и отдельные визуализации. Созданные дашборды вы сможете загрузить в интернет, чтобы показать своим друзьям и коллегам.

- Tableau Blueprint 2022
Бесплатная книга.

- Visual Vocabulary 
Интерактивное шпаргалка по всем видам графиков.

- Специализация Data Visualization with Tableau от  Coursera
Пройдя курс, и вы сможете создавать мощные отчеты и информационные панели, которые помогут людям принимать решения и действовать на основе данных.

- Дата йога 8 ступеней
Бесплатная 8-ми недельная программа углубления навыков работы с Tableau и изучения продвинутых аспектов визуализации данных.

- Between Tableau and Power BI

- Библиотека материалов бесплатня библиотека полезных книг по визуализации данных

- QLIK SENSE МАРАФОН: ВИЗУАЛИЗАЦИЯ ДАННЫХ

- Новые крутые визуализацию каждый день

- Tableau Training от simplilearn

- Бесплатные видео Tableau

- Learning Tableau Third Edition

Сохраняйте себе, чтобы не потерять и делитесь с коллегами.

@data_analysis_ml
👍196🔥3🥰1😢1
🐼 Pandas vs Polars: сравнение синтаксиса и скорости 🐻

Pandas - это незаменимая библиотека Python для Data Science. Её самым большим недостатком является то, что она может быть медленной при операциях с большими наборами данных. Polars - это альтернатива Pandas, предназначенная для более быстрой обработки данных.

Polars - это альтернатива Pandas, предназначенная для более быстрой обработки данных.

Эта статья кратко познакомит вас с библиотекой Polars и сравнит её с Pandas в отношении синтаксиса и скорости.

Читать дальше
Зеркало
Код

@data_analysis_ml
🔥11👍41
🔥Продолжение подборки полезных, бесплатных курсов для вкатывания в Data Science.

Основы работы с данными
Курс поможет разобраться с ключевыми аспектами работы с данными, систематизировать знания в этой актуальной и востребованной предметной области в сегодняшнем цифровом мире.

Big Data и Data Science: начни погружение с нуля (Русская школа программирования)
Курс состоит из четырех модулей, которые помогут поэтапно освоить основные понятия науки о данных и научиться применять их на практике

Principles, Statistical and Computational Tools for Reproducible Data Science (Harvard university)
Курс от Гарварда. Изучите навыки и инструменты, которые используются в науке о данных. Хорошая практика и доступная подача.

Анализ данных просто и доступно.
Курс знакомит студентов с основами анализа данных.
Вы познакомитесь с исследованиями и примерами из практики в которых использовался анализ данных. Научитесь решать самостоятельно задачи анализа данных.

Бесплатный курс по Python программированию с нуля.
Работает прямо в браузере.
Курс автоматизации и анализа данных на Python.

1 часть

@data_analysis_ml
👍18🔥61
This media is not supported in your browser
VIEW IN TELEGRAM
500+ список проектов AI с кодами

500 крутых проектов AI, Машинное обучение,Глубокое обучение Компьютерное зрение, NLP, Data Science.

Все проекты с кодом !!!

Полезный ресурс, если вы ищете вдохновение для своего следующего проекта, опирающегося на машину.

🖥 Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
9🔥4👍3
📃 Самообучение в Data science, с нуля до Senior за два года

Хочу поделиться методами освоения Data science с нуля человеком из другой ИТ специальности. Цель: дать понять, подходит ли Вам эта специальность в принципе, и рассказать про эффективные подходы к самообучению, которые мне помогли (отдельно планирую потом детальные статьи по отдельным темам).

Отличные материалы уже существуют по большинству конкретных тем, я сам по ним учился.

Думаю, многим будут полезны "мета" материалы о том, как выбирать курсы и статьи, по которым учиться. Например, я пересмотрел десятки статей и книг, пробовал много разных он-лайн курсов, но полезной оказалась лишь малая часть всего доступного.

Надеюсь, что смогу серьезно сэкономить вам время и помочь достигнуть большего, показав более эффективный путь самообучения.

Читать дальше

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20🤣8🔥52👎2😁2
🧙‍♂️ 9 волшебных команд IPython, которые упростят вам процесс программирования


IPython является ядром Jupyter Notebook и лучшим другом специалистов по обработке данных.

Конечно, мы можем просто использовать IPython как обычную утилиту Python, не прибегая к каким-либо специальным трюкам.

Однако будет большим вашим преимуществом, если вы изучите “магические” трюки IPython ,а затем внедрите их в свою практику написания кода.

В этой статье будут описаны 9 простых в использовании “волшебных” команд IPython с интуитивно понятными примерами.

Читать
Зеркало

@data_analysis_ml
👍9🔥42
🖥 Мощные утилиты Python для анализа данных

В этой статье я предоставляю пошаговое руководство по некоторым очень полезным утилитам Python для анализа и управления данными.

В примерах этой статьи используются данные из датафрейма S&P 500, которые я сохранил в файле pickle.

Читать дальше
Зеркало

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10👎2🔥21
🖥 Efficient Python Tricks and Tools for Data Scientists

Отличный репозитрий-книга, который содержит более 300 советов и инструментов с кодом для дата-сайентистов. От самых простых до продвинутых.

В каждой главе вы найдет колаб с кодом, графиками и пояснениями.

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13👍32
5️⃣ Хитростей Python, которые отличают Senior-разработчика от Juniors

В этой статье мы рассмотрим пять подходов к решению распространённых задач кодинга Senior-способами, а не Junior.

Каждая задача является производной от головоломки AoC, причём многие из них многократно повторяются на протяжении AoC и других задач кодинга и задач, с которыми вы можете столкнуться, например, на собеседованиях при приёме на работу.

Читать
Зеркало

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥31
🪐 Повышаем продуктивность работы в Jupyter notebook с помощью Nbextensions

Jupyter notebook — удобная среда для функционального программирования. В работе часто приходится писать код, который подходит под конкретную задачу (анализ данных, обработка информации, парсинг сайтов, process mining и т.д). Такие задачи проще выполнять с функциональным подходом, и среда Jupyter notebook идеально подходит для этого.

Однако использование notebook’ов можно сделать ещё более удобным и продуктивным с помощью Jupyter Notebook Extensions. Это расширения для notebook, которые позволяют добавить множество «фич» для удобства работы. Сегодня я хочу поделиться собственным топом таких расширений.

pip install jupyter_contrib_nbextensions

➡️ Читать
🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥17👍81👎1
🖥 ML-задача на 30 минут: гадаем по cookie

Решаем задачу - можно ли составить хотя бы приблизительное представление о человеке, обладая информацией о сайтах, которые он посещает. Для этого мы сгенерировали полусинтетические данные, чтобы понять, насколько смелыми можно быть в этих ваших интернетах.

Читать

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥21
🖥 Git большая шпаргалка для data scientist от основных команд до продвинутых 40 командами


Статья
Шпаргалка в Pdf
Полезные команды

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍192🔥2😱2
📃 Шпаргалка для подготовки к экзамену по машинному обучению

Данная статья обладает необходимой комплексностью повествования, описывающего специфику использования перечисленных инструментов в контексте сдачи экзамена по машинному обучению.

Читать

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10🔥31
🖥 ChatGPT в качестве помощника по программированию и анализу данных на Python.

ChatGPT от OpenAI это… да ладно, вы и сами знаете, что такое ChatGPT. Вы уже достаточно прочитали об этом, и представления больше не нужны.

А если вы всё-таки не знаете, что такое ChatGPT, сначала взгляните на эту статью, а затем вернитесь, чтобы продолжить.

О ChatGPT можно разговаривать очень долго, но давайте посмотрим, насколько данная технология может быть полезной на самом деле.

Сейчас вы узнаете, что может сделать ChatGPT, когда дело доходит до написания кода из спецификаций, которые мы предоставляем. Как обычно, начнём по нарастающей – с простого!

Читать дальше
Зеркало
Как заработать с помощью ChatGPT

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10🔥51
🏠 Строим свое будущее: как выбрать квартиру, опираясь на методы регрессионного анализа?

Для анализа ситуации на рынке недвижимости будем использовать готовый датасет, который состоит из списков уникальных объектов популярных порталов по продаже недвижимости.

Набор данных содержит информацию о месторасположении дома, материале, из которого он построен (кирпичный, панельный, деревянный и т.д.), количестве этажей, площади квартиры и его стоимости.

Читать

@data_analysis_ml
👍81🔥1
⚡️ Как работать с Big Data быстрее и эффективнее: Kubernetes для Data Science

Традиционный подход к построению работы с большими данными — развернуть Hadoop-кластер, установить дополнительные инструменты и построить на нем платформу для работы с данными. Но в таком подходе есть несколько ограничений, вроде невозможности разделения Storage- и Compute-слоев, сложностей масштабирования и изоляции сред для разных приложений. Даже несмотря на то, что Hadoop можно арендовать у облачного провайдера как сервис (aaS), такой подход все равно мало чем отличается от развертывания на собственном оборудовании.

Однако есть другой, Cloud-Native подход работы с большими данными. Он позволяет решить эти проблемы, а также получить дополнительные возможности от облачных технологий. Для этого используют Kubernetes, интегрируя его с различными инструментами.

Из статьи вы узнаете, как Kubernetes помогает в работе с Big Data, какие используются инструменты и какие преимущества можно получить по сравнению с классическим развертыванием.

Читать

@data_analysis_ml
👍9🔥31
🖥 Увеличиваем скорость работы Python с Numba

На самом деле существует несколько способов разогнать код на Python. Самыми популярными из них являются:

использование Cython;
использование PyPy;
расширение Python с использованием C/C++.

Читать

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥31
🔍 4 Библиотеки Python для Feature Engineering, которые вам стоит использовать в 2023 году

"Feature Engineering" (отбор признаков)- это процесс использования предметной области данных для создания признаков.

Feature Engineering является фундаментом для приложений машинного обучения, a также процессом трудным и затратным. Необходимости ручного конструирования признаков можно избежать при автоматизации прикладного обучения признакам.

В этой статье я покажу вам 4 популярные библиотеки Python для автоматизированного отбора признаков с которыми каждый Data Science-разработчик должен быть знаком.

Читать
Зеркало

@data_analysis_ml
👍63👎1🔥1
📊 5 шагов для создания красивых столбчатых диаграмм

Рассказывать убедительную историю с помощью данных на Python становится намного проще, когда диаграммы, поддерживающие эту самую историю, ясны, не требуют пояснений и визуально приятны для аудитории.

Во многих случаях содержание и форма одинаково важны.
Отличные данные, плохо представленные, не привлекут того внимания, которого они заслуживают, в то время как плохие данные, представленные визуально приятным способом, легко будут дискредитированы.

Читать дальше
Зеркало

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍132🔥1
🔥 7 расширенных операций со списками Python, которые могут эффективно оптимизировать ваш код

В этой статье мы покажем вам семь расширенных операций со списками, которые сделают ваш код аккуратнее, чище и качественнее.

Читать
Зеркало

@data_analysis_ml
👍7🔥21