Анализ данных (Data analysis)
46.3K subscribers
2.33K photos
275 videos
1 file
2.07K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
📚 Список лучших (и бесплатных) книг для изучения Машинного обучения

📚 Список

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍134🔥3
🔥 Data Science Math Skills

Великолепный бесплатный курс для датасаентистов от Duke University. Data Science Math Skills знакомит с математикой, на которой строится наука о данных.

Учащиеся, завершившие этот курс, овладеют навыками, основными теоремами и концепциями, которые должны знать все специалисты по данным, прежде чем переходить к более сложному материалу.

Курс

@data_analysis_ml
👍92🔥2
Forwarded from Big Data AI
📚 20 лучших бесплатных книг по Python для начинающих и продвинутых программистов

Настоящий новогодний подарок всем Python разработчикам.

✔️ Смотреть список

@bigdatai
👍7🔥21
🔥 Обучение с подкреплением для реальных задач

Книга посвящена промышленно-ориентированному применению обучения с подкреплением (Reinforcement Learning, RL). Объяснено, как обучать промышленные и научные системы решению любых пошаговых задач методом проб и ошибок – без подготовки узкоспециализированных учебных множеств данных и без риска переобучить или переусложнить алгоритм. Рассмотрены марковские процессы принятия решений, глубокие Q-сети, градиенты политик и их вычисление, методы устранения энтропии и многое другое. Данная книга – первая на русском языке, где теоретический базис RL и алгоритмы даны в прикладном, отраслевом ключе.

📚 Книга

@data_analysis_ml
👍8🔥63
✔️ Погружаемся в Stable Diffusion

Большая часть недавних работ с искусственным интеллектом, найденных в Интернете, создана с использованием модели стабильной диффузии. Поскольку это инструмент с открытым исходным кодом, любой человек может легко создавать фантастические художественные иллюстрации, используя всего лишь текстовую подсказку.

В этой статье я собираюсь объяснить, как работает данная модель машинного обучения с открытым кодом.

➡️ Читать

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍82🔥1
❄️ Самая быстрая библиотека для работы с данными. Как Pandas, но гораздо быстрее (Polars)

Давайте посмотрим правде в глаза. Фреймворк Pandas медленный. Когда у вас есть миллионы строк в вашей структуре данных, становится очень неприятно ждать в течение минуты выполнения одной строки кода. В конечном итоге, вы потратите больше времени на ожидание, чем на реальную аналитику.

Для решения этой проблемы существует множество библиотек. PySpark, Vaex, Modin и Dask – вот некоторые из них.

Сегодня я предлагаю ознакомиться с фреймом Polars.

pip install polars

➡️ Читать дальше
🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍252🔥2🤔1
🗣 Новая модель распознавания русской речи и набор речевых данных

🖥 Github
⭐️ Dataset

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥53
🖥 Вопросы на собеседовании Python, ответы, на которые вам стоит знать.

В этой статье я превратил некоторые из своих заметок в 20 вопросов для собеседований, которые охватывают структуры данных, основные концепции программирования и лучшие практики Python.
Интересно, что многие из этих вопросов также задаются на собеседованиях по Data Science.


➡️ Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13👍91🏆1
🚀 Mathematical Foundations for Data Analysis

Бесплатный курс математические основы анализа данных.

Курс начинается с теории вероятности и линейной алгебры и постепенно переходит к и решениям, используемым в современных исследовательских работах, уделяя особое внимание фундаментальным математическим методам, которые используются на практике аналитиками данных. Курс наполнен множеством простых примеров, сотнями иллюстраций и пояснениями.

✔️ Курс

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12👍63👎1
🖥 Как оптимизировать размер памяти при обработке крупных файлов.

Нередко я сталкиваюсь с большими объемами данных, которые требуют дополнительной обработки с помощью известной всем библиотеки Pandas. Однако, загружая или сохраняя огромные датасеты, неприятно столкнуться с ошибкой Memory error. В таких ситуациях применение таких методов, как .drop_duplicates() (удаление дубликатов) или .dropna() (удаление пустых строк) слабо влияет на сокращение занимаемого объема памяти.

Существует несколько способов эффективного решения проблем с памятью.

➡️ Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥2🥰1
✔️ NoNa: Алгоритм заполнения отсутствующих данных

В реальных наборах данных пропущенные значения создают проблему для дальнейшей обработки. Большую ценность имеет подстановка или заполнение отсутствующих значений. К сожалению, стандартные «ленивые» методы, такие как простое использование медианы столбца или среднего значения, не всегда работают должным образом.

В 2021-ом году ко мне пришла идея создания алгоритма на основе методов машинного обучения с прогнозированием по каждому столбцу с пропусками. Данную идею я воплотил сначала схематично на бумаге.

pip install nona

➡️ Читать дальше
🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥72😐1
🖥 Вопросы с собеседования по анализу данных SQL в 2023 году.

Вы готовитесь к собеседованию по SQL для анализ данных? Тогда вы пришли в нужное место!

Это руководство поможет вам усовершенствовать свои навыки работы с SQL, вернуть уверенность в себе и быть готовым к работе!

Здесь вы найдёте подборку реальных вопросов для собеседований, задаваемых в таких компаниях, как Google, Oracle, Amazon, Microsoft и т.д. К каждому вопросу прилагается идеально написанный ответ, что экономит ваше время на подготовку к собеседованию.

➡️ Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22🔥4🥰2🤨2👎1🤣1
🚀 50 бесплатных датасетов для создания неотразимого портфолио (2023)

Если вы хотите улучшить своё портфолио, показав, что умеете хорошо визуализировать данные, или если у вас есть несколько свободных часов и вы хотите приобрести новые навыки машинного обучения, в этой статье есть всё, что вам нужно!

Читать
Зеркало

@data_analysis_ml
👍19🔥74
🔥 6 новых библиотек Machine Learning (ML), которые стоит изучить, чтобы улучшить свои навыки в 2023

На дворе только начался 2023 год, а это значит, что пришло время открыть для себя новые тенденции в области Data Science и машинного обучения. Хотя старые материалы по-прежнему актуальны, знаний Pandas, NumPy, Matplotlib и Scikit-learn уже недостаточно.

Данная статья посвящена шести восходящим звёздам экосистемы MLOps; инструментам, ориентированным на создание наиболее эффективных моделей и последующее внедрение их в продакшен. Давайте начнём!

Читать
Зеркало

@data_analysis_ml
👍8🔥61
💲 Прогнозирование временных рядов криптовалют с Python

В обанкротившейся криптофирме FTX отсутствует, по меньшей мере, 1 миллиард долларов клиентских средств, а их токен FTX потерял большую часть своей стоимости в ноябре 2022 года. Как бы вы уберегли свой портфель от огромных потерь в случае краха?

Это руководство поможет вам понять метод очистки данных временных рядов и то, как крупные финансовые компании создают популярные индексы, такие как S &P 500 или Nasdaq. Самое главное, как создать индекс вашего портфеля, содержащий различные криптовалюты, чтобы отслеживать ваши показатели и использовать машинное обучение для прогнозирования движения индекса в ближайшем будущем.

Цель этого руководства – помочь новичку, который немного разбирается во временных рядах, но испытывает трудности с обработкой реальных наборов данных. Вы сможете быстро восполнить пробел с помощью этого руководства. Я надеюсь, что каждый сможет найти что-то полезное в нём.

➡️ Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14👎5🔥4😁41🤔1🤣1
🚀 Tableau подборка бесплатных и полезных материалов.

- Основы работы в Tableau по основам работы в программе Tableau Public. В этом курсе вы узнаете, как подключаться к источникам данных, создавать дашборды и отдельные визуализации. Созданные дашборды вы сможете загрузить в интернет, чтобы показать своим друзьям и коллегам.

- Tableau Blueprint 2022
Бесплатная книга.

- Visual Vocabulary 
Интерактивное шпаргалка по всем видам графиков.

- Специализация Data Visualization with Tableau от  Coursera
Пройдя курс, и вы сможете создавать мощные отчеты и информационные панели, которые помогут людям принимать решения и действовать на основе данных.

- Дата йога 8 ступеней
Бесплатная 8-ми недельная программа углубления навыков работы с Tableau и изучения продвинутых аспектов визуализации данных.

- Between Tableau and Power BI

- Библиотека материалов бесплатня библиотека полезных книг по визуализации данных

- QLIK SENSE МАРАФОН: ВИЗУАЛИЗАЦИЯ ДАННЫХ

- Новые крутые визуализацию каждый день

- Tableau Training от simplilearn

- Бесплатные видео Tableau

- Learning Tableau Third Edition

Сохраняйте себе, чтобы не потерять и делитесь с коллегами.

@data_analysis_ml
👍196🔥3🥰1😢1
🐼 Pandas vs Polars: сравнение синтаксиса и скорости 🐻

Pandas - это незаменимая библиотека Python для Data Science. Её самым большим недостатком является то, что она может быть медленной при операциях с большими наборами данных. Polars - это альтернатива Pandas, предназначенная для более быстрой обработки данных.

Polars - это альтернатива Pandas, предназначенная для более быстрой обработки данных.

Эта статья кратко познакомит вас с библиотекой Polars и сравнит её с Pandas в отношении синтаксиса и скорости.

Читать дальше
Зеркало
Код

@data_analysis_ml
🔥11👍41
🔥Продолжение подборки полезных, бесплатных курсов для вкатывания в Data Science.

Основы работы с данными
Курс поможет разобраться с ключевыми аспектами работы с данными, систематизировать знания в этой актуальной и востребованной предметной области в сегодняшнем цифровом мире.

Big Data и Data Science: начни погружение с нуля (Русская школа программирования)
Курс состоит из четырех модулей, которые помогут поэтапно освоить основные понятия науки о данных и научиться применять их на практике

Principles, Statistical and Computational Tools for Reproducible Data Science (Harvard university)
Курс от Гарварда. Изучите навыки и инструменты, которые используются в науке о данных. Хорошая практика и доступная подача.

Анализ данных просто и доступно.
Курс знакомит студентов с основами анализа данных.
Вы познакомитесь с исследованиями и примерами из практики в которых использовался анализ данных. Научитесь решать самостоятельно задачи анализа данных.

Бесплатный курс по Python программированию с нуля.
Работает прямо в браузере.
Курс автоматизации и анализа данных на Python.

1 часть

@data_analysis_ml
👍18🔥61
This media is not supported in your browser
VIEW IN TELEGRAM
500+ список проектов AI с кодами

500 крутых проектов AI, Машинное обучение,Глубокое обучение Компьютерное зрение, NLP, Data Science.

Все проекты с кодом !!!

Полезный ресурс, если вы ищете вдохновение для своего следующего проекта, опирающегося на машину.

🖥 Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
9🔥4👍3
📃 Самообучение в Data science, с нуля до Senior за два года

Хочу поделиться методами освоения Data science с нуля человеком из другой ИТ специальности. Цель: дать понять, подходит ли Вам эта специальность в принципе, и рассказать про эффективные подходы к самообучению, которые мне помогли (отдельно планирую потом детальные статьи по отдельным темам).

Отличные материалы уже существуют по большинству конкретных тем, я сам по ним учился.

Думаю, многим будут полезны "мета" материалы о том, как выбирать курсы и статьи, по которым учиться. Например, я пересмотрел десятки статей и книг, пробовал много разных он-лайн курсов, но полезной оказалась лишь малая часть всего доступного.

Надеюсь, что смогу серьезно сэкономить вам время и помочь достигнуть большего, показав более эффективный путь самообучения.

Читать дальше

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20🤣8🔥52👎2😁2
🧙‍♂️ 9 волшебных команд IPython, которые упростят вам процесс программирования


IPython является ядром Jupyter Notebook и лучшим другом специалистов по обработке данных.

Конечно, мы можем просто использовать IPython как обычную утилиту Python, не прибегая к каким-либо специальным трюкам.

Однако будет большим вашим преимуществом, если вы изучите “магические” трюки IPython ,а затем внедрите их в свою практику написания кода.

В этой статье будут описаны 9 простых в использовании “волшебных” команд IPython с интуитивно понятными примерами.

Читать
Зеркало

@data_analysis_ml
👍9🔥42