🖥 20 основных команд Linux для Data Scientist специалистов.

Базовые команды Linux для улучшения рабочего процесса обработки данных. Это даст вам возможность автоматизировать задачи, создавать конвейеры, получать доступ к файловым системам и эффективно использовать команды для работы с данными.

✅ Читать

@data_analysis_ml

🖥 15 крутых трюков Jupyter, которые сэкономят время при работе с данными.

Как специалисты по анализу данных мы используем Jupyter Notebook практически каждый день – от загрузки данных до создания и развертывания моделей с его помощью.

Мне нравится Jupyter Notebook за её простой и удобный дизайн и при этом Jupyter незаменим для решения любых python-ориентированных задач. В частности, Jupyter поддерживает возможность запуска и тестирование скриптов с множеством датасетов.

Однако, при всей простоте этого инструмента, мы часто склонны совершать ошибки, которые приводят к потере времени и увеличению затрат мощности.

В этой статье мы расскажем о некоторых советах и хитростях, которые должен знать каждый специалист по работе с данными. Эти трюки помогут сэкономить время и увеличить продуктивность работы.

➡️ Читать дальше

@data_analysis_ml

🎓 Математика для Data Scientist. Книги, курсы, лекции и рекомендации.

Математика — это краеугольный камень Data Science. Хотя некоторые теоремы, аксиомы и формулы кажутся слишком абстрактными и далекими от практики, на самом деле без них невозможно по-настоящему глубоко анализировать и систематизировать огромные массивы данных.

Для специалиста Data Science важны следующие направления математики:

- статистика;
- теория вероятностей;
- математический анализ;
- линейная алгебра.

💨 Читать дальше

@data_analysis_ml

🗣 Делаем проект по анализу речи на Python

Представьте ситуацию: вас назначили спикером на мероприятии, и вы даже знаете, о чем хотите рассказать аудитории. Но будет ли публикой воспринят ваш доклад так, как вы себе это представляли? Давайте посмотрим, что может пойти не так, и как это исправить.

Как часто нам приходится выступать с докладом, презентацией, проводить обучение, быть спикером на конференции? Если деятельность напрямую не связана с человеческим общением, навык грамотно доносить свою точку зрения теряется естественным образом. Друзья и близкие зачастую воспринимают нас “как есть”, исключая обратную связь для сохранения отношений. Несмотря на лояльность друзей и коллег, практика публичных выступлений важна и необходима для поддержания способности передавать свои мысли и чувства.

Данное исследование поможет разобраться с нашими вербальными привычками и подсветит зоны роста. К его созданию меня подтолкнул спикер одного из youtube каналов it-направленности. Его речь, наполненная идиомами и вводными словами, мешала восприятию основного полезного контента. Впоследствии родилась идея перевести аудиозаписи роликов в текст и выяснить, какие выражения чаще других перегружают речь. Первой задачей стала транскрибация целевой аудиодорожки, второй – анализ текста, третьей — выводы и работа над ошибками.

✔️ Читать дальше
🖥 Код

@data_analysis_ml

🖥 Mathematical Statistics and Data Analysis

Отличная бесплатная книга на английском предназначена для специалистов по данным, для изучения статистики.

📚 Книга

@data_analysis_ml

🖥 SQL для анализа данных. 7 аспектов SQL, которые следует знать специалисту по работе с данными.

Пост содержит в себе все ключевые элементы SQL, которые должен знать каждый специалист по Data Science. Этой статьей мы начинаем цикла статей – SQL для анализа данных.

➡️ Читать статью
🖥 Десять практических упражнений SQL

@data_analysis_ml

🐼 Pandas для анализа данных. 33 функции библиотеки Pandas полезные в работе.

В этой статье я перечислю 33 лучших функций, встроенных в библиотеку Pandas, которые обычно используются для анализа данных, и, возможно, этих функций будет достаточно для выполнения какой-либо вашей задачи.

➡️ Читать дальше

@data_analysis_ml

✔️ 38 лучших библиотек для Data Science, Data Visualization и Машинного Обучения

Мы решили, что будем группировать все библиотеки по общим признакам, будь то библиотеки для машинного обучения или библиотеки для математики. Тем не менее, все 38 из них будут полезны для разработки в области Data Science.

➡️ Смотреть

@data_analysis_ml

📚 Список лучших (и бесплатных) книг для изучения Машинного обучения

📚 Список

@data_analysis_ml

✔️ Погружаемся в Stable Diffusion

Большая часть недавних работ с искусственным интеллектом, найденных в Интернете, создана с использованием модели стабильной диффузии. Поскольку это инструмент с открытым исходным кодом, любой человек может легко создавать фантастические художественные иллюстрации, используя всего лишь текстовую подсказку.

В этой статье я собираюсь объяснить, как работает данная модель машинного обучения с открытым кодом.

➡️ Читать

@data_analysis_ml

❄️ Самая быстрая библиотека для работы с данными. Как Pandas, но гораздо быстрее (Polars)

Давайте посмотрим правде в глаза. Фреймворк Pandas медленный. Когда у вас есть миллионы строк в вашей структуре данных, становится очень неприятно ждать в течение минуты выполнения одной строки кода. В конечном итоге, вы потратите больше времени на ожидание, чем на реальную аналитику.

Для решения этой проблемы существует множество библиотек. PySpark, Vaex, Modin и Dask – вот некоторые из них.

Сегодня я предлагаю ознакомиться с фреймом Polars.

pip install polars

➡️ Читать дальше
🖥 Github

@data_analysis_ml

🗣 Новая модель распознавания русской речи и набор речевых данных

🖥 Github
⭐️ Dataset

@data_analysis_ml

🖥 Вопросы на собеседовании Python, ответы, на которые вам стоит знать.

В этой статье я превратил некоторые из своих заметок в 20 вопросов для собеседований, которые охватывают структуры данных, основные концепции программирования и лучшие практики Python.
Интересно, что многие из этих вопросов также задаются на собеседованиях по Data Science.

➡️ Читать дальше

@data_analysis_ml

🚀 Mathematical Foundations for Data Analysis

Бесплатный курс математические основы анализа данных.

Курс начинается с теории вероятности и линейной алгебры и постепенно переходит к и решениям, используемым в современных исследовательских работах, уделяя особое внимание фундаментальным математическим методам, которые используются на практике аналитиками данных. Курс наполнен множеством простых примеров, сотнями иллюстраций и пояснениями.

✔️ Курс

@data_analysis_ml

🖥 Как оптимизировать размер памяти при обработке крупных файлов.

Нередко я сталкиваюсь с большими объемами данных, которые требуют дополнительной обработки с помощью известной всем библиотеки Pandas. Однако, загружая или сохраняя огромные датасеты, неприятно столкнуться с ошибкой Memory error. В таких ситуациях применение таких методов, как .drop_duplicates() (удаление дубликатов) или .dropna() (удаление пустых строк) слабо влияет на сокращение занимаемого объема памяти.

Существует несколько способов эффективного решения проблем с памятью.

➡️ Читать дальше

@data_analysis_ml

✔️ NoNa: Алгоритм заполнения отсутствующих данных

В реальных наборах данных пропущенные значения создают проблему для дальнейшей обработки. Большую ценность имеет подстановка или заполнение отсутствующих значений. К сожалению, стандартные «ленивые» методы, такие как простое использование медианы столбца или среднего значения, не всегда работают должным образом.

В 2021-ом году ко мне пришла идея создания алгоритма на основе методов машинного обучения с прогнозированием по каждому столбцу с пропусками. Данную идею я воплотил сначала схематично на бумаге.

pip install nona

➡️ Читать дальше
🖥 Github

@data_analysis_ml

🖥 Вопросы с собеседования по анализу данных SQL в 2023 году.

Вы готовитесь к собеседованию по SQL для анализ данных? Тогда вы пришли в нужное место!

Это руководство поможет вам усовершенствовать свои навыки работы с SQL, вернуть уверенность в себе и быть готовым к работе!

Здесь вы найдёте подборку реальных вопросов для собеседований, задаваемых в таких компаниях, как Google, Oracle, Amazon, Microsoft и т.д. К каждому вопросу прилагается идеально написанный ответ, что экономит ваше время на подготовку к собеседованию.

➡️ Читать дальше

@data_analysis_ml