🚀 Mathematical Foundations for Data Analysis

Бесплатный курс математические основы анализа данных.

Курс начинается с теории вероятности и линейной алгебры и постепенно переходит к и решениям, используемым в современных исследовательских работах, уделяя особое внимание фундаментальным математическим методам, которые используются на практике аналитиками данных. Курс наполнен множеством простых примеров, сотнями иллюстраций и пояснениями.

✔️ Курс

@data_analysis_ml

🖥 Как оптимизировать размер памяти при обработке крупных файлов.

Нередко я сталкиваюсь с большими объемами данных, которые требуют дополнительной обработки с помощью известной всем библиотеки Pandas. Однако, загружая или сохраняя огромные датасеты, неприятно столкнуться с ошибкой Memory error. В таких ситуациях применение таких методов, как .drop_duplicates() (удаление дубликатов) или .dropna() (удаление пустых строк) слабо влияет на сокращение занимаемого объема памяти.

Существует несколько способов эффективного решения проблем с памятью.

➡️ Читать дальше

@data_analysis_ml

✔️ NoNa: Алгоритм заполнения отсутствующих данных

В реальных наборах данных пропущенные значения создают проблему для дальнейшей обработки. Большую ценность имеет подстановка или заполнение отсутствующих значений. К сожалению, стандартные «ленивые» методы, такие как простое использование медианы столбца или среднего значения, не всегда работают должным образом.

В 2021-ом году ко мне пришла идея создания алгоритма на основе методов машинного обучения с прогнозированием по каждому столбцу с пропусками. Данную идею я воплотил сначала схематично на бумаге.

pip install nona

➡️ Читать дальше
🖥 Github

@data_analysis_ml

🖥 Вопросы с собеседования по анализу данных SQL в 2023 году.

Вы готовитесь к собеседованию по SQL для анализ данных? Тогда вы пришли в нужное место!

Это руководство поможет вам усовершенствовать свои навыки работы с SQL, вернуть уверенность в себе и быть готовым к работе!

Здесь вы найдёте подборку реальных вопросов для собеседований, задаваемых в таких компаниях, как Google, Oracle, Amazon, Microsoft и т.д. К каждому вопросу прилагается идеально написанный ответ, что экономит ваше время на подготовку к собеседованию.

➡️ Читать дальше

@data_analysis_ml

💲 Прогнозирование временных рядов криптовалют с Python

В обанкротившейся криптофирме FTX отсутствует, по меньшей мере, 1 миллиард долларов клиентских средств, а их токен FTX потерял большую часть своей стоимости в ноябре 2022 года. Как бы вы уберегли свой портфель от огромных потерь в случае краха?

Это руководство поможет вам понять метод очистки данных временных рядов и то, как крупные финансовые компании создают популярные индексы, такие как S &P 500 или Nasdaq. Самое главное, как создать индекс вашего портфеля, содержащий различные криптовалюты, чтобы отслеживать ваши показатели и использовать машинное обучение для прогнозирования движения индекса в ближайшем будущем.

Цель этого руководства – помочь новичку, который немного разбирается во временных рядах, но испытывает трудности с обработкой реальных наборов данных. Вы сможете быстро восполнить пробел с помощью этого руководства. Я надеюсь, что каждый сможет найти что-то полезное в нём.

➡️ Читать дальше

@data_analysis_ml

500+ список проектов AI с кодами

500 крутых проектов AI, Машинное обучение,Глубокое обучение Компьютерное зрение, NLP, Data Science.

Все проекты с кодом !!!

Полезный ресурс, если вы ищете вдохновение для своего следующего проекта, опирающегося на машину.

🖥 Github

@bigdatai

📃 Самообучение в Data science, с нуля до Senior за два года

Хочу поделиться методами освоения Data science с нуля человеком из другой ИТ специальности. Цель: дать понять, подходит ли Вам эта специальность в принципе, и рассказать про эффективные подходы к самообучению, которые мне помогли (отдельно планирую потом детальные статьи по отдельным темам).

Отличные материалы уже существуют по большинству конкретных тем, я сам по ним учился.

Думаю, многим будут полезны "мета" материалы о том, как выбирать курсы и статьи, по которым учиться. Например, я пересмотрел десятки статей и книг, пробовал много разных он-лайн курсов, но полезной оказалась лишь малая часть всего доступного.

Надеюсь, что смогу серьезно сэкономить вам время и помочь достигнуть большего, показав более эффективный путь самообучения.

▪Читать дальше

@bigdatai

🖥 Мощные утилиты Python для анализа данных

В этой статье я предоставляю пошаговое руководство по некоторым очень полезным утилитам Python для анализа и управления данными.

В примерах этой статьи используются данные из датафрейма S&P 500, которые я сохранил в файле pickle.

▪Читать дальше
▪ Зеркало

@data_analysis_ml

🖥 Efficient Python Tricks and Tools for Data Scientists

Отличный репозитрий-книга, который содержит более 300 советов и инструментов с кодом для дата-сайентистов. От самых простых до продвинутых.

В каждой главе вы найдет колаб с кодом, графиками и пояснениями.

🖥 Github

@data_analysis_ml

5️⃣ Хитростей Python, которые отличают Senior-разработчика от Juniors

В этой статье мы рассмотрим пять подходов к решению распространённых задач кодинга Senior-способами, а не Junior.

Каждая задача является производной от головоломки AoC, причём многие из них многократно повторяются на протяжении AoC и других задач кодинга и задач, с которыми вы можете столкнуться, например, на собеседованиях при приёме на работу.

▪Читать
▪Зеркало

@data_analysis_ml

🪐 Повышаем продуктивность работы в Jupyter notebook с помощью Nbextensions

Jupyter notebook — удобная среда для функционального программирования. В работе часто приходится писать код, который подходит под конкретную задачу (анализ данных, обработка информации, парсинг сайтов, process mining и т.д). Такие задачи проще выполнять с функциональным подходом, и среда Jupyter notebook идеально подходит для этого.

Однако использование notebook’ов можно сделать ещё более удобным и продуктивным с помощью Jupyter Notebook Extensions. Это расширения для notebook, которые позволяют добавить множество «фич» для удобства работы. Сегодня я хочу поделиться собственным топом таких расширений.

pip install jupyter_contrib_nbextensions

➡️ Читать
🖥 Github

@data_analysis_ml

🖥 ML-задача на 30 минут: гадаем по cookie

Решаем задачу - можно ли составить хотя бы приблизительное представление о человеке, обладая информацией о сайтах, которые он посещает. Для этого мы сгенерировали полусинтетические данные, чтобы понять, насколько смелыми можно быть в этих ваших интернетах.

▪Читать

@data_analysis_ml

🖥 Git большая шпаргалка для data scientist от основных команд до продвинутых 40 командами


▪Статья
▪Шпаргалка в Pdf
Полезные команды

@data_analysis_ml

📃 Шпаргалка для подготовки к экзамену по машинному обучению

Данная статья обладает необходимой комплексностью повествования, описывающего специфику использования перечисленных инструментов в контексте сдачи экзамена по машинному обучению.

▪Читать

@data_analysis_ml