📊 3 Уникальные диаграммы, созданные с помощью Matplotlib

В рамках этой статьи мы кратко рассмотрим три уникальные визуализации, которые могут быть сгенерированы с помощью matplotlib (возможно, вы даже не представляли, что такое можно создать).

▪ Читать

@data_analysis_ml

🖥 Применение простых Автоэнкодерных архитектур в задачах поиска аномалий при максимально несбалансированных данных

При работе с постоянно растущим потоком данных, довольно часто возникает необходимость проверить, не появляются ли какие-либо аномалии, будь то фродовые мошеннические операции или произвольно возникающие ошибки из-за периодически напоминающих о себе багов внутри самой инфраструктуры или, как это часто бывает, человеческого фактора. Большинство перечисленных событий не являются статистически частыми, что вносит их в рамки редких, даже аномальных, и которые необходимо как-то фиксировать и устранять.

Я хочу поделиться способом решения задач классификации, а именно поиска аномалий, при помощи неприспособленного, на первый взгляд, для этого инструмента — автоэнкодера.

▪ Читать

@data_analysis_ml

🖥 12 Декораторов Python, которые выведут ваш код на новый уровень

Если вы Python-разработчик, эта статья расширит ваш инструментарий полезными скриптами, поможет повысить производительность и избежать дублирования кода.

▪ Читать

@data_analysis_ml

🖥 Python В SQL — Теперь можно загружать данные в 20 раз быстрее

Работа с большими наборами данных – повседневное дело для большинства специалистов по обработке данных. Не было бы никаких проблем, если бы они сразу передавались потоком в базу данных.

Но, зачастую, случается так, что загрузка данных происходит очень долго. В таких случаях программистам приходится занимать себя другими делами, дожидаясь, пока процесс полностью завершится. Такой вариант подходит далеко не всем!

Если вы действительно хотите сократить это время, вам нужен наиболее оптимальный способ загрузки данных в БД.

▪ Читать

@data_analysis_ml

🖥 3 быстрых и простых способа визуализации ваших данных с помощью Pandas

В этой статье мы рассмотрим 3 простых и экономящих время способа визуализации ваших данных с помощью Pandas. Кроме того, я приложил Jupyter-Notebook со всеми примерами в конце этой статьи.

▪ Читать дальше

@data_analysis_ml

💨 Что, где, откуда: извлекаем реляционный датасет из JSON

Когда вы сталкиваетесь с большим ненормализованным датасетом, да еще и в формате JSON, который нужно переложить в связанные SQL-таблицы, необходимо:

▪Читать датасет по чанкам;
▪Анализировать датасет на качество, смотреть на атрибуты;
▪Нормализовать датасет, раскрывать связи между сущностями и следить за их целостностью.

В целом, знание этих пунктов позволит сразу адаптировать датасет под реляционные СУБД и значительно сократить время, затраченное на его обработку, ведь со структурной точки зрения его не потребуется переделывать бессчётное количество раз. А для всего остального – есть функционал SQL.

📌 Читать

@data_analysis_ml

🖥 Полезные приемы с кодом для аналитиков данных на Python

1. Data Science. Советы по написанию эффективного кода на Python - https://www.youtube.com/watch?v=1Mcy-uatp_c&t=14s

2. Полезные приемы в Pandas - https://www.youtube.com/watch?v=Sd2S5rXe8sY&t=165s

3. Раскройте потенциал Python Numpy: руководство для начинающих в науке о данных - https://www.youtube.com/watch?v=XX2XremQ0fg&t=12s

4. Data science c Python.Ускоряем Pandas в 120 раз- https://www.youtube.com/watch?v=-dAdaEv23vk&t=4s

5. 26 практических приёмов и хитростей Python - https://www.youtube.com/watch?v=vAMyfvtxxdQ&t=5s

6. 5 декораторов Python для Data Science проектов - https://www.youtube.com/watch?v=rxq11WHAlqU

7. ChatGPT + Midjouney на практике - https://www.youtube.com/watch?v=2gUqbc3Ikmo&t=5s

8. Разбор вопросов с собеседований Python - https://www.youtube.com/watch?v=4L1e-A3AOL4&t=5s

9. 15 полезных лайфхаков с кодом Машинного обучения на Python - https://www.youtube.com/watch?v=loOtlwcdiBA&t=4s

10. Декораторы Python, которые выведут ваш код на новый уровень - https://www.youtube.com/watch?v=qxrGAogl4iM

🎞 Все видео по анализу данных

@data_analysis_ml

📊 7 шагов, которые помогут сделать ваши столбчатые диаграммы Matplotlib красивыми

Столбчатые диаграммы можно легко создавать в matplotlib. Однако matplotlib часто рассматривают как библиотеку, которая создаёт неинтересные диаграммы и с которой может быть сложно работать.

Но проявив настойчивость и желание, мы можем создавать эстетически приятные и информативные диаграммы.

▪ Читать

@data_analysis_ml

🖼 Погружения в библиотеку Mahotas для обработки изображений.

В данном посте я познакомлю вас с библиотекой Mahotas, которая позволяет обрабатывать изображения. Рассмотрим некоторые методы и функции работы с картинками.

При работе с данными иногда возникает необходимость работать с изображениями. Для этого можно использовать библиотеку Mahotas. Давайте рассмотрим некоторые операции с изображениями, которые можно выполнять с ее помощью.

▪ Читать

@data_analysis_ml

📊 Руководство по эффективной визуализации данных: выбор правильного графика

Когда я впервые начал работать с визуализацией данных, я обнаружил, что мне трудно выбрать правильный тип диаграммы для точного представления данных.

Было неприятно тратить часы на создание визуализации только для того, чтобы понять, что она неэффективно передаёт задуманный смысл. Вскоре я понял, что был не одинок в своей проблеме. Многие новички сталкивались с подобным при работе с визуализацией данных, вот почему я пишу эту статью (чтобы сэкономить ваше время и лучше разобраться в графиках). Я также приведу вам примеры кода.

▪ Читать

@data_analysis_ml

🖥 Улучшите свой следующий проект с помощью этих 7 библиотек Python

Вы когда-нибудь обнаруживали, что застряли в середине проекта, пытаясь решить сложную проблему? Что ж, вы не одиноки. Многие разработчики сталкиваются с такими проблемами при создании программного обеспечения, и именно в данных ситуациях пригождаются библиотеки.

Они помогают вам легко создавать сложные и трудоёмкие ПО, экономя ваше время и усилия. С таким количеством библиотек может быть трудно решить, какую из них использовать. Итак, я составил список из 7 библиотек Python, которые обязательно помогут вам на вашем пути разработчика.

1. Dash
Это самый загружаемый и надёжный Python-фреймворк для создания веб-приложений в сферах ML и data science. Эта библиотека связывает современные элементы пользовательского интерфейса, такие как выпадающие списки, ползунки и графики, непосредственно с вашим аналитическим кодом на Python. На GitHub у неё более 18 тысяч звёзд. Вы можете ознакомиться с данной библиотекой здесь.

2. PyWhatKit
В настоящее время это одна из самых популярных библиотек для автоматизации WhatsApp и YouTube. Она проста в использовании и не требует от вас каких-либо дополнительных настроек. Библиотека PyWhatKit включает в себя множество функций, таких как отправка изображения группе WhatsApp или контакту, преобразование изображения в формат ASCII, отправка писем с HTML-кодом и многое другое. У неё более 1 тысячи звёзд на GitHub. Вы можете ознакомиться с данной библиотекой здесь.

3. Alive-progress
Отображение экрана загрузки или индикатора выполнения во время вычисления или загрузки данных является одной из распространённых практик при разработке программного обеспечения для улучшения пользовательского интерфейса. Как вы уже догадались по названию, эта библиотека предоставляет красивый индикатор выполнения. Она также включает в себя множество функций, таких как настройка, live spinner, ETA, классная анимация и многое другое. У неё более 4 тысяч звёзд на GitHub. Вы можете ознакомиться с данной библиотекой здесь.

4. TextBlob
Если вам приходится работать с обработкой текста, то это хороший ресурс для вас. Эта библиотека предоставляет простой API для погружения в обычные задачи обработки естественного языка (NLP), такие как пометка частей речи, извлечение именных фраз, анализ настроений, классификация, перевод и многое другое. Она обладает множеством функций, таких как извлечение именных фраз, анализ настроений, исправление орфографии и многое другое. У неё более 8 тысяч звезд на GitHub. Вы можете ознакомиться с данной библиотекой здесь.

5. Pdfplumber
Как следует из названия, если вам приходится работать с pdf, то это хороший ресурс для вас. Эта библиотека поможет вам извлекать текст и таблицы из PDF-файлов, упрощая точную обработку больших объёмов PDF-данных. У неё более 3,5 тысяч звезд на GitHub. Вы можете ознакомиться с данной библиотекой здесь.

6. Pdoc
Документация – один из важнейших этапов разработки программного обеспечения. Как вы уже догадались, эта библиотека поможет вам с документацией API вашего проекта. Она включает в себя множество функций, таких как Documentation is plain Markdown, первоклассную поддержку аннотаций типов, все другие современные функции Python 3, встроенный веб-сервер с оперативной перезагрузкой и многое другое. Эта библиотека имеет более 1,5 тысяч звёзд на GitHub. Вы можете ознакомиться с данной библиотекой здесь.

7. Pyrogram
Эта библиотека позволяет создавать Telegram-ботов и приложения на Python, включая поддержку асинхронного программирования и зашифрованных сообщений. Она также позволяет вам легко взаимодействовать с основным Telegram API через учётную запись пользователя (пользовательский клиент) или идентификатор бота (альтернатива bot API). У неё более 3 тысяч звёзд на GitHub. Вы можете ознакомиться с данной библиотекой здесь.

@data_analysis_ml

💨 YOLOv7 для определения поз людей на видео

В этом посте мы познакомимся с возможностями YOLOv7 для определения поз людей на видео, обсудим принцип работы алгоритма, разберёмся, чем принципиально отличается подход к детекции скелетов человека в модели YOLOv7 и других фреймворках, подробно пройдёмся по всем шагам запуска на инференс предобученной модели YOLOv7-pose для детекции людей с их скелетами.

В процессе копания в первоисточниках и не только, мне удалось почерпнуть несколько интересных фактов о YOLO, чем я поделюсь. Некоторые труднопереводимые термины будут оставаться как есть.

▪ Читать
▪ Код

@data_analysis_ml

🖥 Как загружать данные в SQL в 20 раз быстрее на Python

Python В SQL — Теперь можно загружать данные в 20 раз быстрее

Работа с массивными наборами данных – повседневное дело для большинства специалистов по обработке данных. Не было бы никаких проблем, если бы они сразу передавались потоком в базу данных.

Но, зачастую, случается так, что загрузка данных происходит очень долго. В таких случаях программистам приходится занимать себя другими делами, дожидаясь, пока процесс полностью завершится. Такой вариант подходит далеко не всем!

Если вы действительно хотите сократить это время, вам нужен наиболее оптимальный способ загрузки данных в БД.

🎞 Video

@data_analysis_ml