Анализ данных (Data analysis)
46.3K subscribers
2.34K photos
275 videos
1 file
2.07K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
✔️ Огромный список шпаргалок Data science на все случаи жизни.

Тщательно подобранный список потрясающих шпаргалок по науке о данных, машинному обучению и статистике чтобы решать любые задачи.

➡️ Шпаргалки

ставьте ❤️ и отправляйте друзьям

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
17👍7🔥4
⭐️ Бесплатный курс Визуализации данных от Kaggle

https://www.kaggle.com/learn/data-visualization


@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍196🥰2
📊 Курс про основы Julia для применения в Data Science проектах

Язык Julia создан математиками для математиков, он действительно прост, красив и элегантен, но при этом очень быстр. За последние годы, язык созданный в 2009 году сильно окреп, оброс серьезной экосистемой и стал действительно привлекать внимание специалистов в области анализ данных. Именно поэтому мы решились сделать курс про основы Julia для применения в Data Science проектах.

🖥 Github
✔️ Плейлист на YouTube
➡️ Инструкция

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍182🔥2
🖥 ChatGPT: Конец программированию (как мы его знаем). Искусственный интеллект, который пишет код.

Когда я впервые воспользовался ChatGPT, это взорвало мой мозг.

Я не мог поверить, что этот чат-бот на базе искусственного интеллекта может писать код на многих языках, отлаживать код, переводить код с одного языка программирования на другой, писать скрипты с нуля и т.д.

Хотя я сомневаюсь, что ChatGPT когда-либо сможет заменить программиста, я думаю, что этот , когда программируем, а также началом новых возможностей в ит-области.

Вот как ChatGPT изменит область программирования.

➡️ Читать
🖥 ChatGPT объясняет ошибки в коде


@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥7🌭21
🎲 Бесплатный курс по основам статистики

Курс знакомит слушателей с основными понятиями и методами математической статистики. В течение трех недель мы рассмотрим наиболее широко используемые статистические методы и принципы, стоящие за ними. Полученных знаний будет достаточно для решения широкого круга задач, возникающих в рамках исследовательской работы.

➡️ Курс

ставьте ❤️, если подобный контент вам полезен

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
53👍15🔥3
🌐 Бесплатный курс Анализ данных

Продолжаем публиковать полезные бесплатные курсы.

Цель курса - приобретение слушателями необходимых знаний методов статистического анализа данных и практических навыков их применения.

В процессе изучения курса слушатели получат базовые теоретические знания статистической методологии анализа статистических данных в части оценки колеблемости, динамики и структуры, а также построения прогнозных оценок.

В курсе рассматриваются прикладные аспекты анализа на основе абсолютных, относительных и средних величин, показателей вариации, взаимосвязи и структурных сдвигов. Рассмотрены вопросы анализа динамики социально-экономические явлений и построения прогнозных оценок на основе простейших методов прогнозирования.

Курс будет полезен тем, кто хочет понять статистику, познать суть методов статистического анализа данных и возможности из прикладного применения для решения конкретных практических задач.

➡️ Курс

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥43😐1
This media is not supported in your browser
VIEW IN TELEGRAM
🙂 Ускоряем анализ данных. В 4 раза быстрее операции Pandas с минимальным изменением кода

Одним из основных ограничений Pandas является то, что он может быть медленным при работе с большими наборами данных, особенно при выполнении сложных операций. Это может расстроить специалистов по обработке данных и аналитиков, которым в своей работе необходимо обрабатывать и анализировать большие наборы данных.

Есть несколько способов решить эту проблему. Одним из способов является использование параллельной обработки.

➡️ Читать дальше
🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍114🔥2🤣1
🖥 Использование SQL для анализа данных

SQL или язык структурированных запросов — это язык программирования, используемый для связи с базами данных. Это позволяет пользователям извлекать, манипулировать и управлять данными, хранящимися в системах управления реляционными базами данных (RDBMS). SQL — это мощный инструмент для анализа данных, поскольку он позволяет пользователям быстро и легко получать доступ к большим объемам данных, хранящихся в базе данных, и манипулировать ими. В этой статье мы рассмотрим основы использования SQL для анализа данных.

SQL или язык структурированных запросов — это язык программирования, используемый для управления данными, хранящимися в реляционных базах данных, и манипулирования ими. Это мощный инструмент для анализа данных, поскольку он позволяет пользователям легко извлекать и обрабатывать большие объемы данных организованным и эффективным образом.

➡️ Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍102👎2🔥1
⭐️ Data Science: Machine Learning (Harvard university)

Отличный бесплатный курс от Harvard. Создайте систему рекомендаций фильмов и изучите научные основы одного из самых популярных и эффективных методов обработки данных.

По мере создания системы рекомендаций фильмов вы узнаете, как обучать алгоритмы с использованием обучающих данных, чтобы алгоритм мог предсказывать результат для будущих наборов данных. Вы также узнаете о переобучении и способах его избежать.


➡️ Курс

ставьте ❤️, если подобный контент вам полезен

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
56❤‍🔥4👍3🔥2
⭐️ Data Science: Wrangling

Еще один бесплатный курс от Harvard. С этим курсом вы научитесь датамайнингу, обработке и преобразованию данных в форматы, необходимые для анализа.

➡️ Курс

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍105🔥1
🖥 Настройка интерпретатора Python внутри CHATGPT. Ai Пишет код на Python.

Вам больше не нужен интерпритатор.

Этот рассказ вдохновлён другой историей, “Настройка Виртуальной Машины внутри ChatGPT”. Я был впечатлен и решил попробовать нечто подобное – в этот раз вместо командной строки Linux давайте попросим ChatPGT стать нашим интерпретатором Python.Можно воспринимать эту статью как инструкцию по работе с CHATGpt.

Вот исходная команда для инициализации ChatPGT:

Я хочу, чтобы ты выступил в роли интерпретатора Python. Я буду вводить команды, а ты будешь отвечать, что должен показать вывод Python. Я хочу, чтобы ты отвечал только с выводом на терминал внутри одного уникального блока кода, и ничего больше. Не пиши объяснений, выводи только то, что выводит Python. Не вводи команды пока я не дам соответствующих инструкций. Когда мне нужно сказать тебе что-то по-английски, я буду делать это, помещая текст внутри фигурных скобок, как это сделано здесь: {пример текста}. Моя первая команда – a=1.

➡️ Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍63🔥1
💨 Выбираем оптимальный вариант хранения даннных с Parquet.

Порой случается так, что различные данные невозможно загрузить, обработать и сохранить для передачи или дальнейшей обработки из-за их большого объема. Тем не менее эту проблему можно решить путем грамотного выбора формата их хранения.

➡️ Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥41
Создаем программу искусственного интеллекта, которая воспринимает человеческую речь с Python и OpenAI

Создать программу искусственного интеллекта, которая воспринимает человеческую речь и отвечает на вопросы, не так сложно, как кажется. Такое чудо можно сотворить за один день с помощью нескольких пакетов Python и API.

Читать дальше
🖥 Код

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10🔥41👎1
🖥 20 основных команд Linux для Data Scientist специалистов.

Базовые команды Linux для улучшения рабочего процесса обработки данных. Это даст вам возможность автоматизировать задачи, создавать конвейеры, получать доступ к файловым системам и эффективно использовать команды для работы с данными.

Читать

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍122👎2🔥1
🖥 15 крутых трюков Jupyter, которые сэкономят время при работе с данными.

Как специалисты по анализу данных мы используем Jupyter Notebook практически каждый день – от загрузки данных до создания и развертывания моделей с его помощью.

Мне нравится Jupyter Notebook за её простой и удобный дизайн и при этом Jupyter незаменим для решения любых python-ориентированных задач. В частности, Jupyter поддерживает возможность запуска и тестирование скриптов с множеством датасетов.

Однако, при всей простоте этого инструмента, мы часто склонны совершать ошибки, которые приводят к потере времени и увеличению затрат мощности.

В этой статье мы расскажем о некоторых советах и хитростях, которые должен знать каждый специалист по работе с данными. Эти трюки помогут сэкономить время и увеличить продуктивность работы.

➡️ Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13🔥41🥴1🏆1
🎓 Математика для Data Scientist. Книги, курсы, лекции и рекомендации.

Математика — это краеугольный камень Data Science. Хотя некоторые теоремы, аксиомы и формулы кажутся слишком абстрактными и далекими от практики, на самом деле без них невозможно по-настоящему глубоко анализировать и систематизировать огромные массивы данных.

Для специалиста Data Science важны следующие направления математики:

- статистика;
- теория вероятностей;
- математический анализ;
- линейная алгебра.


💨 Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥21🌚1
🗣 Делаем проект по анализу речи на Python

Представьте ситуацию: вас назначили спикером на мероприятии, и вы даже знаете, о чем хотите рассказать аудитории. Но будет ли публикой воспринят ваш доклад так, как вы себе это представляли? Давайте посмотрим, что может пойти не так, и как это исправить.

Как часто нам приходится выступать с докладом, презентацией, проводить обучение, быть спикером на конференции? Если деятельность напрямую не связана с человеческим общением, навык грамотно доносить свою точку зрения теряется естественным образом. Друзья и близкие зачастую воспринимают нас “как есть”, исключая обратную связь для сохранения отношений. Несмотря на лояльность друзей и коллег, практика публичных выступлений важна и необходима для поддержания способности передавать свои мысли и чувства.

Данное исследование поможет разобраться с нашими вербальными привычками и подсветит зоны роста. К его созданию меня подтолкнул спикер одного из youtube каналов it-направленности. Его речь, наполненная идиомами и вводными словами, мешала восприятию основного полезного контента. Впоследствии родилась идея перевести аудиозаписи роликов в текст и выяснить, какие выражения чаще других перегружают речь. Первой задачей стала транскрибация целевой аудиодорожки, второй – анализ текста, третьей — выводы и работа над ошибками.

✔️ Читать дальше
🖥 Код

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍122🔥2
🖥 Mathematical Statistics and Data Analysis

Отличная бесплатная книга на английском предназначена для специалистов по данным, для изучения статистики.

📚 Книга

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥52
🖥 SQL для анализа данных. 7 аспектов SQL, которые следует знать специалисту по работе с данными.

Пост содержит в себе все ключевые элементы SQL, которые должен знать каждый специалист по Data Science. Этой статьей мы начинаем цикла статей – SQL для анализа данных.

➡️ Читать статью
🖥 Десять практических упражнений SQL

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍124🔥2
🐼 Pandas для анализа данных. 33 функции библиотеки Pandas полезные в работе.

В этой статье я перечислю 33 лучших функций, встроенных в библиотеку Pandas, которые обычно используются для анализа данных, и, возможно, этих функций будет достаточно для выполнения какой-либо вашей задачи.

Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21🔥21