Анализ данных (Data analysis)
46.3K subscribers
2.33K photos
275 videos
1 file
2.07K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
🖥 Настройка интерпретатора Python внутри CHATGPT. Ai Пишет код на Python.

Вам больше не нужен интерпритатор.

Этот рассказ вдохновлён другой историей, “Настройка Виртуальной Машины внутри ChatGPT”. Я был впечатлен и решил попробовать нечто подобное – в этот раз вместо командной строки Linux давайте попросим ChatPGT стать нашим интерпретатором Python.Можно воспринимать эту статью как инструкцию по работе с CHATGpt.

Вот исходная команда для инициализации ChatPGT:

Я хочу, чтобы ты выступил в роли интерпретатора Python. Я буду вводить команды, а ты будешь отвечать, что должен показать вывод Python. Я хочу, чтобы ты отвечал только с выводом на терминал внутри одного уникального блока кода, и ничего больше. Не пиши объяснений, выводи только то, что выводит Python. Не вводи команды пока я не дам соответствующих инструкций. Когда мне нужно сказать тебе что-то по-английски, я буду делать это, помещая текст внутри фигурных скобок, как это сделано здесь: {пример текста}. Моя первая команда – a=1.

➡️ Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍63🔥1
💨 Выбираем оптимальный вариант хранения даннных с Parquet.

Порой случается так, что различные данные невозможно загрузить, обработать и сохранить для передачи или дальнейшей обработки из-за их большого объема. Тем не менее эту проблему можно решить путем грамотного выбора формата их хранения.

➡️ Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥41
Создаем программу искусственного интеллекта, которая воспринимает человеческую речь с Python и OpenAI

Создать программу искусственного интеллекта, которая воспринимает человеческую речь и отвечает на вопросы, не так сложно, как кажется. Такое чудо можно сотворить за один день с помощью нескольких пакетов Python и API.

Читать дальше
🖥 Код

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10🔥41👎1
🖥 20 основных команд Linux для Data Scientist специалистов.

Базовые команды Linux для улучшения рабочего процесса обработки данных. Это даст вам возможность автоматизировать задачи, создавать конвейеры, получать доступ к файловым системам и эффективно использовать команды для работы с данными.

Читать

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍122👎2🔥1
🖥 15 крутых трюков Jupyter, которые сэкономят время при работе с данными.

Как специалисты по анализу данных мы используем Jupyter Notebook практически каждый день – от загрузки данных до создания и развертывания моделей с его помощью.

Мне нравится Jupyter Notebook за её простой и удобный дизайн и при этом Jupyter незаменим для решения любых python-ориентированных задач. В частности, Jupyter поддерживает возможность запуска и тестирование скриптов с множеством датасетов.

Однако, при всей простоте этого инструмента, мы часто склонны совершать ошибки, которые приводят к потере времени и увеличению затрат мощности.

В этой статье мы расскажем о некоторых советах и хитростях, которые должен знать каждый специалист по работе с данными. Эти трюки помогут сэкономить время и увеличить продуктивность работы.

➡️ Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13🔥41🥴1🏆1
🎓 Математика для Data Scientist. Книги, курсы, лекции и рекомендации.

Математика — это краеугольный камень Data Science. Хотя некоторые теоремы, аксиомы и формулы кажутся слишком абстрактными и далекими от практики, на самом деле без них невозможно по-настоящему глубоко анализировать и систематизировать огромные массивы данных.

Для специалиста Data Science важны следующие направления математики:

- статистика;
- теория вероятностей;
- математический анализ;
- линейная алгебра.


💨 Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥21🌚1
🗣 Делаем проект по анализу речи на Python

Представьте ситуацию: вас назначили спикером на мероприятии, и вы даже знаете, о чем хотите рассказать аудитории. Но будет ли публикой воспринят ваш доклад так, как вы себе это представляли? Давайте посмотрим, что может пойти не так, и как это исправить.

Как часто нам приходится выступать с докладом, презентацией, проводить обучение, быть спикером на конференции? Если деятельность напрямую не связана с человеческим общением, навык грамотно доносить свою точку зрения теряется естественным образом. Друзья и близкие зачастую воспринимают нас “как есть”, исключая обратную связь для сохранения отношений. Несмотря на лояльность друзей и коллег, практика публичных выступлений важна и необходима для поддержания способности передавать свои мысли и чувства.

Данное исследование поможет разобраться с нашими вербальными привычками и подсветит зоны роста. К его созданию меня подтолкнул спикер одного из youtube каналов it-направленности. Его речь, наполненная идиомами и вводными словами, мешала восприятию основного полезного контента. Впоследствии родилась идея перевести аудиозаписи роликов в текст и выяснить, какие выражения чаще других перегружают речь. Первой задачей стала транскрибация целевой аудиодорожки, второй – анализ текста, третьей — выводы и работа над ошибками.

✔️ Читать дальше
🖥 Код

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍122🔥2
🖥 Mathematical Statistics and Data Analysis

Отличная бесплатная книга на английском предназначена для специалистов по данным, для изучения статистики.

📚 Книга

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥52
🖥 SQL для анализа данных. 7 аспектов SQL, которые следует знать специалисту по работе с данными.

Пост содержит в себе все ключевые элементы SQL, которые должен знать каждый специалист по Data Science. Этой статьей мы начинаем цикла статей – SQL для анализа данных.

➡️ Читать статью
🖥 Десять практических упражнений SQL

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍124🔥2
🐼 Pandas для анализа данных. 33 функции библиотеки Pandas полезные в работе.

В этой статье я перечислю 33 лучших функций, встроенных в библиотеку Pandas, которые обычно используются для анализа данных, и, возможно, этих функций будет достаточно для выполнения какой-либо вашей задачи.

Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21🔥21
✔️ 38 лучших библиотек для Data Science, Data Visualization и Машинного Обучения

Мы решили, что будем группировать все библиотеки по общим признакам, будь то библиотеки для машинного обучения или библиотеки для математики. Тем не менее, все 38 из них будут полезны для разработки в области Data Science.

➡️ Смотреть

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍121🔥1
📚 Список лучших (и бесплатных) книг для изучения Машинного обучения

📚 Список

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍134🔥3
🔥 Data Science Math Skills

Великолепный бесплатный курс для датасаентистов от Duke University. Data Science Math Skills знакомит с математикой, на которой строится наука о данных.

Учащиеся, завершившие этот курс, овладеют навыками, основными теоремами и концепциями, которые должны знать все специалисты по данным, прежде чем переходить к более сложному материалу.

Курс

@data_analysis_ml
👍92🔥2
Forwarded from Big Data AI
📚 20 лучших бесплатных книг по Python для начинающих и продвинутых программистов

Настоящий новогодний подарок всем Python разработчикам.

✔️ Смотреть список

@bigdatai
👍7🔥21
🔥 Обучение с подкреплением для реальных задач

Книга посвящена промышленно-ориентированному применению обучения с подкреплением (Reinforcement Learning, RL). Объяснено, как обучать промышленные и научные системы решению любых пошаговых задач методом проб и ошибок – без подготовки узкоспециализированных учебных множеств данных и без риска переобучить или переусложнить алгоритм. Рассмотрены марковские процессы принятия решений, глубокие Q-сети, градиенты политик и их вычисление, методы устранения энтропии и многое другое. Данная книга – первая на русском языке, где теоретический базис RL и алгоритмы даны в прикладном, отраслевом ключе.

📚 Книга

@data_analysis_ml
👍8🔥63
✔️ Погружаемся в Stable Diffusion

Большая часть недавних работ с искусственным интеллектом, найденных в Интернете, создана с использованием модели стабильной диффузии. Поскольку это инструмент с открытым исходным кодом, любой человек может легко создавать фантастические художественные иллюстрации, используя всего лишь текстовую подсказку.

В этой статье я собираюсь объяснить, как работает данная модель машинного обучения с открытым кодом.

➡️ Читать

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍82🔥1
❄️ Самая быстрая библиотека для работы с данными. Как Pandas, но гораздо быстрее (Polars)

Давайте посмотрим правде в глаза. Фреймворк Pandas медленный. Когда у вас есть миллионы строк в вашей структуре данных, становится очень неприятно ждать в течение минуты выполнения одной строки кода. В конечном итоге, вы потратите больше времени на ожидание, чем на реальную аналитику.

Для решения этой проблемы существует множество библиотек. PySpark, Vaex, Modin и Dask – вот некоторые из них.

Сегодня я предлагаю ознакомиться с фреймом Polars.

pip install polars

➡️ Читать дальше
🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍252🔥2🤔1
🗣 Новая модель распознавания русской речи и набор речевых данных

🖥 Github
⭐️ Dataset

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥53
🖥 Вопросы на собеседовании Python, ответы, на которые вам стоит знать.

В этой статье я превратил некоторые из своих заметок в 20 вопросов для собеседований, которые охватывают структуры данных, основные концепции программирования и лучшие практики Python.
Интересно, что многие из этих вопросов также задаются на собеседованиях по Data Science.


➡️ Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13👍91🏆1
🚀 Mathematical Foundations for Data Analysis

Бесплатный курс математические основы анализа данных.

Курс начинается с теории вероятности и линейной алгебры и постепенно переходит к и решениям, используемым в современных исследовательских работах, уделяя особое внимание фундаментальным математическим методам, которые используются на практике аналитиками данных. Курс наполнен множеством простых примеров, сотнями иллюстраций и пояснениями.

✔️ Курс

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12👍63👎1