Анализ данных (Data analysis)
46.3K subscribers
2.32K photos
269 videos
1 file
2.06K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
⚡️ Python совет

При объединении двух датафреймов Pandas с одинаковыми именами столбцов по умолчанию к именам столбцов добавляются суффиксы "_x" и "_y".

Чтобы улучшить читаемость кода, вы можете указать собственные суффиксы.

#Python

@data_analysis_ml
👍44🥱32😁2🔥1
🔥 Дайджест полезных материалов из мира Data Science за неделю

Почитать:
Как извлекать пользу из данных: подборка материалов
Что нового в Apache Spark 3.4.0 — Spark Connect — Доработки для Shuffle
Инструменты продуктового аналитика VK, или Как мы работаем с большими данными
Наиболее часто используемые команды Linux
79 Ресурсов, которые следует прочитать, чтобы улучшить свои навыки в области проектирования систем:
Бесплатные сертификационные курсы для специалистов по данным
Бесконечные проверки – к успешному развитию: как мы обеспечиваем качество данных
Как мы наводим порядок с данными в столичном транспортном институте
Introduction to NannyML: Model Evaluation without labels
AI in Finance: Transforming Investment Strategies and Risk Management
How to Use Pandas for Data Analysis
Telemedicine capabilities expanded through artificial intelligence
Google Cloud Storage com Python: Um Guia Completo
Navigating Financial Insights: Analyzing Stock Data with Python and Visualization
Unveiling Joint Variability: Exploring Covariance
Navigating Financial Relationships: Understanding Correlation in Finance
Amazon QuickSight Summary
6 Data Science Projects That Can Supercharge Your Job Prospects!

Посмотреть:
🌐 Mixtral 8x7B - это сет из 8 нейронок, которые работают вместе
🌐 How to use Llama2 locally ( 09:00)
🌐 Ollama — модель уровня GPT. Используй GPT без ограничений и абсолютно бесплатно. ( 07:40)
🌐 Shutil: лучший инструмент для управления файлами Python. ( 17:05)
🌐 💡Задача Python: Максимальное среднее подмассива ( 01:00)
🌐 Как использовать API ChatGpt. Работа с Api c нуля ( 12:42)
🌐 Нахождение позиций в отсортированном массиве #python #array #shorts #сортировка ( 00:40)
🌐 Lightning Interview "Catastrophic AI Risks" ( 01:04:57)
🌐 Finetuning, Serving, and Evaluating LLMs in the Wild - Hao Zhang, PhD ( 29:20)
🌐 New AI: 6,000,000,000 Steps In 24 Hours! ( 08:28)
🌐 NVIDIA’s New AI: Virtual Worlds From Nothing! + Gemini Update! ( 09:40)

Хорошего дня!

@data_analysis_ml
👍178🔥6
🔥Подборка лучших обучающих каналов для программистов.

➡️Делитесь с коллегами и Сохраняйте себе, чтобы не потерять

Машинное обучение

Machine Learning - полезные статьи новости гайды и разбор кода
Ml Собеседование - подготовка к собеседовению мл, алгоритмам, кодингу
Ml ru - актуальные статьи, новости, код и обучающие материалы
Ml Jobs - вакансии ML
ML Книги - актуальные бесплатные книги МО
ML чат

🚀 Data Science

Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста
Data Jobs - ds вакансии
Аналитик данных
Data Science книги - актуальные бесплатные книги
Big data

🏆 Golang
Golang - подробные гайды, разбор кода, лучшие практики, заметки
Golang собеседование
Golang вакансии
Golang книги
Golang задачи и тесты
Golang чат
Golang news - новости go

#️⃣C#

С# академия
С# заметки — код, лучшие практики, заметки программиста c#
С# задачи и тесты
С# библиотека - актуальные бесплатные книги
C# вакансии - работа

🐍 Python

Python/django
Python Собеседование - подготовка к собеседовению python и разбор алгоритмов
Pro python - статьи, новости, код и обучающие материалы
Python Jobs - вакансии Python
Python чат
Python книги

Java

Java академия
Java вакансии
Java чат
Java вопросы с собеседований
Java книги

💻 C++

C++ академия
С++ книги
C++ задачи - подготовка к собеседовению мл, алгоритмам
C++ вакансии

💥 Хакинг Kali Linux

Kali linux
linux_kal - kali чат
Информационная безопасность

🐧 Linux

Linux academy

🦀 Rust
Rust программирование
Rust чат

🛢Базы данных
Sql базы данных
Библиотека баз данных
SQL чат

📲 Мобильная разработка
Android разработка
Мобильный разработчик гайды и уроки

🖥 Javascript/React/PHP
Javascript академия
React программирование
PHP
Книги frontend
Задачи frontend

🇬🇧 Английский для программистов

🧠 Искусственный интеллект
ИИ и технологии
Neural - нейросети для работы и жизни
Книги ИИ
Artificial Intelligence

🔥 DevOPs
Devops для программистов
Книги Devops
Docker

📓 Книги
Библиотеки Книг для программситов

💼 Папка с вакансиями:
Папка Go разработчика:
Папка Python разработчика:
Папка Data Science
Папка Java разработчика
Папка C#
👍158🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Хотите поэкспериментировать с различными методами обработки данных и гиперпараметрами модели? Редактирование конфигурационного файла вручную каждый раз может быть хлопотным.

Hydra позволяет быстро и легко создавать ин настраивать конфиги, выбирать опции из различных групп конфигураций.

@data_analysis_ml
👍13🔥32
"Дайте мне 7B Llama 2 и GPU, и я изменю мир".
-- Архимед

@data_analysis_ml
😁36👍92🥱1
This media is not supported in your browser
VIEW IN TELEGRAM
Представляем MakeReal в jupyter-tldraw .

Теперь вы можете вручную рисовать графики сюжет и MakeReal будет превращать их в код c использованием matplotlib прямо в блокноте!

Github

@data_analysis_ml
👍46🔥7🥰52🤣2
⚡️ Colab T4

Выпущена новая версия Colab 🥳

Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28🔥85
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 Выпущен новый инструмент, который упрощает перенос вашего датасета с GitHub в Hugging Face Hub! 🚀

У вас есть ценные датасеты, спрятанные в папке 'data' в репозитории GitHub? Теперь вы можете поделиться ими с ML-сообществом всего за несколько минут 🤗.

https://huggingface.co/spaces/librarian-bots/github-to-huggingface-dataset-migration-tool

@data_analysis_ml
👍133🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
🪐 nbcommands позволяет использовать команды Unix в блокнотах Jupyter.

Это позволяет взаимодействовать с блокнотами Jupyter без запуска сервера блокнотов.

pip install nbcommands

Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥74👍4
🖥 Чтобы протестировать наличие определенного исключения в модульном тестировании, используйте функцию pytest.raises.

Например, с его помощью можно проверить, будет ли выброшена ошибка ValueError при наличии NaN-значений в столбце group.

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥41
🖥 Ранний релиз: Skrub - новый инструмент для подготовки данных.

Подготовка таблиц для машинного обучения
Создан для работы со scikit-learn, Python
Устойчив к зашумленным данным
Работает с фреймами данных pandas

pip install skrub -U

https://skrub-data.org/stable/

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥18👍98
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 DataStack

Datastack
- это фреймворк с открытым исходным кодом, который позволяет легко создавать веб-приложения, информационные панели , формы ввода данных или прототипы в режиме реального времени, используя только Python - опыт работы с фронтендом не требуется.

В DataStack доступно много готовых виджетов, включая запись текста, выбор из выпадающего списка, списки, кнопки, формы ввода, HTML формы , iframe, разделитель страниц, dataframe, таблицы и многое другое.

pip install pydatastack

from datastack import datastack
ds = datastack(main=True)

ds.subheader('DataStack click counter app')

count = 0

def inc_count():
global count
count += 1

ds.button('Click', on_click=inc_count)
ds.write('counts: ' + str(count))


Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21🔥54
🖥🐍 mamba-minimal

Простая реализация архитектуры Mamba в одном файле PyTorch.

Mamba - это усовершенствованная модель пространства состояний (SSM), предназначенная для эффективной работы со сложными последовательностями, требующими большого количества данных: Linear-Time Sequence Modeling with Selective State Spaces", разработанной ведущими исследователями Альбертом Гу и Три Дао.

🖥 Github

📖 Paper

🎞 Мамба - замена трансформерам?

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍155🔥2🤣1
🖥 csvs-to-sqlite

Чтобы преобразовать файлы CSV в базу данных SQLite для эффективной работы с данными и их хранения, попробуйте csvs-to-sqlite.

https://github.com/simonw/csvs-to-sqlite

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20🔥53
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 nbgather: 🧽 Spit shine for Jupyter notebooks

nbgather предоставляет инструменты для очистки кода, восстановления потерянного кода и сравнения версий кода в Jupyter Lab.

Загрузите расширение alpha с помощью следующей команды:

jupyter labextension install nbgather

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
14👍6🔥4
🔥 Дайджест полезных материалов из мира Data Science за неделю

Почитать:
100 вопросов для подготовки к собесу Python
Большой тест GPT4, GPT3.5, YandexGPT, GigaChat, Saiga в RAG-задаче. Часть 1
— Полный отчет Github за 2023 о состоянии проектов.
9 вопросов для собеседования по SQL в Apple
Геометрия и навигация
Разметка данных в 2023 году: текущие тренды и требования будущего
fsspec и вообще зачем оно нам нужно
Как мы переезжали с PostgreSQL на Data Lake в AWS и какие грабли собрали по пути
Расчетная архитектура платформы для A/B-тестов Mail.Ru
Automate the boring stuff with Julia
Трёхканальный ИИ
Decoding a Data Model: Using SchemaSpy in Snowflake ❄️
Quickly create a personalized data dashboard for your boss.
What Is Data Analysis and How Can You Get Started?
Explorando as Funções Específicas da Biblioteca google-cloud-storage no Google Cloud Platform
Microsoft PHI-2 + Huggine Face + Langchain = Super Tiny Chatbot
How to rank Fungible Tokens in the TON blockchain by transactions
A good resource on Algorithms!
High-level overview of AWS Glue
What is the population of that region?
Streamlined Data Processing: A Guide to Cost-Effective ELT Implementation

Посмотреть:
🌐 Mixtral 8x7B - новый ИИ. Нейросети, которые ДОМИНИРУЮТ на другими моделями ( 08:04)
🌐 100 вопросов с собеседований Python. Полный разбор реальных вопросов. ( 34:27)
🌐 💡Задача #Python:Комбинация сумм II #python #программирование #код #yotube #youtube #пито ( 00:54)
🌐 💡Крутая задача #Python: #python #программирование #код #yotube #youtube #питон ( 00:49)
🌐 ODSC Webinar | Preparing for your First Enterprise Large Language Model (LLM) Application ( 48:16)
🌐 Adversarial Validation and Training in Stock Market Price Prediction ( 28:09)
🌐 NVIDIA’s New AI Is 20x Faster…But How? ( 08:16)
🌐 Here’s How ChatGPT is Changing The World! ( 08:33)

Хорошего дня!

@data_analysis_ml
👍14🔥53🥰3
SQL: комплексный анализ оттока клиентов

Постановка задачи
В конкурентной телекоммуникационной сфере восприятие компании в целом формируется критической оценкой ее услуг клиентами. Сбои в работе чреваты ростом обеспокоенности, поэтому так важен анализ оттока.

Уровнем оттока характеризуется потеря клиентов, а это сказывается на доходах.

На выводы анализа опираются при разработке стратегий, сегментном таргетировании, совершенствовании обслуживания для роста доверия и удовлетворенности клиентов.

Что такое «отток клиентов»?
Отток, или оборот клиентов, называемый также оттоком покупателей, — это явление, при котором клиенты или подписчики прекращают сотрудничать с компанией или пользоваться ее продуктами/услугами. Оно случается, когда привлеченные ее деятельностью или предложениями клиенты решают отказаться от дальнейших отношений или покупок.

Возможные причины: предложения конкурентов, цена, неудовлетворенность продуктом или услугой, недостаточная их ценность в глазах покупателя, личные обстоятельства.

Очистка данных
Определение общего количества клиентов

SELECT DISTINCT COUNT(CUSTOMER_ID) AS TOTALCUSTOMERS FROM CHURNDATA;

То есть выбираем из churndata отдельный счетчик count(customer_id) по общему числу клиентов TotalCustomers:

📌Продолжение

@data_analysis_ml
13👍7🔥5
🖥 Реальный вопрос c собеседования Microsoft SQL:

"Какой клиент Azure из базы покупателей, приоьретает хотя бы 1 продукт Azure из каждой категории продуктов?"

Подсказки:
- Объединить таблицы с помощью LEFT JOIN
- Подсчитайть разные категории продуктов с помощью COUNT и DISTINCT.

Доп задание: напишие код с использованием Pandas для решения задачи.

Протестировать свой SQL-запрос и посмотреть таблицы можно здесь: https://datalemur.com/questions/supercloud-customer

Пишите свое решение в комментариях👇

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
9👍6🔥2
🖥 По сравнению с pandas, Polars предоставляет более продвинутый синтаксис для создания сложных пайплайнов преобразования данных.

Каждая функция в Polars генерирует новую функцию, и эти функции можно объединять в конвейер.

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍278🔥3🤔2😐2👎1
⚡️ Инструменты визуализации графов/сетей

- Geph
- VOSviewer
- Cytoscape
- Kumu
- GraphInsight
- NodeXL
- Orange
- Graphia
- Graphistry
- SocNetV
- Tulip
- Gephisto

🖥 Библиотеки Python
- networkx
- graphviz
- pydot
- python-igraph
- pyvis
- ipycytoscape
- pygsp
- graph-tool
- nxviz
- py2cytoscape
- ipydagred3
- ipysigma
- Py3Plex
- net wulf

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
25👍11🔥4💔1