Data Science. SQL hub
36K subscribers
904 photos
46 videos
37 files
962 links
По всем вопросам- @workakkk

@itchannels_telegram - 🔥лучшие ит-каналы

@ai_machinelearning_big_data - Machine learning

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

РКН: https://vk.cc/cIi9vo
Download Telegram
🖥 Ранний релиз: Skrub - новый инструмент для подготовки данных.

Подготовка таблиц для машинного обучения
Создан для работы со scikit-learn, Python
Устойчив к зашумленным данным
Работает с фреймами данных pandas

pip install skrub -U

https://skrub-data.org/stable/

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍3🔥3
💉 Эти 5 команд помогут выявить SQL-инъекцию в целевом домене.

@sqlhub
👍10🔥32
⚡️ MySQL vs MongoDB

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
17🔥8👍4🥰1
SQL: комплексный анализ оттока клиентов

Постановка задачи
В конкурентной телекоммуникационной сфере восприятие компании в целом формируется критической оценкой ее услуг клиентами. Сбои в работе чреваты ростом обеспокоенности, поэтому так важен анализ оттока.

Уровнем оттока характеризуется потеря клиентов, а это сказывается на доходах.

На выводы анализа опираются при разработке стратегий, сегментном таргетировании, совершенствовании обслуживания для роста доверия и удовлетворенности клиентов.

Что такое «отток клиентов»?
Отток, или оборот клиентов, называемый также оттоком покупателей, — это явление, при котором клиенты или подписчики прекращают сотрудничать с компанией или пользоваться ее продуктами/услугами. Оно случается, когда привлеченные ее деятельностью или предложениями клиенты решают отказаться от дальнейших отношений или покупок.

Возможные причины: предложения конкурентов, цена, неудовлетворенность продуктом или услугой, недостаточная их ценность в глазах покупателя, личные обстоятельства.

Очистка данных
Определение общего количества клиентов

SELECT DISTINCT COUNT(CUSTOMER_ID) AS TOTALCUSTOMERS FROM CHURNDATA;

То есть выбираем из churndata отдельный счетчик count(customer_id) по общему числу клиентов TotalCustomers:

📌Продолжение

@sqlhub
👍101🔥1
🖥 100 вопросов для подготовки к собесу Python

https://uproger.com/bolee-100-voprosov-s-sobesedovaniya-python-razbor-realnyh-voprosov/

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍93👎1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 Google почти всегда задает вопросы по SQL во время собеседований на вакансии Data Analytics, Data Science и Data Engineering.

Поэтому, если вы готовитесь к собеседованию по SQL, решите эти 11 РЕАЛЬНЫХ вопросов для собеседования Google по SQL.

https://datalemur.com/blog/google-sql-interview-questions

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥3😁21
🔥 Дайджест полезных материалов из мира SQL за неделю

Почитать:
Как создать сервис по оценке транспортной доступности новостроек при горящих дедлайнах
— Полный отчет Github за 2023 о состоянии проектов.
100 вопросов для подготовки к собесу Python
PostgreSQL: вернуть место после delete
9 вопросов для собеседования по SQL в Apple
PostgreSQL 17: Часть 3 или Коммитфест 2023-11
SQL HowTo: итоги по строкам и столбцам «в одно действие»
Победа над ORM путем кодогенерации
Курс «PostgreSQL для начинающих»: #2 — Простые SELECT
Nota, Typst и Evidence. Языки программирования для генерации документов
A Guide to Sargable Queries
Understanding PostgreSQL and MongoDB Databases: Know When to Use Each
MySQL: Everything You Need To Know
Database Monitoring Metrics: Key Indicators for Performance Analysis
SQL Cheat Sheet: A Comprehensive Guide to SQL Commands and Queries
Surrogate Key vs Primary Key: What's the Difference?
Discord economy bot using python
The Top 10 GitHub Repositories Making Waves 🌊📊
`OR` Filter on Two Tables, and Batched Nested Loops
AI in 2024: Art Thrives, Open-Source Battles GPT

Посмотреть:
🌐 Azure OpenAI and copilot meet Azure SQL | Data Exposed
🌐 100 вопросов с собеседований Python. Полный разбор реальных вопросов. ( 34:27)
🌐 💡Задача #Python:Комбинация сумм II #python #программирование #код #yotube #youtube #пито ( 00:54)
🌐 💡Крутая задача #Python: #python #программирование #код #yotube #youtube #питон ( 00:49)
🌐 Mixtral 8x7B - новый ИИ. Нейросети, которые ДОМИНИРУЮТ на другими моделями ( 08:04)
Хорошего дня!

@sqlhub
7👍5🔥4🥰2😁1
🖥 Python и базы данных

1. Python+SQL работа с базами данных
2. Python анализ данных с Pandas. PandaSQL
3. Python анализ данных с Pandas. Join, merge, concat в Pandas
4. Python+SQL часть 2, создание таблиц
5. Python+SQL. Операции с записями
6. Устраиваемся на работу. Решаем тестовое задание на позицию Python Junior

#video #python #sql

https://youtube.com/watch?v=Q7FtqwF5GDw&list=PLysMDSbb9HcxdvtQSkYoO7xaF3SvGUD8n

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
9👍2🔥1😁1🎉1
🖥 csvs-to-sqlite

Чтобы преобразовать файлы CSV в базу данных SQLite для эффективной работы с данными и их хранения, попробуйте csvs-to-sqlite.

https://github.com/simonw/csvs-to-sqlite

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍76🔥1
😁686👍4😢2🔥1
🖥 Реальный вопрос c собеседования Microsoft SQL:

"Какой клиент Azure из базы покупателей, приобретает хотя бы 1 продукт Azure из каждой категории продуктов?"

Подсказки:
- Объединить таблицы с помощью LEFT JOIN
- Подсчитайть разные категории продуктов с помощью COUNT и DISTINCT.

Доп задание: напишие код с использованием Pandas для решения задачи.

Протестировать свой SQL-запрос и посмотреть таблицы можно здесь: https://datalemur.com/questions/supercloud-customer

Пишите свое решение в комментариях👇

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍114🔥1👏1
⚡️ 100 вопросов с собеседований Data Science

Habr: https://habr.com/ru/articles/783766/

Видео: https://www.youtube.com/watch?v=6Pk4OgdNxXQ

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🔥32
This media is not supported in your browser
VIEW IN TELEGRAM
🦆 Загрузка набора данных на сервер базы данных перед загрузкой его в pandas датафрейм обычно требуется для работы pandas.

duckdb устраняет этот шаг, позволяя выполнять эффективные SQL-операции непосредственно над pandas DataFrame.

@sqlhub
👍133🔥1
🔥 Дайджест полезных материалов из мира SQL за неделю

Почитать:
100 вопросов для подготовки к собесу Data Science
Немного про OR в SQL запросах
Вот так я изучаю ML
Версионная миграция структуры базы данных через PHP атрибуты
Миграции в YDB с помощью «goose»
Использование Postgres-триггеров для исторических таблиц
Введение в SQL & СУБД на примере доступа к данным через Python
PostgreSQL в «Тензоре» — публикации за год (#4)
Version up test for Aurora MySQL 2 EOL with SQL test tool
ORDER BY x LIMIT y Gotcha
Summary of results
Finding the best SQL query for the task.
How Modern SQL Databases Are Changing Web Development - #4 Into the AI Era
Mastering SQL Transactions: The Power of COMMIT and ROLLBACK in Database Management
Reading Postgres Execution Plans doesn't have to be so complicated
SQL vs NoSQL Databases: Which is Better?
Unlock Complex Time Series Analysis in SQL with Range Queries
The Syntax of Discreteness - Using SQL as an Example
Десять самых ярких ИИ-работ от NVIDIA Research за 2023 год

Посмотреть:
🌐 100 вопросов с собеседований Data Science — часть 1 ( 36:48)
🌐 💡Топ задача #Python: Бинарный поиск #python #программирование #код #yotube #питон #собеседование ( 00:41)
🌐 💡 Задача: Ряд клавиатуры #Python #yotube #код #алгоритмы #программирование #собеседование #кодинг ( 00:40)
🌐 💡 Задача: Ряд клавиатуры #Python #yotube #код #алгоритмы #программирование #собеседование #кодинг ( 01:00)

Хорошего дня!

@sqlhub
🔥7👍63
SQLNotesForProfessionals.pdf
1.5 MB
📚 Книга SQL Notes for Professionals

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥53
🖥 Complete-Advanced-SQL-Series

Этот репозиторий содержит все, что вам нужно, чтобы прокачать свои навыки работы с #SQL.

Более 100 упражнений и примеров по SQL.

Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
9🔥4👍3
🖥 SQL дорожная карта 2024 года

Читать

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍165🔥3👎1
😁58🔥28👍62👎1🤔1
🖥 DBChaos

Проведите стресс-тестирование своей базе данных с помощью заранее заданных запросов.

Библиотека поможет найти медленные и неэффективные запросы, которые мешают работе.

go install github.com/adaptive-scale/[email protected]

Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍163🔥3👎1
🖥 В PySpark параметризованные запросы позволяют повторно использовать одну и ту же структуру запроса с разными входными данными, не переписывая SQL.

Кроме того, они защищают от атак SQL-инъекций, поскольку рассматривают входные данные как параметры, а не как исполняемый код.

#ApacheSpark
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1310🔥9
🖥 Начинается новая волна атак Mimic ransomware на серверы SQL-баз данных в трех континентах

В серии кибератак, о которых сообщает BleepingComputer, несколько неправильно настроенных серверов баз данных Microsoft SQL стали жертвами организованной хакерской операции. Эта масштабная кампания успешно нацелилась на серверы в Соединенных Штатах, Латинской Америке и Европейском союзе, заражая их известным шифровальщиком Mimic ransomware, часто называемым N3ww4v3.

Злоумышленники в киберпреступных делах все более совершенствуются, и эта атака, получившая название RE#TURGENCE (Возрождение), подчеркивает постоянную необходимость надежных мер кибербезопасности как на индивидуальном, так и на корпоративном уровне. Взламывая неправильно настроенные серверы, хакеры получают доступ к конфиденциальным данным и шифруют их с помощью практически непроницаемого шифровальщика.

Негативные последствия этой атаки выходят за рамки региональных границ, что подчеркивает глобальный характер киберпреступности. Поскольку бизнесы и отдельные лица все больше полагаются на системы баз данных для хранения и обработки больших объемов информации, становится критически важным укрепление этих систем от потенциальных угроз.

Ушли те времена, когда достаточно было простых межсетевых экранов и антивирусного программного обеспечения для защиты от кибератак. Современные угрозы требуют многопланового подхода, включающего применение передовых мер безопасности, таких как системы обнаружения вторжений, сегментация данных, контроль доступа и регулярные обновления программного обеспечения. Внедрение этих комплексных протоколов безопасности может значительно снизить риск стать жертвой злонамеренных действующих лиц, стремящихся использовать уязвимости.

Последствия попадания в зону риска кибератак с шифрованием данных могут быть серьезными и включать продолжительное простояние, финансовые потери и ущерб репутации. Чтобы снизить эти риски, бизнесам следует приоритезировать инвестиции в кибербезопасность, формировать культуру осведомленности и готовности. Оставаясь бдительными, старательно следуя за состоянием системы и незамедлительно устраняя возможные уязвимости безопасности, организации могут сохранить ценную информацию и поддерживать операционную устойчивость.

Борьба против киберпреступности
– это непрекращающийся бой, требующий постоянной адаптации к новым угрозам. Как показывают атаки Mimic ransomware, поддержание актуальных практик безопасности и регулярная оценка уязвимостей систем ключевы для оставания впереди киберпреступников. В этом цифровом веке, где важная информация находится у нас под рукой, защита наших баз данных от усовершенствованных атак является главным условием сохранения нашей безопасности и продолжения прогресса.

🔎 Новость

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍64🔥1😱1