Data Science. SQL hub
35.9K subscribers
915 photos
49 videos
37 files
974 links
По всем вопросам- @workakkk

@itchannels_telegram - 🔥лучшие ит-каналы

@ai_machinelearning_big_data - Machine learning

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

РКН: https://vk.cc/cIi9vo
Download Telegram
💻Debezium — open-source CDC для Apache Kafka

Debezium — это CDC (Capture Data Change), набор коннекторов для различных СУБД, совместимых с фреймворком Apache Kafka Connect.

Debezium поддерживает следующие СУБД: MySQL, PostgreSQL, MongoDB, SQL Server, Cassandra и Oracle;
причём все эти СУБД подключаются по единой общей модели.

Если сравнивать использование Debezium с традиционным подходом (когда приложение читает данные из СУБД напрямую), то к его главным преимуществам относится реализация стриминга изменения данных на уровне строк с низкой задержкой, плюс высокая надежность и доступность.

🖥 GitHub
🟡 Доки

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
10👍4🔥3
🖥 Neon

Neon - это бессерверная альтернатива AWS Aurora Postgres с открытым исходным кодом, написанная на Rust.

В инструменте поддерживается автомасштабирование, разделяет хранение и вычисления , перераспределяя данные по кластеру узлов.

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍3🔥3
⚒️ Шардирование базы данных: шпаргалка для разработчика

👉 Источник
👍106🔥2
💻 GreptimeDB — облачная распределенная БД временных рядов с открытым исходным кодом; поддерживает PromQL/SQL/Python

GreptimeDB — это open-sorce БД временных рядов, ориентированная на эффективность, масштабируемость и аналитические возможности.

Особенности GreptimeDB:
— оптимизированная колоночная структура для работы с данными временных рядов; сжатие и хранение в различных системах хранения данных, в частности в облачных объектных хранилищах

— полностью открытая архитектура распределенного кластера, использующая мощь облачных вычислительных ресурсов

— встроенный SQL и PromQL для запросов, возможность использовать сценарии Python для решения сложных аналитических задач

Быстрый старт с Docker:
docker run --rm --name greptime --net=host greptime/greptimedb standalone start

🖥 GitHub
🟡 Доки

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
5🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 SQLFlow - отличный инструмент для визуализации SQL-запросов

Легкий и простой интрумент для визуализация связей и структур БД, поддерживающий более 20 разных БД.

DEMO
GitHub

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18🔥87
Если вы работаете в области данных, вам предстоит пройти собеседование по SQL

Вот несколько кратких советов которые вы должны знать на собеседовании по SQL.

Начинающим
- Уметь объяснить различные типы объединений. Иногда я видел, что этот вопрос задается рекрутерами в качестве отборочного, чтобы убедиться, что они хотят взять вас на работу.
- Знать, когда в порядке выполнения операций в SQL используется HAVING, а когда WHERE.

Mid
- Понимать, как использовать оператор CASE внутри функции SUM или COUNT
- Знать, по крайней мере, 1-2 способа оптимизации запроса, и если вы решите, что одним из этих способов является создание индекса в таблице, то вы должны знать, какие плюсы и минусы есть у индекса.

Продвинутым
- Знать, как решить SQL задачу с использованием оконной функции и без нее.
- Понимать и уметь объяснить, что такое коррелированный подзапрос.
- Просто сошлитесь на то, что вы посмотрите на план выполнения запроса. Рекрутеры будут шокированы тем, что вы вообще знаете, что это такое.

@sqlhub
19👍10🔥2
💻 Valkey — это высокопроизводительное open-source хранилище данных, поддерживающее кэширование, очереди сообщений; может выступать в качестве основной базы данных

Также Valkey может работать как автономная фоновая служба или в кластере, с возможностью репликации и высокой доступности.

Valkey поддерживает множество типов данных, включая строки, числа, хэши, списки, наборы, сортированные наборы, растровые изображения и др.
Можно оперировать со структурами данных с помощью набора команд. Valkey также поддерживает встроенную поддержку сценариев на языке Lua и поддерживает модули-плагины для создания новых команд и типов данных.

🖥 GitHub
🟡 Доки

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍75🔥5👏1
✔️ Туториал: Использование PostgreSQL в качестве векторной базы данных для RAG.

В туториале показан пошаговый сценарий к созданию векторной базы данных в PostgreSQL для хранения фрагментов текста из нескольких статей Википедии. В нем описывается процесс встраивания фрагментов текста и их сохранения в базе данных вместе с соответствующим заголовком, текстом и URL-адресом статьи.

Также приведен пример, как использовать векторное сходство для поиска релевантного контекста из базы данных с учетом запроса пользователя. Как извлеченный контекст используется для дополнения исходного запроса, прежде чем он будет передан в LLM для создания окончательного инференса.
infoworld.com

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
7🔥4👍3
🖥 Крутая шпаргалка по SQL.

В ней, предоставлены основные примеры запросов, а также пояснения к ним на русском языке.

Сохраняйте, чтобы не потерять

#шпаргалка #sql

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥25👍124🤯1
Тоже так считаете ?)

@sqlhub
🔥26👍15😁113👎3
💻 eralchemy — простой инструмент на Python для отрисовки взаимоотношений таблиц SQ

pip install eralchemy

eralchemy — это генератор диаграмм для баз данных а также для различных объектов SQLAlchemy.
eralchemy работает с SQLAlchemy < 1.4, а также с версиями выше 1.4.

🖥 GitHub

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
10👍6🔥5
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 Интерактивная схема устройства работы векторных баз данных

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
11👍5
7️⃣самых эффективных стратегий для масштабирования БД

🔵 Материализованные представления: Предварительно рассчитывайте результаты сложных запросов и сохраняйте их для быстрого доступа.
🔵 Денормализация: Упрощайте сложные соединения для повышения скорости выполнения запросов.
🔵 Вертикальное масштабирование: Увеличивайте ресурсы сервера (процессоры, оперативную память, хранилище) для улучшения производительности.
🔵 Индексация: Анализируйте запросы вашего приложения и создавайте подходящие индексы для ускорения работы.
🔵 Кэширование: Храните часто запрашиваемые данные в быстром хранилище, чтобы снизить нагрузку на базу данных.
🔵 Репликация: Создавайте копии основной базы данных на разных серверах для увеличения объема операций чтения.
🔵 Шардинг: Разделяйте таблицы на более мелкие части и распределяйте их по серверам для улучшения работы с записью и чтением.

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥95👍3
🖥 SQL для Data Science: ключевые вопросы с собеседований по разным уровням

Подборка важных SQL вопросов для разных уровней👇

🔹 Начинающие (0-2 года):
▪️ В чем разница между WHERE и HAVING?
▪️ Какие виды JOIN существуют в SQL?

🔹 Опытные (2-5 лет):
▪️ Запрос для поиска второй по величине зарплаты.
▪️ Оконные функции в SQL, пример с ROW_NUMBER().

🔹 Эксперты (5+ лет):
▪️ Как оптимизировать медленный запрос?
▪️ Когда использовать кластеризованные и некластеризованные индексы?

🖥 Ссылка

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥74👍3
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 Ползеная шпаргалка по SQL с примерами запросов

На это Гите есть практически все, что касается SQL, начиная от запросов к базе данных и создания таблиц и заканчивая соединением (joining) данных.

Информация представлена наглядно и очень доступно.

GitHub

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14👍42
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 Phidias

Генеративная модель для создания 3D-контента из текста, изображения и 3D-условий с помощью диффузии с добавлением ссылок

https://huggingface.co/papers/2409.11406

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍32
🖥 Учебный курс «DBA2. Администрирование PostgreSQL 13. Настройка и мониторинг»

DBA2-13. 00. Введение
DBA2-13. 01. Изоляция
DBA2-13. 02. Страницы и версии строк
DBA2-13. 03. Снимки данных
DBA2-13. 04. HOT-обновления
DBA2-13. 05. Очистка
DBA2-13. 06. Автоочистка
DBA2-13. 07. Заморозка
DBA2-13. 08. Буферный кеш
DBA2-13. 09. Журнал предзаписи
DBA2-13. 10. Контрольная точка
DBA2-13. 11. Настройка журнала
DBA2-13. 12. Блокировки объектов
DBA2-13. 13. Блокировки строк
DBA2-13. 14. Блокировки в оперативной памяти
DBA2-13. 15. Управление расширениями
DBA2-13. 16. Локализация
DBA2-13. 17. Обновление сервера

Источник

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16👍87