🖥 Оптимизация хранения данных в СУБД Greenplum

Greenplum — это open source MPP СУБД, основанная на PostgreSQL.

Архитектура СУБД укрупненно представляет собой систему, состоящую из n-го количества Segment Host — процессов/серверов, на которых производится хранение и обработка данных, и одного Master Host – процесса/сервера, являющегося точкой входа клиента, который также хранит внутри себя метаданные таблиц и распределяет обработку данных между сегментами.

Вопрос выбора способа хранения данных для меня встал достаточно остро из-за относительно большого объема анализируемых данных. Кратко опишу набор таблиц витрины и примерное количество строк в них на данный момент:

1. Таблица с пользователями маркетплейса (более 4 млн.);
2. Корзина товаров (более 150 млн.);
3. Покупки пользователей в маркетплейсе (более 40 млн.);
4. Таблица с начислениями бонусов за покупки (более 20 млн.)
5. И т.д. (суммарно еще около 5-10 млн. строк уходят на перечень продаваемых товаров, различные справочники и другую сопутствующую информацию)

Аналитические запросы, в особенности с объединением этих таблиц, занимают достаточно большое количество времени и ресурсов, что негативно складывается на работе СУБД, коллег и меня в частности.

В связи с этим, оптимизация хранения таблиц является одним из основных вариантов оптимизации запросов (вкупе с объяснением того, как эти оптимальные запросы строить, но это уже совсем другая история).

Рассмотрим задачу выбора оптимального способа хранения данных подробнее. 👇

Читать

@sqlhub

🖥 Z Order в #DeltaLake организует данные в хранилище для повышения производительности запросов.

В данном примере запрос должен просканировать 8 отдельных файлов, чтобы найти строки, в которых id = 5. Однако при оптимизации Z Order запрос должен просканировать только один файл, чтобы найти нужные строки.

• Delta Lake Z Order
• Что такое Delta Lake

@sqlhub

🖥 Новый курс по SQL от Гарвардского университета бесплатно!

Курс CS50 "Введение в базы данных с SQL" теперь входит в линейку CS50.

Откройте для себя возможности по анализу данных на SQL для запросов и управления данными в реляционных базах данных - БЕСПЛАТНО.

📌 Курс
📌 cs50

@sqlhub

🖥 SQLFlow - отличный инструмент для визуализации SQL-запросов.

Легкий и простой интрумент для визуализация связей и структур БД, поддерживающий более 20 разных БД.


• Demo
• Github

@sqlhub

🖥 Виды JOIN в SQL
В SQL-джойнах скрыто больше, чем можно подумать. Давайте разберем их.

Будем использовать две простые таблицы: компании companies и их вакансии jobs.

Есть три вымышленные компании — Hoogle, Emazon и Neta — которые предлагают на удивление мало вакансий:

Hoogle интересуется аналитиками данных. Emazon нанимает Go-разработчиков и ML-инженеров. У Neta нет вакансий. А какая-то ноунейм-компания с идентификатором 99 отчаянно разыскивает UI-дизайнера.

Время джойнить!

📌 Читать

@sqlhub

🖥 Хотите запретить втсавку NULL в столбец и использовать вместо него значение по умолчанию?

В Oracle Database используйте:

CREATE TABLE ... ( <col> <datatype> DEFAULT ON NULL <expr> )

Если при INSERT опустить <col> или поместить в него NULL, то база данных использует вместо него <expr> по умолчанию.

#sql #tips #junior

@sqlhub

🖥 Хотите сравнить две таблицы и вернуть разные строки с помощью #SQL?

Вот простой способ это сделать:

SELECT <cols>
FROM ( SELECT 'T1' T, T1.* FROM T1 UNION ALL SELECT 'T2' T, T2.* FROM T2 )
GROUP BY <cols>
ЕСЛИ COUNT (*) <> 2

@sqlhub

🖥Создание датасетов "на лету" в Oracle Database 23c с помощью конструктора значений таблицы

SELECT * FROM ( VALUES
( 'r1v1', 'r1v2' ), -- row1
( 'r2v1', 'r2v2' ), -- row2
--etc.
) tab_alias ( col1, co2l )

#SQL

@sqlhub

🖥 Выполнение логики IF/THEN в #SQL с помощью выражений CASE:

CASE
WHEN ... THEN ...
WHEN ... THEN ...
...
[ ELSE ... ]
END

• Simple => Проверяем, равен ли селектор значению
• Searched => Проверка любых условий

База данных обрабатывает их сверху вниз, возвращая первое истинное условие.

#SQL

@sqlhub

🖥 Как заблокировать строки?

С помощью

SELECT ... FOR UPDATE

Если другая транзакция заблокировала какую-либо из этих строк, то она блокируется.

Чтобы заблокировать следующие строки таблицы, игнорируя заблокированные данные, используйте

SELECT ... FOR UPDATE SKIP LOCKED

Это позволит обойти все строки, заблокированные другой транзакцией.

#SQL

@sqlhub

🖥 OrmGPT — ии-инструмент для работы с бд, разработанный на основе OpenAI.

Он переводит естественный язык в SQL запросы и выполняет их в базе данных.

На данный момент поддерживаются MySQL, PostgreSQL и SQLite.

Пример:

ormgpt.query("give me post with id 1, all comments for this post and user information about author");

Сгенерированный запрос:

SELECT
p.id AS post_id,
p.title,
p.body,
c.id AS comment_id,
c.body AS comment_body,
u.username AS author_username,
u.email AS author_email
FROM
posts p
JOIN comments c ON p.id = c.post_id
JOIN users u ON u.id = p.user_id
WHERE
p.id = 1;

Вывод:

[
{
post_id: 1,
title: 'Hello world!',
body: 'This is my first post!',
comment_id: 1,
comment_body: 'Hello world!',
author_username: 'test',
author_email: '[email protected]'
}
]

• Github

@sqlhub

🖥 Как сбросить последовательность в Oracle Database?

ALTER SEQUENCE seq RESTART

Это возвращает последовательность к ее минимальному значению.

Добавьте предложение START WITH, чтобы начать с любого значения

ALTER SEQUENCE seq RESTART START WITH 42

#SQL

@sqlhub

🖥 PostgreSQL Course for Beginners

PostgreSQL - это база данных с открытым исходным кодом, обладающая широкими возможностями настройки.

Если вы хотите узнать, подходит ли она для ваших проектов, этот курс для начинающих поможет вам.

Вы узнаете об операторе SELECT, предложениях WHERE, агрегатных функциях и многом другом.

📌 Курс

@sqlhub

🖥 Шпаргалка по различным базам данных в облачных сервисах и соответствующим им вариантам с открытым исходным кодом .

Выбор подходящей базы данных для своего проекта - сложная задача. Существует множество видов баз данных, каждая из которых подходит для разных случаев использования.

Данная шпаргалка поможет определить, какой сервис соответствует потребностям вашего проекта, и избежать возможных "подводных камней".

@sqlhub

🖥 Fake2db - это инструмент, который предназначен для создания и заполнения фиктивных данных в игрушечных базах данных.

Он предназначен для использования в тестировании и поддерживает работу с такими базами данных, как sqlite, mysql, postgresql, mongodb, redis и couchdb.

pip install fake2db

📌 GitHub

@sqlhub