Что происходит, когда вы вставляете строку (INSERT) в Postgres?

Postgres должен обеспечить надёжное сохранение данных, не теряя в скорости записи и сохраняя возможность восстановиться после сбоя. Ключевую роль здесь играет журнал предзаписи (Write-Ahead Log, WAL).

1. Получение запроса

Postgres принимает запрос и определяет, на какую страницу данных поместить новую запись.
Эта страница может уже быть в памяти (в буфере), может быть подгружена с диска, а может быть создана заново.

2. Запись в память

Новая строка записывается только в страницу, находящуюся в оперативке.
Эта страница помечается как *грязная*, то есть её нужно будет когда-то сбросить на диск, но не сразу.

3. Формирование записи в WAL

В буфер WAL в памяти добавляется новая запись, содержащая всю информацию, нужную для восстановления этой операции вставки.

4. Сброс WAL на диск

WAL синхронно сбрасывается на диск (через fsync или аналог). Это гарантирует, что данные попали в надёжное хранилище.
После успешного сброса Postgres отправляет клиенту ответ success.

Когда клиент получает подтверждение, данные уже точно записаны в WAL (а значит, безопасны с точки зрения crash recovery), но сами данные таблицы могут пока оставаться только в памяти.
Их сброс на диск произойдёт позже — при контрольных точках (checkpoint), в фоновом процессе или при вытеснении страниц из памяти.

Если сервер упадёт до того, как грязные страницы будут записаны, при старте Postgres просто воспроизведёт WAL и восстановит все зафиксированные изменения.

WAL это сердце механизма надёжности Postgres.

Он обеспечивает быструю запись и устойчивость к сбоям.

👉 @SQLPortal

DISTINCT ON в Postgres - это особый синтаксис SQL, который позволяет выбрать одну строку с максимальным, минимальным, первой или последней записью в пределах каждой группы.

Эта конструкция требует обязательного использования ORDER BY. Если две строки полностью идентичны, Postgres просто возьмёт одну из них.

👉 @SQLPortal

Появился ИИ-ассистент, который сам пишет и оптимизирует SQL-запросы.

Он понимает обычный язык, достаточно спросить «какие пользователи были активны за месяц?» и всё готово.

Сейчас поддерживается PostgreSQL, а скоро подтянутся MySQL и MongoDB.
Безопасность на месте: шифруются строки подключения, пароли и сами запросы.
Плюс можно выбрать, на какой модели работает ИИ

https://github.com/wannabespace/conar

👉 @SQLPortal

Базовые вещи по базам данных, которые стоит изучить, если хочешь реально разобраться в масштабировании:

Сохрани это.

B+ деревья
LSM деревья
Write-Ahead Logging (журналирование перед записью)
Двухфазный коммит
Трёхфазный коммит
Реплики только для чтения
Репликация по схеме лидер–фолловер
Шардинг / партиционирование (Partitioning)
Кэширование запросов
Вторичные индексы
Векторные индексы (Vector Indexes, например FAISS, HNSW)
Распределённые JOIN’ы
Материализованные представления
Event Sourcing (событийное хранение состояния)
Change Data Capture (отслеживание изменений данных)

👉 @SQLPortal

В выводе Postgres EXPLAIN есть полезная информация о том, что происходит с запросом.
Основные вещи, на которые стоит обратить внимание в плане EXPLAIN:

Использовался ли индекс?

Были ли данные уже в shared buffer cache?

Сколько времени заняло планирование и выполнение запроса.

👉 @SQLPortal

Плохо написанный SQL легко превращается в тормозящий и трудноподдерживаемый кошмар.

Джордан Гудман разобрал типичные анти-паттерны, которых стоит избегать:

- использовать CASE вместо нормальных таблиц,
- вызывать функции на индексированных колонках,
- злоупотреблять DISTINCT, чтобы “починить” дубли.

Подробности — в его статье

👉 @SQLPortal

В копилку полезного: принёс ещё одну огромную базу бесплатных API. Внутри аж 1511 штуки на любой вкус: от игр и погоды до финансов и здоровья

Забираем здесь ✌️

👉 @SQLPortal

SQL тренажеры для практики

- sql-academy.org
- sql-ex.ru
- schoolsw3.com
- SQL Fiddle
- sqltest.online
- Oracle LiveSQL
- stratascratch.com
- stepik.org (Интерактивный тренажер SQL)
- sql-practice.com
- pgexercises.com
- HackerRank
- sqlzoo.net

👉 @SQLPortal

Если увлекаешься технологиями, не пропусти True Tech Champ 21 ноября — масштабный ИТ-фест от МТС 🔥

В программе:

📝 доклады о технологиях будущего от экспертов в ИИ, включая руководителя фундаментальных исследований MWS AI Валентина Малых;
🛻 шоу-битва роботов со спецэффектами и сюжетной линией;
📝 воркшоп по работе с ИИ-агентами от канадского разработчика и автора книги AI Agents in Action Майкла Ланэма, кодинг-практикум с MWS AI и интеллектуальный спарринг с искусственным интеллектом;
◻️ 20+ площадок с активностями: IT-Родео, робофайтинг, лазерный лабиринт и многое другое.
🔴 А в завершение дня — афтепати со звездным хедлайнером.

Фестиваль бесплатный, он пройдет 21 ноября в Москве и онлайн.
Смотри подробную программу на сайте и регистрируйся — количество мест ограничено.

Postgres реализует MVCC с помощью метаданных транзакций на уровне каждой строки.

Каждая строка , которую ты вставляешь в таблицу Postgres, содержит xmin и xmax. xmin - это ID транзакции, создавшей строку, xmax - транзакции, которая обновила или удалила её.

Когда строка обновляется, Postgres не переписывает её на месте. Он создаёт новый tuple с полной копией данных. В старой версии ставит xmax равным ID транзакции, которая сделала апдейт, а в новой - xmin этой же транзакции.

Какую версию строки увидит транзакция, зависит от её собственного ID и уровня изоляции.
Этот механизм позволяет разным транзакциям видеть разные версии данных, что довольно удобно. Но есть и обратная сторона: старые версии строк накапливаются и раздувают таблицу. Чтобы очистить всё это добро, Postgres нужен VACUUM. Со временем приходится прогонять VACUUM (FULL) или использовать утилиты вроде pg_repack, чтобы вернуть место.

👉 @SQLPortal

Логирование медленных запросов в Postgres: ставишь log_min_duration_statement = '2s'

После этого в лог попадут все запросы, которые выполняются дольше двух секунд. Отличный способ быстро вычислить узкие места.

Предварительные условия: logging_collector должен быть включён (on), а log_destination настроен на stderr или другой приемник.

👉 @SQLPortal

Новый релиз duckdb получился мощным: завезли поддержку Iceberg для INSERT, UPDATE и DELETE.

duckdb можно встраивать куда угодно, так что его реально запускать прямо внутри Postgres, в Edge Functions, в API-серверах и в прочих местах.

👉 @SQLPortal