SELECT FOR UPDATE - как правильно использовать блокировку

В самом начале своего инженерного пути я работала с транзакциями в биллинге, и часто встречалась с дэдлоками при обновлении данных, но практически ничего не знала об устройстве процесса блокировок и тем более о том, как это можно отладить.

Тогда бы мне очень пригодилась эта статья, в которой супер понятно изложено в каких случаях какую блокировку использовать.

🤩При работе с транзакциями в PostgreSQL есть проблема «потерянного обновления» - это когда две транзакции понимают, что данные не изменились, читают одни и те же строки и обе пытаются их изменить одновременно. В итоге, одна перезаписывает изменения другой, и данные теряются.

Простой способ избежать этого - заблокировать нужные строки во время чтения, чтобы другие транзакции не могли их поменять или удалить. Для этого чаще всего используют SELECT FOR UPDATE:

sql
BEGIN;

SELECT * FROM orders WHERE order_id = 123 FOR UPDATE;

/* здесь логика обработки заказа */

UPDATE orders SET status = 'processed' WHERE order_id = 123;

COMMIT;

Таким образом гарантируется, что пока ваша транзакция не закончилась, никто другой не сможет обновить или удалить эти строки.

🤩 Но чаще всего операция SELECT FOR UPDATE избыточна и очень сильно влияет на производительность.

В PostgreSQL существует несколько режимов блокировок строк, которые влияют на параллелизм транзакций:

⭐️FOR KEY SHARE - самый мягкий режим, нужен для проверок ссылочной целостности (например, внешних ключей). Блокирует строку от удаления или изменения ключа, но позволяет обновлять обычные поля и разрешает другим транзакции читать данные под своей блокировкой.

⭐️FOR SHARE - блокирует строку для предотвращения изменений, позволяя читать с разделяемой блокировкой. Позволяет нескольким транзакциям одновременно читать данные, но никто не может их менять.

⭐FOR NO KEY UPDATE - блокирует строку так, чтобы никто не мог её удалить или изменить ключи, и дает эксклюзивное право обновлять неключевые поля. Почти всегда подходит для обычных обновлений.

⭐FOR UPDATE - самый жёсткий режим блокировки, блокирует строку полностью: эксклюзивное право на изменение или удаление строк. Использовать стоит только если вы меняете ключи или собираетесь удалять строки. При этом оставляет право читать ту же строку другим параллельным транзакциям, но только с помощью обычного оператора SELECT (без явных блокировок).

Что происходит, если использовать SELECT FOR UPDATE, когда достаточно FOR NO KEY UPDATE?

Получаются лишние блокировки, которые блокируют не только обновления, но и вставки в дочерние таблицы, если в базе есть внешние ключи. Это приводит к падению производительности, появлению тайм-аутов и дэдлоков.

🔥Ключевые конфликты:

🤩FOR UPDATE конфликтует абсолютно со всеми другими режимами, гарантируя эксклюзивный доступ для полного изменения или удаления строки.

🤩FOR NO KEY UPDATE конфликтует с другими FOR NO KEY UPDATE и с FOR SHARE, потому что FOR SHARE запрещает любые изменения строки, а FOR NO KEY UPDATE разрешает изменения неключевых полей. При этом, не конфликтует с FOR KEY SHARE - это ключевая особенность для повышения параллелизма.

🤩FOR SHARE конфликтует с режимами обновления (FOR UPDATE и FOR NO KEY UPDATE), поскольку его цель - гарантировать, что строка не изменится вообще.

🤩FOR KEY SHARE конфликтует только с FOR UPDATE, потому что FOR UPDATE может включать удаление или изменение ключевых полей, что запрещено режимом FOR KEY SHARE.

Также приложила к посту алгоритм выбора уровня блокировки от автора статьи.

©️что-то на инженерном

Книга для аналитика

Я пошла на курс для подготовки к собеседованиям, потому что четко заметила за собой полное отсутствие понимания метрик для бизнеса и других связанных с тестированием гипотез тем.

Книги по аналитике я обычно не читаю - смотрела только видео на ютьюбе, но каждый раз я забывала абсолютно всё, да и какого-то четкого понимания так и не сложилось.

На курсе после лекций и семинаров появилась хорошая база и я потренировалась на кейсах. Уже хвалила курс - до сих пор рада, что учусь на нем и на следующей неделе он уже закончится, к сожалению:(

Я вам обещала книгу - делюсь. Посоветовали на курсе и многие однокурсники, как оказалось, ее уже читали и тоже хвалили.

Взяла себе в твердом переплете - и вам советую, потому что книга может вам еще пригодиться для повторения тем перед собеседованием. Но вроде бы есть слитая…

Интересная, читается легко и конечно - же она не только про игры, а в целом смысл можно экстраполировать на другие приложения.

Про метрики и суть аналитики подробно, понятно и интересно. Я эту книгу взяла с собой и рука действительно потянулась к ней. Похожа на учебник, но современный. Мне помогла начать осмыслять вообще в целом концепцию аналитики продукта и работу с данным более глубоко на уровне бизнеса. Да, почти 4 года работала и меня это не интересовало🤔

🥁И это:🥁

«Игра в цифры» Василий Сабиров

Короче - рекомендую. Читали?

Привет всем!👋

Неожиданным (даже для меня) стало наличие записи моего выступления с IT-Сеанс.

Так что вашему вниманию предлагается серьезный Андрей (в пиджаке) и менее серьезная презентация (с котами) про серьезные вещи, которые мы делаем на работе.

Бегом смотреть!

👉Ссылка на видео👈

Кстати, вся информация по школе и другие материалы доступны по ссылке.

#мероприятия #видео

✅ Поговорим про p-value

Многие аналитики знают формулировку, хотя встречаются кейсы, когда люди путают понятия, предыдущий пост

👍 Правильный вариант:

p-value — это вероятность получить наблюдаемое или более экстремальное значение статистики, если нулевая гипотеза верна (не отклонена).

👎 Неправильный вариант, интерпретаций встречается очень много:

p-value — это вероятность, что нулевая гипотеза верна
p-value = вероятность, что результаты случайны
Чем меньше p-value, тем больше вероятность, что гипотеза H₁

🥳 Окей, вроде бы понятно, а как это прочувствовать или почему мы вообще ссылаемся на p-value?

❓ Мы не знаем, где именно начинается отклонение от нормы, поэтому смотрим не только на наш результат, а и на все, которые встречаются ещё реже и сильнее отличаются. Так мы понимаем, насколько результат действительно выбивается из обычных случаев, а не просто совпадение.

Самый простой вариант: это показать, что монетка нечестная (например, мы подбрасывали 10 раз монетку, 9 раз выпал орел).

H₀ (нулевая гипотеза) — Монета честная, то есть орёл и решка выпадают с равной вероятностью 50/50. p = 1/2
H₁ (альтернативная гипотеза для орлов), можно проверить одностороннюю гипотезу , тогда p > 1/2 или p != 1/2 (двустороннюю)

⚠ В данном примере мы будем проверять одностороннюю гипотезу.

В этом случае биномиальное распределение описывает все возможные исходы количества орлов и решек при подбрасывании монеты.

👀 Например, 9 орлов из 10 могли выпасть в любом порядке: и в первых 10 подбрасываниях, и вперемешку с решками. Биномиальное распределение как раз учитывает все комбинации, при которых общее число орлов равно 9, независимо от последовательности их выпадения.

👨‍🔬 Общая формула биномиального распределения:

P(X = k) = Cn^k * p^k * (1-p)^(n-k)

Эта формула показывает вероятность того, что при n подбрасываниях монеты орёл выпадет ровно k раз.

где:
n — количество подбрасываний (в нашем случае 10),
k — количество орлов (успехов),
p — вероятность орла (для честной монеты 0.5),
Cn^k (сочетания из n по k) — число способов выбрать, в каких бросках выпадет орёл.

💡 Тогда при верной H₀ подставляем вероятности p = 1/2, считаем а какая вероятность получить такие же или более экстремальные значения статистики

Считаем P(X=9), P(X=10) и складываем их между собой.
Получаем p-value ~ 0.01074

🔽 Далее, полученное значение p-value мы сравниваем с уровнем значимости.

1️⃣ Если p-value > alpha, не отвергаем H₀, говорим что монетка честная на уровне значимости alpha.
2️⃣ Если p-value < alpha, отвергаем H₀, говорим что монетка нечестная на уровне значимости alpha.

На уровне значимости 0.05 мы можем сказать, что монетка нечестная, на уровне значимости 0.01 результат на грани, но мы не можем отвергнуть нулевую гипотезу.

🙊 А вообще самый сок, это объяснить бизнесу, что такое p-value, мне кажется, это даже можно спрашивать на собесах. Именно не само определение, а как бы вы простым языком на абстрактном примере рассказали продактам, что это такое и почему мы на это смотрим. Интересно почитать будет ваши комменты.

Ставьте 🐳, если пост зашел, делитесь вашими интерпретациями p-value простым языком!

@zasql_python