📻 Решил сделать цикл статей по книге своего коллеги из СБТ Комарова Владимира.

📙Книга "Путеводитель по базам данных". — М.: ДМК-Пресс, 2024. — 520 с. ISBN 978-5-93700-287-7

PDF версия доступна бесплатно на сайте PostgresPro.

🚀 Часть 1. Классификация баз данных 🚀

Первая часть книги посвящена истории СУБД и вызовам, с которыми сталкивались разработчики. О том, как менялась модель данных, и как компании справляются с современными бизнес-вызовами. Написано все простым и доходчивым языком. Примеры мне показались очень жизненными. Например,

Пенсионный фонд России генерирует для каждого гражданина девятизначный суррогатный ключ — СНИЛС (страховой номер индивидуального лицевого счёта). В то же время для любой базы данных, эксплуатируемой вне ПФ РФ, СНИЛС уже является бизнес-ключом, поскольку поступает в систему извне.

Получилась довольно краткая история. Однако все главные "поворотные точки" были обозначены.

На своих лекциям я стараюсь дать больше информации. Однако, недавно поговорил про историю СУБД с одним из ИТ-архитекторов и его монолог занял почти 4 часа 😱! И то мы не всё обсудили. Иными словами, про историю СУБД можно написать отдельную книгу или даже цикл книг, т.к в разных государствах ИТ-инновации внедрялись по своему уникальному пути.

Первая часть завершается "Картой баз данных" - попыткой всё классифицировать. В целом, она довольно полезна, но,как сказал автор, все это очень условно. Многие базы данных сейчас совмещают в себе работу в нескольких режимах. Жмак, Жмак, ты получил транзакционную реляционную OLTP-СУБД. Жмак, жмак, и у тебя получилась аналитическая OLAP-СУБД с хранением с оперативной памяти. Многие вендоры стремятся сделать свой продукт универсальным. И это вполне практичный и денежный подход.

Прощай осень! Скоро зима и Новый Год! Ура!

С пятницей!

#mems

🍀🗿15-16 ноября прошла конференция ежегодная Merge в Сколково.

Мне повезло раздобыть бесплатный билет. Так он стоит 25 тыс. Или 35 за "всё включено". После 20:00 (вечеринка). 🍻

Народ собрался со всей страны! 💪 Мне показалось, что из МСК было совсем чуть-чуть народа. Большинство именно бизнесменов, коучей, менеджеров из регионов.

Докладов реально очень много! Выбирай, на любой вкус.
Меня зацепил трек по ИТ-аутстафф, DevOps и ряд других...

❇️ Общее впечатление:
Сколково - очень крутое! Помещение зачетное! Очень просторно, прогрессивно и богато 🤯 💰🔊
Если говорить, про организацию, то тут наоборот всё бедно. Совсем бедно.💸 Угощений не было совсем. Обед тоже за свой счет в иных помещениях Сколково. Пространство под стенды партнеров тоже немного. Все стенды очень маленькие. Мерча - почти нет. Совсем копейки. Аудитории с докладами и сама съемка, тоже смотрелась очень бюджетно. Презентация на телеке, видеосъемка на домашнюю камеру и т.п.

❇️ Про доклады:

🚀 Я прослушал весь трек по ИТ-аутстафф и был немного разочарован. Темы докладов довольно интересные, но информация в них очень сухая и для меня оказалась бесполезной.😵‍💫 Спикеры рассказывали всё на "серьезных щах". Хотя сама специфика бизнеса очень смешная и забавная 😏. Мы "растим" или "подбираем с улицы" народ, затем делаем красивую упаковку и продаем заказчикам. Всё. Проституция и публичные дома вышли на новый уровень! Но никто про это не шутил... Где пурпурные шубы, золотые цепи и гламурные туфли? 🤹‍♀️🎭 Эх...ушла эпоха

🚀 Крутой был доклад про DevOps от Сергея Задорожного. Мощный спикер, веселый и интересный. С таким человеком дружить очень круто и полезно. Взял у него контакт. Лучше выступление на всей конфе! 💎

🚀 Второе место по крутости (преимущественно из-за темы) "Как токсики типа тебя убивают команды", Александр Сенотов. На докладе был аншлаг! Народ забил всю аудиторию и еще куча человек слушала доклад из коридора! Отличный пример того, как крутая тема привлекает народ. Доклад начался бодро с массой хороших шуток про токсиков. Затем автор перешел на "серьезные рельсы". Токсики, разрушают команды... Многим работникам требует психотерапия и т.д. Есть ряд простых тестов для определения токсика в себе и если они оказались положительными, то...пора лечиться 💊. Итоговые мысли следующие:
👉 Если вы видите токсичного человека, то "лечение" нужно начинать с себя, т.к. токсичность - заразная болезнь.
👉 Психотерапевт товарищ нужным всем. Ищите своего.
👉 Имейте уважение к себе и уходите с проекта, если вы испытываете страх и недоверие.

Примерно так закончилась для меня конференция. На второй день я не пошел, т.к. ехать до Сколков 2 часа, мерча там нет, докладов про СУБД тоже нет.

p.s. взял контакты нескольких спикеров для генерации тем научных работ на следующий учебный год 🤝

Вот и наступило 2 декабря! 🌲

Первый день конференции HighLoad++ 🎉
Это означается куча новых впечатлений, активностей и МЕРЧА! Весь год ждал этого события! 🎁🎁🎁

Буду в первых рядах! 👀

(Продолжение поста 1)

Книга "Путеводитель по базам данных". — М.: ДМК-Пресс, 2024. — 520 с. ISBN 978-5-93700-287-7

🚀 Часть 2. Доступ к данным 🚀

Пожалуй, это самая объёмная часть книги.

❇️Общее впечатление.
На хорошем уровне изложены все современные концепции доступа к данным. Как к диску, так и к оперативной памяти. Рассказано про B-деревья. Это некий золотой стандарт проектирования СУБД до 2000-х.

В 1996 году в MIT была предложена новая концепция хранения и доступа к данным - LSM-дерево. Именно эта концепция лежит под капотом множества молодых СУБД. Также рассказывается про концепцию того, что СУБД - это модульная система (хотя явно не говорится об этом). По сути, многие современные СУБД, такие как CockroachDB, в себе объединяют другие СУБД (ранее RocksDB, ныне PeebleDB). Большая СУБД стоится на базе более мелких.

Огромный плюс книги в том, что разобраны разные алгоритмы по работе с дисковой подсистемой в разрезе различных СУБД. Книга даёт ясно понять, что каждая СУБД по сути уникальна и использует свои уникальные алгоритмы. Про вариацию реализации стандартных алгоритмов я промолчу.

"По верхушкам" разобран поиск данных и даны основы оптимизации запросов и анализ планов запросов. Это ни в коем случае не минус. Это даже плюс книги - что вообще такие темы затрагиваются. Это "кишки" СУБД и они могут разительно отличаться от продукта к продукту. Поэтому существуют отдельные книги по конкретной СУБД и целый ряд книг по оптимизации. Названия подтем главы 4 можно отнести к списку особенностей, которые надо изучить разработчику при анализе новой СУБД в проекте.

Книга оставляет пока только положительные эмоции 🤳Продолжу чтение... 🤓

🏓 Уже традиционная Онлайн-конференция YaC/e от Яндекса про образование

Она проходит в аккурат после конференции от СберУнивера "Больше, чем образование". Рассказ про неё тут и тут.

Я только в этом году увидел почти прямую взаимосвязь между ними. Понятно, что все будут говорить про ИИ. ИИ-агенты, ИИ-ассистенты, ИИ-учителя и т.п. Тут всё очевидно. Однако...

Напомню, что в этом году СберУнивер главной темой 2024 года сделал искусство и творчество (скульптура, живопись, музыка, ковка и т.п.).
В программе YaC/e 2024 увидел аналогичные темы:
👉 Третье место для образования: где его найти
👉 Межкультурные компетенции: зачем этот скил и как он помогает в работе
👉 Творческие люди XXI века: на стыке искусства и технологий
👉 Инженеры и эмпатия: как метанавыки двигают мир технологий

Многие другие доклады получили свое "продолжение" (или "повторение") на YaC/e. Забавно, что все говорят про одно и тоже.

Главный плюс YaC/e в том, что количество докладов в разы больше. У СберУнивера их 10, а тут почти 30.

❗Про доклады...
Хотелось бы разобрать какие-то доклады, но... ничего интересного не оказалось. Даже провокационные темы по итогу ни к чему не привели.
Всё очень поверхностно, и не более того. Сплошное разочарование. Приведу такой пример.

❇️Доклад: Сотрудничество вузов и корпораций: зачем разработчику магистратура.

Ведущий задаёт вопрос:
В: назовите инновацию БигТеха в образовании. Что вы делайте не так, как все?

О1: Мы можем круто оценить знания.
О2: У нас студентоцентричность
О3: У нас студентоцентричность, а еще и наши задания тесно связаны с рабочими задачами.

Всё максимально размыто и непонятно. Инновация БигТеха - оценка знаний и студентоцентричность? Серьезно? Это "фишки" ваших магистратур? Для кого эти ответы? Вас смотрят студенты, и подобные ответы никак не мотивируют поступать именно в вашу магистратуру.

Возможно, для молодых умов и новой аудитории эти доклады и зайдут, но для меня - совсем ничего полезного.

Ладно, посмотрим, что будет в следующем году 🤔

Приколы версионирования продуктов!

С пятницей!
#mems

🔥3 декабря закончилось двух дневное приключение по конференции HighLoad++ в Москве.

Уже скоро на Habr'е появится мнение коллег и журналистов о прошедшем событий. Пока поделюсь своими впечатлениями.

❇️ В очередной раз я заявляю, что это лучшая конференция в году для ИТ-специалистов в Москве🥇🏆! Все остальные мероприятия меркнут на общем фоне. Огромное количество людей! Спонсоры, спикеры и просто обычные посетители (готовые отвались 100к рублей за билет 💰). Более 13 треков с докладами на любой вкус!😋 Сумашествие по количеству информации. 🤯 Чтобы у народа не пухла голова присутствую десятки компаний со стендами и активностями на них. Можно отдохнуть и расслабиться по полной.

Я большой фанат различного мерча, но в этом году как-то скудненько вышло.🥺 Из крутого я выиграл огромного плюшевого питона, колонку SberBoomHome и всё на этом. Остальное мелочевка. Меня в самое сердце убил стенд Сбера 💔. В этом году они полностью отказались от мерча и просто сделали 5 настольных игр для посетителей. Работники стенда во время игр рассказывали как круто работать в Сбере... Жесть. 😨

Слава богу Gitverse и SberDevice меня искренне порадовали и огромный респект компании Островок за питона.

Самое ужасное (для меня лично), что было много докладов без записи! 📹🚫Если тебе повезло попасть на доклад, супер! Если нет, то извини...🤷‍♂️ Это конечно сильно напрягает. Я только на второй день конференции догадался диктофон включить💡. Самое главное, что контакты нужных спикеров я взял. Осталось только "обогатить" мои курсы их актуальными знаниями. 🙇‍♂️

В следующих несколько постах постараюсь дать некоторые инсайды от коллег, которые входят в разряд "слухи" или "сорока на хвосте принесла" 🤔🪬👽

#HighLoad

📜 Доклад от 2 декабря "Нетворкинг-зона «Базы данных и системы хранения»" (🚫🎥).

Было 4 стола с экспертами от Picodata, YDB, PostgreSQL, MySQL(MariaDB, MyDB). Удалось послушать только один стол с Picodata'ой. С экспертом Константином Осиповым. Что было на других столах - загадка... 🤷‍♂️

Несколько интересных тезисов:
❗️СУБД Tarantool была создана для того, чтобы уволить всех С/С++ программистов из Мэйл.ру. Эта СУБД предоставляет множество переиспользуемых кусков кода и достаточно посадить "перловика" для дальнейшей разработки на LUA. Как вы понимаете, ничего не вышло.

❗️Одна из главных проблем framework Jepsen - высокая стоимость обнаружения ошибок. Очень много времени и ресурсов тратится на обнаружение проблем работы кластера.

❗️Имплементации алгоритма ACCORD пока нет. Но обещают дожать...

❗️Хорошая команда по разработке СУБД стоит 500 млн. в год💰.Если вы не занимаетесь "консалтингом по Postgres", то этой суммы достаточно для развития продукта в правильном направлении.

❗️Нужно составлять грамотный роадмап развития продукта, а не заниматься "фигнёй"🤬. Это довольно простой тезис, но он практически никогда не работает. 🙃

❗️У VK есть своя реализация Jepsen на GO.

❗️Если ты делаешь хорошо достаточно уникальную вещь, то у тебя всё должно получиться.

❗️Сопровождение СУБД Picodata с кластером на 3000 ядер стоит 40 млн в год 👀. Однако, многие "крупные" компании содержать в штате более 160 человек, которые пытаются сделать что-то аналогичное. Пример, Сбер. Сберу прощу посадить тех же 160 человек пытаться изобрести велосипед еще раз, чем позволить какому-то вендеру с гораздо большей экспертизой вырасти. Эта одна из главных проблем рынка РФ. Не хватает зрелости...

❗️Picodata к концу 2025 года должна смочь тягаться с такими СУБД как Cassandra или ScyllaDB в кейсах быстрой хранилки данных с поддержкой SQL 🦾.

❗️Picodata находится в списке особозначимых проектов РФ. Важно, чтобы государство знало о проекте.

В финале всем советую посмотреть выступление Константина пару лет назад об "Истории развития Tarantool со слов Константина Осипова"

#HighLoad #Доклады_без_записи

📜Секция нетворкинга в отдельном зале Picodata (🚫🎥).
Серия докладов по Picodata. Презентации можно глянуть тут

Попробую аккумулировать итоговые тезисы:
❗️Кластеро-ориентированная архитектура лежит в основе Picodata.

❗️Почти все тесты идут на произвольной конфигурации кластера.

❗️Picodata выбирают исключительно для новых проектов. Проектов миграции у команды Picodata пока не было.

❗️Добавили поддержку SQL и Postgres-протокол.

❗️В начале 2025 года планируется полноценный драйвер для DBeaver.

❗️Сотни инстансов в кластере и максимум 5 в голосующих узлах и всего 1 лидер.

❗️Picodata обладает двумя движками memtx (для данных в ОЗУ) и vinil (для данных на диске).

❗️Количество виртуальных бакетов (bucket) всегда фиксировано и равно 30 000. Это позволяет минимизировать затраты на решардинге и при поиске информации в нужном бакете.

В заключение скажу, что в грядущем запуске курса по базам данных в 2025 году точно будет Picodata. Обязательно разберем теорию и пощупаем кластер на практике! 💯 Надеюсь, будет интересно! 😊

#HighLoad #Доклады_без_записи

🚀 Если кому-то сегодня скучно, то есть вариант глянуть от Яндекса Database Internals Meetup #5 (офлайн + онлайн): 5 докладов на конференции ISPRAS Open

❗Трасляция в ВК❗

Программа митапа будет плотной и насыщенной:
- 13:00 - 14:00 - Эволюция архитектуры СУБД на примере YDB, Андрей Фомичев, Яндекс, основатель и руководитель YDB
- 14:00 - 15:00 - Blue/green deploy для хранимых процедур в кластерной СУБД на примере Picodata, Константин Осипов, Picodata, основатель Picodata
- 15:00 - 16:00 - Оптимизация подсказками: ускоряем запросы, не изменяя планировщик. Сергей Зинченко, OpenGauss, Инженер
- 16:30 — 17:30 Панельная дискуссия: Перспективы создания модульного оптимизатора запросов. Павел Велихов, Владимир Озеров, Денис Пономарёв, Тимур Сафин, Максим Смяткин
- 17:30 - 18:30 - Переписывание запросов на основе материализованных представлений в аналитической системе CedrusData. Владимир Озеров, Александр Блажков, генеральный директор и разработчик CedrusData

Работа, учеба, экзамены, дедлайны...

Не забывайте кушать! С пятницей!

#mems

📜 Еще одна интересная секция "без записи" devhands.io ROOM (🚫🎥).

Название докладов просто бомба:
👉 Кто сможет в 1M RPS? В забеге участвуют: Valkey, Redis, Memcached, PostgreSQL, MySQL
👉 Корпоративное обучение в области высоких нагрузок: подход devhands
👉 Карта роста бэкендера
👉 Valkey: что это за зверь и потеснит ли он Redis?
И это только некоторые из них.

Все лекции и практики, в основном, проводим сам Алексей Рыбак, основатель devhands.io. Очень крутой специалист. Помимо всего того, чем занимается его компания, у него есть свои уникальные обучающие курсы для middle и более серьезных специалистов. "Джунов" он не обучает.

Презентации можно глянуть тут.

Основные тезисы, которые меня зацепили.
☄️ Обучение по программам DevHands очень гибкое. Если теория "плюс-минус" стандартизирована, то практические задания (ДЗ) создаются уникальные под каждого слушателя. Как я понял, перед началом курса они проводят собеседование и согласовывают набор практических заданий, т.к. техстек может сильно отличаться от компании к компании.

☄️ Сейчас Valkey почти не отличим от Redis.

☄️ Valkey нужно еще 2-3 года, чтобы продукт "созрел". Слишком много радикальных идей его развития по сравнению с Redis. Перспективы явно есть. Главное, чтобы в попытке добавления всеми желаемой многоядерности не получился второй DragonFly.

☄️ Товарищи из Яндекс.Облака потихонечку переходят с Redis на Valkey.

☄️ Исследователи из мира HighLoad и распределенных систем всё чаще смотрят на индустриальные кластерные СУБД. Такие продукты как Picodata или Shardman, возможно, являются будущим стандартом.

#HighLoad #Доклады_без_записи

📚Статья: Valkey: что нового и что дальше?

Напомню, что проект Valkey появился вследствие перехода СУБД Redis на другую более строгую лицензию, которая фактически запретила бесплатно использовать Redis облачным провайдерам. Хотите "перепродавать" возможности Redis своим клиентам - дайте денег. Компанию Redis labs можно понять.

Тем не менее, разработчики облачных провайдеров объединились вокруг проекта ValKey и начали его активно развивать и совершенствовать.
👉 Одной из главных фич является внедрение так всеми желанной многопоточности.
👉 В скором времени появится возможность активно взаимодействовать с JSON объектами. Не просто get/set, а добавить полноценные операции по изменению структуры документа.
👉 Эти изменения мы увидим уже в 2025 году в версии 8.0.
👉 Затем добавят вероятностные структуры данных, фильтры Блума.
👉 Уже ближе к 2026 году, а может и раньше, обновят кластерный механизм взаимодействия.

После прочтения статьи уважение к проекту Valkey возросло в разы!💪 Сообщество Redis настолько разрослось, что вполне способно поделиться надвое и продолжить развивать два независимых проекта. Очень здорово, что главные котребьютеры стремятся обновить уже устаревшие подходы. Дело даже не в многопоточности, а именно в работе кластера. Посмотрим, что они придумают 🤔

Буду активно следить за этим проектом. Возможно, через год в своих лекциях заменю Redis на Valkey. Хочу подождать мнения экспертов нашего рынка по работе Valkey в продакшен системах.

#NoSQLFM #Valkey

Кейс использования K6 в Picodata

Внутри эко-системы Grafana Labs есть инструмент для нагрузочного тестирования k6. Он немного странный (прожорливость, автоматизация на ява-скрипте, паралеллизация не по тредам/соединениям, а по параллельным пользовательским сессиям whatever it means). Но он становится всё более популярным, и выглядит мощно в плане кастомизаций. Кейс про то, как Picodata прикрутили k6 к тестированию своей СУБД.

Лонг-рид: https://habr.com/ru/companies/arenadata/articles/864974/

Ниже - краткое саммари (кстати, как вам промт?)

Кому будет интересна статья
* Гошникам
* Разработчикам распределённых систем и баз данных.
* Инженерам по нагрузочному тестированию.
* Специалистам, занимающимся построением инфраструктуры тестирования производительности.

Статья посвящена подходу компании Picodata к нагрузочному тестированию распределённых баз данных (NewSQL СУБД). Рассматриваются проблемы, с которыми сталкиваются разработчики таких систем, и выбор инструментов для создания практики тестирования производительности. Основное внимание уделяется созданию собственного решения — системы Picostress, основанной на инструментарии k6.

Используемые продукты и решения
* Picostress - разработанный инструмент для нагрузочного тестирования.
* Go - язык программирования, на котором написан весь код Picostress, а также k6
* k6 - утилита для создания нагрузочных тестов, поддерживающая выполнение скриптов на JavaScript.
* xk6-модуль: расширение для k6, реализованное для взаимодействия с Picodata через её нативные протоколы (iproto и pgproto).
* Cobra - Go-библиотека для создания CLI-приложений, использованная для создания обёртки вокруг k6.

Основные выводы
* Среди множества утилит для нагрузочного тестирования именно k6 оказался наиболее подходящим благодаря гибкости, расширяемости и поддержке пользовательских сценариев.
* Наиболее интересные особенности k6: интеграции в CI/CD процессы, создание сложных сценариев тестирования на JavaScript, поддержка постоянной нагрузки (constant throughput load) с учётом проблемы coordinated omission.
* Разработка собственного модуля: В Picodata был создан xk6-модуль для взаимодействия с нативными протоколами системы, что позволило реализовать нагрузочное тестирование, учитывающее специфику распределённых систем.
* Автоматизация и адаптивность: Picostress, основанный на k6, стал не только инструментом тестирования, но и ключевым элементом мониторинга и оптимизации производительности для каждого релиза продукта.

📚 Как вы думайте, какая книга по распределенным системам самая популярная среди ИТ-специалистов в РФ?

На каждом собеседовании на GO-разрабочика, ИТ-архитектора, аналитика данных, дата-сатаниста задаётся вопрос на знания из этой книги. Да, да да. Я говорю про "Designing Data-Intensive Applications" или на русском "Высоконагруженные приложения" или просто "Кабанчик".

Автор книги, Мартин Клеппман, начинал ее писать уже порядка 10 лет назад, а издана она была в 2017 году. Эта книга стала чуть ли не иконой для многих разработчиков! 🙏🧎 По до сих на многих конференция, митапах, форумах это книга всегда присутствует и её покупают в печатном издании.

Из минусов можно отметить то, что она теряет свою актуальность. Мир движется вперед с невероятной скоростью. Это понимаю я и это понимает сам автор.

Та-та-та-дам...Мартин Клеппман в соавторстве с Chris Riccomini, который работал в PayPal, LinkedIn, WePay, создал Apache Samza и SlateDB, а также написал книгу "The Missing README", начали писать 2-ое издание Кабанчика! 💥

Уже можно глянуть первые главы
1. Trade-offs in Data Systems Architecture
2. Defining Nonfunctional Requirements
3. Data Models and Query Languages
4. Storage and Retrieval

Полностью книга будет готова к следующему новому году.

В общем, рекомендую почитать на новогодних праздниках. За один-два вечера контент можно усвоить и прокачать свои знания!

#book #Architecture #DistributedSystems

Цените ваших коллег!

С пятницей!

#mems

Провокационная статья: Elasticsearch был великолепен, но за векторными базами данных будущее

Поисковые СУБД и векторные прекрасно справляются с задачами семантического поиска. Вопрос, какая лучше?

Так как статья написана Jiang Chen (руководителем платформы разработки ИИ в компании Zilliz (разработчик векторных СУБД), поэтому о безусловном доверии речи быть не может. Однако, это прекрасно тема для научной работы. Она может звучать так: "Сравнение поисковых и векторных СУБД в задачах семантического поиска".

Думаю студентам МФТИ вполне по силам раскрыть эту тему! 😈

Продолжение постов 1 и 2.

Книга "Путеводитель по базам данных". — М.: ДМК-Пресс, 2024. — 520 с. ISBN 978-5-93700-287-7

🚀 Часть 3. Архитектура СУБД 🚀

Благо часть не особо большая, но полезной части весьма много.


❇️Общее впечатление.
Всё начинается с рассказа о транзакциях. Вводится терминология ACID. Последнюю букву "D" автор раскрывает целым разделом о журналировании. Если начался разговор про транзакции, то и про блокировки нельзя забывать. Логическим завершением рассказа о транзакция является тема с версионированием данных и технологией MVCC. Очень здорово, что автор описывает разницу в реализациях MVCC в зависимости от СУБД.

Пора поговорить про экземпляры и базы данных. Во множестве литературы по СУБД эти термины являются то синонимами, то совершенно разными понятиями. Разницу можно почувствовать только по контексту. Приведу пример автора.

Экземпляр (instance) — набор ресурсов операционной системы, выделенных
для работы с общими данными в памяти и на диске. Экземпляр состоит из процессов и области памяти, общей для всех процессов.

База данных (database) — это набор логически связанной информации, хранимой в электронном виде. В подавляющем большинстве случаев это означает набор файлов, однако иногда это могут быть данные на «сырых» устройствах или
набор произвольных объектов в объектном хранилище S3.

Разница:

Один экземпляр может обслуживать несколько баз данных, и наоборот —
несколько экземпляров могут обслуживать одну и ту же базу

Темы ACID и MVCC очень интересные, важные и даже необходимые для понимания работы СУБД. Транзакции есть в подавляющем числе СУБД. В каждой из них разработчики реализовывают их по своему вкусу. Если есть желание поглубже копнуть, то можно начать со списка литературы, который приведен к каждой главе. Затем почитать книжки по конкретной СУБД и для со всем хардкорщиков есть официальная документация! 😜

Продолжение постов 1, 2 и 3.

Книга "Путеводитель по базам данных". — М.: ДМК-Пресс, 2024. — 520 с. ISBN 978-5-93700-287-7

🚀 Часть 4. Распределённые базы данных 🚀

❇️Общее впечатление.
Традиционно всё начинается с изучения CAP-теоремы и PACELC (читается как "pass-elk", "пропусти-лося" 🫎 ). Если кто-то подзабыл, что это такое, что обязательно освежите в памяти. Затем автор согласно классификации разбирает каждый отдельный класс распределенных систем. Отдельно хочу выделить подробный обзор класса CA-систем. Прочие авторы незаслужено пропускают объяснение этого класса, а тут выделено целых 10 страниц! Обязательно включу эту информацию в свой курс!

Если пошла тема про распределенные системы, то обязательно надо рассказать про протоколы консенсуса.

Paxos. Multi-Paxos. Raft. Zookeper Atomic Broadcast.

Затем автор переходит к небольшому (на мой взгляд) обзору распределенных транзакций. Вводится понятия согласованности, кворума и версионирования. В заключение этой части автор приводит список систем, где разработаны свои уникальные механизмы функционирования на основе разобранных подходов.

Начав читать главу "Изменение данных в распределённых системах" меня посетила мысль, что полезной информации тут так много, а выделенного академического времени так мало 🥲. Надо обязательно написать факультатив на будущий год "Распределенные СУБД" 🫨. Целую дисциплину посвятить распределенным СУБД 😵‍💫. Сделать теоретический обзор, рассказать об области применения и разработать классный практикум по созданию кластеров и генерации соответствующей нагрузки. Сейчас я уделяю слишком мало времени этому направлению. Хотя в этом учебному году во втором семестре мой курс будет с упором на распределенные СУБД. Я и мои коллеги расскажем про СУБД Pangolin, СУБД Shardman, СУБД YDB 🧨🚀. Думаю это станет прекрасной основой для выделения этих знаний в новую дисциплину для тех кто желает еще глубже погрузится в мир распределенных систем. 💪