📻NoSQL FM
Казалось бы, только недавно мы привыкли считать, что современные СУБД - это не просто база данных, а еще и сервер приложений со своими уникальными фишками. Но никто не думал, что можно двигаться в противоположную сторону - в сторону операционной системы.

Статья, в которой разбирается концепция СУБД/ОС как единого механизма.

Концептуально - идея ТОП. Осталось только собрать народ и протестировать новую архитектуру на соответствие современным стандартам рабочих нагрузок.

"Немного юмора в чат" (с)

#mems

Не смог пройти мимо и не прочесть статью на любимом Хабре от товарищей из YDB: Когда одного Postgres'a мало: сравнение производительности PostgreSQL и распределенных СУБД

Всегда интересно, когда народ сравнивает производительности распределенных систем. Мне очень симпатичен CockroachDB, хотя я с ним никогда не работал. Почему-то доклады по этой СУБД вызывают у меня бурный интерес. Аналогичные чувства у меня и к ScyllaDB.

Несмотря на то, что статья классифицируется хабром как "сложная", написана она довольно понятным языком. Вообще, автор молодец. Я прочел статью практически на одном дыхании. Хотя мне не хватило каких-то более глубоких выводов. Как-то поверхностно получилось: "Постгрес - отличное решение, пока не требуется горизонтальное масштабирование. CockroachDB и YDB - хороши во всем".

🗓8-9 апреля проходит конференция PGConf.Russia 2024.
Организатор - компания Postgres Professional. По счастливому совпадению, место проведения конференции - Бизнес-центр «Рэдиссон Славянская». Да-да, то же место, где проходят конференции ВБА и IFIN, на которых я бываю каждый год.

✅День 1.

➕Из плюсов:

Еда 🍱 - безусловный плюс. Всего много, и качество отличное. Обед был очень неплох 👌. Фуршет под конец первого дня был просто волшебным! Много горячего, бургеры, шашлычки, роллы, салаты, пироженки, муссы и многое другое🥂. И вишенкой на торте - живая музыка. Очень круто!

Стенд СУБД Pangolin. Один из самых крутых стендов. Мерча было немного, но кое-что удалось урвать. Главным для меня было познакомиться и пообщаться с разработчиками ✅ - думаю включить эту СУБД в мой курс по базам данных в следующем году. Ах да, там же был розыгрыш умной колонки Сбера. Угадайте, кто выиграл? Да, это был я ) чистое совпадение )) никакой подставы )))

Заполучил книжку Мониторинг PostgreSQL с автографом автора Алексея Лесовского.

➖Из минусов:
Тьма народу, которым было явно тесно на конференции. Хотя после 17 часов народ рассосался, но всё равно. Например, на доклады, которые стартовали ровно в 15 часов, не было мест! Все залы были забиты людьми. Народ сидел на лестницах.

Мало времени было уделено секции Q&A. Чаще всего её просто пропускали. То ли докладчики не помещались в тайминг, то ли организаторы напутали с расписанием.

Я посетил следующие доклады:

❗PostgreSQL 17 - спикер Павел Вениаминович Лузанов.
В целом, ничего особо интересного. Доработали тут, доработали там. Ничего важного мне не запомнилось. Сложилось впечатление, что доработали то, что было внедрено еще в 16 версии. "Довели до ума".

❗Про-Shardman - спикер Алексей Евгеньевич Борщев
Рассказ о Shardman, какой он классный и что умеет. Тоже какой-то проходной доклад. Проще было задать вопросы у стенда Shardman и получить ответы.

❗Консистентность в распределенных системах на базе PostgreSQL - спикер Никита Сергеевич Печёнкин.
Этот доклад более интересный - про виды консистентности и изолированности. В открытом доступе единственным инструментом тестирования распределенных систем является Jepsen. Товарищи из Shardman адаптировали тесты под свою СУБД и нашли ряд проблем, сейчас активно их решают.

❗Безопасность баз данных - Владимир Иванович Комаров, СберТех (разработчик СУБД Pangolin).
Один из лучших докладов! Очень четко и по полочкам разложил все функции по обеспечению безопасности, которые внедрены в Pangolin. У меня прям вопросов не осталось. Очень круто.

❗Оптимизация OLTP-нагрузки - Сергей Новиков.
Второй по значимости доклад. Безумного интересно, как в компаниях DBA занимаются оптимизаций на уровне СУБД. Можно почерпнуть кучу лайфхаков для себя. Как только выложат видео докладов, сделаю отдельный пост.

❗Мониторинг и алертинг большой инфраструктуры - Алексей Сергеевич Светличный от Тинькофф.
Казалось бы, тоже должен быть интересный доклад, и поначалу так оно и было, но... в итоге можно сделать такой вывод: Тинькофф с помощью разных команд разработчиков создали несколько доп.систем, которые в совокупности решают задачи мониторинга и аллертинга. Единственное, что полезного я вынес: все метрики и способы сбора метрик у них вполне стандартные. Ничего сверхнового или необычного нет.

Очень жду 2-ого дня конференции. Фотки выложу чуть позже отдельным постом.

🗓 8-9 апреля проходит конференция PGConf.Russia 2024.
PGConf.Russia – международная техническая конференция по открытой СУБД PostgreSQL

✅День 2.

День для меня начался беседой с коллективом стенда Pangolin. Говорили про обучение специалистов и студентов в разных ВУЗах. К разговору подключился Владимир Комаров, автор книги "Путеводитель по базам данных". Оказывается, он тоже хочет разработать актуальный курс по СУБД для студентов ВУЗов. Я пригласил его поучаствовать в своей разработке нового курса. Надеюсь, наше сотрудничество будет плодотворным.

Пообщался с Михаилом Жилиным из Postgres Professional. Пригласил его провести в следующем году 1-2 лекции про распределенную СУБД Shardman. Причем, формат лекции будет необычным. Мы еще согласовываем детали, но должно быть интересно. Лекция, скорей всего, (на 90%) будет офлайн. Прямо на территории СберТеха.

Встретил коллегу-преподавателя из МПГУ. Он привел на конференцию своих студентов. В целом, студентов было не много. Я видел 1-2 человека из НИЯУ МИФИ, УКИТ им.Разумовского и МИРЭА. У меня сложилось впечатление, что народ пришел просто так. Посмотреть, как и что тут люди делают. Хотя я слышал много хороших слов в адрес докладчиков от них. Кстати, компания PostgresPro проводит бесплатные стажировки. Можно, учась параллельно в ВУЗе, обучаться предполагаемой профессии. Возможно, для студентов МФТИ и нашей кафедры БИТ это не очень актуально, но для студентов колледжей, ВУЗов ниже первой десятки, такой вариант очень привлекателен. Я даже думаю пройти их "лагерь". Авось, что-то интересно почерпну.

По традиции, немного про доклады:
❗JSONB и будущее реляционных СУБД - взгляд разработчика - Василий Пучков
Доклад больше всего интересен тем, что автор подробно расписывает процесс разработки схемы базы данных на примере нефтебазы. Для чего каждая сущность нужна? Почему именно такие связи и т.д. В конце он говорит, как именно большинство бизнес-запросов с 3-6 операциями join можно упростить с внедрением JSON. К сожалению, автор не привел примера упрощённой схемы базы данных после добавления этого поля ☹️ Но это не умаляет ценность доклада.

❗Слон и Моська. Проблема фенсинга в кластерах PostgreSQL - Павел Конотопов.
Очень интересный кейс как разломать кластер Постгрес привел автор доклада. Сценарий:
1. Есть кластер Постгрес, допустим, с тремя нодами: мастер, реплика, реплика.
2. ВМ, на который крутится мастер, по какой-то причине зависает. Состояние мастера неопределенное.
3. Однако кластер считает, что мастер недоступен, и происходит выбор нового мастера.
4. Проходит условно 60 секунд, и ВМ с бывшим мастером оживает.
5. Кластер Постгрес видит, что старый мастер жив, и отправляет команду на новый мастер: погасись. Превратись обратно в реплику.
6. После чего кластер восстановлен в своей первоначальной архитектуре, однако часть данных потеряна.

Во время зависания ВМ, старый мастер продолжал принимать запросы, и, после синхронизации кластера, данные на старом мастере были удалены. Такой интересный кейс. Это признали багом и вроде в новой версии PGBouncer ее поправили. Расходимся.

❗Историко-статистический взгляд на сообщество PostgreSQL - Павел Толмачев.
Тут со мной сыграли злую шутку мои обманутые ожидания. Я думал, что доклад будет о том, как Постгрес захватывает мир! Однако автор просто рассказал, как росло комьюнити постгрес с точки зрения разработчиков/контребьютеров. Когда проходят коммит-фесты, сколько патчей было подано на рассмотрение, сколько было принято, и так за последние 20 лет. Вроде интересно, но чувство неудовлетворенности осталось.

На этом 2-ой и последний день конференции подошел к концу. Было безумно интересно! Если кто-то хочет посмотреть доклады с прошлой конференции 2023 года, то их уже выложили в открытый доступ.
3 апреля 2023
4 апреля 2023

📚Предлагаю разобрать секцию Q&A: Cockroach Labs’ Spencer Kimball on Distributing SQL от журналиста Joab Jackson.

Спенсер Кимбалл - генеральный директор Cockroach Labs. Работал в компании Google. Участвовал в развитии Bigtable и продукта Spanner.

❓С чего началась Cockroach Labs.
Работая на Google, Спенсер решал вопросы, связанные с хранением и обработкой данных. В то время компания Google строила ЦОДы. Текущий объем данных уже выходил за рамки возможностей Oracle и традиционных РСУБД. Продукту AdWords требовались масштабируемые СУБД. Это подтолкнуло Google к ряду инноваций.
Начались эксперименты с MySQL, т.к. нужны были транзакции. Решить проблему масштабирования в Google пытались использованием шардинга. В конечном счете количество шард достигало 1000.
Этот эксперимент длился 10 лет и в итоге провалился.

Началась разработка принципиально новой СУБД - BigTable. Однако для сервиса AdWords она не подошла, т.к. Бизнес требовал транзакции, которые в BigTable не поддерживались. Поэтому Google сделали форк и назвали его Megastore. Под капотом Megastore был Paxos. Это было большим нововведением в те времена.

Именно тогда, участвуя в постоянных сражениях со сбоями инфраструктуры, Спенсер понял, что за распределенными СУБД будущее, и, пока ниша была свободной, решил ее занять. Спенсер вместе с коллегой Беном ушли из Google и создали свой продукт - CockroachDB.

Принципы работы CockroachDB максимально близки Postgres. CockroachDB славится своей выживаемостью и масштабированием. Разработчики не пытаются решать эти проблемы. Это работа архитекторов.

Весь маркетинг по продвижению новой СУБД был направлен на системных архитекторов. За 2022 год компания Cockroach Labs заработала 30 млн.долларов. Рост прибыли за год - 200%. Данных за 2023 год еще нет, т.к. финансовый год еще не закончен. Однако ожидаются цифры около 60 млн.долларов.

Заключительный вопрос был про тенденции в области СУБД. Спенсер считает, что в поддержке ИИ СУБД будет играть одну из самых важных ролей, т.к. все данные ИИ нужно где-то хранить.

Полное интервью можно прочитать на сайте

🎦 СУБД Ред База Данных - это? - вебинар с Романом Симаковым CPO Ред СОФТ.

Обычно я разбираю подобные видео по тезисам и делаю некий пересказ особо запоминающихся моментов. Однако в этом видео для себя я ничего не приметил. Всё видео для меня прозвучало на волне: "У нас крутая СУБД. Нас используют в 100500 местах. Конец". Много каких-то пустых фраз, и не понятно как на самом деле обстоят дела. Представители Ред базы данных (РБД) за последние 3 года не засветились ни на одном техническом митапе, конференции или дринкинпати. У меня нет понимания, что они делают.

Да, у них есть своя конференция, которая пройдет 6 июня в Москве. Да, у них есть бесплатное обучение по администрированию РБД (кстати, я записался на обучение с 15 апреля). Но всё это почему-то не вызывает у меня доверия и уверенности в продукте РБД. Возможно, после обучения и конференции моё мнение изменится. Подождем.

Справедливости ради отмечу, что РБД и в целом компания РедСофт бывали на конференциях Ifin и ВБА. Но там ничего полезного про РБД я не узнал. 2 года назад было выступление от маркетолога РБД на IFIN, но там очередная маркетинговая информация. На технические вопросы аудитории ответа не было.

Как итог, подождем 6 июня, и надеюсь, на многие вопросы я получу ответ. Участие в Firebird Conf 2024 для студентов бесплатное, поэтому жду всех желающих "затусить" с коллегами из мира СУБД.

Бородатый мем, но всё еще актуальный

#mems

Статья-перевод "В погоне за заменой Redis"
Недавно я писал, как Redis inc поменяла свою лицензию для будущих продуктов с Apache 2.0 на SSPL.
Это стало настоящим шоком для ИТ-сообщества, и теперь народ пытается найти альтернативу. Сейчас их потенциально всего 2:

1. Форк Redis - KeyDB. Нюанс проекта в том, что он ближе к Redis 6 версии, а значит, множества фишек 7-ой версии там нет. Вдобавок, проект не сильно развивающийся.
Возможно, часть котребьютеров из сообщества Redis перейдёт в этот проект, что вдохнет в него новую жизнь.

2. Форк Redis - Valkey от Linux Foundation. Это прямой форк последней версии Redis 7.2.4. Авторы проекта захотели перетянуть всех котребьютеров Redis к себе. Казалось бы, это довольно утопичная идея, однако ряд крупных компаний поддержали проект: Amazon Web Services (AWS), Google Cloud, Oracle, Ericsson и Snap.

Пока рано говорить, что в итоге случится с Redis и ее форками. Какая СУБД из этих трёх добьется наибольшего успеха. Будем следить за новостями.

Минутка интеллектуального юмора...С пятницей!

#mems

🎦 Database Internals Meetup #2: зачем нам DBOS, и новый тип гистограмм в openGauss

Состоялся второй митап от компании Яндекс, посвященный СУБД, он представлял собой два доклада:

📍 OpenGauss. Новый метод для оценки кардинальностей. Спикер, Егор Саттаров, контребьютер в OpenGauss.

📍Что такое DBOS? Позиционирование проекта. Спикер Александр Поляков. Разработчик из DBOS.

👆Традиционно первый доклад очень хардкорный. Много сказано про "внуренности" проекта OpenGauss. Дать свою оценку материалу мне сложно, но думаю, для людей "в теме" будет весьма полезно.

🤔Меня недавно мучил вопрос, а можно ли написать кандидатскую диссертацию на тему СУБД? Если ты разработчик, то, если постараться, это сделать не проблема. Количество тем для исследования поражает воображение. Другое дело, если ты НЕ разработчик. Вот тут возникают нюансы 🙂
Как сказала моя жена, если не знаешь про что писать, пиши ретроспективу.

👆В продолжение научной темы - второй доклад про новый стартап DBOS (произносится как ДиБОС). Я уже делал несколько постов об этом (1 и 2), тема весьма интересная.

Несколько тезисов:
❗Проект DBOS вышел из академической среды.

❗Продукт DBOS Transact - opensource typescript framework. Под лицензией MIT. Под капотом PostgreSQL. Однако в будущем возможна миграция на другие СУБД - VoltDB или FoudationDB.

❗DBOS Cloud - облачная среда, где разработчики могут запускать свои DBOS Transact приложения. Под капотом облака PostgreSQL в AWS.

❗Самая интересная функция DBOS Cloud - Time Travel Debugging. Этот функционал позволяет продебажить ход выполнения транзакции на выбранную дату. Фактически можно очень точно смоделировать, что происходило в приложении в момент выполнения выбранной транзакции.

❗В середине доклада спикер провел наглядную демонстрацию их продукта. Да, она получилось небольшой, но понятной.

✍️Всем советую ознакомится с этими докладами. Если они вам понравятся и захочется что-то еще добавить к моим словам, то присоединяйтесь в комментариях.

Для себя отметил, что Discord становится мировой площадкой для чатинга с разработчиками, вендорами.
Однако в РФ любят Telegram.

На днях стартовала ежегодная конференция JPoint 2024.
По мотивам конференций Smartdata, организаторы решили сделать 1 день полностью онлайн. Это было 17 апреля.
Далее, 25-26 апреля, будет и офлайн, и онлайн варианты.

Доступ на онлайн платформу для студентов бесплатный. Можете подключиться и посмотреть любой доклад.

17 апреля по тематике СУБД было всего 2 доклада:
📍 PG для Java-разработчиков.
Спикер: Сергей Вальков, Lead Java-developer в Яндекс Маркете.
📍 Cassandra memory footprint. Память Cassandra по полочкам.
Спикер: Дмитрий Константинов

Как-то комментировать эти доклады я не буду, т.к. их основная целевая аудитория - разработчики приложений.

Отмечу интервью с Александром Маториным, исполнительным директором Сбера, Java-инженером и преподавателем нашей любимой кафедры МФТИ БИТ. Всегда приятно узнавать в спикерах крупных ИТ-конференций своих коллег. Александр в интервью рассказал о своем становлении как специалиста и об опыте спикера. К сожалению, тайминг интервью не позволил, как хотелось, задать ему множество вопросов, но ничего не поделаешь. Может быть, на каких-то подкастах Александр больше расскажет о себе и своих взглядах на java-разработку.

Дополнительно спойлерну, что 25 апреля на JPoint выступит Дмитрий Ковалев со своим докладом "Интегральное скерцо: как машины пишут музыку и поют". Всем обязательно к просмотру.

🎦 Ozon Tech Community C# Meetup
Всем советую посмотреть доклад «Перестаньте оптимизировать C# и займитесь вашей БД»‎ от Дмитрия Орлова (эксперт разработки информационных систем). В этом докладе спикер подробно и довольно интересно разбирает пример задачи по оптимизации.

🗣"Вот функция, выполняется 5 секунд. Должна - меньше. Поправь это...".

Разработчик приложения, само собой, начинает думать, что виновато приложение, и пытается найти узкое место там. Однако это не дает никаких результатов, поэтому приходится лезть в БД. У разработчика, по сути, есть единственный инструмент - это "explain и analyze".

Спикер утверждает, что разработчик C#, как и любой другой, должен уметь читать планы выполнения запросов, т.е. результат работы команды explain. Это позволит ему выявить точную причину "тормозов", что позволит разработать решение.

Решение могут быть разные: создать индекс, переписать запрос или, возможно, придется выйти на более высокий уровень абстракции и проверить, как именно вы работаете с таблицей.
Чтобы селекты работали хорошо, надо поменьше данные обновлять и правильно их удалять.
Чтобы быть проактивным, нужно настроить метрики и алерты на статистику построения планов запросов. Тогда вы заранее сможете увидеть проблему в долго выполняющемся запросе и решить ее.

Обо всем более подробно рассказано в докладе.

p.s. По ссылке на видео открываются 3 доклада. Другие 2 больше относятся к процессу разработки на C# и работе с шардированной базой. Просмотр их - на ваше усмотрение.