🎦 Database Internals Meetup #2: зачем нам DBOS, и новый тип гистограмм в openGauss

Состоялся второй митап от компании Яндекс, посвященный СУБД, он представлял собой два доклада:

📍 OpenGauss. Новый метод для оценки кардинальностей. Спикер, Егор Саттаров, контребьютер в OpenGauss.

📍Что такое DBOS? Позиционирование проекта. Спикер Александр Поляков. Разработчик из DBOS.

👆Традиционно первый доклад очень хардкорный. Много сказано про "внуренности" проекта OpenGauss. Дать свою оценку материалу мне сложно, но думаю, для людей "в теме" будет весьма полезно.

🤔Меня недавно мучил вопрос, а можно ли написать кандидатскую диссертацию на тему СУБД? Если ты разработчик, то, если постараться, это сделать не проблема. Количество тем для исследования поражает воображение. Другое дело, если ты НЕ разработчик. Вот тут возникают нюансы 🙂
Как сказала моя жена, если не знаешь про что писать, пиши ретроспективу.

👆В продолжение научной темы - второй доклад про новый стартап DBOS (произносится как ДиБОС). Я уже делал несколько постов об этом (1 и 2), тема весьма интересная.

Несколько тезисов:
❗Проект DBOS вышел из академической среды.

❗Продукт DBOS Transact - opensource typescript framework. Под лицензией MIT. Под капотом PostgreSQL. Однако в будущем возможна миграция на другие СУБД - VoltDB или FoudationDB.

❗DBOS Cloud - облачная среда, где разработчики могут запускать свои DBOS Transact приложения. Под капотом облака PostgreSQL в AWS.

❗Самая интересная функция DBOS Cloud - Time Travel Debugging. Этот функционал позволяет продебажить ход выполнения транзакции на выбранную дату. Фактически можно очень точно смоделировать, что происходило в приложении в момент выполнения выбранной транзакции.

❗В середине доклада спикер провел наглядную демонстрацию их продукта. Да, она получилось небольшой, но понятной.

✍️Всем советую ознакомится с этими докладами. Если они вам понравятся и захочется что-то еще добавить к моим словам, то присоединяйтесь в комментариях.

Для себя отметил, что Discord становится мировой площадкой для чатинга с разработчиками, вендорами.
Однако в РФ любят Telegram.

На днях стартовала ежегодная конференция JPoint 2024.
По мотивам конференций Smartdata, организаторы решили сделать 1 день полностью онлайн. Это было 17 апреля.
Далее, 25-26 апреля, будет и офлайн, и онлайн варианты.

Доступ на онлайн платформу для студентов бесплатный. Можете подключиться и посмотреть любой доклад.

17 апреля по тематике СУБД было всего 2 доклада:
📍 PG для Java-разработчиков.
Спикер: Сергей Вальков, Lead Java-developer в Яндекс Маркете.
📍 Cassandra memory footprint. Память Cassandra по полочкам.
Спикер: Дмитрий Константинов

Как-то комментировать эти доклады я не буду, т.к. их основная целевая аудитория - разработчики приложений.

Отмечу интервью с Александром Маториным, исполнительным директором Сбера, Java-инженером и преподавателем нашей любимой кафедры МФТИ БИТ. Всегда приятно узнавать в спикерах крупных ИТ-конференций своих коллег. Александр в интервью рассказал о своем становлении как специалиста и об опыте спикера. К сожалению, тайминг интервью не позволил, как хотелось, задать ему множество вопросов, но ничего не поделаешь. Может быть, на каких-то подкастах Александр больше расскажет о себе и своих взглядах на java-разработку.

Дополнительно спойлерну, что 25 апреля на JPoint выступит Дмитрий Ковалев со своим докладом "Интегральное скерцо: как машины пишут музыку и поют". Всем обязательно к просмотру.

🎦 Ozon Tech Community C# Meetup
Всем советую посмотреть доклад «Перестаньте оптимизировать C# и займитесь вашей БД»‎ от Дмитрия Орлова (эксперт разработки информационных систем). В этом докладе спикер подробно и довольно интересно разбирает пример задачи по оптимизации.

🗣"Вот функция, выполняется 5 секунд. Должна - меньше. Поправь это...".

Разработчик приложения, само собой, начинает думать, что виновато приложение, и пытается найти узкое место там. Однако это не дает никаких результатов, поэтому приходится лезть в БД. У разработчика, по сути, есть единственный инструмент - это "explain и analyze".

Спикер утверждает, что разработчик C#, как и любой другой, должен уметь читать планы выполнения запросов, т.е. результат работы команды explain. Это позволит ему выявить точную причину "тормозов", что позволит разработать решение.

Решение могут быть разные: создать индекс, переписать запрос или, возможно, придется выйти на более высокий уровень абстракции и проверить, как именно вы работаете с таблицей.
Чтобы селекты работали хорошо, надо поменьше данные обновлять и правильно их удалять.
Чтобы быть проактивным, нужно настроить метрики и алерты на статистику построения планов запросов. Тогда вы заранее сможете увидеть проблему в долго выполняющемся запросе и решить ее.

Обо всем более подробно рассказано в докладе.

p.s. По ссылке на видео открываются 3 доклада. Другие 2 больше относятся к процессу разработки на C# и работе с шардированной базой. Просмотр их - на ваше усмотрение.

📻NoSQL FM
NoSQL Aerospike завоевывает рынок Индии

По данным Национальной платежной корпорации Индии, UPI зарегистрировала ошеломляющие 12,02 миллиарда транзакций в декабре 2023 года – самый высокий показатель на сегодняшний день. Страна стала бесспорным мировым лидером по огромному объему ежедневных и ежемесячных платежей. Транзакции UPI выросли на 147% с INR 92 crore в 2017 году до INR 8,375 crore в 2023 году.

Подробнее в статье

В РФ Aerospike можно встретить в телекоммуникационных компаниях (МТС, Билайн) и ритейлерах (Ламода). Честно говоря, я никогда не сталкивался с этой СУБД, поэтому сказать особо нечего. Докладов за последние 3-4 года тоже не слышал. Однако в Индии продукт прям выстрелил и развивается семимильными шагами. Будем наблюдать...

p.s. дополнительно поищу спецов в РФ, которые смогут рассказать про эту СУБД.

Подходит к концу шестидневная неделя. Желаю всем хорошо отдохнуть на праздниках!

#mems

📻NoSQL FM
Database management enters a new era of complexity

Интервью с CPO Redgate David Gummer.

Для того, чтобы удерживать высокие позиции на рынке, ИТ-компании должны быстро реагировать на изменчивость конкурентной среды. За последние годы количество изменений, связанных с СУБД, в рабочих средах увеличилось более, чем на 50%. Если учесть, что компании используют несколько платформ данных, количество изменяемых баз данных становится еще больше.

Дэвид Гаммер выявили 3 основных проблемы, с которыми столкнутся компании:
1. Архитектура современных проектов ставится всё сложнее и сложнее (Polyglot Persistance).
2. Необходимость межкомандного обучения и глубоких знаний используемого инструментария.
3. ИИ всё чаще используется в компаниях, что добавляет новый набор угроз ИБ.

Финальный вывод статьи заслуживает отдельного упоминания:

In effect, database professionals need to double their skillset to manage the range of database types that are now used by nearly 80% of all respondents in the survey.

С приходом идеологии DevOps специалисты и так должны знать всё про администрирования, сопровождение, развертывание, обновление и разработку. Теперь еще добавляются знания конкурентных технологий и технологий узкого назначения.

Вспоминая доклад на конференции DevOpsConf2024 Неизбежность, или Как приучить Devops-инженеров к проектированию от Екатерины Лысенко, которая активно призывала DevOps еще и изучать вопросы построения архитектуры, получается, что DevOps превращается в DevArchGuruOps. Или что-то в этом духе 🤪

👷‍♂️"Опять одному Васе всё это поддерживать" 🛠

Помните, я писал пост про РЭД базу данных и о том, что они проводят бесплатный образовательный курс по администрированию этой СУБД. Так вот, я записался и начал проходить его. Сегодня расскажу вам о своих впечатлениях.

Всего 8 лекций и 8 тем соответственно:
- Установка, обновление, удаление.
- Резервное копирование и восстановление.
- Мониторинг СУБД и целостность БД.
- Сборка мусора.
- Производительность.
- Безопасность.
- Репликация.
- Отказоустойчивый кластер.

Очень интересным мне показался формат курса:
на протяжении двух недель (учебная неделя длится с понедельника по четверг) ежедневно нам выдают по 1 теме для самостоятельного изучения. Материал подан в формате видеолекций, каждая длится 50-70 минут. (В сумме где-то 9 часов видео. Полезных знаний часов на 7 есть точно). В конце каждой лекции - ряд практических задач, которые надо выполнить на своей виртуальной машине. Затем, на следующий день, вся группа собирается на конфколле для обсуждения вопросов и проблем при выполнении заданий.

Подача материала мне понравилась, несмотря на то, что в первое время я чувствовал некоторую робость 🫢. Я выполнял задания по материалам лекций, и особых проблем не встретил. Кроме пятой лекции, но об этом чуть позже.

Сама техническая лаборатория представляет собой виртуальную машину на OracleVM с восьмью снапшотами по каждой теме. Такой формат оказался крайне удобным. Я спокойно развернул машину и легко переключался от темы к теме. Прям вау 🤩 Надо взять на заметку 📌.

Самой сложной мне показалась пятая тема 😵‍💫 - про диагностику производительности СУБД. Основные проблемы выявить было плюс-минус не сложно, особенно, если есть опыт. Однако, как их устранять, в лекции не сказано. Мол, сам думай. Времени я убил знатно 😵, но задание выполнил полностью 🏆.

В общем, впечатления о курсе положительные. Первые темы было тяжело себя заставить пройти, но потом втянулся 💪.

Для зачета по курсу нужно побеседовать с преподавателем курса и ответить на ряд теоретических вопросов по каждой теме. 8 тем по 2 вопроса на тему, в итоге 16 вопросов.

По итогу зачета я получил свой сертификат 👨‍🎓.

Если хотите тоже попробовать такой формат обучения, летом например, то можете оставить заявку и попрактиковаться.

Материалы курса:
Видео
Преза и образ VM

Вот и подошла к концу эта крошечная рабочая неделя.

Не забывайте правильно выбирать расширение для файлов.

#mems

🎦 Avito Database meetup #1

В последнее время модно устраивать митапы по базам данных. Авито решили пойти чуть-чуть другим путем, и лозунгом мероприятия стало: "Митап не только про СУБД, но и про то, что вокруг неё".

Было 4 доклада разной степени сложности. Разбирать каждый особого смысла не вижу. Однако хочу поделиться некоторыми интересными фактами.

❗Авито - компания, которая строит облако для себя. Все облачные решения используются только внутри.

❗ В Авито нет больших баз данных. Базы редко превышают объем в 50 ГБ. Однако количество этих БД колоссальное, более 50 тыс.штук.

❗ В Авито используется микросервисная архитектура. На каждый сервис - своя база данных.

❗ Больше всего инстансов PostgreSQL. На втором месте Redis. Затем MongoDB, Clickhouse, CockroachDB и т.д.

❗ Почти все, если не все, СУБД являются opensource.

❗ Везде используется кубер (k8s).

❗ Авито активно осваивают CockroachDB. Главным плюсом является масштабирование из коробки.

❗ DBA в Авито всё больше решают задач по разработке (GO), чем по администрированию.

❗ В целом, в Авито, как и в любой крупной ИТ-компании, много кастомной разработки. Плюсы и минусы соответствующие.

Митап пролетел довольно быстро. Было познавательно, а главное - их офис!.. Вид с 15 этажа просто потрясающий! Мне безумно понравилось. Будет возможность посетить avito.tech в БЦ «Белые Сады», (Лесная улица, дом 7), обязательно соглашайтесь. Не пожалеете!

Сфера IT - это не всегда путь вверх. Уйти из нее бывает сложнее, чем попасть.

С последним рабочем днём на этой неделе всех!

#mems

🗓Недавно завершились встречи конференции JPoint, конференция длилась три дня - 17, 24 и 25 апреля.

Про первый день конференции 17 апреля я уже делал пост.

Напоминаю, что все видео и презентации докладов доступны совершенно бесплатно для студентов и преподавателей.

24 апреля докладов по СУБД не было. Однако я хотел бы обратить ваше внимание на доклад "Образование в области IT: фундамент и индустриальная повестка" от Андрея Райгородского (ФПМИ МФТИ).
Презентация.

Приведу несколько забавных моментов:

❗ Наше понимание науки далеко от реалий самой науки в ее подлинном смысле. Есть чистая наука, наука с большой буквы, которая недоступна большинству. Даже сами исследователи не видят прикладного ее применения, да и не должны.

❗ Обучение в ФПМИ МФТИ не привязано к какой-то конкретной индустрии. Мы готовим интеллектуальный спецназ.

❗Конечно же, ФПМИ МФТИ должна следовать индустриальной повестке, но это не главное.

❗Только с 3-его курса мы позволяем запустить щупальца наших индустриальных партнеров в процесс обучения студентов.

Что я хочу сказать по этому поводу? Полностью согласен со старшим товарищем. 🫡

🗓Недавно завершились встречи конференции JPoint, конференция длилась три дня - 17, 24 и 25 апреля.

Про первый и второй дни конференции я уже писал.

Напоминаю, что все видео и презентации докладов доступны совершенно бесплатно для студентов и преподавателей.

Последний день, 25 апреля, оказался гораздо продуктивнее в плане изучения СУБД. Традиционно на конференции JPoint больше всего докладов по Cassadra (и ScyllaDB), и конечно же по PostgreSQL. Если сейчас практически ни одна конференция или митап не обходится без доклада про Постгрес, то послушать про Кассандру почти негде. Раньше в РФ была конференция Cassandra Day Russia, но сейчас ничего такого нет. Жаль. Но вернемся к докладам.

1️⃣ Cassandra: путь в продакшн.
Владимир Хростицкий
Компания:Мир Plat.Form

Очень крутой доклад! Будет время и возможность - обязательно посмотрите! Несколько тезисов.

❗ В Кассандре всегда делается insert. Даже удаление (delete) - это insert с признаком tombstone (запись помечена как удаленная).

❗ При проектировании схемы СУБД берется за основу идея: "Новый запрос - новая таблица".

❗Очень тяжело затащить новую технологию в проект. Обязательно должна быть экспертиза у подрядчика и/или у заказчика.

❗Тренируйте свои Hards Skills на учебных проектах, в тестовых лабораториях.

❗Вы должны четко понимать плюсы и минусы вашего архитектурного решения.

❗У Кассандры всего 2 проблемы: IO дисковой подсистемы и сетевые задержки. Программный стек на java не является узким местом.

2️⃣ Apache Cassandra: 8 лет в продакшене
Спикер Владимир Дегтерев
Компания: Почта Банк
Презентация

Очень грамотный подход к подаче материала. Всем взять на заметку для своих НИР! Фактически, это подробная лекция о том, как работает Кассандра, и с каким проблемами сталкиваются инженеры с ростом проекта. Шаг за шагом.

❗Любая работа всегда начинается с составления списка требований.

❗Таблицы необходимо проектировать от запросов (подробнее в отдельном докладе С SQL на Cassandra).

❗Lightweight transactions (LWT) - дорогой механизм.

❗Если в БД существует много записей с меткой tombstone, то это может привести к doomstone.

❗Apache Cassandra полезный инструмент:
👉Настраиваемые согласованность и доступность
👉 Высокая скорость записи из коробки

❗Нагрузку на IO можно снизить:
👉Кэши
👉Bloom filter
👉Compaction strategies

3️⃣ БД-укротитель
Федор Сазонов
Компания:Сбер
Илья Сазонов
Компания:Всегда.Да
Презентация

Очень круто рассказали по ACID. Всем советую посмотреть, хотя бы презентацию.

❗Даже если вы используйте только Hibernate, то вам рано и поздно всё равно придется изучать SQL, а потом и внутреннее устройство СУБД.

❗Некоторые итоги по оптимизации на уровне кода:
👉Оптимизация запросов.
👉Простановка границ транзакций.
👉Экономия коннекшнов.
👉Медитация на внутреннее устройство СУБД

На этом конференция JPoint заканчивается. Если вы заметили какой-то еще интересный доклад по СУБД, который я пропустил, то пишите в комментариях.

🎦 AI Powered Database optimisation with Andy Pavlo, Ottertune
Очередной подкаст с Энди Павло для канала "The Geek Narrator".

Перейдем сразу к тезисам:

❗В современном мире роль DBA снижается.

От себя хочу добавить, что меняется круг обязанностей DBA, и все больше и больше задач становятся связаны с разработкой средств автоматизации.

❗Из-за большого разнообразия СУБД и их сложности возникает недоверие к компетентности человека. AI в этом плане более стабилен.

❗ИИ может избавить DBA от рутинных операций (возможно).

❗Во многих СУБД есть рекомендательный модуль, который может подсказать, что следует сделать для оптимальной работы. Затем DBA принимает решение, соглашаться с рекомендацией или нет.

❗Это нормально, если у DBA в ведении до 5-7 СУБД. Что будет, если их станет сотни или даже тысячи?

❗Проект Ottertune - это использование практик машинного обучения для оптимизации СУБД.

❗Для успешного составления плана оптимизации СУБД существует проблема получения рабочих нагрузок.

❗Нельзя точно спрогнозировать прирост производительности СУБД после применений каких-либо методик оптимизации.

Вопрос подписчикам:
⭐ Можно ли оптимизировать СУБД без информации об выполняемых SQL-запросах?
Предлагаю самим ответить на этот вопрос в комментариях 🧠. Жду ваших версий.

🎥 Недавно прошел вебинар от компании РЕЛЭКС на платформе VK на тему: "Технический обзор СУБД SoQoL".
Спикер Бакланов Михаил, Директор центра СУБД компании РЕЛЭКС
Презентация

Оххх, как же трудно мне было слушать спикера! Микрофон не настроен, кто-то ходит позади спикера во время доклада, голос монотонный. Презентация тоже не особо привлекательная.
Не надо так 🥺.
РЕЛЭКС разрабатывает коммерческую СУБД и, как мне кажется, в презентацию и маркетинг продукта надо серьезно вкладываться. Сейчас это выглядит как какое-то кустарное производство.

Но отбросим негативные эмоции, связанные с формой и перейдем к содержанию.

❗SoQoL - классическая РСУБД, разрабатывается с 2017 года.
❗Ориентация на мировой рынок (Амбициозная идея. Если компания подразумевает рынок СНГ и, возможно, Китай, то и реалистичная)
❗Чистая новая архитектура (Красивые слова и обещание чуда).
❗Честный ACID (Что это значит? Есть бесчестный? Это же РСУБД, там по умолчанию всегда ACID. Хорошо бы провести исследование этого понятия. Студентам на заметку)
❗Графики TPC-C с производительностью, превосходящей таких конкурентов как PostgreSQL, Oracle, MSSQL (Возможно, эти графики действительно правдивы, но мне бы хотелось услышать достойное обоснование такой магии. Хочется доверять результатам, но пока не получается)
❗ Компонент управления динамической памятью - используется собственная вариация DEBRA-алгоритма (Distributed EpochBased memory Reclamation Algorithm)
(Если честно, никогда не слышал об этом алгоритме в разрезе применения в СУБД. Судя по статьям в гугле, направление интересное).
❗SoQoL не требовательна к ресурсам СУБД.
❗Масштабирование зависит от количества ОЗУ.
❗Планов на развитие очень много. Среди них: логическая репликация, шардинг на основе идеи от Оракл. Функционал распределенных СУБД на основе RAFT.

Итого
СУБД SoQoL - весьма интересное решение. Ребята из Яндекса активно следят за этим проектом. Как раз 4 июня будет выступление разработчиков SoQoL на платформе Яндекса. Маркетинг у РЕЛЭКС весьма своеобразный. Красивый и пафосный текст писать они умеют. У Сокола есть свой телеграмм-канал. Я же, со своей стороны, продолжу наблюдать и следить за новостями.

Пугать людей можно не только злобным видом

С пятницей!

#mems

Одним из финальных итогов моего курса по "Системам Баз Данных" можно считать вот эту карту.

В целом, она отображает текущий уровень популярности и распространенности СУБД. Если вдруг вам в будущем предстоит выбрать СУБД для какой-либо задачи, то эта карта поможет вам. 🌇

📻 SQL FM
Листал новости и наткнулся на следующую: Московская биржа выбрала систему управления базами данных от «Диасофт»
Мне стало интересно, а что это за база данных такая?
Решил немного погуглить, и выяснил название: Digital Q.DataBase.

Что это за зверь? Итак, самое интересное с оф сайта (обращение к сайту 10.05.2024):

📍Гибридная СУБД.
📍Триединая СУБД - взаимосвязанные инструменты и технологии, что дает возможность использования передовых технологий обработки данных в реляционных, поколоночных и in-memory СУБД. Например, расчеты данных можно делать в in-memory, а хранить – в реляционной СУБД.
📍По сути, этот монстр состоит из трех СУБД: PostreDB (Форк PostgreSQL), TarantoolDB (Форк Tarantool, работает в роли precache к PostreDB) и ClickHouseDB (форк ClickHouse).

Получается, что это не просто СУБД, а платформа данных. (Компании Arenadata привет! Видимо Диасофт решили пойти по их стопам).

🎦 Чуть покопавшись на сайте, нашел ролик
«Развитие современных СУБД Digital Q.DataВase»
Самое странное, что видео доступно только по прямой ссылке, в поисках youtube оно не отображается. Найти его сложно. Что же там интересного?

🎯 Первое впечатление: опять унылое видео! Ааааааа, какой же скучный и монотонный голос спикера. Это просто невозможно слушать! В этом видео, кроме спикера, было еще 2 человека с включенными камерами. Девушка все 40 минут сидела с невозмутимым лицом. Второй мужик во время презентации точно что-то гуглил в интернете, или читал комикс, или видос смотрел. Свет от монитора на его лице всё время менялся. И это - работа коммерческой компании с заинтересованными специалистами! Снова все похоже на кустарное производство🌳! В чем проблема нанять хотя бы хорошего видеоредактора? Я не понимаю...

Дорогие студенты! Запоминаем: форма так же важна, как и содержание! 🧐

Теперь по фактам:
❗Проект нацелен на "Бесшовный переход с Оракла и MSSQL".
❗Как я понял, Digital Q.DataBase хотят сертифицировать на работу с оборудованием от компании Скала и YADRO.
❗Digital Q.DataBase всё-таки платформа баз данных. Сейчас входят всего 3 СУБД, но уже идет процесс интеграции GreenPlum. Ребята 100% идут по лекалам компании Arenadata.
❗Всего 3 пилотных проекта с ClickHouse.
❗Разработчики Digital Q.DataBase делают ставку на развитие своего форка PostgreSQL и форка Tarantool в роли precache. Это сейчас в приоритете.
❗Доработки для GreenPlum и ClickHouse будут позже.

Продолжаем следить за компанией Диасофт как будущим конкурентом Arenadata.