🎥 Недавно прошел вебинар от компании РЕЛЭКС на платформе VK на тему: "Технический обзор СУБД SoQoL".
Спикер Бакланов Михаил, Директор центра СУБД компании РЕЛЭКС
Презентация

Оххх, как же трудно мне было слушать спикера! Микрофон не настроен, кто-то ходит позади спикера во время доклада, голос монотонный. Презентация тоже не особо привлекательная.
Не надо так 🥺.
РЕЛЭКС разрабатывает коммерческую СУБД и, как мне кажется, в презентацию и маркетинг продукта надо серьезно вкладываться. Сейчас это выглядит как какое-то кустарное производство.

Но отбросим негативные эмоции, связанные с формой и перейдем к содержанию.

❗SoQoL - классическая РСУБД, разрабатывается с 2017 года.
❗Ориентация на мировой рынок (Амбициозная идея. Если компания подразумевает рынок СНГ и, возможно, Китай, то и реалистичная)
❗Чистая новая архитектура (Красивые слова и обещание чуда).
❗Честный ACID (Что это значит? Есть бесчестный? Это же РСУБД, там по умолчанию всегда ACID. Хорошо бы провести исследование этого понятия. Студентам на заметку)
❗Графики TPC-C с производительностью, превосходящей таких конкурентов как PostgreSQL, Oracle, MSSQL (Возможно, эти графики действительно правдивы, но мне бы хотелось услышать достойное обоснование такой магии. Хочется доверять результатам, но пока не получается)
❗ Компонент управления динамической памятью - используется собственная вариация DEBRA-алгоритма (Distributed EpochBased memory Reclamation Algorithm)
(Если честно, никогда не слышал об этом алгоритме в разрезе применения в СУБД. Судя по статьям в гугле, направление интересное).
❗SoQoL не требовательна к ресурсам СУБД.
❗Масштабирование зависит от количества ОЗУ.
❗Планов на развитие очень много. Среди них: логическая репликация, шардинг на основе идеи от Оракл. Функционал распределенных СУБД на основе RAFT.

Итого
СУБД SoQoL - весьма интересное решение. Ребята из Яндекса активно следят за этим проектом. Как раз 4 июня будет выступление разработчиков SoQoL на платформе Яндекса. Маркетинг у РЕЛЭКС весьма своеобразный. Красивый и пафосный текст писать они умеют. У Сокола есть свой телеграмм-канал. Я же, со своей стороны, продолжу наблюдать и следить за новостями.

Пугать людей можно не только злобным видом

С пятницей!

#mems

Одним из финальных итогов моего курса по "Системам Баз Данных" можно считать вот эту карту.

В целом, она отображает текущий уровень популярности и распространенности СУБД. Если вдруг вам в будущем предстоит выбрать СУБД для какой-либо задачи, то эта карта поможет вам. 🌇

📻 SQL FM
Листал новости и наткнулся на следующую: Московская биржа выбрала систему управления базами данных от «Диасофт»
Мне стало интересно, а что это за база данных такая?
Решил немного погуглить, и выяснил название: Digital Q.DataBase.

Что это за зверь? Итак, самое интересное с оф сайта (обращение к сайту 10.05.2024):

📍Гибридная СУБД.
📍Триединая СУБД - взаимосвязанные инструменты и технологии, что дает возможность использования передовых технологий обработки данных в реляционных, поколоночных и in-memory СУБД. Например, расчеты данных можно делать в in-memory, а хранить – в реляционной СУБД.
📍По сути, этот монстр состоит из трех СУБД: PostreDB (Форк PostgreSQL), TarantoolDB (Форк Tarantool, работает в роли precache к PostreDB) и ClickHouseDB (форк ClickHouse).

Получается, что это не просто СУБД, а платформа данных. (Компании Arenadata привет! Видимо Диасофт решили пойти по их стопам).

🎦 Чуть покопавшись на сайте, нашел ролик
«Развитие современных СУБД Digital Q.DataВase»
Самое странное, что видео доступно только по прямой ссылке, в поисках youtube оно не отображается. Найти его сложно. Что же там интересного?

🎯 Первое впечатление: опять унылое видео! Ааааааа, какой же скучный и монотонный голос спикера. Это просто невозможно слушать! В этом видео, кроме спикера, было еще 2 человека с включенными камерами. Девушка все 40 минут сидела с невозмутимым лицом. Второй мужик во время презентации точно что-то гуглил в интернете, или читал комикс, или видос смотрел. Свет от монитора на его лице всё время менялся. И это - работа коммерческой компании с заинтересованными специалистами! Снова все похоже на кустарное производство🌳! В чем проблема нанять хотя бы хорошего видеоредактора? Я не понимаю...

Дорогие студенты! Запоминаем: форма так же важна, как и содержание! 🧐

Теперь по фактам:
❗Проект нацелен на "Бесшовный переход с Оракла и MSSQL".
❗Как я понял, Digital Q.DataBase хотят сертифицировать на работу с оборудованием от компании Скала и YADRO.
❗Digital Q.DataBase всё-таки платформа баз данных. Сейчас входят всего 3 СУБД, но уже идет процесс интеграции GreenPlum. Ребята 100% идут по лекалам компании Arenadata.
❗Всего 3 пилотных проекта с ClickHouse.
❗Разработчики Digital Q.DataBase делают ставку на развитие своего форка PostgreSQL и форка Tarantool в роли precache. Это сейчас в приоритете.
❗Доработки для GreenPlum и ClickHouse будут позже.

Продолжаем следить за компанией Диасофт как будущим конкурентом Arenadata.

📻 SQL FM
Недавно компания The International Standard for Organization (ISO) опубликовала новый стандарт языка Graph Query Language (ISO/IEC 39075:2024). Для тех, кто забыл, эта же организация выпускает новые версии стандартов языка SQL.

Публикация стандарта GQL - это знаковое событие для всей индустрии графовых СУБД. Теперь не обязательно изучать Cypher (Neo4j), GSQL (TigerGraph), PGQ Oracle или open-source Gremlin.

Помимо специалистов Neo4J, в проекте также участвовали инженеры из HyperGraphDB, Redis Labs, TigerGraph, Oracle и Germany’s University of Bonn.

Задачи, которые решаются с помощью графовых СУБД, пересекаются с задачами векторного поиска. Это также относится к генеративному искусственному интеллекту, который отлично справляется с поиском взаимосвязей между элементами данных, которые явно не определены.

Недостатком LLM является то, что они представляют собой своего рода черные ящики 🕋. По словам Philip Rathle, CTO Neo4j Inc:

Невозможно понять логику языковой модели. Они просто следуют за нейронной сетью и выполняет свою работу. Граф знаний может служить внешней памятью, способом визуализации того, как LLM построил свое мировоззрение.

Таким образом, я могу проследить график и понять, почему он пришел с таким выводам.

GQL основан на Cypher — и его варианте с открытым исходным кодом openCypher — языке запросов для одной из самых популярных систем баз данных Neo4j.

Большинство вендеров графовых СУБД обеспечат поддержку нового стандарта в ближайшее время. ⏳

Посвящается всем тем, кто сейчас пишет свой НИР, или ВКР, или диплом, или как вы там ЭТО называете.

Высшее образование - путь к успеху! С пятницей!

#mems

🏖️Решил немного развеяться и послушать про YDB. Поиск в интернете отправил меня на бесплатный учебный курс на платформе STEPIK под названием: Начальный курс по YDB (Yandex Database)

Курс небольшой, всего на 4 часа. Подача материала 5 из 5. Мне понравилось. Конечно, хотелось бы больше пафоса, как на курсах Cockroach University. Знаете, чтобы была анимация, щепотка волшебства...
Здесь же - слегка анимированная презентация.
Голос лектора мне понравился. Громкий, четкий, доходчивый, правильно интонирующий. На скорости воспроизведения х1.5 слушается без проблем.

Практическая часть весьма простая, я бы даже сказал, заурядная. Однако этого достаточно, чтобы начать хоть что-то делать в СУБД.

Скоротать вечерок за этим курсом было приятно (ладно, я проходил его три дня, переключаясь между домашними делами и сериалом 😁).

Если вы думаете начать знакомства с СУБД YDB, то это отличная отправная точка!

📚Вышел свежий номер журнала Database Trends and Applications Magazine: April/May 2024

Хотел бы разобрать всего одну статью, но довольно объемную.

The Journey Toward Modernization: 2024 Data Architecture Trends By Sydney Blanchard

В статье обсуждается процесс модернизации платформ данных в компаниях, и проблемы с которыми они сталкиваются.

Хотел бы отметить интересный продукт Materialize DWH от компании Mature Technology. Они предложили использовать мощь DWH для онлайн-аналитики в режиме реального времени. В качестве одного из применений даже взяли систему антифрод.

Забавно, что некоторые компании прикручивают векторный поиск для решений задачи идентификации фрода, а тут Mature Technology просто использую мощь DWH. Интересно, кто-нибудь сравнивал производительность систем антифрод между собой?

Далее в статье рассказывается об инженерах по обработке данных, которые сталкиваются с огромными и нестабильными рабочими нагрузками. Эта проблема связана как с недостаточной автоматизацией процессов, так и малым опытом работы с такими структурами как data fabric и data mesh. Сакет Саурабх, соучредитель и генеральный директор Nexla предлагает разработать систему метаданных, для более легкой интеграции этих соединений.

Финалом этой статьи можно считать дискуссию о роли администратора баз данных (DBA) в 2024 году.

Текущие обязанности DBA:
❗Проектирование и моделирование баз данных.
❗Владение SQL.
❗Безопасность и шифрование данных.
❗Настройка и оптимизация производительности.
❗Сервисы и архитектура облачных баз данных.
❗Технологии обработки больших данных и базы данных NoSQL.
❗Навыки автоматизации и написания сценариев.
❗Методы резервного копирования и восстановления.
❗Знание систем управления базами данных (СУБД).
❗Хранение данных и процессы ETL.

Что должен делать DBA по мнению Paul Lewis, CTO Pythian:
👉 Полагаться на автоматизацию и искусственный интеллект для выполнения рутинных задач, таких как настройка производительности, резервное копирование и восстановление, а также мониторинг баз данных.
👉 Ведущая работа по интеграции данных и разработке платформ данных.
👉Обеспечение защиты баз данных от несанкционированного доступа и т.п.
👉Быть "на гребне волны" цифровой устойчивости, обеспечивая доступность данных для основных систем с помощью избыточности данных, резервных копий, архивов и т.д.

Какой вывод можно сделать? Почти все задачи смело можно будет переложить на плечи AI и автоматизации в целом. DBA останется только ломать голову над интеграцией данных между платформами и соблюдение мер по информационной защите данных.

В целом, о роли DBA в современных реалиях рынка можно отдельно подискутировать.

Если вам есть, что добавить по статьям из журнала, то милости прошу в комментарии.

23 апреля 2024 прошла конференция ArenaDay.

Это не техническая конференция, а больше маркетинговая. Продажническая. Видимо поэтому меня туда не пустили в офлайн 😠
Хорошо, что дали онлайн доступ. 🥹

Видео докладов
Презентации

Выступлений было много, но они все очень короткие. Редко превышают 20 минут. Поэтому можно за пару часов просмотреть все выступления. С перемоткой скучных моментов - еще быстрее.

Несколько тезисов, которые меня зацепили:

❗СУБД Picodata - позиционируется как OLAP/HTAP.
❗Picodata используется в РСХБ для генерации выписок клиентов по счетам.
❗Заказчики фокусируются на монетизации данных.
❗У БургерКинг в DataLake более 500 ТБ данных, и это в облаке.

Финалочка 🧨 Выступление компании Rubytech:

Многие системные интеграторы учат слонов летать (отсылка к PostgeSQL). Однако наши слоны взлетают чаще, летят выше и т.п. Почему?

1. Проверенный подход (Непонятно, что скрывается за этой фразой. Наверное, это должно звучать так: мы набили немало шишек, и теперь готовы ко всему)

2. Надежные партнеры (Если вдруг что-то не будет получаться, то мы обратимся "ко взрослым". Они помогут)

3. Ряд нюансов (даже расписывать и комментировать не буду. Словоблудие)

Я не раз на конференциях спрашивал вендора/интегратора: чем вы лучше остальных? Иногда называл прямого конкурента и просил сравнить список услуг. Пока никто толком ничего сформулировать не смог. Только какие-то абстрактные фразы: "У нас поддержка лучше", "У нас опыта больше", "У нас качество лучше" и т.д. Как проверить эти утверждения потенциальному заказчику? 🤷 Никак. Нужны какие-то более объективные метрики.

Пока мне в голову приходит такие идеи метрик:
👉 Наличие Учебного Центра (УЦ) или партнерских отношений с каким-то УЦ.
👉 Сарафанное радио.
👉 Реклама в интернете.
👉 Спикеры на конференциях.
👉 Количество сотрудников компании.
👉 Годовой оборот компании.
👉Финансовая отчетность.

Это далеко не полный список, но, по крайней мере, дает понять о зрелости компании-поставщика.

Если есть что дополнить, то пишите в комментариях 😉

Если вы готовитесь к экзаменам, то помните - не всегда можно доверять чужим файлам!

С пятницей!

#mems

📻NoSQL FM
⚡Пока мы спали, компании Broadcom (ранее VMware), новый правообладатель GPDB,(международный проект с открытым исходным кодом Greenplum) перевел проект в статус «Архивный». Более ничего нового вноситься не будет. Всё развитие будет происходить в рамках коммерческого продукта VMware Tanzu Greenplum.

Главный контребтютер в нашей стране - компания Аренадата - уже выступила с заявлением, что всё будет хорошо.

Ждем дальнейших новостей и действий со стороны мирового сообщества. Странно, что еще никто не форкнул Greenplum последней версии с новым названием (RedPlum). Как было с проектом Redis.

🎦 Алексей Миловидов: chDB - ответ DuckDB, только лучше
Алексей Миловидов - отец-основатель ClickHouse.
В подкасте также участвует Николай Голов, который, собственно, задаёт вопросы и переводит на простой язык ответы Алексея 😉

Тема очень интересная. Встраиваемые СУБД появляются и используются всё чаще. Обычно они рассчитаны для OLTP нагрузки, а тут появился тренд на OLAP нагрузку. Я уже делал пост про DuckDB. Фактически, это небольшая революция для "карманной" аналитики данных. Теперь ребята из ClickHouse создали свою embended DBMS chDB.

Она полностью совместима по SQL-синтаксису с ClickHouse и даже может подключаться к серверу ClickHouse для выполнения более сложных запросов. По сути, DuckDB и MotherDuck предоставляет тот же функционал.

Интересные моменты из подкаста:
❗chDB, произносится как СиЭйчДиБи
❗SQL диалект DuckDB максимально похож на диалект в PostgreSQL
❗Одной из проблем ClickHouse на западном рынке - уникальный диалект SQL. Почему-то не специалисты неохотно его изучают. По сути, больше всех компетенций в ClickHouse у РФ на данный момент времени.
❗Разработчики DuckDB активно наблюдают за ClickHouse и оба продуктам перенимают фичи/оптимизации друг у друга.
❗MotherDuck - движется в сторону serverless. У ClickHouse уже есть clickhouse.cloud

Как ни забавно, но почти все вопросы по итогу были о ClickHouse, а не о chDB. Ждем больше информации и проектов об использовании chDB в реальных приложениях или других СУБД. Почему бы и нет 😉

📚 PostgreSQL 16. Организация данных. Часть 1

Главная цитата:

Данная статья является объединением книги и официальной документации с моими рисунками, объясняющими написанное в более наглядном (надеюсь, простом) варианте.

Информация взята из книги Егора Рогова «PostgreSQL 16 изнутри», а также из документации PostgreSQL 16.2.

Чтобы написать статью, достаточно прочесть книжку, несколько страниц документации, и готово. Секрет успеха раскрыт!

Я не буду делать обзор этой статьи, суть поста не в этом. Хочу сказать, чтобы вы не стеснялись писать о своей работе и своих исследованиях. Не просто так в ВУЗах дают возможность сделать свою Научно Исследовательскую Работу (НИР).

Сегодня сделать публикацию не составляет большого труда. Такие порталы как Хабр, Медиум и прочее охотно принимают любой материал. Конечно, за качеством они тоже следят, но это уже другой аспект. Главное, не стесняйтесь писать о том, что вы делайте. Особенно в рамках НИР.

🎦 Один PostgreSQL, чтобы править всеми
Виталий Лихачев

Не хотел делать пост про данное видео, но уж очень интересная тема доклада.

По сути, выдвигается тезис, что PostgreSQL может заменить Kafka, RabbitMQ, MongoDB, Redis, Elastic, Geospatial database, cron... Очень амбициозная идея, не так ли? 😉 Далее спикер рассказывает о фичах и расширениях PostgreSQL, которые помогают этого добиться.

Структура доклада мне не очень зашла, т.к. я ожидал, что автор будет рассказать о кейсах использования специализированных решений и в противовес приводить фичи PostgreSQL. Однако спикер продолжил перечислять фичи и высказывать свое мнение. На этом доклад закончился.

В целом, из этой идеи может получиться отличный НИР. Гипотеза фактически готова. Осталось это доказать или опровергнуть. В каких сценариях это действительно работает, а в каких нет? Если вы еще не определились с темой, то можно рассмотреть эту. 👈

В дополнениe к предыдущему посту...

Всех с пятницей!

#mems

📚Graph database shows Biden outspends Trump in social media ad war by Lindsay Clark

Забавная статья на тему необычного применения графовых СУБД.

При поддержке исследовательского гранта в размере 250 000 долларов от вендора базы данных Neo4j Syracuse University's Institute for Democracy, Journalism and Citizenship (IDJC) опубликовал свои первые результаты исследовательского проекта по изучению тенденций расходов и настроений на двух популярных платформах социальных сетей Meta (Запрещенная на территории РФ).

Исследовательская группа использовала базу данных Neo4j, обнаружила, что прямые расходы Байдена на рекламу Facebook и Instagram примерно в 7 к 1 превысили расходы Трампа. Однако, в рекламных объявлениях от групп, связанных с обоими кандидатами, Байден упоминается чаще (47 процентов), чем Трамп (37 процентов).

Благодаря графовой СУБД поиск взаимосвязей между различными событиями стал в разы проще и быстрее. Несмотря на то, что графовые СУБД существуют на рынке уже почти 14 лет, мы еще не раскрыли все области их применения. Очень здорово, когда вендор СУБД выделяет гранты на подобные исследования. Это великолепная маркетинговая инициатива!

📚История Redis и его создателя Сальваторе Санфилиппо (ник antirez)
Перевод. Автор оригинала: Brachiosoft

Порой приятно почитать о людях, которые уже оставили огромный след в истории ИТ-сообщества 🦶. О том, как человек искусства создал великое творение! Однако, в отличие от художников, скульпторов или писателей, ему приходится постоянно совершенствовать свой шедевр. 🧑‍🎨

Потребителям всё время чего-то не хватает.
В конечном итоге это приводит к вечной борьбе между самовыражением и пользой, приносимой сообществу.
Поэтому так важно подобрать момент и выйти из этого порочного круга 🕺. Так поступил и antirez.

В 2021 году он ушел из разработки Redis (хотя по-прежнему доступен как консультант) и занялся написанием научно-фантастических книг. В 2022 году вышла его первая книга Wohpe об искусственном интеллекте. 👽

Несколько тезисов:

🍎Redis разработана в 2009 году.

🍎Изначально разрабатывалась для решения проблемы бутылочного горлышка в операциях чтения/записи жесткого диска.

🍎Прототип LMDB (LLOOGG Memory Database) стал предшественником Redis.

🍎Redis RDB работает на основе fork(), создавая дочерний процесс для записи данных на диск.

🍎Redis начал использоваться в GitHub, Instagram и Twitter, привлекая все больше пользователей.

🍎VMware и компания Redis Labs стали первыми крупными спонсорами Redis.

17 мая прошла конференция от MTC True Tech Day

Видео с этой конференции должны будут попасть на youtube, когда-нибудь.

Хотите пример классного доклада? На конференции мне понравились эти два:

1. Мифы и реалии мультимастера в архитектуре СУБД PostgreSQL
Жилин Михаил, Postgres Professional
Конотопов Павел, Postgres Professional

Еще раз указали на разницу между мультимастером и двунаправленной репликацией:

Отличается от мультимастера.
Минусы
👉Нет строгой согласованности данных
👉Ограниченное определение и разрешение конфликтов
👉Нет отказоустойчивости узлов
👉Нет автоматического восстановления узлов
👉Нет транзакционности в масштабах кластера

2. Пикодата
Константин Осипов, со-основатель Пикодата, Директор по разработке ScyllaDB

Я уже писал обзор на этот доклад. Решил добавить несколько тезисов:
👉Тарантул создавался как аналог Редис.
👉У Редис и Тарантула требования к кластерной архитектуре появились значительно позже. Пришлось многое переосмыслить.
👉Пикодата создавалась изначально по cluster-first подходу.

📌Технические конференции в Москве проходят довольно часто. Чуть ли не каждый месяц что-то, да происходит. При этом спикеры плюс-минус одни и те же.

Как вы понимаете, делать на каждую конференцию уникальный доклад - задача довольно утомительная.
Я ждал момента, когда доклады станут повторятся. И дождался. MTC True Tech Day оправдал мои ожидания. 😉 Если вы частый гость подобных конференций, то вы точно найдете повторы при просмотре программы.

Не поймите меня неправильно, это не хейт конференции. Ни в коем случае! 😘 Просто так сложились звезды ⭐ - темы повторяются. Мне было приятно еще раз послушать уже знакомых спикеров. Надеюсь, у читателей моего канала они тоже есть, и вы меня понимаете! 🥹

Далеко не во всём ПО можно интуитивно разобраться. Порой приходится читать документацию. Не стоит этого стесняться...

С пятницей 🤪

#mems

🎥 Состоялся 3-й митап по базам данных при поддержке Яндекса. Database Internals Meetup #3: архитектура СУБД SoQoL, и протокол репликации YTsaurus

Традиционно представлено 2 доклада:
👉Архитектура новой российской СУБД SoQoL,
Коротченко Андрей, Архитектор, Руководитель Разработки Яндекса
👉 Протокол межкластерной репликации данных YTsaurus,
Руслан Савченко

Второй доклад по YTsaurus разбирать не буду, так как там много архитектурных моментов и вряд ли это интересно большинству. Если вам нравится платформа Hadoop, то YTsaurus - это наш отечественный аналог.

Сконцентрируемся на СУБД SoQoL.
До этого было несколько видео от компании Релэкс по этой СУБД. Однако, всё они плюс-минус одинаковые и очень общие. Например, SoQoL — СУБД для цифровой модернизации

На этот раз спикер больше сконцентрировался на технической части презентации. Весьма интересно было послушать о том, что лежит "под капотом"🚗. Традиционно, на этом митапе интересная секция вопросов-ответов. Тоже советую послушать.

Несколько тезисов:
❗ Разработка с 2017 года
❗ СУБД SoQoL это OLTP RDBMS
❗ Основана на подходе lockfree
❗ Гибкая и масштабируемая архитектура.

Кейсы внедрения:
📍 Перевод системы учета внутренних ресурсов компании с PostgreSQL на SoQoL
📍 Перевод платформы управления предприятием с Oracle на SoQoL
📍 Перевод системы управления ситуационным центром с MS SQL на SoQoL