📻 SQL FM
Недавно компания The International Standard for Organization (ISO) опубликовала новый стандарт языка Graph Query Language (ISO/IEC 39075:2024). Для тех, кто забыл, эта же организация выпускает новые версии стандартов языка SQL.

Публикация стандарта GQL - это знаковое событие для всей индустрии графовых СУБД. Теперь не обязательно изучать Cypher (Neo4j), GSQL (TigerGraph), PGQ Oracle или open-source Gremlin.

Помимо специалистов Neo4J, в проекте также участвовали инженеры из HyperGraphDB, Redis Labs, TigerGraph, Oracle и Germany’s University of Bonn.

Задачи, которые решаются с помощью графовых СУБД, пересекаются с задачами векторного поиска. Это также относится к генеративному искусственному интеллекту, который отлично справляется с поиском взаимосвязей между элементами данных, которые явно не определены.

Недостатком LLM является то, что они представляют собой своего рода черные ящики 🕋. По словам Philip Rathle, CTO Neo4j Inc:

Невозможно понять логику языковой модели. Они просто следуют за нейронной сетью и выполняет свою работу. Граф знаний может служить внешней памятью, способом визуализации того, как LLM построил свое мировоззрение.

Таким образом, я могу проследить график и понять, почему он пришел с таким выводам.

GQL основан на Cypher — и его варианте с открытым исходным кодом openCypher — языке запросов для одной из самых популярных систем баз данных Neo4j.

Большинство вендеров графовых СУБД обеспечат поддержку нового стандарта в ближайшее время. ⏳

Посвящается всем тем, кто сейчас пишет свой НИР, или ВКР, или диплом, или как вы там ЭТО называете.

Высшее образование - путь к успеху! С пятницей!

#mems

🏖️Решил немного развеяться и послушать про YDB. Поиск в интернете отправил меня на бесплатный учебный курс на платформе STEPIK под названием: Начальный курс по YDB (Yandex Database)

Курс небольшой, всего на 4 часа. Подача материала 5 из 5. Мне понравилось. Конечно, хотелось бы больше пафоса, как на курсах Cockroach University. Знаете, чтобы была анимация, щепотка волшебства...
Здесь же - слегка анимированная презентация.
Голос лектора мне понравился. Громкий, четкий, доходчивый, правильно интонирующий. На скорости воспроизведения х1.5 слушается без проблем.

Практическая часть весьма простая, я бы даже сказал, заурядная. Однако этого достаточно, чтобы начать хоть что-то делать в СУБД.

Скоротать вечерок за этим курсом было приятно (ладно, я проходил его три дня, переключаясь между домашними делами и сериалом 😁).

Если вы думаете начать знакомства с СУБД YDB, то это отличная отправная точка!

📚Вышел свежий номер журнала Database Trends and Applications Magazine: April/May 2024

Хотел бы разобрать всего одну статью, но довольно объемную.

The Journey Toward Modernization: 2024 Data Architecture Trends By Sydney Blanchard

В статье обсуждается процесс модернизации платформ данных в компаниях, и проблемы с которыми они сталкиваются.

Хотел бы отметить интересный продукт Materialize DWH от компании Mature Technology. Они предложили использовать мощь DWH для онлайн-аналитики в режиме реального времени. В качестве одного из применений даже взяли систему антифрод.

Забавно, что некоторые компании прикручивают векторный поиск для решений задачи идентификации фрода, а тут Mature Technology просто использую мощь DWH. Интересно, кто-нибудь сравнивал производительность систем антифрод между собой?

Далее в статье рассказывается об инженерах по обработке данных, которые сталкиваются с огромными и нестабильными рабочими нагрузками. Эта проблема связана как с недостаточной автоматизацией процессов, так и малым опытом работы с такими структурами как data fabric и data mesh. Сакет Саурабх, соучредитель и генеральный директор Nexla предлагает разработать систему метаданных, для более легкой интеграции этих соединений.

Финалом этой статьи можно считать дискуссию о роли администратора баз данных (DBA) в 2024 году.

Текущие обязанности DBA:
❗Проектирование и моделирование баз данных.
❗Владение SQL.
❗Безопасность и шифрование данных.
❗Настройка и оптимизация производительности.
❗Сервисы и архитектура облачных баз данных.
❗Технологии обработки больших данных и базы данных NoSQL.
❗Навыки автоматизации и написания сценариев.
❗Методы резервного копирования и восстановления.
❗Знание систем управления базами данных (СУБД).
❗Хранение данных и процессы ETL.

Что должен делать DBA по мнению Paul Lewis, CTO Pythian:
👉 Полагаться на автоматизацию и искусственный интеллект для выполнения рутинных задач, таких как настройка производительности, резервное копирование и восстановление, а также мониторинг баз данных.
👉 Ведущая работа по интеграции данных и разработке платформ данных.
👉Обеспечение защиты баз данных от несанкционированного доступа и т.п.
👉Быть "на гребне волны" цифровой устойчивости, обеспечивая доступность данных для основных систем с помощью избыточности данных, резервных копий, архивов и т.д.

Какой вывод можно сделать? Почти все задачи смело можно будет переложить на плечи AI и автоматизации в целом. DBA останется только ломать голову над интеграцией данных между платформами и соблюдение мер по информационной защите данных.

В целом, о роли DBA в современных реалиях рынка можно отдельно подискутировать.

Если вам есть, что добавить по статьям из журнала, то милости прошу в комментарии.

23 апреля 2024 прошла конференция ArenaDay.

Это не техническая конференция, а больше маркетинговая. Продажническая. Видимо поэтому меня туда не пустили в офлайн 😠
Хорошо, что дали онлайн доступ. 🥹

Видео докладов
Презентации

Выступлений было много, но они все очень короткие. Редко превышают 20 минут. Поэтому можно за пару часов просмотреть все выступления. С перемоткой скучных моментов - еще быстрее.

Несколько тезисов, которые меня зацепили:

❗СУБД Picodata - позиционируется как OLAP/HTAP.
❗Picodata используется в РСХБ для генерации выписок клиентов по счетам.
❗Заказчики фокусируются на монетизации данных.
❗У БургерКинг в DataLake более 500 ТБ данных, и это в облаке.

Финалочка 🧨 Выступление компании Rubytech:

Многие системные интеграторы учат слонов летать (отсылка к PostgeSQL). Однако наши слоны взлетают чаще, летят выше и т.п. Почему?

1. Проверенный подход (Непонятно, что скрывается за этой фразой. Наверное, это должно звучать так: мы набили немало шишек, и теперь готовы ко всему)

2. Надежные партнеры (Если вдруг что-то не будет получаться, то мы обратимся "ко взрослым". Они помогут)

3. Ряд нюансов (даже расписывать и комментировать не буду. Словоблудие)

Я не раз на конференциях спрашивал вендора/интегратора: чем вы лучше остальных? Иногда называл прямого конкурента и просил сравнить список услуг. Пока никто толком ничего сформулировать не смог. Только какие-то абстрактные фразы: "У нас поддержка лучше", "У нас опыта больше", "У нас качество лучше" и т.д. Как проверить эти утверждения потенциальному заказчику? 🤷 Никак. Нужны какие-то более объективные метрики.

Пока мне в голову приходит такие идеи метрик:
👉 Наличие Учебного Центра (УЦ) или партнерских отношений с каким-то УЦ.
👉 Сарафанное радио.
👉 Реклама в интернете.
👉 Спикеры на конференциях.
👉 Количество сотрудников компании.
👉 Годовой оборот компании.
👉Финансовая отчетность.

Это далеко не полный список, но, по крайней мере, дает понять о зрелости компании-поставщика.

Если есть что дополнить, то пишите в комментариях 😉

Если вы готовитесь к экзаменам, то помните - не всегда можно доверять чужим файлам!

С пятницей!

#mems

📻NoSQL FM
⚡Пока мы спали, компании Broadcom (ранее VMware), новый правообладатель GPDB,(международный проект с открытым исходным кодом Greenplum) перевел проект в статус «Архивный». Более ничего нового вноситься не будет. Всё развитие будет происходить в рамках коммерческого продукта VMware Tanzu Greenplum.

Главный контребтютер в нашей стране - компания Аренадата - уже выступила с заявлением, что всё будет хорошо.

Ждем дальнейших новостей и действий со стороны мирового сообщества. Странно, что еще никто не форкнул Greenplum последней версии с новым названием (RedPlum). Как было с проектом Redis.

🎦 Алексей Миловидов: chDB - ответ DuckDB, только лучше
Алексей Миловидов - отец-основатель ClickHouse.
В подкасте также участвует Николай Голов, который, собственно, задаёт вопросы и переводит на простой язык ответы Алексея 😉

Тема очень интересная. Встраиваемые СУБД появляются и используются всё чаще. Обычно они рассчитаны для OLTP нагрузки, а тут появился тренд на OLAP нагрузку. Я уже делал пост про DuckDB. Фактически, это небольшая революция для "карманной" аналитики данных. Теперь ребята из ClickHouse создали свою embended DBMS chDB.

Она полностью совместима по SQL-синтаксису с ClickHouse и даже может подключаться к серверу ClickHouse для выполнения более сложных запросов. По сути, DuckDB и MotherDuck предоставляет тот же функционал.

Интересные моменты из подкаста:
❗chDB, произносится как СиЭйчДиБи
❗SQL диалект DuckDB максимально похож на диалект в PostgreSQL
❗Одной из проблем ClickHouse на западном рынке - уникальный диалект SQL. Почему-то не специалисты неохотно его изучают. По сути, больше всех компетенций в ClickHouse у РФ на данный момент времени.
❗Разработчики DuckDB активно наблюдают за ClickHouse и оба продуктам перенимают фичи/оптимизации друг у друга.
❗MotherDuck - движется в сторону serverless. У ClickHouse уже есть clickhouse.cloud

Как ни забавно, но почти все вопросы по итогу были о ClickHouse, а не о chDB. Ждем больше информации и проектов об использовании chDB в реальных приложениях или других СУБД. Почему бы и нет 😉

📚 PostgreSQL 16. Организация данных. Часть 1

Главная цитата:

Данная статья является объединением книги и официальной документации с моими рисунками, объясняющими написанное в более наглядном (надеюсь, простом) варианте.

Информация взята из книги Егора Рогова «PostgreSQL 16 изнутри», а также из документации PostgreSQL 16.2.

Чтобы написать статью, достаточно прочесть книжку, несколько страниц документации, и готово. Секрет успеха раскрыт!

Я не буду делать обзор этой статьи, суть поста не в этом. Хочу сказать, чтобы вы не стеснялись писать о своей работе и своих исследованиях. Не просто так в ВУЗах дают возможность сделать свою Научно Исследовательскую Работу (НИР).

Сегодня сделать публикацию не составляет большого труда. Такие порталы как Хабр, Медиум и прочее охотно принимают любой материал. Конечно, за качеством они тоже следят, но это уже другой аспект. Главное, не стесняйтесь писать о том, что вы делайте. Особенно в рамках НИР.

🎦 Один PostgreSQL, чтобы править всеми
Виталий Лихачев

Не хотел делать пост про данное видео, но уж очень интересная тема доклада.

По сути, выдвигается тезис, что PostgreSQL может заменить Kafka, RabbitMQ, MongoDB, Redis, Elastic, Geospatial database, cron... Очень амбициозная идея, не так ли? 😉 Далее спикер рассказывает о фичах и расширениях PostgreSQL, которые помогают этого добиться.

Структура доклада мне не очень зашла, т.к. я ожидал, что автор будет рассказать о кейсах использования специализированных решений и в противовес приводить фичи PostgreSQL. Однако спикер продолжил перечислять фичи и высказывать свое мнение. На этом доклад закончился.

В целом, из этой идеи может получиться отличный НИР. Гипотеза фактически готова. Осталось это доказать или опровергнуть. В каких сценариях это действительно работает, а в каких нет? Если вы еще не определились с темой, то можно рассмотреть эту. 👈

В дополнениe к предыдущему посту...

Всех с пятницей!

#mems

📚Graph database shows Biden outspends Trump in social media ad war by Lindsay Clark

Забавная статья на тему необычного применения графовых СУБД.

При поддержке исследовательского гранта в размере 250 000 долларов от вендора базы данных Neo4j Syracuse University's Institute for Democracy, Journalism and Citizenship (IDJC) опубликовал свои первые результаты исследовательского проекта по изучению тенденций расходов и настроений на двух популярных платформах социальных сетей Meta (Запрещенная на территории РФ).

Исследовательская группа использовала базу данных Neo4j, обнаружила, что прямые расходы Байдена на рекламу Facebook и Instagram примерно в 7 к 1 превысили расходы Трампа. Однако, в рекламных объявлениях от групп, связанных с обоими кандидатами, Байден упоминается чаще (47 процентов), чем Трамп (37 процентов).

Благодаря графовой СУБД поиск взаимосвязей между различными событиями стал в разы проще и быстрее. Несмотря на то, что графовые СУБД существуют на рынке уже почти 14 лет, мы еще не раскрыли все области их применения. Очень здорово, когда вендор СУБД выделяет гранты на подобные исследования. Это великолепная маркетинговая инициатива!

📚История Redis и его создателя Сальваторе Санфилиппо (ник antirez)
Перевод. Автор оригинала: Brachiosoft

Порой приятно почитать о людях, которые уже оставили огромный след в истории ИТ-сообщества 🦶. О том, как человек искусства создал великое творение! Однако, в отличие от художников, скульпторов или писателей, ему приходится постоянно совершенствовать свой шедевр. 🧑‍🎨

Потребителям всё время чего-то не хватает.
В конечном итоге это приводит к вечной борьбе между самовыражением и пользой, приносимой сообществу.
Поэтому так важно подобрать момент и выйти из этого порочного круга 🕺. Так поступил и antirez.

В 2021 году он ушел из разработки Redis (хотя по-прежнему доступен как консультант) и занялся написанием научно-фантастических книг. В 2022 году вышла его первая книга Wohpe об искусственном интеллекте. 👽

Несколько тезисов:

🍎Redis разработана в 2009 году.

🍎Изначально разрабатывалась для решения проблемы бутылочного горлышка в операциях чтения/записи жесткого диска.

🍎Прототип LMDB (LLOOGG Memory Database) стал предшественником Redis.

🍎Redis RDB работает на основе fork(), создавая дочерний процесс для записи данных на диск.

🍎Redis начал использоваться в GitHub, Instagram и Twitter, привлекая все больше пользователей.

🍎VMware и компания Redis Labs стали первыми крупными спонсорами Redis.

17 мая прошла конференция от MTC True Tech Day

Видео с этой конференции должны будут попасть на youtube, когда-нибудь.

Хотите пример классного доклада? На конференции мне понравились эти два:

1. Мифы и реалии мультимастера в архитектуре СУБД PostgreSQL
Жилин Михаил, Postgres Professional
Конотопов Павел, Postgres Professional

Еще раз указали на разницу между мультимастером и двунаправленной репликацией:

Отличается от мультимастера.
Минусы
👉Нет строгой согласованности данных
👉Ограниченное определение и разрешение конфликтов
👉Нет отказоустойчивости узлов
👉Нет автоматического восстановления узлов
👉Нет транзакционности в масштабах кластера

2. Пикодата
Константин Осипов, со-основатель Пикодата, Директор по разработке ScyllaDB

Я уже писал обзор на этот доклад. Решил добавить несколько тезисов:
👉Тарантул создавался как аналог Редис.
👉У Редис и Тарантула требования к кластерной архитектуре появились значительно позже. Пришлось многое переосмыслить.
👉Пикодата создавалась изначально по cluster-first подходу.

📌Технические конференции в Москве проходят довольно часто. Чуть ли не каждый месяц что-то, да происходит. При этом спикеры плюс-минус одни и те же.

Как вы понимаете, делать на каждую конференцию уникальный доклад - задача довольно утомительная.
Я ждал момента, когда доклады станут повторятся. И дождался. MTC True Tech Day оправдал мои ожидания. 😉 Если вы частый гость подобных конференций, то вы точно найдете повторы при просмотре программы.

Не поймите меня неправильно, это не хейт конференции. Ни в коем случае! 😘 Просто так сложились звезды ⭐ - темы повторяются. Мне было приятно еще раз послушать уже знакомых спикеров. Надеюсь, у читателей моего канала они тоже есть, и вы меня понимаете! 🥹

Далеко не во всём ПО можно интуитивно разобраться. Порой приходится читать документацию. Не стоит этого стесняться...

С пятницей 🤪

#mems

🎥 Состоялся 3-й митап по базам данных при поддержке Яндекса. Database Internals Meetup #3: архитектура СУБД SoQoL, и протокол репликации YTsaurus

Традиционно представлено 2 доклада:
👉Архитектура новой российской СУБД SoQoL,
Коротченко Андрей, Архитектор, Руководитель Разработки Яндекса
👉 Протокол межкластерной репликации данных YTsaurus,
Руслан Савченко

Второй доклад по YTsaurus разбирать не буду, так как там много архитектурных моментов и вряд ли это интересно большинству. Если вам нравится платформа Hadoop, то YTsaurus - это наш отечественный аналог.

Сконцентрируемся на СУБД SoQoL.
До этого было несколько видео от компании Релэкс по этой СУБД. Однако, всё они плюс-минус одинаковые и очень общие. Например, SoQoL — СУБД для цифровой модернизации

На этот раз спикер больше сконцентрировался на технической части презентации. Весьма интересно было послушать о том, что лежит "под капотом"🚗. Традиционно, на этом митапе интересная секция вопросов-ответов. Тоже советую послушать.

Несколько тезисов:
❗ Разработка с 2017 года
❗ СУБД SoQoL это OLTP RDBMS
❗ Основана на подходе lockfree
❗ Гибкая и масштабируемая архитектура.

Кейсы внедрения:
📍 Перевод системы учета внутренних ресурсов компании с PostgreSQL на SoQoL
📍 Перевод платформы управления предприятием с Oracle на SoQoL
📍 Перевод системы управления ситуационным центром с MS SQL на SoQoL

Сегодня небольшой пост с рассуждениями о преподавании и передаче знаний в целом.

Мой коллега-преподаватель раньше вёл курсы в МГТУ имени Н.Э. Баумана. Ему там многое нравилось, однако вопрос денег ставился всё острее. В конечном итоге, ушел он оттуда. Он специалист высокого класса, предложений перейти в другой ВУЗ у него было полно. Как вы думаете, что он выбрал?

После долгих раздумий он выбрал Университет Синергия. Почему имеено этот ВУЗ? Ведь он далеко не самый престижный среди абитуриентов, которые хотят стать IT-специалистами. Общественное мнение явно не на стороне Синергии.

Ответ прост - в Синергии предлагают максимум денег и минимум отвественности. В престижных ВУЗах, таких, как МФТИ, МИФИ, ВШЭ, довольно скромные зарплаты, высокий уровень бюракратии и много "активностей", за которые не платят.

Какие выводы можно сделать?
⚡ Если ВУЗ тратит много денег на рекламу и привлечение студентов, то, вероятно, он не экономит и на зарплатах преподавателей.
⚡ Все хотят мало работать и много зарабатывать 😉

Искусственный Интеллект все чаще и чаще встречается в нашей жизни! Нам осталось лишь обучиться им пользоваться и применять во благо

С пятницей!

#mems

6 июня прошла конференция Firebird Conf 2024
Организаторы - компания РЕД СОФТ, которые являются отечественными разработчиками СУБД, ОС, виртуализации и прочего.

Место проведения - отель Radisson Blu Olympiyskiy Hotel. Отель великолепный! Помещение для конференции хоть и небольшое, но довольно комфортное.

Было, кажется, 7 стендов. 4 из которых от РЕД СОФТ. Можно было пообщаться со специалистами по мониторингу, обслуживанию Ред Базы Данных. Был отдельный стенд с демонстрацией работы отказоустойчивого кластера.

Доклады скоро выложат на youtube, поэтому разбирать их не буду.

Однако хочу рассказать о начале конференции и "приветсвенном слове".

Opensource проекту FireBird 25 лет! За это время вышло всего 5 релизов. Причем 4-й и 5-й - с разницей всего в 1 год.
О чем это говорит? О том, что к проекту было очень мало внимания. Фактически, он был вялотекущим. НО...благодаря импортозамещению и вливанию денег со стороны РЕД СОФТ, проект ожил.

Этой информацией я вас подвожу к началу выступления спикера Алексея Ковязина, Президента Firebird Foundation. Всё выступление свелось к привлечению спонсоров в сообщество Firebird Foundation. Даже прайс показали. Стоимость членства в элитном клубе без привилегий - 5 000 рублей. НО...если вы хотите стать VIP участником с привилегиями, то стоимость членства поднимается до 90 000 в год. Под привилегиями понимается способность голосовать. Вы можете ускорить или отложить внедрение каких-то фич.

Мне такой подход показался весьма интересным. Для opensource проекта создается финансовая организация. На взносы участников происходит финансирование разработчиков проекта.

Надо взять на заметку! 😉

📚Недавно была статья на хабре: Что такое Proxima DB? Знакомство с российской СУБД на базе PostgreSQL
Компании Orion soft

Очередной форк PostgreSQL, который, по информации авторов
статьи, разрабатывается уже 5 лет.

Не будем фокусироваться на статье, а зайдем сразу в комментарии. Люди задают толковые вопросы:
👉 Как клиентам сползать обратно на ванильный PostgreSQL, когда финансирование Proxima DB прекратится?
👉Было бы круто увидеть сравнение с прямыми конкурентами - PosgresPRO & Arenadata.
👉Продукт существует с 2019 года, но, простите, где вы были все эти 5 лет? Ни одной статьи на Хабре или еще где-то. На PgConf 2024 вас так же не было.

Ответы автор решил не давать.

Я об этой компании сам ничего не знаю. Давайте пробьем ее по сайту Т-Банка:
❗Зарегистрирована в 2021 году. Спрашивается, откуда 5 лет разработки?
❗ Ген.дир и глав.бух - одно лицо. Костров Владимир Олегович. Тоже настораживает.
❗ Компания очень неустойчивая. Низкий уровень ликвидности и собственного капитала.

Фактическая компания может объявить себя банкротом в любое удобное время. Можно сказать, что комментарии аудитории Хабра были обоснованными.

От себя хочу добавить: если компания-разработчик создаст себе хорошую репутацию, то обязательно надо вкладываться в маркетинг и активно показывать себя на ИТ-мероприятиях. Не только как спонсоры, но и как спикеры. 🏖️