🎦 Я. Субботник по инфраструктуре 🗓 от 17.02.2024.
Спикер Олег Бондарь, CPO YDB.
YDB — распределённая отказоустойчивая база данных с открытым исходным кодом.

🤓Хороший доклад по внутреннему устройству процесса масштабирования YDB. Поначалу не сильно понятный 🤭, но после десятой минуты в голове начинает складываться картинка 🧩. В конце выступления создается ощущение, что YDB автоматически партиционируется, шардируется, и вмешательство человека не требуется. Кажется, Яндекс стал на шаг ближе к созданию полностью автоматизированной СУБД🤩.

YDB относится к классу DistributedSQL. В этом классе помимо YDB всего 2 представителя: CockroachDB, YugaByteDB. Они закрывают потребность рынка в надежном отказоустоичивом решении и конкурируют между собой. Кого же предпочесть?

На мой взгляд, западные продукты упакованы гораздо более эффектно. Материалы, выступления разработчиков, маркетинг продукта намного ярче и понятнее🎨. Порой смотришь на Youtube ролики по CockroachDB или Yugabyte, и такое ощущение, что попадаешь в другой мир. Фантастический! 💫
Маркетинг YDB им проигрывает 😔. В разы. Возможно, из-за этого я до сих пор не приступил к изучению YDB. Для меня это имеет значение.

А какое значение вы 🫵 придаете упаковке продукта? Если брать кота в мешка, имеет ли значение цвет мешка? 🤔

Ну и напоследок хотелось бы пожелать удачи разработчикам YDB. Надеюсь, они сменят маркетологов.

Из забавного. CockroachDB и Yugabyte давно внедрили у себя поддержку протокола PostgreSQL. YDB это сделали только в 2023 году, спустя 9 лет с момента начала проекта.

🗓️14-15 февраля прошла онлайн-конференция: ScyllaDB Summit 2024 "What’s next for data-intensive applications".

🤓Я кратко отмечу три видео, которые показались мне наиболее интересными.

📍Topology on Raft: An Inside Look
Konstantin Osipov
Традиционно Константин в своих выступления говорит про алгоритмы консенсуса. В данном случае про Raft. В этом видео он рассказывает, что под капотом у ScyllaDB используется Raft для выполнения фоновых задач. Рассказывает о нововведениях шестой версии ScyllaDB.

📍A Deep Dive into ScyllaDB's Architecture
Tzach Livyatan
Люблю видео с глубоким погружением в архитектуру СУБД🏛️. Хотя текущее видео больше заинтересует людей из отдела эксплуатации, чем разработчиков. В любом случае, спикер хороший, презентация яркая и доходчивая.

📍Balancing Compaction Principles and Practices
Raphael Carvalho
Продолжаем погружаться во внутреннее устройство ScyllaDB. 🤿 Вводная часть посвящена теме LSM деревьев, но главное в этом видео - это стратегии сжатия. Автор строит треугольник Read-Write-Space. Затем все разобранные стратегии помещаются в этот треугольник. Каждый может выбрать свою стратегию исходя из особенностей нагрузки.

Рекомендую ознакомиться с этими выступлениями. На данный момент все видео доступны на сайте конференции бесплатно.
ScyllaDB Summit 2024

🎦Vector search in old and modern databases от Сергея Николаева, технического директора ManticoreSearch и Петра Зайцева соучредителя Manticore Software Ltd.

Спикер знакомит читателя с алгоритмами векторного поиска. Какие виды поиска существуют и в каких СУБД они реализованы.

❗️Напоминаю, что 7 марта 2024 года Сергей Николаев прочтёт лекцию по продукту ManticoreSearch для студентов МФТИ. Уверен, будет весьма интересно и захватывающе!
Не пропустите!

🎦20 февраля 2024 года в компании Яндекс прошел первый митап для разработчиков СУБД "Database Internals Meetup #1: Оптимизатор YDB, и как Picodata меняет рынок in-memory data grid".

На этом митапе было 2 доклада:
1. Оптимизатор YDB. Спикер Павел Велихов
2. Picodata меняет рынок in-memory data grid. Спикер Константин Осипов.

📍Первый доклад - технический хардкор. Мне, человеку, далекому от разработки, оценить выступление было довольно сложно. Речь шла о гибких моделях данных (Anchor), SOTA технике и динамическом программировании (DPccp, DPhyp). Если вы интересуетесь внутренним устройством компонентов СУБД YDB, то материал будет вам очень полезен.

📍Второй доклад в разы проще для восприятия. По сути, Константин рассказал историю создания СУБД Tarantool, какую роль он выполнял в проекте, почему были приняты те или иные решения в разработке и многое другое. Всем, кому интересно развитие коммерческих СУБД - обязательно к просмотру! 🫵

Дополнительно отмечу несколько тезисов доклада:
📌 Если смотреть на рынок коммерческих СУБД, то идёт конвергенция к SQL-like СУБД с поддержкой сложных композитных типов данных.

🧨 Коммерческие СУБД развиваются по принципу: "Мы хотим так же, как в СУБД 'Х', но еще и с 'Y' функцией/ями"

✨ OLAP требует очищенных и строго типизированных данных. Из этого утверждения можно сделать вывод, что MongoDB - это аналитическая СУБД.

📌 Коммерческие СУБД с 2013 года - это гибрид между СУБД и сервером приложений.

🧨 КО: «Главная ошибка (Tarantool), что мы родились в ВК. ВК душит инновации. Нас отправили в рынок собирать деньги. С YDB совсем другая история».

Весь митап доступен на youtube: Database Internals Meetup #1: Оптимизатор YDB, и как Picodata меняет рынок in-memory data grid

🎦 “Анализируем данные в real-time”. Вебинар от компании ВК. Спикер Николай Карлов.
Презентация

Можно сказать, что это первая презентация нового продукта Tarantool Column Store.
Соответствующий пост на Хабре.

✍️Основные тезисы:

📍Tarantool Column Store - это коммерческая СУБД. Следовательно, не opensource.
📍Первая СУБД с поддержкой HTAP обработки. Так это или нет, сказать сложно - нет реальных тестов.
📍Нет никаких сравнений с текущими конкурентными решениями.
📍Был выдвинут тезис, что решения на базе новой СУБД при внедрении и эксплуатации окажутся дешевле аналогов. Но это ничем не подтверждено.

Презентация началась с рабочих кейсов. Спикер приводит пример: корпоративные клиенты с оборотом 1000+ транзакций в день ждут от Интернет-Банкинга возможности построить аналитические отчеты. Я, как человек, который работает с юриками с 2006 года, скажу, что крупным юрикам не нужны никакие графики от интернет-банка. Они их ждут от 1С бухгалтерии, т.к. именно в 1С есть информация не только по счетам в одном банке, а по всем счетам во всех банках - в 1С сливается вся информация. Странно требовать от интернет-банка способности строить крутые BI-отчеты. Возможно, заказчик (банк) выдвинул такие требования, и ВК тут не виноваты (они лишь исполнители), но со стороны такая "хотелка" кажется очень странной.

Спустя час пятнадцать от начала выступления началась секция вопросов-ответов. Спикер отвечал подробно и добросовестно, но часто терял суть заданного вопроса. 🤦

В общем, ждем анонсов докладов/презентаций СУБД Tarantool Column Store на различных митапах/конференциях/форумах. Рекламная кампания только началась, как и календарный год.

📚Прощайте, базы данных, да здравствуют векторные базы данных

Если вы еще не совсем понимаете, что такое векторная СУБД и векторный поиск, то эта статья даст ответы на базовые вопросы. Наиболее ценным, на мой взгляд, является описание прикладной области. Без воды. В первоисточнике приведены примеры задач, для решения которых векторный поиск будет особенно полезен.

Среди них:
- Ритейл (рекомендательные системы).

- Обработка естественного языка (NLP, чат-боты, виртуальные помощники).

- Анализ финансовых данных (инвестиционные прогнозы).

- Обнаружение аномалий (обнаружения мошеннических платежей).

- Здравоохранение (персонализация медицинского лечения).

- Анализ медиа-материалов (интерпретация медицинских сканов, анализ видеопотока).

Новый прорыв: российский стартап qdrant привлекает $28 млн инвестиций для развития векторных баз данных 😄

В начале 2024 года мировое сообщество технологических инноваций встрепенулось от новости о привлечении немецким стартапом qdrant крупного инвестиционного раунда в размере $28 млн. 😮 Этот проект, основанный в Берлине одним из бывших сотрудников банка "Тинькофф" Андреем Васнецовым, выходит на новый уровень развития благодаря поддержке фонда Spark Capital, известного своими успешными вложениями в такие гиганты как Twitter, Slack, Trello, а также ряд других инвесторов. 🚀

Qdrant заявляет о разработке передовой системы управления векторными базами данных, предлагая инновационный подход к решению задач искусственного интеллекта. Подробнее в статье

🗓4-5 марта проходит конференция DevOpsConf2024.
Организатор - компания Онтико. Та же самая, что проводит Highload++. Площадка уже знакомая - это Сколково.
Расскажу о своих впечатлениях.

✅День 1.

➕Из плюсов:

Организация на высоте! Все четко, понятно и отлажено. Любой вопрос/проблема оперативно решается через общий чат. Супер!

Еда. Большое разнообразие. Есть всё и на любой вкус.

Активности. В целом, все, как обычно: квиз, общение со специалистами, кроссворды, VR и настольные игры разных категорий. Из новинок - игра в "Умники и Умницы" (если кто помнит).

Самые интересные стенды: cloud.ru, сбермаркет, positive technilogys, croc. Отдельно отмечу стенд компании Базис. У них активности, связанные с ролевыми играми. Кто знаком с D&D, тому очень зайдет. Я даже поучаствовал в часовой сессии и получил приз - настолку "Шазар игра богов".
Конечно же, отмечу GitVerse. Новинка этого сезона. Импортозамещение популярного github. Стенд у них очень хорош, но активностей и мерча хотелось бы больше 🤑
😔Где мой плюшевый волчонок 🐺? Или это щенок 🐶 на лейбле?

➖Из минусов:

По сравнению с Highload++, стендов от партнеров раза в 2 меньше. Хотя стоимость билета такая же! Я обошел все стенды за один день. Ещё и доклады послушал.
Мерча заметно меньше. На Highload++ в первой день я вынес 4 мешка всякого полезного барахла мерча. Тут же всего один пакет. 😔
😄
Жду второго дня конференции, посмотрим, смогут ли организаторы чем-то еще удивить.

P.S. Разбор докладов буду делать в отдельных постах, т.к. их много и надо отдельно разбираться с каждым. Скажу сразу, по тематике СУБД материала совсем чуть-чуть.

🗓4-5 марта прошла конференция DevOpsConf2024.

✅День 2.

📍Наиболее яркое впечатление оставил стенд Райфайзена. Им удалось классно совместить просветительскую и развлекательную задачи конфереции. Можно было пообщаться с экспертами компании и проверить свои знания в области DevOps, а потом поучаствовать в игре "тетрис с применением арм-рестлинга" и выиграть приз.

📍Пообщался с Олегом Бондарь, CPO YDB. Пригласил его провести лекцию для студентов МФТИ. Он с радостью согласился. Правда, не факт, что получится в этом семестре, но в следующем - 100%.

📍На стенде Gitverse нашел специалиста по Pangolin СУБД. Напомню, что это форк постгреса от СберТеха, ориентированный на безопасность и имеющий сертификацию ФСТЭК. К сожалению, детали проекта выяснить не удалось - их обещали раскрыть на конференции pgconf 2024, которая пройдет 8-9 апреля. Ждем крутую презентацию продукта и несколько докладов от разработчиков.

🗓Чувствую, в апреле будет масса интересных новостей из мира РСУБД. Остался всего месяц.

❣️И моя личная радость - я собрал почти весь мерч со стендов, которые не смог обойти в первый день 🧹

📚На волне интереса к журналу Database Trends and Applications (DBTA)* решил разобрать номер за Октябрь/Ноябрь 2013. Скачать его можно тут

*️⃣Журнал Database Trends and Applications (DBTA) освещает технологии и процессы, задействованные во всех аспектах создания, управления, применения и хранения структурированных и неструктурированных данных. Издательство находится в США. Задача редакции - "создавать ценности для бизнеса и конкурентные преимущества предприятий любого размера во всех отраслях". Веб-версия журнала бесплатна. Существует бумажная версия, которая распространяется по подписке. Номера выходят уже более 24 лет❗️.

Выпуск открывает статья Joe McKendrick "Enterprises Turn to
Tried-and-True Methods to Manage Hyperscale Data Workloads, Survey Finds". Многие компании, внедряющие ИИ в свои процессы, сталкиваются с необходимостью принятия дополнительных мер по обеспечению безопасности. Помимо этого, условием обучения ИИ становится повышение требований к обучающим данным. С каждым годом растет потребность бизнеса в больших хранилищах данных и онлайн-аналитике. Отсюда вытекает третья проблема с внедрением ИИ - дополнительные расходы на хранение данных. Просматривается интересный тренд - отход от облаков в сторону on-premis решений.

Вторая статья также авторства Joe McKendrick: "CYBERSECURITY IN THE AGE OF UNCERTAINTY". Довольно объемная статья, но по сути, ничего нового не сообщающая. Если вы хоть раз читали о важности информационной безопасности на предприятии, о внешних и внутренних угрозах, то, считай, вы все знаете. Можно такую статью печатать каждый год без изменений. Разве что добавить хайповые термины. Сейчас на хайпе opensource и ИИ, которым посвятили пару абзацев. Остальное как под копирку - из года в год одно и то же.

Третья статья «The Bottom-Line Business Benefits of Distributed Multi-Master Relational Databases". Автор Phillip Merrick, CEO and co-founder of pgEdge, Inc.
В контексте статьи мультимастер рассматривается как геораспределенная структура. Такая конфигурация позволит избежать множества проблем, если один из ЦОД (где расположен узел) выйдет из строя. Безусловно, мультимастер обеспечивает повышенную отказоустойчивость. Однако мне кажется, что основным достоинством мультимастера является распределение OLTP нагрузки. Мне в статье не хватило более глубокого обзора фич технологии мультимастера.

Это топ-3 статей, которые привлекли мое внимание. А какие статьи зацепили вас? Можете поделиться в комментариях.

Поздравляю всех подписчиц моего канала с 8 марта! С Международным женским днём! Хочу вам пожелать, быть очаровательными, творческих успехов и карьерного роста. Вы - настоящее украшение любой IT команды. С праздником! 💐

🗓 29 февраля состоялся официальный релиз РСУБД SoQoL от компании разработчика АО НПП «Релэкс». (Эта компания известна тем, что разработала и поддерживает РСУБД "Линтер", ориентированную на госсектор, оборонку, судостроение и т.п.). Их новый проект SoQoL разрабатывается с 2017 года❗️.

После прочтения этой новости на новостных порталах и в официальном телеграмм-канале, у меня глаза на лоб полезли 🙄 - пафос такого уровня я еще не встречал! 🧨🎇🎆 Такое ощущение, что разработчики создали какого-то убийцу всех современных СУБД🥷: Постгрес курит в сторонке, Оракл трясется в углу, а Майкрософт рвет волосы везде, куда может дотянуться...

Притом за все годы разработки SoQoL, его создателей не было видно ни на одной конференции/митапе/форуме с каким-либо докладом. Что они разрабатывают? Какие алгоритмы используют? Чего ждать от продукта? Непонятно. 🤷

В 2023 году моя студентка писала НИР по бета-версии СУБД SoQoL. Но даже она, со всей ее заинтересованностью, не смогла найти достаточно информации для того, чтобы сделать полноценное разностороннее исследование этой СУБД. Мне же хочется задать самые простые вопросы: зачем нужна еще одна РСУБД? Чем она будет отличаться от остальных? (Вдобавок, у РЕЛЭКС уже есть одна).

Напрашивается вывод - SoQoL попытаются интегрировать в госсектор, дорожка уже протоптана. Очень надеюсь, что я не прав, и разработчики выйдут на свет и расскажут о своём продукте ИТ-сообществу РФ. Будем ждать...

🗣Поговаривают, что представители Yandex связались с разработчиками SoQoL с предложением о сотрудничестве 🧩. Возможно, они договорятся о совместных митапах и конференциях.

📖Недавно прочел новую книгу по нашей тематике: Путеводитель по базам данных. Автор Комаров В. И. (— М.: ДМК Пресс, 2024. — 520 с.).

Книгу можно скачать бесплатно с сайта PostgesPro.

Как сказано в заглавии, сей труд рекомендован ИСП РАН в качестве учебного пособия для студентов профильных вузов.

Приведу аннотацию целиком: "Книга рассказывает об архитектурных принципах, на которых базируются все современные системы управления базами данных, а также об алгоритмах и структурах данных, которые в них используются. Особое внимание уделено сравнению реализаций одних и тех же подходов в близких по функциональности платформах. Кроме того, предлагается оригинальная классификация СУБД, рассматриваются вопросы эксплуатации и обеспечения безопасности".

😼Действительно, книга прекрасно подходит для новичков, которым интересны СУБД. Но в ней есть несколько недочетов, (которые заметят лишь "прожжённые" практики, те, кто варятся в среде СУБД многие годы). Образовательный потенциал данной книги высок🔝. Я думаю, она вполне достойна войти в список литературы к моему курсу. 😉

В общем, если вы хотите чуть глубже (но не сильно) погрузится в мир СУБД и ознакомиться с архитектурными паттернами построения различных типов СУБД, то милости прошу. Книга ответит на многие вопросы и, надеюсь, пробудит интерес к более глубокому изучению.

Пока я был на конференции DevOpsConf 2024, (день 1, день 2) состоялась презентация новой технологии распределенной СУБД Shardman от компании PostgresPro.

Тыц 👈

Это распределенная СУБД на основе PostgresPro (14) cо всеми фичами предшественника и дополнительными возможностями горизонтального масштабирования, при этом с возможностью работы с данными объемом более сотни ТБ.

Я сам на мероприятии не был, поэтому не могу сказать, относится ли Shardman к категории DistributedSQL СУБД. Однако нас ждет конференция PGCONF в апреле, там я и задам разработчиками интересующие меня вопросы. Предварительно стоит ознакомиться с документацией.

Если у вас есть вопросы по этой СУБД (и не только), то напишите их в комментариях. Я обязательно передам их экспертам.

🎦 I've been using Redis wrong this whole time... by Dreams of Code

Авторы популярного YouTube-канала выложили видео, в котором развенчивают два (✌️) мифа о СУБД Redis.

Миф 1. Отсутствие персистентного хранения данных.
Действительно, долгие годы (а СУБД была создана в 2009 году) считалось, что Redis хранит данные только в ОЗУ. Однако с 2013 по 2018 годы в Redis было добавлено множество новых функций, что позволило улучшить механизм персистентного хранения. Авторы видео это подтверждают, демонстрируя наличие всех необходимых параметров конфигураций. Просто нужно его правильно настроить, а для этого требуются умелые 🙌 и 🧠.

Миф 2. Отсутствие поддержки сложных структур данных.
Мне было странно узнать, что такой миф существует. В своей работе я не сталкивался с подобной критикой Redis.
Авторы видео приводят множество различных кейсов, доказывающие огромное разнообразие существующих структур хранения и представления данных.

Может показаться странным, что СУБД Redis окружена мифами. Даже на их официальном канале есть видео Four Redis Myths Debunked.

Действительно, в ранних версиях присутствовали недостатки, которые породили эти устойчивые точки зрения. Особо мне запомнился миф о том, что Redis является однопоточной системой, и поэтому у него ограниченная производительность. Тем временем, в 2020 году вышла шестая версия Redis с поддержкой Multi-threaded IO. (Конечно, это не внедрение многопоточности в истинном виде, но это позволяет существенно повысить производительность СУБД).

Как видите, бороться со сложившейся репутацией очень сложно 🤦‍♂️. Сколько же усилий тратят маректологи на то, чтобы IT-сообщество (прежде всего ИТ-архитекторы) заново переосмыслило области применения и эксплуатации СУБД Redis.

Надеюсь, разработчикам удастся победить в этой борьбе, и мы чаще будем видеть СУБД Redis в ИТ-ландшафте предприятия 🏞️ на различных позициях, а не только как КЭШ к РСУБД.

Немного юмора в пятницу

#mems

🆕Tantor: отечественная СУБД на все случаи жизни.

Компания «Тантор Лабс» разрабатывает систему управления базами данных на основе PostgreSQL с платформой мониторинга и администрирования для высоконагруженных сценариев использования класса mission critical. В настоящее время она является частью «Группы Астра».

Подробнее в статье

В чем главные фичи продукта Тантор:
📍«Тантор Лабс» - одна из немногих компаний, которая предоставляет готовый аппаратный комплекс СУБД + Железо.
📍 Красивый GUI и набор утилит
📍Оптимизация ядра (аналогично доработке PostgresPro)
📍 Фишки по улучшению уровня безопасности.

В целом, ничего сверхнового. Однако мне показалась интересной история компании.

Из официальных источников:

2016 год - компания планировалась как международная. Был выход на рынки Ближнего Востока, Северной Америки и Южной Америки

2021 год - пришлось закрыть все международные направления и сконцентрироваться на рынке РФ. Бизнес закрылся то ли из-за санкций (хотя в это время их было не так много), то ли из-за того, что продукты компании оказались не так уж востребованы.

2022 году случилось чудо - компанию спасла "Группа Астра", которая её, по сути, приобрела (купили 75%). Теперь под лозунгом импортозамещения на рынке РФ внедряется СУБД Тантор.

Можно посмотреть финансовую отчетность и понять, что из себя представляет компания: в 2021 чистая прибыль составляет ➖74 000 р. Но уже в 2022 она увеличивается на 85293.2% до ➕63 043 000 р. 🤑 Интересно было бы увидеть цифры за 2023 год.

Как-нибудь свяжусь с разработчиками Тантор и попробую взять у них интервью. Думаю, будет интересно.

📻SQL FM

СУБД PostgreSQL и её форки завоевывают всю большую популярность на территории РФ - идет процесс импортозамещения. Однако и для новых проектов PostgreSQL выбирается чаще всего. С чем это связано? Куда подевались NoSQL-решения?

Возьмем для примера популярную NoSQL СУБД MongoDB. Почему российские IT-архитекторы отказываются от этой СУБД?

Если отбросить факт, что компания MongoDB Inc ушла с рынка РФ, громко хлопнув дверью, то причины следующие:

1. Отсутствие какой-либо официальной техподдержки. Даже неофициально найти компанию, которая предоставляла бы такие услуги, непросто.

2. В РФ так и не сформировался рынок высококлассных специалистов по СУБД MongoDB. Многие компания просто не умеют её "готовить"🥚.

Схожая проблема актуальна и для отечественных компаний, продвигающих NoSQL-решения: ВК, Эквирон, Аренадата. Сегодня их доля на рынке незначительна,
несмотря на то, что они обеспечивают техподдержку своего продукта.
Сложности возникают с рекрутингом высококвалифицированных администраторов баз данных🍳. Одним из решений является разработка обучающих курсов, доступных на самых популярных обучающих платформах.

Немного юмора в это солнечное утро

#mems

📻NoSQL FM
21 марта на лекции по Tarantool от компании ВК спикер Игорь Золотарев обронил фразу, что Redis перестаёт быть opensource-проектом. Решил погуглить, и нашел новость:

⚡ СУБД Redis переходит на проприетарную лицензию

Настоящая трагедия для OpenSource-сообщества!😩😭

В качестве причины изменения лицензионной политики отмечается желание не допустить паразитирования провайдеров облачных сервисов на открытом ПО. Компанию Redis Inc не устраивает то, что облачные провайдеры создают производные коммерческие продукты и занимаются перепродажей Redis в виде облачных сервисов, но не принимают участия в жизни сообщества и не помогают в разработке. Создаётся ситуация, когда выгоду получают ничем не связанные с проектом облачные провайдеры, перепродающие готовые открытые решения, а непосредственно разработчики остаются ни с чем.

Разработчиков можно понять. Все хотят денюжку, и грустно наблюдать, как огромные денежные потоки 👆 протекают мимо.

Пока сложно предсказать масштаб бедствия, но, думаю, для многих компаний по всему миру это настоящий гром среди ясного неба. Компаний из РФ тоже заденет немало. Я думаю, особенный шок у Альфа-Банка, который интегрировал Redis в свой ИТ-ландшафт очень прочно. Хотя, возможно, они смогут договорить с Redis Inc и просто кинут им денег. Как-то 😉... через карточку МИР...

Подожду пару недель и посмотрю на реакцию сообщества. Если будет что-то интересно, я обязательно напишу!

Пока - Redis RIP 🪦