📚Как освоить векторные базы данных

Начальная статья для тех, кто хочет познакомиться с миром векторных СУБД.

Кратенько пробежимся по основам...

❓ Зачем использовать векторные базы данных?
👉 Эффективны при работе с многомерными данными
👉 Быстрый поиск приблизительных ближайших соседей (ANN): HNSW, Faiss
👉 Масштабируются "из коробки"
👉 Бесшовно интегрируются с ML/AI-пайплайнами

🔥 Популярные векторные базы данных
Milvus — база данных с открытым исходным кодом
Pinecone — облачная коммерческая СУБД
Weaviate — это векторная база данных с открытым исходным кодом, ориентированная на графы знаний.

Мне лично больше нравится Weaviate — исключительно из-за дизайна сайта, лейбла и прикольного YouTube-канала 😄
А вот в России гораздо чаще встречаются проекты на Milvus. СберТех, Авито (и наверняка Яндекс) уже активно работают с ней. Думаю, если не в этом году, то в следующем на конференциях мы услышим больше докладов по этой СУБД.

На хакатонах и буткемпах студенты тоже отдают предпочтение Milvus. Ждём-ждём больше новостей от отечественных компаний!

p.s. если говорить о встраивании в образовательный процесс векторных СУБД, то мне кажется пока рановато. Точно не в следующем году.

📚 К SQL или NoSQL: зачем что-то выбирать?
Hermann Baer (Oracle)
Это мой первый пост про статью за авторством специалиста из Oracle. Уж больно интересное название.

Если пропустить всю воду и подытожить, то автор заявляет, что благодаря добавлению в OracleDB поддержки JSON, а так же внедрению стандарта SQL:2016 - NoSQL (MongoDB, как пример) не нужны. Забудьте про Mongo, любите Oracle ❤️. Занавес 🕸️.

Если серьезно, то эта статья натолкнула меня на мысль изучить стандарт SQL:2016 и сравнить работу с JSON документом с помощью SQL и языка MongoDB Query Language (MQL). Может получиться интересная лекция и лабораторная работа.

p.s. на заметку на следующий учебный год

📚 30 лет MySQL, базе данных, которая изменила мир

До бешеной популярности PostgreSQL в последние 4 года, MySQL была самая популярная Open Source СУБД! Сейчас у неё почетное 2-ое место. Хотя, если верить рейтингу db-ranking, то там до сих пор 1-ое место.

Материал довольно интересный. Вообще, мне кажется в последнее время довольно часто попадаются статьи с ретроспективой. Мол, как развивался продукт и к чему мы пришли.

Основные тезисы:

👉 MySQL, названный в честь дочери одного из создателей, стал основой веб-инфраструктуры 2000-х благодаря простоте и открытости. Кстати, у MariaDB такая же история с именованием.

👉 В эпоху Web 2.0 MySQL вошла в LAMP-стек, обеспечив стартапам быстрое масштабирование без затрат на коммерческие СУБД.

👉 Конкуренция с PostgreSQL выявила её преимущества в репликации, но уступила по функциональности и популярности среди разработчиков.

👉 Технологии вроде Vitess (YouTube) и Heatwave (Oracle) адаптировали MySQL для распределённых систем и аналитики.

👉 Facebook использовал MySQL на ранних этапах и продолжает использовать её и сегодня.

👉 MySQL способствовала демократизации ИТ, сделав мощные СУБД доступными каждому.

С распространением ИИ всё чаще студенты/junior задаются вопросом, а стоит ли изучать SQL? ИИ наверняка сделает лучше!

Согласен, ИИ чуть ли не в 90% случаев сделает работу быстрее и качественнее (если автор написал адекватный промпт). Чем сложнее задача, тем выше вероятность ошибок ИИ. Тут без знающего специалиста SQL не обойтись. Запомните, ИИ может за вас начать делать задачу. Проложить путь. Вы должны всегда сомневаться и проверять ответы ИИ.

Можно сказать, что человек становится не автором текста, а в его редактором/продюсером/ревьюером. Называйте себя как хотите.

С пятницей!

#mems

📚 НАСА перешло от использования СУБД Neo4j на решение Memgrap

Очень забавная статья👍. По заголовку кажется, что Neo4j теряет рынок, что крупные заказчики признали конкурентов и вечный тезис любой графовой СУБД "Мы в Х раз быстрее Neo4j" наконец сработал 😱. НО...не всё так просто😏.

Товарищи из НАСА выбрали Memgraph потому что:
1️⃣ дешевле
2️⃣ теоретически потребляет меньше ресурсов

Казалось бы..это всё?🤨 Да, это всё. Хотя в статье есть фраза, что Neo4j обладает большим функционалом, но всё-таки цена решает.

Бюджет:
НАСА на 2024 год - 24,875 млрд.💸,
а на 2025 год - 27,2 млрд.💸
Роскосмос на 2025 год - 3.2 млрд.💸

Занавес 🛁

p.s. в компании, где я сейчас работаю, тоже идет проект по миграции одной из центральных учетных систем на аналог. Руководство сказало прямо, аналог дешевле! Всё 😵‍💫 Но по функционалу и всему остальному новый продукт сильно проигрывает. Особенно по визуалу 🫣. Такое ощущение, что я вернулся в далекие 2000-е годы 🤖. В общем, все пытаются сократить затраты.

📚 Picodata: вторая жизнь in-memory баз данных

Крутая статья от Константина Осипова по проблемам текущих СУБД и позиционирование его продукта Picodata.

Если признаться, то Константин с этой темой выступал последний год на разных конференциях. Причем тема реально одна и та же 😏. И теперь он решил написать статью.

Думаю это правильное решение для завоевания аудитории.

Тезисы приводить не буду, т.к это повторение ранее вышедших постов. Ссылка 1 и Ссылка 2

🎥 Database Internals Meetup #7

❇️На этот раз митап прошел полностью онлайн — но это не всё! Впервые он состоялся на английском языке 😱😉

👉 WeSQL: A Cloud-Native Database Built on General-Purpose IaaS – Zhao Dongsheng, WeSQL

В этом докладе мы представим WeSQL, облачную базу данных, предназначенную для эффективной работы в инфраструктуре IaaS общего назначения. Мы расскажем о мотивации создания WeSQL, объясним, почему мы выбрали механизм хранения данных на основе дерева LSM и как мы используем как диски экземпляров, так и S3 в качестве носителей информации. Мы также рассмотрим, как WeSQL обеспечивает высокую экономическую эффективность за счет снижения задержки и долговечности, использования постоянного кэша и гибридного формата хранения данных в виде строк и столбцов. Кроме того, мы объясним, как используются согласованные моментальные снимки для полного сохранения данных в S3.

👉 Nile: Serverless Postgres for Modern Multi-Tenant SaaS – Peter Pleshachkov, Nile

Nile - это бессерверная платформа Postgres, созданная для современных B2B SaaS-приложений. В основе каждого B2B SaaS-продукта лежит мультитенантность. Арендатор — обычно это компания, организация или рабочее пространство в вашем продукте, которое объединяет группу пользователей и их данные. Nile относится к арендаторам как к первоклассным пользователям, что упрощает создание безопасных, изолированных и глобально распределенных приложений с самого первого дня.

Это позволяет отделить хранилище от вычислений, виртуализировать клиентов на уровне базы данных и обеспечивает плавное вертикальное и горизонтальное масштабирование в разных регионах, что позволяет командам быстрее выполнять поставки, обеспечивать безопасность и неограниченно масштабироваться.

Я не буду разбирать эти доклады, уж очень они специфичны. Не для каждого. Просто упомяну, что в тренде облачные решения и СУБД. Народ пытается конкурировать на этом рынке.

🎉Состоялся вчера мой открытый урок по теме:
Redis 8 + JSON = документ-ориентированная БД?

Ограниченный тайминг повлиял на уровень волнения, но думаю получилось неплохо для первого раза! 😅

Мне бы хотелось более живой формат с общением с аудиторией, т.к. мои лекции обычно предусматриваю интерактив. Но это на будущее. 🥸

У меня уже готовятся 2 интересных видео на канал школы DevHands. Лето будет интересным! 😋

Анонсы буду постить, не переживайте! 😉

Конец семестра близок... Начинается цикл защит НИР и ВКР.

С пятницей!

#mems

📚Немного поразбираем статьи на Хабре 😎

1️⃣Шардированный не значит распределённый: что важно знать, когда PostgreSQL становится мало
Топовая статья по шардинг и распределенные транзакции. Написано академически правильно и красиво. Множество ссылок и анализа литературы. Не подкопаться. 🧐

Возможно мне не хватило более глубокой аналитики на тему гарантий ACID, как часто действительно нужны широкие транзакции и более четкого понимания термина: "когда одного PostgreSQL" не хватает. Но тогда бы статья стала огромным лонг-ридом. 🤷‍♂️

Для себя я пока не могу нащупать грань того, когда нужно переходить на распределенную СУБД. Пытаю народ, но пока четкий ответ получить не могу. Буду работать над собой 💪

2️⃣Разбираем древо ArangoDB «по веточкам». Подробный гайд по графовой БД

Небольшая статья о том, как в нашем РУ сегменте используется графовая СУБД. 📈📉

3️⃣В 2024 году российский рынок СУБД достиг 2% от совокупного объёма продаж российских IT-решений
sffsfs
Просто приведу немного статистики

По итогам 2024 года российский рынок СУБД достиг 89,5 млрд рублей, что на 34% больше, чем в 2023 году. Доля СУБД общего назначения — 48%, ещё 32% пришлось на аналитические системы.

В числе лидеров рынка эксперты выделили Postgres Professional, АО «Группа Arenadata», DIS Group, Yandex Cloud и «Тантор Лабс» (входит в ГК «Астра»).

Вот почему рынок СУБД такой "вкусный" 😋

4️⃣OLAP-системы: многомерная модель данных и её применение. Правила Кодда: библия для разработчиков реляционных баз данных

Хорошая статья на тему: "Введение в аналитические СУБД". Подробно рассказано, что такое OLAP и даны определения ROLAP, HOLAP и прочих систем. Советую почитать...особенно комменты 😁

📚 Компания ClickHouse получила 350 миллионов долларов за свою высокоскоростную столбчатую базу данных

Просто хотел поделиться успехом компании ClickHouse и Алексея Миловидова в целом. Шикарный пример, как продукт, родившейся в России под крылом Яндекса, обрёл мировой успех! 🎰

Снимаю шляпу перед всей командой Клика. 🎩

Я как-то думал рассказать про эту СУБД в своих курсах поподробнее, с примерами... но, в моей текущей деятельности нет аналитических задач и примеров с ClickHouse. Даже ближайшие друзья пожимают плечами 🤷‍♂️. Поэтому пока просто порадуюсь за нашего соотечественника! 😉

💸 Databricks купит стартап базы данных с открытым исходным кодом Neon за $ 1 млрд

Это значимое событие для рынка СУБД. Neon стал сильно раскручиваться и тут раз...покупка. 💰

1 млрд долларов - гигантская сумма для проекта, которому 4 года. 🤑

С другой стороны Databricks, которая только за 1 год привлекла инвестиций на 19 млрд.долларов🤑🤑. Они могут себе позволить тратить деньги для ликвидации конкурентов.

Очередная победа капитализма.😉

Мне очень понравилась эта картинка у одного из докладов. Реальное отражение того, чего хотят "начальники" от DevOps специалистов. Я бы еще добавил слова: Arch, Obs, Migr...

Всё надо уметь и знать 🤯

Слава богу, что руководители начинают понимать, что DevOps - это не человек, а хотя бы группа людей💡🙏. Слово культура опустим. DevOps - это про людей с единым базисом, но с разными компетенциями! 🪭

Осталось только понять, что является базисом в DevOps? 🤔

С пятницей!

#mems

👉Announcing the CedarDB Community Edition
Не самая актуальная новость, но всё же.

Вышла бесплатная версия CedarDB. Прелесть этой СУБД в том, что она принадлежит категории HTAP(Hybrid Transactional/Analytical Processing). На ней успешно выполняются как OLPT, так и OLAP запросы.

Я не очень понимаю всю эту эйфорию вокруг HTAP. Есть СУБД под каждый тип нагрузки, зачем пытаться скрестить "ужа с ежом"? Не уже ли это так востребовано? В общем, это очередная идея для R&D активности 🧑🏻‍🔬

Думаю стоит это сделать темой на научной работы студентов. Может быть я что-то интересное узнаю 😎

📚 Пришла пора нового номера журнала Database Trends and Applications Magazine: April/May 2025 Issue

❗️Тема номера:
Reimagining Data Governance and Security in the Era of AI and Fast-Moving Data

Я бы перевёл это так: "Как не потерять контроль, когда ты в центре цифрового урагана" 🤯

➡️ Survey: Software Licensing Audits on the Rise, Exacerbated by the Cloud
Традиционная статья, которая собрана на основе анализа 100500 мнений предприятий ♾️ Если серьезно, то вывод из статьи следующий:

Переход компаний в облако и активное использование современных решений (особенно AI) значительно усложнили соблюдение лицензионных соглашений. Это привело к: частым и дорогостоящим аудитам, увеличению штрафов и значительной нагрузке на предприятие в целом.

Раньше соблюдать лицензионную политику было сложно, то сейчас стало еще сложнее. Без юриста, а лучше отделов юристов, которые разбираются в лицензионных политиках компаний обойтись нельзя👷🏻‍♂️.

➡️ What’s Next in Data Engineering for 2025
В 2025 году основная цель Data Engineering — снизить нагрузку от рутинных задач с помощью "умной" автоматизацию и AI-агентов, создавая надёжные, масштабируемые и удобные для работы системы.

Например:
👉AI помогает, но не решает проблему рабочего перегруза;
Мне понравилось:

Хоть 83 % специалистов отметили рост продуктивности благодаря AI, но 25 % все ещё сильно перегружены, а 54 % чувствуют перегрузку уровней «значительно/умеренно»

Это было очевидно с самого начала. Да, ИИ позволяют многое делает быстрее. Факт 👍. Сам на себе прочувствовал. Однако, задач меньше не становится, а даже наоборот, их становится больше! Эта нагрузка превращает тебя в "белку в колесе" 🔄. Слишком всего дофига 😭😢

👉Автоматизация — спасение для перегруженных команд;
Тут тяжело спорить. Однако, кто будет заниматься автоматизацией? 🤷‍♂️ Кому это надо? Даже я порой думаю, что уж лучше я ряд команд выполню сам "ручками", чем доверюсь скрипту 👴🏻. Это звучит максимально глупо, но какой-то страх и не доверии у меня есть. Не знаю почему 🫤... Хотя я всегда ЗА любую автоматизацию, если это делает кто-то другой 🤔

👉 В 2025 году такие инструменты как Apache Airflow или Nexla продолжают эволюционировать и быть более дружелюбными к пользователю. Внедрение ИИ фич во все места.

➡️ INSIDE A CYBERATTACK: HOW HACKERS STEAL DATA
Возможно стоит эту статью выделить в отдельный пост, я подумаю... Пока ограничусь мыслью, что хакерам интересно абсолютно все 👀. Не важно чем вы занимаетесь, какие у вас данные и т.п. Если у вас нельзя что-то ценное украсть 🥷, то значит к вам можно кого-то подсадить (майнера) , чтобы увеличить прибыль от попытки взлома 💰. Для полной защиты нужно комбинировать:

- многослойные системы безопасности (zero‑trust, сегментация сети),
- надёжное управление ключами,
- функциональность токенизации,
- систему выявления вторжений.

➡️ The Smart Automation Playbook: Elevating SQL Server Performance
По навыдумывали терминов... Smart Automation… «Умная» автоматизация.
Как будто раньше она была глупой, как табуретка. Ну серьёзно? Теперь всё, что можно, оборачивают в хайп — лишь бы звучало модно и «AI-like».

Не хочу углубляться в статью, поэтому просто повторю как мантру универсальную истину:

если вы постоянно повторяете одни и те же действия — будь то команды в терминале или кликанье мышкой по кнопкам — не тормозите, автоматизируйте! Пусть всё это делает скрипт по шедуллеру. Сами займитесь чем-то более полезным.

За годы работы я видел массу примеров, когда люди вручную выполняли абсолютно шаблонные задачи. И на вопрос:

— Почему ты это не автоматизируешь? Так же быстрее и проще.
Ответ:
— Да, ты прав, можно. Но… если я это автоматизирую, чем тогда мне заниматься? Пусть начальник лучше видит, что я занят. Работаю же…

Занавес.

Забавных факт, что такие люди вскрываются только тогда, когда идут сокращения. Оказывается, безболезненно можно уволить 10-15% персонала без потери текущего темпа производства. Да, такой ход не является универсальным правилом. Однако, исключения из привил лишь подтверждают правило 😉

23-24 июня пройдёт Saint HighLoad++ в Питере!

Профессиональная конференция разработчиков высоконагруженных систем.

Я там буду. Билеты купил. Чемодан в процессе сборки. Жду

💡Подсвечу 2 статьи на Хабре, которые как-то меня зацепили

📚 Максимизация производительности ScyllaDB
Сама статья в целом неплохая. Почему-то она кажется очень поверхностной и от этого банальной. Рассказ про "сферического коня в вакууме". Много строчек кода, а реальных пруффов от применения рекомендаций нет. В итоге, +1 за то, что ScyllaDB всё еще в инфо поле и 0 за полезность 🤔

ScyllaDB не частый гость на ресурсах нашего интернета, но СУБД очень интересная. Говорят, что она где-то применяется в госсекторе, но реальным пользователем пообщаться пока не удалось. Я работаю над этим 😎

18 декабря 2024 года случилось страшное😱! ScyllaDB перешла на собственную лицензию. Исходники до сих доступны на Git, однако, есть серьезные ограничения по использованию в коммерческих целях. Если кратко, то
👉 общая доступная емкость кластера не должна превышать 10 ТБ и/или 50 vCPU.
👉 запрет на использование в облаках
Все запреты и ограничения преодолеваются если купить коммерческую лицензию 😉

p.s. я думаю собрать/обновить курс по "СУБД в современном ИТ-Ландшафте" и сделать упор на распределенные индустриальные системы.

📚 Новая машина баз данных Tantor XData 2B на российском процессоре Baikal-S
Нишевый продукт для очень узкого круга покупателей. Заявлять о серийном выпуске МБД (машина баз данных) - это смело 🍻. При условии, что процессоры Baikal-S производятся в недружественном TSMC. Мне тяжело рассуждать насколько рынок МБД большой 🤷‍♂️. В РФ до 2024 года было всего 2 игрока: Скала-Р и Тантор. С 2025 года PostgresPro инвестировала 1.5 млрд.рублей в свою МБД - PostgresPro Machine.

Признаться честно мне бы очень хотелось поэкспериментировать с этой машиной и разобрать её на части ⚙️ в научно-познавательских целях конечно же 😇! Но проблем в том, что ставить её некуда 😢 Надо искать внешнюю R&D лабораторию или молиться, что СберТех откроет свою и пустит туда преподавателей 👨‍🏫

На злобу дня...

С пятницей!

#mems

🎥 YDB — это просто! Администрирование YDB | СУБД Яндекса
Вебинар был аж 22 мая, но у меня в этот день были мероприятия на кафедре, поэтому пришлось смотреть запись.

❗️Презентация

Само видео короткое. Всего 58 минут, поэтому времени много не займет.

Успели разобрать:
👉 Кратко особенности YDB
👉 Развертывание YDB на локальном компе (1 нода)
👉 Развертывание инфраструктуры в облаке через terraform.
👉 Развертывание YDB на готовой инфраструктуре через ansible
👉 Генерация сертификатов и распространение их в кластере
👉 Команды обслуживания кластера без простоя.

Довольно насыщенное выступление! 💪

После просмотра видео сложилось впечатление, что это всё очень не просто. Чтобы всё это работало нужно обладать обширными знаниями и понимаем всех взаимосвязей. Всё взаимодействие строится на огромном числе скриптов. Администрировать СУБД - обязанность не из простых.

Короче, вебинар классный и полезный! ✅ Но это еще не самое главное. Оказывается уже есть бесплатные курсы от Яндекса по администрированию и работке YDB. Надо будет обязательно пройти.
И это еще не всё! 🤓 Оказывается Яндекс решил пойти по пути крутых вендеров и прикрутили платную сертификацию за 7 000 💰. Это весьма забавный момент. Хотя бы серты по YDB не раздают всем подряд. Какая-то верификация есть. Хотя если брать историю PostgresPro с их сертификатами, то народ не особо жаждет их получать.
За 5 лет сертификат DBA1 получили примерно 385 человек 🙃. Это капля в море с учетом бешеной популярности PostgreSQL.

p.s. да, да, я как и многие без сертификатов сижу. Но...думаю о них 🤔🤔🤔

Опять разберем тройку статей с Хабра.
1️⃣ Как провести нагрузочное тестирование БД PostgreSQL и ничего не забыть
Ребята из Тантора заопенсорсили свою утилиту тестирования PostgreSQL, pg_perfbench. По сути это python-обвязка для pg_bench с рядом важных функциональных дополнений. Перечислю некоторые фичи:
👉 Сокращает время на подготовку и повторное воспроизведение тестов
👉Автоматически фиксирует параметры нагрузки и системные параметры
👉Упрощает анализ и сравнение результатов
👉Обеспечивает воспроизводимость экспериментов
👉Унифицирует подход к нагрузочному тестированию

Выглядит как отличная научно-исследовательская работа (НИР) 👨‍🔬! Почему это выглядит как НИР? Ответ прост, на гите всего 2 контребьютера 😏. Явный намёк на это.

Первый релиз был в сентябре 2024. Последние изменения в 21 мая 2025. Гляну, что будет с этим проектом к концу года.

2️⃣ Обновление Платформы Tantor 5.3: поддержка PostgreSQL 17, интеграция с Mattermost и другие улучшения
Слежу за битвой трёх продуктов: PPEM, Kintsugi, Платформа Tator.
Первым, кто обновил свой продукт, был PPEM.
Через месяц, почти одновременно Kintsugi и вот теперь Тантор.

Пока все эти изменения весьма скромные. Жду большого релиза! 👋 Сейчас сложно сказать, какой продукт к концу года будет лучшим, но вангую, что свои недостатки, на которые я сделал акцент в своём докладе на PG.Conf.2025, исправлены не будут. Все идёт в рамках своих дорожных карт...

3️⃣ Резервирование кластера Greengage DB (на базе Greenplum OSS)
Аренадата всё отчаянно хочет занять нишу ушедшего от нас GreenPlum своим продуктом Greengage DB. Честно скажу, что не знаю, насколько это выигрышная тема. Хочется как-то поговорить с разработчиками этого продукта и послушать их видение. К сожалению, эти товарищи не появляются на крупных ИТ конференциях за пределами самой Аренадаты. Возможно, что-то поменяется 😏

📚 Сравнение производительности СУБД Valkey и Redis

Очередная коротенькая статья про производительность Valkey и Redis. Само собой на текущих версиях Valkey опережает Redis. Не скажу, что значительно, но всё же этого достаточно. Особенно если учесть, что у них практически одна кодовая база и они пока не сильно друг от друга разошлись.

В этой статье меня привлекла методика тестирования. Простая, как 3 копейки 😉, но очень показательная.

Народ просто на облачную тачку поставил Docker и запустил 2 команды:

docker run --network="host" --rm \
--cpuset-cpus="2-7" valkey/valkey:8.1.1 \
--save "" --appendonly no --io-threads 6 \
--protected-mode no --maxmemory 10gb

Для тестирования производительности использовалась команда:

docker run --network="host" --rm --cpuset-cpus="2-7" \
valkey/valkey:8.0.1 valkey-benchmark \
-h 172.31.4.92 -p 6379 -t SET,GET -n 100000000 -c 256 \
-r 3000000 --threads 6 -d 1024

Во втором тесте просто меняешь слово valkey на redis и повторяешь. Всё.

Никаких заморочек с выбором бенчмарка, сценария и т.п. Всё встроенными средствами. Просто и со вкусом 😜!