📚 Picodata — альтернатива и drop-in-замена Redis

Radix - специальный инструмент для замены Redis на Picodata.

Слышал об этом еще года 4 назад от товарищей их VK.Tarantool.

Идея в том, что есть некий кластер Redis. Допустим из 6 нод. Затем ты настраиваешь новою ноду на picodata. Одеваешь ей плагин Redix и затем меняешься добавляешь её в кластер с ролью реплики. Новая нода ведет себя как redis. Один-в-один. Затем одну из нод удаляешь из кластера.

Далее проварачиваешь этот фокус со всеми нодами кластера и по этого у тебя кластер redis превращается в кластер picodata.

Сама идея - супер! Я очень бы хотел сам это руками потрогать и провести несколько тестов! Странно, что в Picodata только сейчас его опубликовали. Мне казалось такой плагин у них всегда был. Оказывается нет.

Мне очень интересные бизнес-кейсы, когда почему заказчик решил пойти на такой шаг? Зачем менять Redis на Picodata? Это же явно несет доп.издержки. Надо будет обсудить эту тему в комьюнити и на конференциях.

Кстати, ближайшая конференция 23 и 24 июня 2025.
Saint HighLoad++ 2025. Поеду в Питер ради этого!

📚 Переход из Oracle в Postgres Pro: не просто смена СУБД, а сдвиг подхода. Интервью с Марком Ривкиным

Весьма интересное интервью с руководителем консалтинга PostgresPro Марком Ривкиным.

Попробую выбрать главное
👉Переход из Oracle в Postgres Pro. Сообщество Oracle огромное и контента по это СУБД очень много. По PostgreSQL всего в разы меньше или нет вообще. Команде Марка пришлось очень много разрабатывать самим.

Я соглашусь, книг, курсов, демо, вебинаров по OracleDB и экосистеме в целом - очень много. Контентмейкеры по PostgreSQL только начинают раскручиваться.

👉Разработка недостающих функций: Команда выявила отсутствие ряда привычных механизмов из Oracle, таких, как Resource Manager, Enterprise Manager, Real Application Cluster (RAC), Oracle Flashback и поддержка пакетов. Это побудило их активно взаимодействовать с разработчиками Postgres Pro для внедрения необходимых функций.

Макр очень много внимания уделяет RAC. Почему-то он считает, что PostgrePro с мультимастером всё-равно отстаёт с RAC. Если товарищи из PostgresPro будут разрабатывать своё железо и сделают аналог Oracle Exadata - это будет бомба!

👉 Взаимодействие с руководством и сообществом: Руководство Postgres Professional оказалось открытым к предложениям и критике, что позволило эффективно внедрять улучшения и адаптировать продукт под нужды корпоративных клиентов.

Тут конечно полностью согласен с тем, что компания Postgres Professional вложила огромный бюджет в макетинг и продвижение своих продуктов. За последние 2 года вышло куча книг по СУБД. Почему другие вендоры не выпускают книги, я не понимаю... Самому что ли написать?

👉Взгляд в будущее: В интервью также обсуждаются перспективы российских форков PostgreSQL, роль искусственного интеллекта в администрировании баз данных и размышления о том, как бы Марк Ривкин проектировал СУБД с нуля.

Полностью согласен с Марком. От себя хотел бы добавить, что очень не хватает популяризации наших отечественных СУБД. Почему-то всё очень скромно. Где книги? Открытые/закрытые курсы? Программы переподготовки для преподавателей?

У VK есть свой Education Lab, где можно поизучать Tarantool и на основе этого написать НИР. Но чтобы туда попасть, надо 3 этапа собеседований пройти. Жесть какая-то. Должно быть всё более доступно. Примерная такая же песня с YDB и даже с SoQoL.

📚Теорема CAP: почему нельзя иметь все сразу и как аналитик выбирает чем пожертвовать

100500 раз обсуждается CAP теорема. Буквально вчера был очередной скромный холи-вар в комментах на тему CAP. Тут наверное идея в том, чтобы народ не забывал. Как бы её не критиковали и не меняли название (теорема Брьюера, альтернативное название) она всё равно у всех на слуху. Вопросы на зачетах, экзаменах и даже собеседованиях часто звучат по ней.

👉 Что такое системы AP?
👉 Приведите пример систем CA.
👉 Можно ли назвать PostgreSQL системой CP? Обоснуйте свой ответ.
👉 Как в современных реалиях добиться CAP систем? Возможно ли это?

И это только начало бесконечных вопросов ♾️.

В общем, знать её надо, как не крути. Это фундамент распределенных систем. Так же как и ACID для баз данных.

Вдогонку реальный кейс от Т-Банка про актуальность CAP
Тестирование CAP-теоремы на примере MongoDB
Залипательное чтиво 🩹

🎥 Postgres против MySQL: что решает выбор базы данных | Петр Зайцев

Глянул на днях очень крутое интервью Петра Зайцева, основателя компании Percona. У него еще есть ряд стартапов в области СУБД, но этом в другой раз.

Все таймкоды под видео, поэтому переписывать их не буду.

Отмечу ряд тезисов, которые вынес для себя:

👉 В начале Percona зарабатывала на консалтинге. Это было львиным процентом прибыли. Однако, консалтинг - вещь не постоянная.

❗️Сейчас Pecona - зарабатывает на поддержке.

💪 Если говорить точнее, то Percona предоставляет услугу ManageService. Всю заботу о СУБД компания берет на себя. Абсолютно все задачи.

👉ManageService где-то 80% прибыли компании. Консалтинг - 15%.

❗️Буквально недавно Percona запустили поддержку Valkey. Мой курс по Valkey c 9 июня

💰MySQL продался Sun -> Oracle купил Sun и получил MySQL в нагрузку.

😉СУБД - залипательные (с них тяжело слезать)

🤷‍♂️От Oracle почти нереально отказаться. Чтобы ты ни делал цена лицензии не уменьшается.

⚡️"Если ты туп, чтобы разобраться с PostgreSQL, то тебе не стоит копаться с СУБД" (с)

🤔Один из главных "тормозов" в развитии PostgreSQL - это котребьютеры, которые работают на коммерческих форках.
Поэтому никто не будет затаскивать изменения, которые оказывают слишком большое влияние на функционал.

😱По-настоящему серьезных катастроф в области ИТ еще не произошло. Падение ДатаЦентров - это цветочки.

😜Все хотят продавать подписку.

⚡️"Любая проблема может быть решена с помощью PostgreSQL. Если это не так, то это неправильная проблема" (с)

🤫Забавный парадокс. PostgreSQL - отличная и замечательная СУБД. Однако вендеры форков делают всё возможное, чтобы "обос*ать" её.

До встречи на зачетах, экзаменах и предзащитах 😉

С пятницей!

#mems

📚Алгоритмы консенсуса Paxos, Raft и Zab в распределённых системах

Отличная статья про алгоритмы консенсуса 🧨! Мне зашла 😉

Всем, кто хочет подробнее прочитать про Paxos и Raft — вам точно сюда.

Немного странно видеть здесь Zab — какую-то "кастомную поделку" для ZooKeeper, но ладно 💃

К тому же приятно почитать и про etcd, ZooKeeper и Consul.

📚 Не отходя от кассы еще одна статья: Распределённые транзакции в микросервисах: от SAGA до Two‑Phase Commit
Автор Timofei Ivankov @ivankov_timofei

Тимофей за месяц своей регистрации на Хабре написал аж 8 статей 💪! Довольно плодовитый автор 👍! И темы статей довольно интересные и материал качественный. Не идеальный конечно, но очень добротный! 😊

Я впервые узнал о SAGA около 4 лет назад на конференции ArchDays. Тогда же у меня появилась идея сравнить подходы ACID и SAGA при проектировании систем.

Обычно, если нужны транзакции, выбирают реляционную СУБД — и на этом всё заканчивается. Бывают решения на NoSQL, но только с обязательной поддержкой ACID. Но здесь речь о реализации транзакций на уровне приложения. БД — всего лишь хранилище данных, не более того 🗄.

На практике, как верно отметил автор, используются оба подхода. Всё зависит от контекста и компетенций команды: что кажется проще, то и выбирают 🐣.

Сейчас встречаются проекты, когда с помощью паттерна SAGA реализовывают распределенные транзакции между РСУБД. ACID внутри одной базы, но SAGA для работы с несколькими СУБД в рамках одного процесса в приложении 🧐

P.S. Жаль, что трёхфазный коммит остался лишь в академических проектах. Когда-то я всерьёз верил в него 😊

⚡️1 мая 2025 года вышла обратно в opensource СУБД Redis 8⚡️

GIT

Конечно это огромное событие! 😱Наконец, сообщество "наныло" 🥹, и Redis снова стал OpenSource проектом! Но, под другой лицензией. Ранее была BSD, а теперь AGPLv3🤫.

Теперь наш ждет "битва двух якодзун"! 💪
Redis vs Valkey
Кто победит? 🤷‍♂️

Если смотреть исторический, то Redis победил всех своих форк-конкурентов. Чувствую, что следующий 365 дней будут очень интересными! 🤩

Основные нововведения (с моей точки зрения):
💥 Целых 8 новых типов данных! Больше не надо импортировать модули расширений!
⚰️Смерть Redis Stack (15 сентября конец поддержки)
☝️Разного рода оптимизации.

Минутка рекламы! Впервые на моём канале! 😏

Совместно с DevHands 9 июня стартует мой авторский курс "Redis и Valkey: от основ к хайлоаду". Разработать подобный курс с нуля - задача не из простых. В интернете хороших курсов по Redis найти крайне сложно. В основном они 4-х летнее давности или того старше 👨🏻‍🦳! Курса по Valkey вообще нет ❌. В общем, это исключительно моё творчество с небольшим использованием ИИ-помощников 🤖! Да, порой они очень помогают.

ИИ делает предположение, а я должен его доказать или опровергнуть. Скажу честно, где-то 60-65% всех ИИ-гипотез были неверны 😢. Если говорить про диагностику ошибок - то тут ИИ мне очень помог!

Помнится я спрашивал ИИ про настройку прокси-сервера, а он такой:

ИИ: есть модуль, включаешь его и используешь.
Я: погоди, такого модуля нет.
ИИ: Да, вы правы. Значит вам нужно его разработать.

Занавес

Короче, курс классный! Приходите!

Основные темы:
❇️Модуль 1: Введение в Redis/Valkey
❇️Модуль 2: Структуры данных и паттерны применения
❇️Модуль 3: Репликация и отказоустойчивость с Valkey Sentinel
❇️Модуль 4: Valkey Cluster: кластеризация и шардинг
❇️Модуль 5: Масштабирование Valkey в высоконагруженных системах
❇️Модуль 6: Мониторинг и безопасность Valkey

🐬YDB — это замена кому?
Подкаст с Антоном Коваленко, руководитель проектного офиса YDB.

Основные темы:
👉Зачем нужна ещё одна СУБД – предпосылки появления YDB.
👉Что такое DisitributedSQL (DSQL)?
👉Что там под капотом?
👉YDB - это замена кому?

В целом — неплохой подкаст про распределённые SQL-СУБД. В последнее время всё чаще в инфополе звучит YDB: множество докладов на конференциях, есть ряд подкастов и даже видеоинтервью. С актуальной информацией можно ознакомиться, например, тут.

Однако в этом канале я про YDB почти ничего не публикую. Понимаете, я слушаю всех этих умных ребят — и не могу для себя понять, кому вообще нужна эта СУБД? Кто из компаний вне Яндекса отважится её использовать? Единицы. Несмотря на активную пиар-кампанию, создаётся ощущение, что YDB никому особо не нужна.

Да, ходит информация, что у «Лаборатории Касперского» есть инсталляция YDB. Ещё есть какие-то «засекреченные» потребители. Но это капля в море 💧.
Похожая история с продуктом Shardman от PostgresPro — реальных внедрений крайне мало.

Рынка сбыта почти нет. Хотя, возможно, он и есть — просто многие боятся использовать YDB. Причин для этого можно придумать массу.

Лично я воспринимаю YDB как исследовательский проект. Яндекс экспериментирует, пытается сделать HTAP-решение в виде распределённой СУБД, активно вносит изменения. Но по ощущениям — перед тобой скорее бета-версия, а то и альфа. Очень мало учебных курсов и ИТ-интеграторов, которые продвигают YDB.

Сюда ещё накладывается наш российский менталитет, который, честно говоря, тоже вставляет «палки в колёса». Общаясь с менеджерами и СТО, всё чаще слышу мнение: лучше вложиться в свою разработку, чем что-то покупать. Почему-то считается, что «собрать на коленке» — выгоднее, чем приобрести готовое решение от ведущих специалистов. Парадокс. Особенно это заметно в крупных компаниях…

Возвращаясь к докладам по YDB — они вроде полезные, но такие странные, что не возникает желания делиться. Всё какое-то воздушное 🎈.

Буду искать на конференциях людей, которые хотят или уже запустили пилот с YDB.
Проблема только в одном: а найду ли я их?
Скоро HighLoad++ в Питере — поищу там...

Учебный год подошел к концу 😉 Надеюсь, всем всё понравилось!

Хочу всем пожелать удачи и всего самого наилучшего! Пусть СУБД останутся с вами навсегда 💯

С пятницей!

#mems

📚Как освоить векторные базы данных

Начальная статья для тех, кто хочет познакомиться с миром векторных СУБД.

Кратенько пробежимся по основам...

❓ Зачем использовать векторные базы данных?
👉 Эффективны при работе с многомерными данными
👉 Быстрый поиск приблизительных ближайших соседей (ANN): HNSW, Faiss
👉 Масштабируются "из коробки"
👉 Бесшовно интегрируются с ML/AI-пайплайнами

🔥 Популярные векторные базы данных
Milvus — база данных с открытым исходным кодом
Pinecone — облачная коммерческая СУБД
Weaviate — это векторная база данных с открытым исходным кодом, ориентированная на графы знаний.

Мне лично больше нравится Weaviate — исключительно из-за дизайна сайта, лейбла и прикольного YouTube-канала 😄
А вот в России гораздо чаще встречаются проекты на Milvus. СберТех, Авито (и наверняка Яндекс) уже активно работают с ней. Думаю, если не в этом году, то в следующем на конференциях мы услышим больше докладов по этой СУБД.

На хакатонах и буткемпах студенты тоже отдают предпочтение Milvus. Ждём-ждём больше новостей от отечественных компаний!

p.s. если говорить о встраивании в образовательный процесс векторных СУБД, то мне кажется пока рановато. Точно не в следующем году.

📚 К SQL или NoSQL: зачем что-то выбирать?
Hermann Baer (Oracle)
Это мой первый пост про статью за авторством специалиста из Oracle. Уж больно интересное название.

Если пропустить всю воду и подытожить, то автор заявляет, что благодаря добавлению в OracleDB поддержки JSON, а так же внедрению стандарта SQL:2016 - NoSQL (MongoDB, как пример) не нужны. Забудьте про Mongo, любите Oracle ❤️. Занавес 🕸️.

Если серьезно, то эта статья натолкнула меня на мысль изучить стандарт SQL:2016 и сравнить работу с JSON документом с помощью SQL и языка MongoDB Query Language (MQL). Может получиться интересная лекция и лабораторная работа.

p.s. на заметку на следующий учебный год

📚 30 лет MySQL, базе данных, которая изменила мир

До бешеной популярности PostgreSQL в последние 4 года, MySQL была самая популярная Open Source СУБД! Сейчас у неё почетное 2-ое место. Хотя, если верить рейтингу db-ranking, то там до сих пор 1-ое место.

Материал довольно интересный. Вообще, мне кажется в последнее время довольно часто попадаются статьи с ретроспективой. Мол, как развивался продукт и к чему мы пришли.

Основные тезисы:

👉 MySQL, названный в честь дочери одного из создателей, стал основой веб-инфраструктуры 2000-х благодаря простоте и открытости. Кстати, у MariaDB такая же история с именованием.

👉 В эпоху Web 2.0 MySQL вошла в LAMP-стек, обеспечив стартапам быстрое масштабирование без затрат на коммерческие СУБД.

👉 Конкуренция с PostgreSQL выявила её преимущества в репликации, но уступила по функциональности и популярности среди разработчиков.

👉 Технологии вроде Vitess (YouTube) и Heatwave (Oracle) адаптировали MySQL для распределённых систем и аналитики.

👉 Facebook использовал MySQL на ранних этапах и продолжает использовать её и сегодня.

👉 MySQL способствовала демократизации ИТ, сделав мощные СУБД доступными каждому.

С распространением ИИ всё чаще студенты/junior задаются вопросом, а стоит ли изучать SQL? ИИ наверняка сделает лучше!

Согласен, ИИ чуть ли не в 90% случаев сделает работу быстрее и качественнее (если автор написал адекватный промпт). Чем сложнее задача, тем выше вероятность ошибок ИИ. Тут без знающего специалиста SQL не обойтись. Запомните, ИИ может за вас начать делать задачу. Проложить путь. Вы должны всегда сомневаться и проверять ответы ИИ.

Можно сказать, что человек становится не автором текста, а в его редактором/продюсером/ревьюером. Называйте себя как хотите.

С пятницей!

#mems

📚 НАСА перешло от использования СУБД Neo4j на решение Memgrap

Очень забавная статья👍. По заголовку кажется, что Neo4j теряет рынок, что крупные заказчики признали конкурентов и вечный тезис любой графовой СУБД "Мы в Х раз быстрее Neo4j" наконец сработал 😱. НО...не всё так просто😏.

Товарищи из НАСА выбрали Memgraph потому что:
1️⃣ дешевле
2️⃣ теоретически потребляет меньше ресурсов

Казалось бы..это всё?🤨 Да, это всё. Хотя в статье есть фраза, что Neo4j обладает большим функционалом, но всё-таки цена решает.

Бюджет:
НАСА на 2024 год - 24,875 млрд.💸,
а на 2025 год - 27,2 млрд.💸
Роскосмос на 2025 год - 3.2 млрд.💸

Занавес 🛁

p.s. в компании, где я сейчас работаю, тоже идет проект по миграции одной из центральных учетных систем на аналог. Руководство сказало прямо, аналог дешевле! Всё 😵‍💫 Но по функционалу и всему остальному новый продукт сильно проигрывает. Особенно по визуалу 🫣. Такое ощущение, что я вернулся в далекие 2000-е годы 🤖. В общем, все пытаются сократить затраты.

📚 Picodata: вторая жизнь in-memory баз данных

Крутая статья от Константина Осипова по проблемам текущих СУБД и позиционирование его продукта Picodata.

Если признаться, то Константин с этой темой выступал последний год на разных конференциях. Причем тема реально одна и та же 😏. И теперь он решил написать статью.

Думаю это правильное решение для завоевания аудитории.

Тезисы приводить не буду, т.к это повторение ранее вышедших постов. Ссылка 1 и Ссылка 2

🎥 Database Internals Meetup #7

❇️На этот раз митап прошел полностью онлайн — но это не всё! Впервые он состоялся на английском языке 😱😉

👉 WeSQL: A Cloud-Native Database Built on General-Purpose IaaS – Zhao Dongsheng, WeSQL

В этом докладе мы представим WeSQL, облачную базу данных, предназначенную для эффективной работы в инфраструктуре IaaS общего назначения. Мы расскажем о мотивации создания WeSQL, объясним, почему мы выбрали механизм хранения данных на основе дерева LSM и как мы используем как диски экземпляров, так и S3 в качестве носителей информации. Мы также рассмотрим, как WeSQL обеспечивает высокую экономическую эффективность за счет снижения задержки и долговечности, использования постоянного кэша и гибридного формата хранения данных в виде строк и столбцов. Кроме того, мы объясним, как используются согласованные моментальные снимки для полного сохранения данных в S3.

👉 Nile: Serverless Postgres for Modern Multi-Tenant SaaS – Peter Pleshachkov, Nile

Nile - это бессерверная платформа Postgres, созданная для современных B2B SaaS-приложений. В основе каждого B2B SaaS-продукта лежит мультитенантность. Арендатор — обычно это компания, организация или рабочее пространство в вашем продукте, которое объединяет группу пользователей и их данные. Nile относится к арендаторам как к первоклассным пользователям, что упрощает создание безопасных, изолированных и глобально распределенных приложений с самого первого дня.

Это позволяет отделить хранилище от вычислений, виртуализировать клиентов на уровне базы данных и обеспечивает плавное вертикальное и горизонтальное масштабирование в разных регионах, что позволяет командам быстрее выполнять поставки, обеспечивать безопасность и неограниченно масштабироваться.

Я не буду разбирать эти доклады, уж очень они специфичны. Не для каждого. Просто упомяну, что в тренде облачные решения и СУБД. Народ пытается конкурировать на этом рынке.

🎉Состоялся вчера мой открытый урок по теме:
Redis 8 + JSON = документ-ориентированная БД?

Ограниченный тайминг повлиял на уровень волнения, но думаю получилось неплохо для первого раза! 😅

Мне бы хотелось более живой формат с общением с аудиторией, т.к. мои лекции обычно предусматриваю интерактив. Но это на будущее. 🥸

У меня уже готовятся 2 интересных видео на канал школы DevHands. Лето будет интересным! 😋

Анонсы буду постить, не переживайте! 😉

Конец семестра близок... Начинается цикл защит НИР и ВКР.

С пятницей!

#mems

📚Немного поразбираем статьи на Хабре 😎

1️⃣Шардированный не значит распределённый: что важно знать, когда PostgreSQL становится мало
Топовая статья по шардинг и распределенные транзакции. Написано академически правильно и красиво. Множество ссылок и анализа литературы. Не подкопаться. 🧐

Возможно мне не хватило более глубокой аналитики на тему гарантий ACID, как часто действительно нужны широкие транзакции и более четкого понимания термина: "когда одного PostgreSQL" не хватает. Но тогда бы статья стала огромным лонг-ридом. 🤷‍♂️

Для себя я пока не могу нащупать грань того, когда нужно переходить на распределенную СУБД. Пытаю народ, но пока четкий ответ получить не могу. Буду работать над собой 💪

2️⃣Разбираем древо ArangoDB «по веточкам». Подробный гайд по графовой БД

Небольшая статья о том, как в нашем РУ сегменте используется графовая СУБД. 📈📉

3️⃣В 2024 году российский рынок СУБД достиг 2% от совокупного объёма продаж российских IT-решений
sffsfs
Просто приведу немного статистики

По итогам 2024 года российский рынок СУБД достиг 89,5 млрд рублей, что на 34% больше, чем в 2023 году. Доля СУБД общего назначения — 48%, ещё 32% пришлось на аналитические системы.

В числе лидеров рынка эксперты выделили Postgres Professional, АО «Группа Arenadata», DIS Group, Yandex Cloud и «Тантор Лабс» (входит в ГК «Астра»).

Вот почему рынок СУБД такой "вкусный" 😋

4️⃣OLAP-системы: многомерная модель данных и её применение. Правила Кодда: библия для разработчиков реляционных баз данных

Хорошая статья на тему: "Введение в аналитические СУБД". Подробно рассказано, что такое OLAP и даны определения ROLAP, HOLAP и прочих систем. Советую почитать...особенно комменты 😁

📚 Компания ClickHouse получила 350 миллионов долларов за свою высокоскоростную столбчатую базу данных

Просто хотел поделиться успехом компании ClickHouse и Алексея Миловидова в целом. Шикарный пример, как продукт, родившейся в России под крылом Яндекса, обрёл мировой успех! 🎰

Снимаю шляпу перед всей командой Клика. 🎩

Я как-то думал рассказать про эту СУБД в своих курсах поподробнее, с примерами... но, в моей текущей деятельности нет аналитических задач и примеров с ClickHouse. Даже ближайшие друзья пожимают плечами 🤷‍♂️. Поэтому пока просто порадуюсь за нашего соотечественника! 😉