👉Announcing the CedarDB Community Edition
Не самая актуальная новость, но всё же.

Вышла бесплатная версия CedarDB. Прелесть этой СУБД в том, что она принадлежит категории HTAP(Hybrid Transactional/Analytical Processing). На ней успешно выполняются как OLPT, так и OLAP запросы.

Я не очень понимаю всю эту эйфорию вокруг HTAP. Есть СУБД под каждый тип нагрузки, зачем пытаться скрестить "ужа с ежом"? Не уже ли это так востребовано? В общем, это очередная идея для R&D активности 🧑🏻‍🔬

Думаю стоит это сделать темой на научной работы студентов. Может быть я что-то интересное узнаю 😎

📚 Пришла пора нового номера журнала Database Trends and Applications Magazine: April/May 2025 Issue

❗️Тема номера:
Reimagining Data Governance and Security in the Era of AI and Fast-Moving Data

Я бы перевёл это так: "Как не потерять контроль, когда ты в центре цифрового урагана" 🤯

➡️ Survey: Software Licensing Audits on the Rise, Exacerbated by the Cloud
Традиционная статья, которая собрана на основе анализа 100500 мнений предприятий ♾️ Если серьезно, то вывод из статьи следующий:

Переход компаний в облако и активное использование современных решений (особенно AI) значительно усложнили соблюдение лицензионных соглашений. Это привело к: частым и дорогостоящим аудитам, увеличению штрафов и значительной нагрузке на предприятие в целом.

Раньше соблюдать лицензионную политику было сложно, то сейчас стало еще сложнее. Без юриста, а лучше отделов юристов, которые разбираются в лицензионных политиках компаний обойтись нельзя👷🏻‍♂️.

➡️ What’s Next in Data Engineering for 2025
В 2025 году основная цель Data Engineering — снизить нагрузку от рутинных задач с помощью "умной" автоматизацию и AI-агентов, создавая надёжные, масштабируемые и удобные для работы системы.

Например:
👉AI помогает, но не решает проблему рабочего перегруза;
Мне понравилось:

Хоть 83 % специалистов отметили рост продуктивности благодаря AI, но 25 % все ещё сильно перегружены, а 54 % чувствуют перегрузку уровней «значительно/умеренно»

Это было очевидно с самого начала. Да, ИИ позволяют многое делает быстрее. Факт 👍. Сам на себе прочувствовал. Однако, задач меньше не становится, а даже наоборот, их становится больше! Эта нагрузка превращает тебя в "белку в колесе" 🔄. Слишком всего дофига 😭😢

👉Автоматизация — спасение для перегруженных команд;
Тут тяжело спорить. Однако, кто будет заниматься автоматизацией? 🤷‍♂️ Кому это надо? Даже я порой думаю, что уж лучше я ряд команд выполню сам "ручками", чем доверюсь скрипту 👴🏻. Это звучит максимально глупо, но какой-то страх и не доверии у меня есть. Не знаю почему 🫤... Хотя я всегда ЗА любую автоматизацию, если это делает кто-то другой 🤔

👉 В 2025 году такие инструменты как Apache Airflow или Nexla продолжают эволюционировать и быть более дружелюбными к пользователю. Внедрение ИИ фич во все места.

➡️ INSIDE A CYBERATTACK: HOW HACKERS STEAL DATA
Возможно стоит эту статью выделить в отдельный пост, я подумаю... Пока ограничусь мыслью, что хакерам интересно абсолютно все 👀. Не важно чем вы занимаетесь, какие у вас данные и т.п. Если у вас нельзя что-то ценное украсть 🥷, то значит к вам можно кого-то подсадить (майнера) , чтобы увеличить прибыль от попытки взлома 💰. Для полной защиты нужно комбинировать:

- многослойные системы безопасности (zero‑trust, сегментация сети),
- надёжное управление ключами,
- функциональность токенизации,
- систему выявления вторжений.

➡️ The Smart Automation Playbook: Elevating SQL Server Performance
По навыдумывали терминов... Smart Automation… «Умная» автоматизация.
Как будто раньше она была глупой, как табуретка. Ну серьёзно? Теперь всё, что можно, оборачивают в хайп — лишь бы звучало модно и «AI-like».

Не хочу углубляться в статью, поэтому просто повторю как мантру универсальную истину:

если вы постоянно повторяете одни и те же действия — будь то команды в терминале или кликанье мышкой по кнопкам — не тормозите, автоматизируйте! Пусть всё это делает скрипт по шедуллеру. Сами займитесь чем-то более полезным.

За годы работы я видел массу примеров, когда люди вручную выполняли абсолютно шаблонные задачи. И на вопрос:

— Почему ты это не автоматизируешь? Так же быстрее и проще.
Ответ:
— Да, ты прав, можно. Но… если я это автоматизирую, чем тогда мне заниматься? Пусть начальник лучше видит, что я занят. Работаю же…

Занавес.

Забавных факт, что такие люди вскрываются только тогда, когда идут сокращения. Оказывается, безболезненно можно уволить 10-15% персонала без потери текущего темпа производства. Да, такой ход не является универсальным правилом. Однако, исключения из привил лишь подтверждают правило 😉

23-24 июня пройдёт Saint HighLoad++ в Питере!

Профессиональная конференция разработчиков высоконагруженных систем.

Я там буду. Билеты купил. Чемодан в процессе сборки. Жду

💡Подсвечу 2 статьи на Хабре, которые как-то меня зацепили

📚 Максимизация производительности ScyllaDB
Сама статья в целом неплохая. Почему-то она кажется очень поверхностной и от этого банальной. Рассказ про "сферического коня в вакууме". Много строчек кода, а реальных пруффов от применения рекомендаций нет. В итоге, +1 за то, что ScyllaDB всё еще в инфо поле и 0 за полезность 🤔

ScyllaDB не частый гость на ресурсах нашего интернета, но СУБД очень интересная. Говорят, что она где-то применяется в госсекторе, но реальным пользователем пообщаться пока не удалось. Я работаю над этим 😎

18 декабря 2024 года случилось страшное😱! ScyllaDB перешла на собственную лицензию. Исходники до сих доступны на Git, однако, есть серьезные ограничения по использованию в коммерческих целях. Если кратко, то
👉 общая доступная емкость кластера не должна превышать 10 ТБ и/или 50 vCPU.
👉 запрет на использование в облаках
Все запреты и ограничения преодолеваются если купить коммерческую лицензию 😉

p.s. я думаю собрать/обновить курс по "СУБД в современном ИТ-Ландшафте" и сделать упор на распределенные индустриальные системы.

📚 Новая машина баз данных Tantor XData 2B на российском процессоре Baikal-S
Нишевый продукт для очень узкого круга покупателей. Заявлять о серийном выпуске МБД (машина баз данных) - это смело 🍻. При условии, что процессоры Baikal-S производятся в недружественном TSMC. Мне тяжело рассуждать насколько рынок МБД большой 🤷‍♂️. В РФ до 2024 года было всего 2 игрока: Скала-Р и Тантор. С 2025 года PostgresPro инвестировала 1.5 млрд.рублей в свою МБД - PostgresPro Machine.

Признаться честно мне бы очень хотелось поэкспериментировать с этой машиной и разобрать её на части ⚙️ в научно-познавательских целях конечно же 😇! Но проблем в том, что ставить её некуда 😢 Надо искать внешнюю R&D лабораторию или молиться, что СберТех откроет свою и пустит туда преподавателей 👨‍🏫

На злобу дня...

С пятницей!

#mems

🎥 YDB — это просто! Администрирование YDB | СУБД Яндекса
Вебинар был аж 22 мая, но у меня в этот день были мероприятия на кафедре, поэтому пришлось смотреть запись.

❗️Презентация

Само видео короткое. Всего 58 минут, поэтому времени много не займет.

Успели разобрать:
👉 Кратко особенности YDB
👉 Развертывание YDB на локальном компе (1 нода)
👉 Развертывание инфраструктуры в облаке через terraform.
👉 Развертывание YDB на готовой инфраструктуре через ansible
👉 Генерация сертификатов и распространение их в кластере
👉 Команды обслуживания кластера без простоя.

Довольно насыщенное выступление! 💪

После просмотра видео сложилось впечатление, что это всё очень не просто. Чтобы всё это работало нужно обладать обширными знаниями и понимаем всех взаимосвязей. Всё взаимодействие строится на огромном числе скриптов. Администрировать СУБД - обязанность не из простых.

Короче, вебинар классный и полезный! ✅ Но это еще не самое главное. Оказывается уже есть бесплатные курсы от Яндекса по администрированию и работке YDB. Надо будет обязательно пройти.
И это еще не всё! 🤓 Оказывается Яндекс решил пойти по пути крутых вендеров и прикрутили платную сертификацию за 7 000 💰. Это весьма забавный момент. Хотя бы серты по YDB не раздают всем подряд. Какая-то верификация есть. Хотя если брать историю PostgresPro с их сертификатами, то народ не особо жаждет их получать.
За 5 лет сертификат DBA1 получили примерно 385 человек 🙃. Это капля в море с учетом бешеной популярности PostgreSQL.

p.s. да, да, я как и многие без сертификатов сижу. Но...думаю о них 🤔🤔🤔

Опять разберем тройку статей с Хабра.
1️⃣ Как провести нагрузочное тестирование БД PostgreSQL и ничего не забыть
Ребята из Тантора заопенсорсили свою утилиту тестирования PostgreSQL, pg_perfbench. По сути это python-обвязка для pg_bench с рядом важных функциональных дополнений. Перечислю некоторые фичи:
👉 Сокращает время на подготовку и повторное воспроизведение тестов
👉Автоматически фиксирует параметры нагрузки и системные параметры
👉Упрощает анализ и сравнение результатов
👉Обеспечивает воспроизводимость экспериментов
👉Унифицирует подход к нагрузочному тестированию

Выглядит как отличная научно-исследовательская работа (НИР) 👨‍🔬! Почему это выглядит как НИР? Ответ прост, на гите всего 2 контребьютера 😏. Явный намёк на это.

Первый релиз был в сентябре 2024. Последние изменения в 21 мая 2025. Гляну, что будет с этим проектом к концу года.

2️⃣ Обновление Платформы Tantor 5.3: поддержка PostgreSQL 17, интеграция с Mattermost и другие улучшения
Слежу за битвой трёх продуктов: PPEM, Kintsugi, Платформа Tator.
Первым, кто обновил свой продукт, был PPEM.
Через месяц, почти одновременно Kintsugi и вот теперь Тантор.

Пока все эти изменения весьма скромные. Жду большого релиза! 👋 Сейчас сложно сказать, какой продукт к концу года будет лучшим, но вангую, что свои недостатки, на которые я сделал акцент в своём докладе на PG.Conf.2025, исправлены не будут. Все идёт в рамках своих дорожных карт...

3️⃣ Резервирование кластера Greengage DB (на базе Greenplum OSS)
Аренадата всё отчаянно хочет занять нишу ушедшего от нас GreenPlum своим продуктом Greengage DB. Честно скажу, что не знаю, насколько это выигрышная тема. Хочется как-то поговорить с разработчиками этого продукта и послушать их видение. К сожалению, эти товарищи не появляются на крупных ИТ конференциях за пределами самой Аренадаты. Возможно, что-то поменяется 😏

📚 Сравнение производительности СУБД Valkey и Redis

Очередная коротенькая статья про производительность Valkey и Redis. Само собой на текущих версиях Valkey опережает Redis. Не скажу, что значительно, но всё же этого достаточно. Особенно если учесть, что у них практически одна кодовая база и они пока не сильно друг от друга разошлись.

В этой статье меня привлекла методика тестирования. Простая, как 3 копейки 😉, но очень показательная.

Народ просто на облачную тачку поставил Docker и запустил 2 команды:

docker run --network="host" --rm \
--cpuset-cpus="2-7" valkey/valkey:8.1.1 \
--save "" --appendonly no --io-threads 6 \
--protected-mode no --maxmemory 10gb

Для тестирования производительности использовалась команда:

docker run --network="host" --rm --cpuset-cpus="2-7" \
valkey/valkey:8.0.1 valkey-benchmark \
-h 172.31.4.92 -p 6379 -t SET,GET -n 100000000 -c 256 \
-r 3000000 --threads 6 -d 1024

Во втором тесте просто меняешь слово valkey на redis и повторяешь. Всё.

Никаких заморочек с выбором бенчмарка, сценария и т.п. Всё встроенными средствами. Просто и со вкусом 😜!

Пора отдохнуть и подготовиться к новому учебному году

С пятницей!

#mems

📚 Двигатель памяти: как векторные базы данных обеспечивают работу ИИ-помощников следующего поколения

Очень объемная статья про становление векторных баз данных и их тесной интеграции с ИИ. С множеством отсылок и мнений ключевых менеджеров и специалистов.

Для меня новым стало понимание роли векторных БД в ИИ.
Векторные БД используются для:

👉 Долгосрочной памяти (Long-Term Memory): Главная роль. Векторные БД позволяют ИИ запоминать предыдущие взаимодействия с пользователем (разговоры, предпочтения, контекст) и использовать эту информацию для более персонализированных, последовательных и релевантных ответов в будущем.
👉 Понимание контекста: Помогают ассистентам поддерживать контекст диалога на протяжении долгого времени.
👉 Быстрый доступ к знаниям: Обеспечивают мгновенный доступ к огромным объемам корпоративных или персональных данных (документы, чаты, письма) для ответов на вопросы.

Как итог всех статьи:
Векторные БД — это "двигатель памяти" (Memory Machine) 🏇, которые преобразует ИИ-ассистентов в умных помощников, которые способны учиться и поддерживать длительный диалог.

📚 InfluxDB v3: почему Rust лучше подходит для баз данных временных рядов

Статья посвящена переходу InfluxDB с языка Go на Rust при разработке версии 3 своей системы управления временными рядами (time series database).

В мире БД всё больше появляется статей про некое противостояние Go и Rust. Какой язык лучше для разработки? Как же выбрать?

На самом деле вопрос бессмысленный, т.к все упирается в задачи вашей СУБД и прямые руки разработчиков.

InfluxDB v3 построена на стеке FDAP :
👉 Apache Arrow — колоночный формат для быстрой обработки данных.
👉 DataFusion — SQL-движок с поддержкой векторизованной обработки.
👉 Parquet — формат хранения с высокой степенью сжатия.
👉 Apache Flight / FlightSQL — протоколы для быстрой передачи больших объёмов данных.

Основные преимущества Rust

Управление памятью: Rust (с системой владения и заимствования) обеспечивает предсказуемое и эффективное управление памятью без сборщика мусора (GC).
Нулевая стоимость абстракций (Zero-Cost Abstractions): Rust позволяет писать высокоуровневый и безопасный код, что важно для обработки огромных потоков данных временных рядов.
Параллелизм и Многопоточность: Система типов и модель владения Rust обеспечивают безопасную работу с памятью и потоками на этапе компиляции.

Поглядим, как это чудесное изменение повлияет на сообщество и форки InfluxDB 🤔

Парочка статей с Хабра

1️⃣Шардирование баз данных: проблемы, альтернативы, практические рекомендации
Всё больше и больше статей про шардирование БД 🌊. К чему это всё? Мне кажется это больше хайп какой-то.

"У меня на работе есть шардированная БД! Ля-ля-ля... а что у вас? До сих пор сидите на одном инстанте, фу.... как это старо... " (с)

Другого объяснения у меня нет 😁

Сама статья полезная и для своего будущего курса по распределенных БД обязательно будет упомянута.

2️⃣Data Mesh: ожидания vs реальность
К сожалению, я бесконечно далек от идеологий хранения и обработки данных на уровне предприятия, но сама тема довольно интересная. Понимание данного подхода позволяет оценить работу архитектора данных. Какими материями они мыслят.

Поиграемся с терминами...

С пятницей!

#mems

Из Физтеха в бигтехи - 1

Вы знали, что на Физтехе учат высоким нагрузкам? В прошлом году я познакомился с Константином Ратвиным, сотрудником кафедры Банковских Информационных Технологий Физтеха. Оказывается, на кафедре делается много интересного в сотрудничестве с такими компаниями как Сбер, Тарантул Лабз, Постгрес Про и других. Мы взяли небольшое интервью о том, как кафедра взаимодействует с бигтехами, и какие интересные проекты студенты выполняют.

Как Физтех в целом и ваша кафедра взаимодействует с компаниями?

Все кафедры действуют независимо друг от друга, у каждой свои уникальные договоренности. Расскажу про мою кафедру Банковских Информационных Технологий (БИТ) при Сбербанк-Технологиях. У БИТ есть программы для бакалавриата и магистратуры. Основные направления: Машинное обучение и анализ данных и Высоконагруженные распределённые системы. Мы стараемся, чтобы наши студенты знакомились с продуктами компании СберТех и после окончания академических программ смогли проще адаптироваться в компании.

Компании-вендоры могут привлекаться для чтения приглашенных лекций и демонстрации работы их продуктов. Например, есть тема в лекции, рассказать о распределенных СУБД. У нас в РФ есть продукт YDB. Почему бы не попросить вендора рассказать о ней на занятии? Или например рассказать о СУБД Redis. Преподаватель может рассказать какие-то общие факты. Возможно было бы здорово привлечь специалиста, который работает с этой СУБД довольно долго и может рассказать какие-то интересные жизненные примеры из разработки эксплуатации этой СУБД.

Такое партнертво резко увеличивает вовлеченность студентов в дисциплину, т.к. знания при таком подходе самые актуальные и востребованные. В конце обучения все студенты пишут своих выпускные квалификационные работы (ВКР). Это самая сложная пора для научного руководителя. Надо придумать 100500 вариантов тем и затем студенты должны что-то выбрать и далее начинается тяжелый путь исследования и разработки.

Каждый год составлять список уникальный тем задача крайне сложная. Но и это не самая большая проблема. Положа руку на сердце, почти все ВКР пишутся в отрыве от практических задач, «в стол». Но компании-вендоры могут сами предложить темы для исследования и проработки. И такой подход имеет смысл для компании, для сообщества, и значительно повышает мотивацию юного ученого, т.к. он видит, что его труд нужен еще кому-то кроме кафедры и научрука.

Дипломный проект с компаниями - что это за формат, предполагает ли он стажировки? Как производится отбор на стажировки?

Дипломный проект с вендором – это привилегия, а не стандартный формат. И как любую привилегию её нужно заслужить.

Приведу пример с Tarantool Labs. Студент подает заявку на участие. Затем проходит 2 этапа собеседования. После чего принимается решение о его зачислении. Этапы не простые. В прошлом году из четырех заявок моих студентов одобрили только одну.

В этой лаборатории студентам предлагаю темы потенциальных исследование. Студент выбирает её и затем ему назначается куратор. Далее этот куратор на протяжении месяцев ведет свою работу. По окончанию у студента есть реальный практических опыт работы с продуктом Tarantool и фактичски готовая ВКР.
Это уникальное взаимодействие. Чаще всего мое взаимодействие с вендором сводится к выпрашиваю списка тем для исследований. Если студенту тема понравилась, то он начинает её самостоятельную проработку и может иногда задавать вопросу какому-нибудь специалисту от вендора и не более того. В любом случае это лучше, чем ничего.

В следущих постах - три студенческих проекта:
- встраивание векторного поиска в Apache Ignite
- тесты детерминированного исполнения для СУБД Tarantool
- генератор повреждений и метод восстановления данных из СУБД PostgreSQL

(продолжение следует)

Если кто-то из знакомых уже разобрал интересную тему по СУБД, то проще сделать репост, чем повторять то же самое 😎

От себя добавлю вот что... PostgreSQL — безусловный ТОП-1 на рынке РФ. Туда же относятся и все его форки. Я, конечно, тоже не прочь урвать кусок пирога с рынка ИТ-образования в сфере СУБД, но, если честно, особой тяги к PostgreSQL у меня нет. Во многом потому, что ниша слишком переполнена. Контент-мейкеров по Postgres — тьма-тьмущая, а тягаться в ВУЗах с проектами от PostgrePro в одиночку нереально. Была бы команда... вот тогда другой вопрос 🙄

Поэтому я решил сконцентрироваться на NoSQL и DistributedSQL. Контента в этих категориях в разы меньше, и есть шанс создать что-то действительно редкое, а то и уникальное.

Положа руку на сердце, основные деньги всё же у тех, кто работает в экосистеме PostgreSQL. Так что если поступит хорошее предложение о совместных проектах — почему бы и не поучаствовать? 🤑

Очень надеюсь до конца лета выпустить 1-2 авторские статьи 👨‍🎓, а дальше буду молиться и надеяться, что на кафедре студенты запишутся на мои факультативы 🧖

В офисе: Большое интервью про Postgres с Олегом Бартуновым (Рубрика #Database)

Посмотрел интересное интервью с Олегом Бартуновым, генеральным директором и сооснователем компании Postgres Professional, ведущим разработчиком (Major Contributor) PostgreSQL, членом сообщества PostgreSQL Foundation. Интервью брал Ваня Боталов, автор канала "Деплой". Ребята говорили больше двух часов и обсудили целую пачку тем, среди которых я бы выделил

1. Путь Олега к IT
Олег начинал как астроном, но понял, что астрономия - это наука о данных. В 1990-х годах познакомился с технологией баз данных в университете UCSC, США, где узнал о PostgreSQL. С 1996 года стал активным участником сообщества PostgreSQL, но астрономом быть не перестал:)
2. Создание Postgres Professional
Компания Postgres Professional была основана в 2015 году, хотя еще в 2005 году Олег написал письмо в Министерство экономики о необходимости создания российской базы данных. Тогда он ответа не получил, а лет через 10 решил взять дело в свои руки. В итоге, компания стала крупнейшим российским разработчиком СУБД на базе PostgreSQL.
3. Критика IT-образования в России
Олег критикует университетское образование, которое готовит "пользователей Microsoft и Oracle", а не системных разработчиков. Он подчёркивает важность фундаментального образования и системного мышления, а не только прикладных навыков. Прикольно, что он не только критикует, но и сам работает над улучшением образования, создавая программы обучения и взаимодействуя со студентами.
4. Импортозамещение и технологическая суверенность
После ухода Oracle и Microsoft из России в 2022 году появились новые возможности для роста российских СУБД. Россия показала миру, что можно жить без Oracle и Microsoft. PostgreSQL в России поднялся на передний край благодаря высоким требованиям к производительности.
5. Open Source и международное сообщество
Postgres Professional занимает 2-3 место в мире по вкладу в развитие PostgreSQL. Компания активно участвует в международных конференциях, включая организацию PGConf.Nepal. Бартунов отмечает кризис в open source из-за попыток монетизации - фактически, это приводит к дрифту лицензий части продуктов в зону Шредингера, где софт оказывается в дуально открыто/закрытом состоянии:)
6. Искусственный интеллект и будущее программирования
ИИ рассматривается как новая промышленная революция. Профессия программиста изменится: прикладные разработчики могут исчезнуть, но появятся новые специальности. Важно учить детей критическому мышлению и пониманию технологий.
7. Проблемы изоляции IT
Изоляция мешает развитию, поскольку новые идеи рождаются в общении и конкуренции. Россия отстаёт от Америки в развитии технологий на 2-3 года. Политические факторы приводят к разделению рынков.
8.Государственная политика и развитие IT
Бартунов критикует работу с министерствами, предпочитая прямое сотрудничество с университетами. Государство должно чётко определить стратегию развития IT и создать условия для возвращения специалистов.

Если суммировать тезисы, c большей частью из которых я согласен, то
- Россия должна развивать не только прикладное, но и системное программирование, воспитывая собственных разработчиков СУБД и другого системного ПО.
- Уход западных вендоров создал возможности для роста российских IT-компаний. Postgres Pro стала примером успешного импортозамещения в области СУБД.
- Качественное IT-образование должно начинаться со школы и включать фундаментальные знания, а не только изучение конкретных технологий.
- Участие в международных open source проектах позволяет российским разработчикам оставаться частью глобального сообщества и развивать конкурентоспособные продукты.
- Необходимо готовить новое поколение специалистов, понимающих работу с ИИ и способных адаптироваться к изменениям в профессии.

В общем, мне понравилось это интервью - все четко и по делу:)

#Database #Management #Leadership #Software #Engineering

📚В продолжении предыдущего поста про статьи на Хабре...еще троечка )))

1️⃣Книга: «Масштабируемые данные. Высоконагруженные архитектуры, Data Mesh и Data Fabric. 2-е изд.»
Только буквально недавно писал про Data Mesh и вот, книга для тех, кто не в теме, но хочет быть в теме. Поеду в отпуск, куплю, полистаю. Тема очень интересная для общего развития.

2️⃣Семантическое моделирование. Проектирование БД с помощью ER-модели
Если бы эта статья вышла в октября-ноябре или в марте-апреле, то цены бы ей не было! Простая статья про проектирование базы данных для студенческих проектов. Не более того, к сожалению.
Как правильно заметили в комментариях, не хватает современного взгляда. Где современные стандарты моделирования (Linked Data \ Semantic Web)? Как JSON помогает решать проблему связи многие-ко-многих и т.д. Почему-то об этом никто не пишет.

3️⃣Хоронить HDD рано: Seagate выпустила самый вместительный жесткий диск в истории — 40 ТБ
В очередной раз поражает развития современных технологий! Жесткий диск в 40 ТБ! Один! Ужас! Объемы потрясающие и по адекватной цене. И компании на рынке те же, что и были 30 лет назад: Seagate, Western Digital и Toshiba. Тащат индустрию вперед со своими уникальными технологиями! Эхххх, жаль у нас такого нет.

📚 Как-то много разборов статей с Хабра, но ничего не поделать... Особо ничего интересного не происходит.

1️⃣ Что такое OLTP: просто о сложном
В целом, мне понравилась статья или текст (как некоторые его называют). Единственное, что она черезчур объемная. Можно было и покороче и конечно прослеживается ИИ сгенированный текст. Я не против, но стоит лучше скрывать следы.

Для студентов подходит 100%. Как показывают практика многие выпускника до сих путают OLTP, OLAP, HTAP понятия. Странно, но факт.

2️⃣ Firebird Conf 2025
Не получилось у меня побывать на конференции. Много работы. Посмотрю как-нибудь видосы и если будет, что сказать, то напишу.
Что касаемо статьи, то кажется, что сообщество firebird начало расти и мы наконец-то увидим больше внедрений этой СУБД. Возможно 🙂
Скорей всего по требованию гос-тендеров они внедрили сертификацию. Теперь можно сдавать экзамены и получать сертификаты, а не просто, прослушал курс - держи бумажку.

3️⃣ Как заставить вашу базу данных летать, а не ползать. Часть 2 – когда репликации недостаточно и пора использовать шардинг
Вроде бы неплохая статья, но автор видимо совсем не стесняется использовать ИИ. Хоть бы попытался замаскироваться что ли 🙂
Текст в ней полезный и не противоречивый, но довольно поверхностный. Я думаю задай вы вопрос ИИ-агенту напрямую, то получили ничуть не хуже ответ.

📚 Beyond Durability: Database Resilience and Entropy Reduction with Write-Ahead Logging at Netflix

Авторы — инженеры Netflix Prudhviraj Karumanchi и Vidhya Arvind — рассказывают о создании сервиса write-ahead log (WAL) для повышения надёжности и долговечности данных, особенно в условиях масштабных инфраструктурных сбоев, распределённых транзакций и "мульти-базовых" состояний.

WAL as Service - интересное решение! Действительно, если у тебя в бизнес-процессах множество распределенных транзакций, то для поддержки нужно уровня надежности WAL как сервис - крутая идея!

WAL обеспечивает следующее:
👉 durability – сохранение изменений;
👉 traceability – отслеживание;
👉 ordering guarantees – строгий порядок;
👉 replay capability – возможность повторного воспроизведения

Netflix внедрил собственный сервис WAL как универсальный слой между клиентами и базами данных. Это позволило повысить надёжность, сохранить порядок транзакций, устранить потери в "многобазовых" сценариях и сделало систему масштабируемой и расширяемой.

Немного об опыте работы с ИИ-ассистентом.

Во время проработки выпускной квалификационной работы со студентами мы задали вопрос ИИ: "Каким цветом изображается проводка на поэтажном плане помещения?"

ИИ дал очень качественный ответ со ссылкой на ГОСТ Р 21.1703-2000 и т.п. Не придраться. Казалось бы, всё супер! Однако, один из студентов заметил, а точно ли ГОСТ верный? Прошло уже 25 лет. Может есть еще какие-то правила?

Написали следующий вопрос: "ГОСТ Р 21.1703-2000. Есть ли более новый ГОСТ?"

ИИ как ни в чем не бывало пишет, что да, ГОСТ Р 21.1703-2000 устарел и теперь всё немного по другому...

Мораль: нельзя слепо доверять ИИ. Всегда сомневайтесь в его ответе и задавайте уточняющие вопросы.

С пятницей!

#mems

📚 Новый OLTP: Postgres с раздельными вычислениями и хранилищем

Я как-то писал о том, что Databricks купил компанию Nexon и вот результат покупки - новая РСУБД Lakebase, которая входит в платформу Databricks Data Intelligence.

По сути Lakebase - это модульная СУБД в которой, как утверждают авторы, разделен compute engine от storage. Система во время выполнения запроса может регулировать свою вычислительную мощность.

Написано, что Lakebase это OLTP, но судя по описанию, это больше похоже на HTAP СУБД, которая прекрасно переваривает любую нагрузку.

Подожду отзывы пользователей и тогда будет понятно насколько это крутое решение.