6 июня прошла конференция Firebird Conf 2024
Организаторы - компания РЕД СОФТ, которые являются отечественными разработчиками СУБД, ОС, виртуализации и прочего.

Место проведения - отель Radisson Blu Olympiyskiy Hotel. Отель великолепный! Помещение для конференции хоть и небольшое, но довольно комфортное.

Было, кажется, 7 стендов. 4 из которых от РЕД СОФТ. Можно было пообщаться со специалистами по мониторингу, обслуживанию Ред Базы Данных. Был отдельный стенд с демонстрацией работы отказоустойчивого кластера.

Доклады скоро выложат на youtube, поэтому разбирать их не буду.

Однако хочу рассказать о начале конференции и "приветсвенном слове".

Opensource проекту FireBird 25 лет! За это время вышло всего 5 релизов. Причем 4-й и 5-й - с разницей всего в 1 год.
О чем это говорит? О том, что к проекту было очень мало внимания. Фактически, он был вялотекущим. НО...благодаря импортозамещению и вливанию денег со стороны РЕД СОФТ, проект ожил.

Этой информацией я вас подвожу к началу выступления спикера Алексея Ковязина, Президента Firebird Foundation. Всё выступление свелось к привлечению спонсоров в сообщество Firebird Foundation. Даже прайс показали. Стоимость членства в элитном клубе без привилегий - 5 000 рублей. НО...если вы хотите стать VIP участником с привилегиями, то стоимость членства поднимается до 90 000 в год. Под привилегиями понимается способность голосовать. Вы можете ускорить или отложить внедрение каких-то фич.

Мне такой подход показался весьма интересным. Для opensource проекта создается финансовая организация. На взносы участников происходит финансирование разработчиков проекта.

Надо взять на заметку! 😉

📚Недавно была статья на хабре: Что такое Proxima DB? Знакомство с российской СУБД на базе PostgreSQL
Компании Orion soft

Очередной форк PostgreSQL, который, по информации авторов
статьи, разрабатывается уже 5 лет.

Не будем фокусироваться на статье, а зайдем сразу в комментарии. Люди задают толковые вопросы:
👉 Как клиентам сползать обратно на ванильный PostgreSQL, когда финансирование Proxima DB прекратится?
👉Было бы круто увидеть сравнение с прямыми конкурентами - PosgresPRO & Arenadata.
👉Продукт существует с 2019 года, но, простите, где вы были все эти 5 лет? Ни одной статьи на Хабре или еще где-то. На PgConf 2024 вас так же не было.

Ответы автор решил не давать.

Я об этой компании сам ничего не знаю. Давайте пробьем ее по сайту Т-Банка:
❗Зарегистрирована в 2021 году. Спрашивается, откуда 5 лет разработки?
❗ Ген.дир и глав.бух - одно лицо. Костров Владимир Олегович. Тоже настораживает.
❗ Компания очень неустойчивая. Низкий уровень ликвидности и собственного капитала.

Фактическая компания может объявить себя банкротом в любое удобное время. Можно сказать, что комментарии аудитории Хабра были обоснованными.

От себя хочу добавить: если компания-разработчик создаст себе хорошую репутацию, то обязательно надо вкладываться в маркетинг и активно показывать себя на ИТ-мероприятиях. Не только как спонсоры, но и как спикеры. 🏖️

Наконец-то, все экзамены и защиты НИР, ВКР и т.п. закончены. Теперь перед вами открывается настоящая взрослая жизнь! Я лишь хочу пожелать вам карьерного роста и творческих успехов! Ура!

С пятницей!

#mems

Закрылся перспективный стартап ottertune от знаменитого преподавателя Энди Павло , университет Carnegie Mellon University.

Напомню, что продуктом компании является ИИ-автоматизированный оптимизатор для базы данных. Основная идея в том, что существующий зоопарк СУБД имеет свои уникальные настройки оптимизации. Человеку запомнить их все, даже в рамках одной СУБД, непросто, а успешно применять эти знания - еще сложнее. Поэтому так дорого ценятся специалисты с большим портфолио по грамотной настройке СУБД. ИИ должен был помочь решить подобного рода задачи за минимум вложений.

Идея отличная! Этот стартап привлек хорошие инвестиции, но... как оказалось, этого было мало. В своем твиттере Энди написал, что хотел продать стартап со всеми наработками крупных игрокам. Однако их так никто и не купил. Сделка сорвалась. Занавес. Можно гадать в чем же причина, то ли продукт не очень, то ли маркетинг подкачал, то ли цена была завышенной... Мне не известно. Можно предположить, что стартапу уже 4 года, а инвестиции так и не окупились, поэтому проще было закрыть предприятие, чем пытаться его спасти.

👉Мораль? Процитирую коллегу: "Опять ИИ не смог заменить человека. Работаем дальше... Продолжаем читать книги и ходить на курсы по оптимизации работы СУБД. Эххххх".

Пора задуматься о новых начинаних! Что это будет: стартап, курсы, путешествия, иные формы просвещения - я не знаю. Выбирать вам!

С пятницей!

#mems

Поздравляю всех с началом Нового Учебного Года! Надеюсь, полученные знания и умения вам всем пригодятся в вашей карьере! Если что-то и не пригодится, то, по крайне мере, расширит ваш кругозор!

Удачи вам в новых начинаниях!

p.s. а себе я пожелаю глубоко дышать...мира и спокойствия... амммммммммммм

Всех с пятницей!

#mems

🎥 4 сентября состоялся четвертый Database Internals Meetup от компании Яндекс по разработке СУБД.
На этот раз он состоялся на территории Авито. Это в очередной раз намекает нам на то, что крупные ИТ-гиганты очень плотно сотрудничают друг с другом. Мне кажется, такие взаимоотношения очень бустят ИТ-процессы в нашей стране. Вернемся к митапу...

Традиционно на митапе 2 доклада:
👉 Векторные поиски в Sphinx - автор Михаил Самолкаев, Авито.Тех
👉 Материализованные представления в GreenplumDB - автор Кирилл Решке, Яндекс

Традиционно первый доклад крайне сложный. Он заточен на разработчиков СУБД с мощным бэкграудом. Думаю, если кто-то пробовал интегрировать векторных поиск в какой-либо продукт, то проблем возникнуть не должно. У меня человек написал НИР по интеграции алгоритмов векторного поиска в СУБД Manticore. При желании и должной мотивации розгами по спине, можно во всем разобраться.

Второй доклад для понимания в разы проще. Даже по названию это можно понять 🙂. Автор очень бодро рассказал про историю развития материализованных представлений в проекте Постгрес. Поведал о проблеме актуализации данных. Доклад очень объемный, но если как-то подытожить, то код для работы с материализованными представлениями лучше комитить сразу в ядро, т.к это позволит лучше его оптимизировать, чем писать отдельное расширение для этого. В целом, они больше нужны для GP. Поэтому Яндекс в своем форке сделал максимум оптимизаций для этого.

Митап получился неплохой, ждем следующий. Как раз в начале митапа заанонсили следующий, который пройдёт на базе ИСП РАН ИМ. В.П. ИВАННИКОВА. Будет уже не 2 доклада, а 4. Пройдёт это всё 11-12 декабря в Москве.

#databaseinternals

4, 8 и 9 сентября прошла конференция SmartData 2024. Она посвящена "дата-инженеграм" и BigData. В целом, мне подходит.

4 сентября - бесплатный день. Вы можете свободно посмотреть эти доклады после регистрации. Давайте разберем некоторые из них

👉 Как жить с data swamp - Александр Боргардт
Название доклада не очень соответствует его содержанию. По сути, автор приводит кейс о том, что есть большой пласт данных в 35ТВ в DWH и нужно сформировать отчет. Для обработки такого количества данных нужно использовать мощь GPU. Аналитикам данных следует изучать команды работы c GPU. Везде есть свои нюансы. Миксовать CPU и GPU вычисления - плохая идея. Занавес.

👉 Шардированный не значит распределенный: что важно знать, когда PostgreSQL мало - Евгений Иванов, Яндекс и Олег Бондарь, Яндекс
В первой части авторы рассказывают про шардирование и транзакции в целом. Теоретическая часть. Большинство примеров с СУБД Citus.
Вторая часть посвящена тестам. Был использован бэнчмарк TCP-C. TCP-C - единственный объективный бэнчмарк для СУБД по измерению OLTP нагрузки.
Проект CMU Benchbase - фреймворк для создания тестов для любых СУБД. Из интересного хочу отметить, что ресурсы, которые используются для работы бенчмарка, могут быть даже больше, чем ресурсы, выделенные под тестируемую СУБД. Это довольно неочевидный факт.
🧨 Постгрес на трех нодах по производительности оказался лучше популярных распределенных СУБД 🏆(YDB, Cockroach). Если нод становится больше, то распределенные СУБД уже заметно эффективнее.

👉 Оптимизация распределения партиций в последовательности задач распределенной обработки данных - Милена Букина, Т-Банк
Автор рассказала о своей дипломной работе. Я считаю, что так должно выглядеть эталонная презентация ВКР. Выступление фактически длилось 12 минут. Если чуть-чуть подсократить и убрать слайд о возможном будущем, то в регламентные 7-10 минут укладывается на раз-два. Супер-доклад! Придраться можно разве что к непонятным выводам. Да, получили какие-то цифры, почему это хорошо, а не плохо? А можно ли сделать лучше? А если сменить тестовый набор? И т.п.
В целом, выступление и слайды очень хороши. Советую к просмотру!

На этом первый бесплатный день конференции для меня подошел к концу! Посмотрим, что будет дальше 😉😉

Конференция SmartData 2024.

8 сентября.

Докладов было много, но по моим интересам почти ничего. Одна сплошная миграция с одного решения на другое. Разве что можно отметить такие:

👉 Выбрасываем Java и кратно ускоряем Spark/Presto… Или пока нет? - Павел Солодовников, CedrusData
Меня зацепили минусы монолитной архитектуры. Автор их проговаривал, я думал, так это плюс! Почему минус? Не понятно. Когда пошло сравнение с модульными системами, то тут же вспомнилось противостояние Ios/Andriod или Windows/Linux. Где-то подход "пользуйся и не парься", а где-то "настраивай строго под себя". Презентация.
Если кратко, то модуль СУБД, который отвечает за исполнение запроса (Execute Engine) выпилили из СУБД и переписали на С++, назвав его Velox. Занавес.
Опять тема доклада не очень вяжется с его содержимым. Я не понимаю, как этот кейс кому-то может помочь. Взять проект на Java, затем часть модулей переписать на С++ и сказать, что получилось круто! А сразу всё на С++ сделать нельзя? Возможно, я не уловил "полезность" доклада...

Учеба, работа и прочие активности начинают нас поглощать всё больше и больше.

С пятницей!

#mems

Конференция SmartData 2024.

9 сентября.

Как и 8 числа, докладов, которые мне понравились, довольно мало. Послушал я многие, но рассказать особо про них нечего. Слишком узкая специфика. Можно отметить следующий:

👉 Storage для lake - Александр Казанский, Т-Банк
Интересный доклад о том, как с нуля сделать озеро 🌊 с уточками 🦆. В целом, довольно интересно. Хотелось чуть больше деталей, т.к. доклад показался поверхностным. Сойдет 🤪

Подводя итог конференции, я бы отметил, что доклады, которые хоть как-то меня заинтересовали, либо от Яндекса, либо от Т-Банка. Совпадение? 🤨

В целом, конференция неплохая, хотя с тематикой академических баз данных и администрированием СУБД слабо связанная. Это только начало осени. Впереди еще масса интересных мероприятий! Одно из которых состоится 9 октября PGCONF.ACADEMY 2024.

19 сентября прошла первая IT-конференция от команды разработки Platform V Pangolin, Pangolin Day.

Конференция прошла в очном формате и получилась весьма неплохой. СберТех умеет делать шоу 😊

Увидел и пообщался с множеством коллег, было крайне продуктивно. Надеюсь, совместно с командой Панголин мы сделаем курсы по базам данных еще лучше!

Теперь пройдемся по более низменным вещам:
- кормили хорошо. Кофе-брейки неплохие, не такие классные, как были на PGConf, но на обед можно были выбрать суши и ролы. Необычно )
- Стулья хорошие, мягкие ))
- Все презентации были в одном стиле. Поначалу это хорошо, но после 4-5 докладов слайды начали сливаться в одно полотно. Почему-то было тяжело сфокусироваться.

По докладам:
👉Комплексный подход к управлению данными: импортозамещение и бизнес-эффекты
Классный доклад о том, что Панголинщики делают не просто форк постгреса, а целую платформу данных, Platform V.

👉Что нового в большом летнем релизе Platform V Kintsugi — графического инструмента для сопровождения СУБД
Скучный доклад. Автор (Иван Пушкарь) часто делает доклады по Кинцуги, но мне тяжело его воспринимать. Если говорить о наполнении, то тоже какая-то беда. Ничего в памяти не осталось

👉Логическая CDC-репликация Platform V GraDeLy. Знакомство с новым продуктом
Неплохой доклад. Бодрый. Однако это реклама нового инструмента, который пока находится в бете.

👉Все о резервном копировании: новый продукт в экосистеме Platform V Pangolin
Хороший академический доклад. Более ничего сказать и не могу 🤪

👉Глобальные индексы для секционированных таблиц. Что изменила одна из ключевых доработок в Pangolin
Хороший доклад про фичу Панголина, и насколько идея глобальных индексов отличается от B-tree.

👉Интересные случаи техподдержки Pangolin
Очень специфические кейсы по падению Панголина. Я думал, что будет интересно, но по факту все примеры очень узконаправлены.

Общее впечатление:
Это первая конференция чисто панглолинщиков, и мне кажется, всё прошло неплохо. Я думаю, команда получила множество фидбека от сообщества. Пожелаю коллегам из СберТеха удачи в продвижении продукта!

‼️ Видео докладов ‼️

🎥 19 сентября прошла Конференция «Новое время — новый Greenplum».

Конференция начала вечером. Немного пересеклась с Pangolin Day. Забавное совпадение.

Цель конференции - это презентовать новый open source продукт на базе GP, который называется GreenGage DB.

Фактически это ответ на перевод в архивный режим проекта GreenPlum от компании Broadcom.

Теперь на территории РФ будет свой проект MPP Postgres. Вообще, идея здравая. Если учесть, что основные коммитеры в проект GP были Аренадата и Яндекс. Можно отчасти сказать, что GP развивало РУ-сообщество.

Первая версия GG будет основана на GP 7.2 и выход первого релиза планируется в 3 квартале 2025 года!

Пожелаем удачи товарищам! Надеюсь новый проект выстрелит!

‼️‼️ПРЕЗЕНТАЦИЯ‼️‼️

p.s. 27 сентября пройдет еще один митап/круглый стол по GreenPlum/GreenGage. Возможно дадут больше информации.

Пора определяться с научниками для НИР. Если определись, то надо начинать что-то писать.

С пятницей!

#mems

📚 Статья: Майкл Стоунбрейкер: «Всё новое — это хорошо забытое старое. Продолжение»
Автор оригинала: Michael Stonebraker, Andrew Pavlo
Перевод: Loxmatiy Mamont

Шикарнейшая статья 🤤 с ретроспективой по всем направлениям развития СУБД и вангованием на тему будущего 🤔

Оригинал был написан 20 лет назад и эта статья призвана дать ответ на вопрос, сбылись ли предсказания прошлого...

В моём курсе по базам данных я об этом читаю на третьем занятии и то порой многое упускаю, т.к. времени мало, а информации тьма. Эта статья еще глубже погружает читателя в многообразие технологий и подходов к проектированию СУБД.

👉Всем разработчикам баз данных обязательно к прочтению! 👍

p.s. эту статью обязательно включу в список доп.литературы к курсу.

📚 Статья: REDIS: такой простой и такой сложный
Андрей Комягин, СТО компании STM Labs.

По мотивам выступления на Saint Highload++ 2024.

Отличная статья про Redis. Она раскрывает для чего реально используется эта СУБД, какие есть аналоги и т.п.
Картинки прекрасно дополняют статью.

Особое внимание как всегда к комментариям. Там много дополнительной информации. Советую ознакомиться...

Команда - это всегда здорово и весело, правда?

С пятницей!

#mems

🎥 27 сентября прошёл T-Meetup: GreenPlum от Т-Банка.

К сожалению, не смог в офлайне посетить это мероприятия, т.к. пятница была очень выматывающая, поэтому обзор офиса Т-Банка будет в следующий раз. Благо, все выступления доступны на видео.

Доклады:
👉Как мы мониторинг Greenplum 6 делали - Дмитрий Белозеров, Т-Банк

👉Greenplum без инженера: Автоматизация, метаданные и надежность - Александр Маслов, Т-Банк

👉Круглый стол "Будущее Greenplum в России".
Наверное, самая интересная для меня секция. Приведу несколько тезисов:

❗Greenplum - безальтернативная платформа для компаний с малым бюджетом.
❗Oracle - универсальная база данных. Все привыкли работать с ней именно так. Greenplum пытается быть такой.
❗Многие пользователи с Redis переходят на ValKey
❗Cloudberry аналог GreenPlum от китайской компании HashData Technology Limited. Яндекс один из контрибьютеров.
❗22 ноября будет митап от Яндекса по Cloudberry.
❗Аренадата тоже коммитит в Cloudberry
❗Greenplum 6 и 7 версий до сих ни у кого нет адекватных сравнений производительности. Даже у Аренадаты и Яндекса.
❗Часть докладов на Smardata2024 была посвящена идеи ухода от GreenPlum куда-то...
❗Не зная PostgreSQL нельзя развивать GreenPlum.
👽 Спецы из Яндекса явно недолюбливают спецов из Аренадаты.

Финал получился очень интересным. Я боялся, что люди из Яндекса и Аренадаты начнут друг другу лица бить 💪. Жаль, что трансляция закончилась 🥲