Учеба, работа и прочие активности начинают нас поглощать всё больше и больше.

С пятницей!

#mems

Конференция SmartData 2024.

9 сентября.

Как и 8 числа, докладов, которые мне понравились, довольно мало. Послушал я многие, но рассказать особо про них нечего. Слишком узкая специфика. Можно отметить следующий:

👉 Storage для lake - Александр Казанский, Т-Банк
Интересный доклад о том, как с нуля сделать озеро 🌊 с уточками 🦆. В целом, довольно интересно. Хотелось чуть больше деталей, т.к. доклад показался поверхностным. Сойдет 🤪

Подводя итог конференции, я бы отметил, что доклады, которые хоть как-то меня заинтересовали, либо от Яндекса, либо от Т-Банка. Совпадение? 🤨

В целом, конференция неплохая, хотя с тематикой академических баз данных и администрированием СУБД слабо связанная. Это только начало осени. Впереди еще масса интересных мероприятий! Одно из которых состоится 9 октября PGCONF.ACADEMY 2024.

19 сентября прошла первая IT-конференция от команды разработки Platform V Pangolin, Pangolin Day.

Конференция прошла в очном формате и получилась весьма неплохой. СберТех умеет делать шоу 😊

Увидел и пообщался с множеством коллег, было крайне продуктивно. Надеюсь, совместно с командой Панголин мы сделаем курсы по базам данных еще лучше!

Теперь пройдемся по более низменным вещам:
- кормили хорошо. Кофе-брейки неплохие, не такие классные, как были на PGConf, но на обед можно были выбрать суши и ролы. Необычно )
- Стулья хорошие, мягкие ))
- Все презентации были в одном стиле. Поначалу это хорошо, но после 4-5 докладов слайды начали сливаться в одно полотно. Почему-то было тяжело сфокусироваться.

По докладам:
👉Комплексный подход к управлению данными: импортозамещение и бизнес-эффекты
Классный доклад о том, что Панголинщики делают не просто форк постгреса, а целую платформу данных, Platform V.

👉Что нового в большом летнем релизе Platform V Kintsugi — графического инструмента для сопровождения СУБД
Скучный доклад. Автор (Иван Пушкарь) часто делает доклады по Кинцуги, но мне тяжело его воспринимать. Если говорить о наполнении, то тоже какая-то беда. Ничего в памяти не осталось

👉Логическая CDC-репликация Platform V GraDeLy. Знакомство с новым продуктом
Неплохой доклад. Бодрый. Однако это реклама нового инструмента, который пока находится в бете.

👉Все о резервном копировании: новый продукт в экосистеме Platform V Pangolin
Хороший академический доклад. Более ничего сказать и не могу 🤪

👉Глобальные индексы для секционированных таблиц. Что изменила одна из ключевых доработок в Pangolin
Хороший доклад про фичу Панголина, и насколько идея глобальных индексов отличается от B-tree.

👉Интересные случаи техподдержки Pangolin
Очень специфические кейсы по падению Панголина. Я думал, что будет интересно, но по факту все примеры очень узконаправлены.

Общее впечатление:
Это первая конференция чисто панглолинщиков, и мне кажется, всё прошло неплохо. Я думаю, команда получила множество фидбека от сообщества. Пожелаю коллегам из СберТеха удачи в продвижении продукта!

‼️ Видео докладов ‼️

🎥 19 сентября прошла Конференция «Новое время — новый Greenplum».

Конференция начала вечером. Немного пересеклась с Pangolin Day. Забавное совпадение.

Цель конференции - это презентовать новый open source продукт на базе GP, который называется GreenGage DB.

Фактически это ответ на перевод в архивный режим проекта GreenPlum от компании Broadcom.

Теперь на территории РФ будет свой проект MPP Postgres. Вообще, идея здравая. Если учесть, что основные коммитеры в проект GP были Аренадата и Яндекс. Можно отчасти сказать, что GP развивало РУ-сообщество.

Первая версия GG будет основана на GP 7.2 и выход первого релиза планируется в 3 квартале 2025 года!

Пожелаем удачи товарищам! Надеюсь новый проект выстрелит!

‼️‼️ПРЕЗЕНТАЦИЯ‼️‼️

p.s. 27 сентября пройдет еще один митап/круглый стол по GreenPlum/GreenGage. Возможно дадут больше информации.

Пора определяться с научниками для НИР. Если определись, то надо начинать что-то писать.

С пятницей!

#mems

📚 Статья: Майкл Стоунбрейкер: «Всё новое — это хорошо забытое старое. Продолжение»
Автор оригинала: Michael Stonebraker, Andrew Pavlo
Перевод: Loxmatiy Mamont

Шикарнейшая статья 🤤 с ретроспективой по всем направлениям развития СУБД и вангованием на тему будущего 🤔

Оригинал был написан 20 лет назад и эта статья призвана дать ответ на вопрос, сбылись ли предсказания прошлого...

В моём курсе по базам данных я об этом читаю на третьем занятии и то порой многое упускаю, т.к. времени мало, а информации тьма. Эта статья еще глубже погружает читателя в многообразие технологий и подходов к проектированию СУБД.

👉Всем разработчикам баз данных обязательно к прочтению! 👍

p.s. эту статью обязательно включу в список доп.литературы к курсу.

📚 Статья: REDIS: такой простой и такой сложный
Андрей Комягин, СТО компании STM Labs.

По мотивам выступления на Saint Highload++ 2024.

Отличная статья про Redis. Она раскрывает для чего реально используется эта СУБД, какие есть аналоги и т.п.
Картинки прекрасно дополняют статью.

Особое внимание как всегда к комментариям. Там много дополнительной информации. Советую ознакомиться...

Команда - это всегда здорово и весело, правда?

С пятницей!

#mems

🎥 27 сентября прошёл T-Meetup: GreenPlum от Т-Банка.

К сожалению, не смог в офлайне посетить это мероприятия, т.к. пятница была очень выматывающая, поэтому обзор офиса Т-Банка будет в следующий раз. Благо, все выступления доступны на видео.

Доклады:
👉Как мы мониторинг Greenplum 6 делали - Дмитрий Белозеров, Т-Банк

👉Greenplum без инженера: Автоматизация, метаданные и надежность - Александр Маслов, Т-Банк

👉Круглый стол "Будущее Greenplum в России".
Наверное, самая интересная для меня секция. Приведу несколько тезисов:

❗Greenplum - безальтернативная платформа для компаний с малым бюджетом.
❗Oracle - универсальная база данных. Все привыкли работать с ней именно так. Greenplum пытается быть такой.
❗Многие пользователи с Redis переходят на ValKey
❗Cloudberry аналог GreenPlum от китайской компании HashData Technology Limited. Яндекс один из контрибьютеров.
❗22 ноября будет митап от Яндекса по Cloudberry.
❗Аренадата тоже коммитит в Cloudberry
❗Greenplum 6 и 7 версий до сих ни у кого нет адекватных сравнений производительности. Даже у Аренадаты и Яндекса.
❗Часть докладов на Smardata2024 была посвящена идеи ухода от GreenPlum куда-то...
❗Не зная PostgreSQL нельзя развивать GreenPlum.
👽 Спецы из Яндекса явно недолюбливают спецов из Аренадаты.

Финал получился очень интересным. Я боялся, что люди из Яндекса и Аренадаты начнут друг другу лица бить 💪. Жаль, что трансляция закончилась 🥲

Начало первой ит-конференции по базам данных для преподавателей! Наконец-то что придумали для прокачки академического образования! У меня большие ожидания! Буду впитывать... 🧽🧽🧽

📚 OpenAI попросила власти США разрешить запуск энергоёмких 5-гигаваттных ЦОД

Эта статья связана с СУБД по касательной, однако заставляет задуматься на тему, что мешает современными ИИ стать еще круче и полезнее... Алгоритмы? Данные для обучения? Сверхмощное железо? 🤔

Оказывается, развитие ИИ может застопориться из-за банальной нехватки электроэнергии. Все эти ЦОД для ИИ потребляют ГВт электроэнергии. Далеко не каждая страна готова строить ни одну, а целый комплекс АЭС для их питания. Даже США испытывают трудности.

В России построить АЭС кажется задачек попроще, но из-за санкций создать ЦОД для ИИ задача крайне дорогая.

В итоге, в США есть технологии, но тратить деньги на постройку АЭС они вряд ли захотят. В России в разы проще построить АЭС, но с технологиями для ИИ беда.

Так и живём 😊

Будьте осторожны на дорогах...

С пятницей!

#mems

📚 Статья: Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциями.

Простенькая статья призванная разъяснить в чем разница между понятиями витрина данных, озеро данных или океаном данных. Для расширения кругозора подойдёт 😉

Порой очень сложно следить за трендами концепций построения (архитектур) хранилищ данных. Каждые 2-3 года придумывается что-то новое и не понятно полезно это или нет. Чаще всего получается так, что идея была изложена еще 5 лет назад, а ее воплотить получилось только сейчас в последних версиях каких-то продуктов.

Эта статья прекрасно контрастирует с недавним постом про T-Meetup: GreenPlum от Т-Банка.

9 октября прошла 1-ая конференция для IT-преподавателей СУБД PGCONF.ACADEMY 2024

Конференция получилась довольно интересной, можно было пообщаться с коллегами по несчастью 😃 и расширить круг общения между единомышленниками.

Давайте пробежимся по докладам:
👉Что должен знать каждый преподаватель СУБД?
В целом, автор еще раз рассказал историю развития СУБД и Постгреса в особенности. Ничего такого интересного сказано не было. У Автора есть доклад про историю PostgreSQL на HighLoad SPB от 2022 года. Если кого-то интересует исторический экскурс в продукт, то - пожалуйста.

👉Академия Postgres Pro: как мы поддерживаем преподавателей и студентов
Это рекламка от PostgresPro... Скажем так, больше поддерживают студентов. Преподаватели чаще всего "за бортом"

👉Опыт внедрения СУБД PostgreSQL в учебный процесс в вузе
Автор рассказал, как он в четырёх ВУЗах на разных кафедрах внедрил Постгрес в свои курсы. Занавес.

👉Как помочь студенту, который хочет в системное программирование.
Это самый жаркий доклад 🔥 Я про него отдельным постом расскажу. Чуть позже.

👉Автоматическая генерация заданий для курсов по базам данных.
Идея из 2000-х о том, как здорово было бы выдавать уникальные задания каждому студенту. Более ничего полезного. Ни о какой интеграции с ИИ и речи нет.

👉Создание интерактивного портала для обучения базам данных.
Автор и её две студентки написали портал для обучения. В OpenSource ничего не выложено. Сравнения с текущими решениями нет. Конец.

👉Проблемы методического и кадрового обеспечения учебного процесса при переходе на «открытое» и российское программное обеспечение в системе СПО.
Автор поднял проблему литературы по СУБД для Средне Профессионального Образования (СПО). Фактически, литературы толковой нет. Сплошные переиздания "старой школы". Из-за этого страдает качество преподавания. Вывод: пишите, пожалуйста, учебники для СПО.

👉Учебные курсы и сертификация Postgres Professional
ПостгресПро представили дорожную карту по развитию своих курсов и сертификации. Наконец-то они решили их обновить! Это успех ) Самое интересное, что они планируют расширить сертификацию с двух до трёх уровней. Сертификация на самый крутой уровень должна быть интересной.

👉Использование DBaaS в учебном процессе Университета ИТМО
Один из самых ценных докладов. ПостгресПро подарили факультету DBaaS решение, и ВУЗ по полной решил использовать эту возможность. Очень крутое решение, которое спасает ВУЗ от множества проблем с инфраструктурой поддержки ПО. Супер решение!

👉Опыт внедрения СУБД PostgreSQL в дисциплины направления Информационная безопасность.
Финальный доклад о том, как кафедра по информационной безопасности учит студентов взламывать PostgreSQL. Я бы на месте компании ПостгресПро по-максимуму вкладывался в это направление. Фактически, компания покупает кучу пентестеров за минимум денег. Гениально!

Как и обещал, отдельный рассказ о докладе "Как помочь студенту, который хочет в системное программирование" от Михаила Рутмана с PGCONF.ACADEMY.

Если кратко, то Михаил на базе новосибирского универа при посредничестве PostgesPro:
- сделал летнюю школу,
- организовал лабораторию по работе с Постгресом,
- создал программу стажировки и
- ведет кучу исследовательских проектов...

Человек загружен по самые гланды.

❔Я его в кулуарах спрашиваю, а сколько человек из Постгрес и самого Универа вовлечено в проект летней школы?
❗️Ответ: за орг.вопросы отвечает 2 человека. Этого достаточно. За контент и сопровождение студентов и прочее, отвечают 10 человек.

❔Думаю, ну, круто. Дело хорошее, и полезное, а сколько за это платят и кто платит?
❗️Ответ: Универ вообще ничего не платит. Какие-то деньги платит PostgesPro. Но этих денег очень мало. Я вкладываю кучу времени и сил, но денежный выхлоп совсем скромный.

❔Блин, тогда зачем ты это делаешь? У тебя же наверняка есть семья, дети... Зачем это всё?
❗️Ответ: Это работа для души, вот, нравится мне. Это некая волонтерская деятельность. Я от этого кайфую! Что касается заработка, то у меня есть своя фирма по разработке ПО, которая приносит кучу денег для меня и моей семьи...

*ляяяяя... у меня с этого ж*** сгорела 🚀🔥🔥🔥. Ну, как так-то? Чувак, от безделья, занимается образовательной деятельностью 24/7. Жесть! У богатых свои причуды (с)

Моя мечта зарабатывать на образовании рухнула в один момент 🤪

Универсальный PostgreSQL подходит всем! Особено если данных "с гулькин нос" и требований столько же.

C пятницей!

#mems

💬 22-23 октября проходит XI Международный форум
"Вся банковская автоматизация"

Главные цели Форума – представить финансовому сообществу новейшие отечественные программные продукты, оборудование и инфраструктурные решения, обеспечивающие автоматизацию всех аспектов деятельности современной финансовой организации, и создать условия для всестороннего обсуждения современных трендов в оптимизации бизнеса с использованием информационных технологий.

🔝. Исключительно офлайн-формат.

✅День 1.
Количество зарегистрированных участников в этом году превысило 900 человек. Как и в прошлом году. Народу толпа, но особой давки не было. Одним из достижений можно назвать количество спонсоров - более 50 штук.

Традиционно конференцию открыл Андрей Бурдинский, затем выступили все главные спонсоры, по 15 минут каждый.

Основные мысли выступающих, которые я уловил:

👉Импортозамещение трансформируется в импортоопережение.
👉 Финтех следует трем приципам: инкапсуляция (больше работы в регионах и с регионами), сцециализация (выбирается какая-то ниша и компания пытается в ней стать лидером), трансформация ( больше интеграций и колабораций)
👉 ИИ захватывает мир. LLM и т.п.
👉 Финтех подсаживают банки на LOW-/ NO-CODE платформы. Это неизбежное будущее...
👉 ИТ-аутстафинг. Если грубо переводить, то это ИТ-сутенерство. Самая близкая аналогия 🤪

Что-то по докладам рассказывать особо смысла нет, т.к всё направлено на продажу того или иного решения. Сколько бы докладов я не слушал, никто не делает сравнений с тем, как сейчас работает закачик и как их решение упрощает/ускоряет текущий процесс.

📍Из новинок форума наличие двух ярких игроков: Postgres Profesional и Platform V с продуктом SOWA и т.п.

Что тут сказать... СУБД PostgreSQL монополизировал рынок. Однако многие мелкие и некторые средние банки используют opensource вариант. Что для меня лично оказалось некоторой неожиданностью. Я понимаю, что нагрузка на инфраструктуру низкая, но требования по безопасности огромны. Не проще воспользоваться облачными продуктами? Вопрос к размышлению...

Про СберТех и так понятно ))) Пытаются захватить МИР 😈, т.е. диверсифицировать доходы. Это хорошая и дальновидная стратегия.

Пообщася с компанием Диасофт про их продукт Digital Q.DataBase. Мне повезло пообщаться с одним из инженров этой поделки. Я напомню идею. Диасофт сделал форк PostgreSQL, ClickHouse, Tarantool. Объединила эти СУБД в одну платформу и начала это всё продавать. Спросил я человека про развитие платформы и т.п. Итого, компания вкладывает все силы в PostgreSQL (кто бы сомневался). Именно там выходит куча доработок и улучшений. Все остальные СУБД находятся в их opensource вариантах. Доработок либо мало, либо их нет. Вот тебе и платформа )))

На этом первый день конференции и единственный, на котором я был, подошел к концу. Рюкзак забит всяческим мерчом в виде: блокнотов, ручек, конфет, кубиков-антистресс и прочими мелочами 😎

Не переживайте, всё наладится!

С пятницей!

#mems

📚 Статья: Tencent создает единую базу данных NoSQL для управления всеми моделями данных

Мир СУБД не стоит на месте и даже такой техногигант как Tencent разрабатывают свою облачную СУБД X-Stor. Что же в ней особенного?

Предпосылки
👉 Огромное количество контента (социальные сети, потоковые видео, онлайн-игры и т.п.)
👉 множество моделей данных (графы, документы, ряды и т.п.)
👉 гетерогенные данные

Что предлагает X-Stor (WP по X-Stor)
❗ Новая СУБД работает лучше остальных (странно, если бы этого утверждения не было)
❗ Очень эффективное использование ресурсов
❗ Более элегантное решение, чем у конкурентов (Redis, MongoDB, ArangoDB)
❗ Микросервисная архитектура СУБД.
❗12 ПБт оперативных данных, обработка 700 млрд.запросов в день.

БД закрыта, поэтому проверить на истину данные заявления проблематично.

Занавес 🫤