4, 8 и 9 сентября прошла конференция SmartData 2024. Она посвящена "дата-инженеграм" и BigData. В целом, мне подходит.

4 сентября - бесплатный день. Вы можете свободно посмотреть эти доклады после регистрации. Давайте разберем некоторые из них

👉 Как жить с data swamp - Александр Боргардт
Название доклада не очень соответствует его содержанию. По сути, автор приводит кейс о том, что есть большой пласт данных в 35ТВ в DWH и нужно сформировать отчет. Для обработки такого количества данных нужно использовать мощь GPU. Аналитикам данных следует изучать команды работы c GPU. Везде есть свои нюансы. Миксовать CPU и GPU вычисления - плохая идея. Занавес.

👉 Шардированный не значит распределенный: что важно знать, когда PostgreSQL мало - Евгений Иванов, Яндекс и Олег Бондарь, Яндекс
В первой части авторы рассказывают про шардирование и транзакции в целом. Теоретическая часть. Большинство примеров с СУБД Citus.
Вторая часть посвящена тестам. Был использован бэнчмарк TCP-C. TCP-C - единственный объективный бэнчмарк для СУБД по измерению OLTP нагрузки.
Проект CMU Benchbase - фреймворк для создания тестов для любых СУБД. Из интересного хочу отметить, что ресурсы, которые используются для работы бенчмарка, могут быть даже больше, чем ресурсы, выделенные под тестируемую СУБД. Это довольно неочевидный факт.
🧨 Постгрес на трех нодах по производительности оказался лучше популярных распределенных СУБД 🏆(YDB, Cockroach). Если нод становится больше, то распределенные СУБД уже заметно эффективнее.

👉 Оптимизация распределения партиций в последовательности задач распределенной обработки данных - Милена Букина, Т-Банк
Автор рассказала о своей дипломной работе. Я считаю, что так должно выглядеть эталонная презентация ВКР. Выступление фактически длилось 12 минут. Если чуть-чуть подсократить и убрать слайд о возможном будущем, то в регламентные 7-10 минут укладывается на раз-два. Супер-доклад! Придраться можно разве что к непонятным выводам. Да, получили какие-то цифры, почему это хорошо, а не плохо? А можно ли сделать лучше? А если сменить тестовый набор? И т.п.
В целом, выступление и слайды очень хороши. Советую к просмотру!

На этом первый бесплатный день конференции для меня подошел к концу! Посмотрим, что будет дальше 😉😉

Конференция SmartData 2024.

8 сентября.

Докладов было много, но по моим интересам почти ничего. Одна сплошная миграция с одного решения на другое. Разве что можно отметить такие:

👉 Выбрасываем Java и кратно ускоряем Spark/Presto… Или пока нет? - Павел Солодовников, CedrusData
Меня зацепили минусы монолитной архитектуры. Автор их проговаривал, я думал, так это плюс! Почему минус? Не понятно. Когда пошло сравнение с модульными системами, то тут же вспомнилось противостояние Ios/Andriod или Windows/Linux. Где-то подход "пользуйся и не парься", а где-то "настраивай строго под себя". Презентация.
Если кратко, то модуль СУБД, который отвечает за исполнение запроса (Execute Engine) выпилили из СУБД и переписали на С++, назвав его Velox. Занавес.
Опять тема доклада не очень вяжется с его содержимым. Я не понимаю, как этот кейс кому-то может помочь. Взять проект на Java, затем часть модулей переписать на С++ и сказать, что получилось круто! А сразу всё на С++ сделать нельзя? Возможно, я не уловил "полезность" доклада...

Учеба, работа и прочие активности начинают нас поглощать всё больше и больше.

С пятницей!

#mems

Конференция SmartData 2024.

9 сентября.

Как и 8 числа, докладов, которые мне понравились, довольно мало. Послушал я многие, но рассказать особо про них нечего. Слишком узкая специфика. Можно отметить следующий:

👉 Storage для lake - Александр Казанский, Т-Банк
Интересный доклад о том, как с нуля сделать озеро 🌊 с уточками 🦆. В целом, довольно интересно. Хотелось чуть больше деталей, т.к. доклад показался поверхностным. Сойдет 🤪

Подводя итог конференции, я бы отметил, что доклады, которые хоть как-то меня заинтересовали, либо от Яндекса, либо от Т-Банка. Совпадение? 🤨

В целом, конференция неплохая, хотя с тематикой академических баз данных и администрированием СУБД слабо связанная. Это только начало осени. Впереди еще масса интересных мероприятий! Одно из которых состоится 9 октября PGCONF.ACADEMY 2024.

19 сентября прошла первая IT-конференция от команды разработки Platform V Pangolin, Pangolin Day.

Конференция прошла в очном формате и получилась весьма неплохой. СберТех умеет делать шоу 😊

Увидел и пообщался с множеством коллег, было крайне продуктивно. Надеюсь, совместно с командой Панголин мы сделаем курсы по базам данных еще лучше!

Теперь пройдемся по более низменным вещам:
- кормили хорошо. Кофе-брейки неплохие, не такие классные, как были на PGConf, но на обед можно были выбрать суши и ролы. Необычно )
- Стулья хорошие, мягкие ))
- Все презентации были в одном стиле. Поначалу это хорошо, но после 4-5 докладов слайды начали сливаться в одно полотно. Почему-то было тяжело сфокусироваться.

По докладам:
👉Комплексный подход к управлению данными: импортозамещение и бизнес-эффекты
Классный доклад о том, что Панголинщики делают не просто форк постгреса, а целую платформу данных, Platform V.

👉Что нового в большом летнем релизе Platform V Kintsugi — графического инструмента для сопровождения СУБД
Скучный доклад. Автор (Иван Пушкарь) часто делает доклады по Кинцуги, но мне тяжело его воспринимать. Если говорить о наполнении, то тоже какая-то беда. Ничего в памяти не осталось

👉Логическая CDC-репликация Platform V GraDeLy. Знакомство с новым продуктом
Неплохой доклад. Бодрый. Однако это реклама нового инструмента, который пока находится в бете.

👉Все о резервном копировании: новый продукт в экосистеме Platform V Pangolin
Хороший академический доклад. Более ничего сказать и не могу 🤪

👉Глобальные индексы для секционированных таблиц. Что изменила одна из ключевых доработок в Pangolin
Хороший доклад про фичу Панголина, и насколько идея глобальных индексов отличается от B-tree.

👉Интересные случаи техподдержки Pangolin
Очень специфические кейсы по падению Панголина. Я думал, что будет интересно, но по факту все примеры очень узконаправлены.

Общее впечатление:
Это первая конференция чисто панглолинщиков, и мне кажется, всё прошло неплохо. Я думаю, команда получила множество фидбека от сообщества. Пожелаю коллегам из СберТеха удачи в продвижении продукта!

‼️ Видео докладов ‼️

🎥 19 сентября прошла Конференция «Новое время — новый Greenplum».

Конференция начала вечером. Немного пересеклась с Pangolin Day. Забавное совпадение.

Цель конференции - это презентовать новый open source продукт на базе GP, который называется GreenGage DB.

Фактически это ответ на перевод в архивный режим проекта GreenPlum от компании Broadcom.

Теперь на территории РФ будет свой проект MPP Postgres. Вообще, идея здравая. Если учесть, что основные коммитеры в проект GP были Аренадата и Яндекс. Можно отчасти сказать, что GP развивало РУ-сообщество.

Первая версия GG будет основана на GP 7.2 и выход первого релиза планируется в 3 квартале 2025 года!

Пожелаем удачи товарищам! Надеюсь новый проект выстрелит!

‼️‼️ПРЕЗЕНТАЦИЯ‼️‼️

p.s. 27 сентября пройдет еще один митап/круглый стол по GreenPlum/GreenGage. Возможно дадут больше информации.

Пора определяться с научниками для НИР. Если определись, то надо начинать что-то писать.

С пятницей!

#mems

📚 Статья: Майкл Стоунбрейкер: «Всё новое — это хорошо забытое старое. Продолжение»
Автор оригинала: Michael Stonebraker, Andrew Pavlo
Перевод: Loxmatiy Mamont

Шикарнейшая статья 🤤 с ретроспективой по всем направлениям развития СУБД и вангованием на тему будущего 🤔

Оригинал был написан 20 лет назад и эта статья призвана дать ответ на вопрос, сбылись ли предсказания прошлого...

В моём курсе по базам данных я об этом читаю на третьем занятии и то порой многое упускаю, т.к. времени мало, а информации тьма. Эта статья еще глубже погружает читателя в многообразие технологий и подходов к проектированию СУБД.

👉Всем разработчикам баз данных обязательно к прочтению! 👍

p.s. эту статью обязательно включу в список доп.литературы к курсу.

📚 Статья: REDIS: такой простой и такой сложный
Андрей Комягин, СТО компании STM Labs.

По мотивам выступления на Saint Highload++ 2024.

Отличная статья про Redis. Она раскрывает для чего реально используется эта СУБД, какие есть аналоги и т.п.
Картинки прекрасно дополняют статью.

Особое внимание как всегда к комментариям. Там много дополнительной информации. Советую ознакомиться...

Команда - это всегда здорово и весело, правда?

С пятницей!

#mems

🎥 27 сентября прошёл T-Meetup: GreenPlum от Т-Банка.

К сожалению, не смог в офлайне посетить это мероприятия, т.к. пятница была очень выматывающая, поэтому обзор офиса Т-Банка будет в следующий раз. Благо, все выступления доступны на видео.

Доклады:
👉Как мы мониторинг Greenplum 6 делали - Дмитрий Белозеров, Т-Банк

👉Greenplum без инженера: Автоматизация, метаданные и надежность - Александр Маслов, Т-Банк

👉Круглый стол "Будущее Greenplum в России".
Наверное, самая интересная для меня секция. Приведу несколько тезисов:

❗Greenplum - безальтернативная платформа для компаний с малым бюджетом.
❗Oracle - универсальная база данных. Все привыкли работать с ней именно так. Greenplum пытается быть такой.
❗Многие пользователи с Redis переходят на ValKey
❗Cloudberry аналог GreenPlum от китайской компании HashData Technology Limited. Яндекс один из контрибьютеров.
❗22 ноября будет митап от Яндекса по Cloudberry.
❗Аренадата тоже коммитит в Cloudberry
❗Greenplum 6 и 7 версий до сих ни у кого нет адекватных сравнений производительности. Даже у Аренадаты и Яндекса.
❗Часть докладов на Smardata2024 была посвящена идеи ухода от GreenPlum куда-то...
❗Не зная PostgreSQL нельзя развивать GreenPlum.
👽 Спецы из Яндекса явно недолюбливают спецов из Аренадаты.

Финал получился очень интересным. Я боялся, что люди из Яндекса и Аренадаты начнут друг другу лица бить 💪. Жаль, что трансляция закончилась 🥲

Начало первой ит-конференции по базам данных для преподавателей! Наконец-то что придумали для прокачки академического образования! У меня большие ожидания! Буду впитывать... 🧽🧽🧽

📚 OpenAI попросила власти США разрешить запуск энергоёмких 5-гигаваттных ЦОД

Эта статья связана с СУБД по касательной, однако заставляет задуматься на тему, что мешает современными ИИ стать еще круче и полезнее... Алгоритмы? Данные для обучения? Сверхмощное железо? 🤔

Оказывается, развитие ИИ может застопориться из-за банальной нехватки электроэнергии. Все эти ЦОД для ИИ потребляют ГВт электроэнергии. Далеко не каждая страна готова строить ни одну, а целый комплекс АЭС для их питания. Даже США испытывают трудности.

В России построить АЭС кажется задачек попроще, но из-за санкций создать ЦОД для ИИ задача крайне дорогая.

В итоге, в США есть технологии, но тратить деньги на постройку АЭС они вряд ли захотят. В России в разы проще построить АЭС, но с технологиями для ИИ беда.

Так и живём 😊

Будьте осторожны на дорогах...

С пятницей!

#mems

📚 Статья: Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциями.

Простенькая статья призванная разъяснить в чем разница между понятиями витрина данных, озеро данных или океаном данных. Для расширения кругозора подойдёт 😉

Порой очень сложно следить за трендами концепций построения (архитектур) хранилищ данных. Каждые 2-3 года придумывается что-то новое и не понятно полезно это или нет. Чаще всего получается так, что идея была изложена еще 5 лет назад, а ее воплотить получилось только сейчас в последних версиях каких-то продуктов.

Эта статья прекрасно контрастирует с недавним постом про T-Meetup: GreenPlum от Т-Банка.

9 октября прошла 1-ая конференция для IT-преподавателей СУБД PGCONF.ACADEMY 2024

Конференция получилась довольно интересной, можно было пообщаться с коллегами по несчастью 😃 и расширить круг общения между единомышленниками.

Давайте пробежимся по докладам:
👉Что должен знать каждый преподаватель СУБД?
В целом, автор еще раз рассказал историю развития СУБД и Постгреса в особенности. Ничего такого интересного сказано не было. У Автора есть доклад про историю PostgreSQL на HighLoad SPB от 2022 года. Если кого-то интересует исторический экскурс в продукт, то - пожалуйста.

👉Академия Postgres Pro: как мы поддерживаем преподавателей и студентов
Это рекламка от PostgresPro... Скажем так, больше поддерживают студентов. Преподаватели чаще всего "за бортом"

👉Опыт внедрения СУБД PostgreSQL в учебный процесс в вузе
Автор рассказал, как он в четырёх ВУЗах на разных кафедрах внедрил Постгрес в свои курсы. Занавес.

👉Как помочь студенту, который хочет в системное программирование.
Это самый жаркий доклад 🔥 Я про него отдельным постом расскажу. Чуть позже.

👉Автоматическая генерация заданий для курсов по базам данных.
Идея из 2000-х о том, как здорово было бы выдавать уникальные задания каждому студенту. Более ничего полезного. Ни о какой интеграции с ИИ и речи нет.

👉Создание интерактивного портала для обучения базам данных.
Автор и её две студентки написали портал для обучения. В OpenSource ничего не выложено. Сравнения с текущими решениями нет. Конец.

👉Проблемы методического и кадрового обеспечения учебного процесса при переходе на «открытое» и российское программное обеспечение в системе СПО.
Автор поднял проблему литературы по СУБД для Средне Профессионального Образования (СПО). Фактически, литературы толковой нет. Сплошные переиздания "старой школы". Из-за этого страдает качество преподавания. Вывод: пишите, пожалуйста, учебники для СПО.

👉Учебные курсы и сертификация Postgres Professional
ПостгресПро представили дорожную карту по развитию своих курсов и сертификации. Наконец-то они решили их обновить! Это успех ) Самое интересное, что они планируют расширить сертификацию с двух до трёх уровней. Сертификация на самый крутой уровень должна быть интересной.

👉Использование DBaaS в учебном процессе Университета ИТМО
Один из самых ценных докладов. ПостгресПро подарили факультету DBaaS решение, и ВУЗ по полной решил использовать эту возможность. Очень крутое решение, которое спасает ВУЗ от множества проблем с инфраструктурой поддержки ПО. Супер решение!

👉Опыт внедрения СУБД PostgreSQL в дисциплины направления Информационная безопасность.
Финальный доклад о том, как кафедра по информационной безопасности учит студентов взламывать PostgreSQL. Я бы на месте компании ПостгресПро по-максимуму вкладывался в это направление. Фактически, компания покупает кучу пентестеров за минимум денег. Гениально!

Как и обещал, отдельный рассказ о докладе "Как помочь студенту, который хочет в системное программирование" от Михаила Рутмана с PGCONF.ACADEMY.

Если кратко, то Михаил на базе новосибирского универа при посредничестве PostgesPro:
- сделал летнюю школу,
- организовал лабораторию по работе с Постгресом,
- создал программу стажировки и
- ведет кучу исследовательских проектов...

Человек загружен по самые гланды.

❔Я его в кулуарах спрашиваю, а сколько человек из Постгрес и самого Универа вовлечено в проект летней школы?
❗️Ответ: за орг.вопросы отвечает 2 человека. Этого достаточно. За контент и сопровождение студентов и прочее, отвечают 10 человек.

❔Думаю, ну, круто. Дело хорошее, и полезное, а сколько за это платят и кто платит?
❗️Ответ: Универ вообще ничего не платит. Какие-то деньги платит PostgesPro. Но этих денег очень мало. Я вкладываю кучу времени и сил, но денежный выхлоп совсем скромный.

❔Блин, тогда зачем ты это делаешь? У тебя же наверняка есть семья, дети... Зачем это всё?
❗️Ответ: Это работа для души, вот, нравится мне. Это некая волонтерская деятельность. Я от этого кайфую! Что касается заработка, то у меня есть своя фирма по разработке ПО, которая приносит кучу денег для меня и моей семьи...

*ляяяяя... у меня с этого ж*** сгорела 🚀🔥🔥🔥. Ну, как так-то? Чувак, от безделья, занимается образовательной деятельностью 24/7. Жесть! У богатых свои причуды (с)

Моя мечта зарабатывать на образовании рухнула в один момент 🤪

Универсальный PostgreSQL подходит всем! Особено если данных "с гулькин нос" и требований столько же.

C пятницей!

#mems

💬 22-23 октября проходит XI Международный форум
"Вся банковская автоматизация"

Главные цели Форума – представить финансовому сообществу новейшие отечественные программные продукты, оборудование и инфраструктурные решения, обеспечивающие автоматизацию всех аспектов деятельности современной финансовой организации, и создать условия для всестороннего обсуждения современных трендов в оптимизации бизнеса с использованием информационных технологий.

🔝. Исключительно офлайн-формат.

✅День 1.
Количество зарегистрированных участников в этом году превысило 900 человек. Как и в прошлом году. Народу толпа, но особой давки не было. Одним из достижений можно назвать количество спонсоров - более 50 штук.

Традиционно конференцию открыл Андрей Бурдинский, затем выступили все главные спонсоры, по 15 минут каждый.

Основные мысли выступающих, которые я уловил:

👉Импортозамещение трансформируется в импортоопережение.
👉 Финтех следует трем приципам: инкапсуляция (больше работы в регионах и с регионами), сцециализация (выбирается какая-то ниша и компания пытается в ней стать лидером), трансформация ( больше интеграций и колабораций)
👉 ИИ захватывает мир. LLM и т.п.
👉 Финтех подсаживают банки на LOW-/ NO-CODE платформы. Это неизбежное будущее...
👉 ИТ-аутстафинг. Если грубо переводить, то это ИТ-сутенерство. Самая близкая аналогия 🤪

Что-то по докладам рассказывать особо смысла нет, т.к всё направлено на продажу того или иного решения. Сколько бы докладов я не слушал, никто не делает сравнений с тем, как сейчас работает закачик и как их решение упрощает/ускоряет текущий процесс.

📍Из новинок форума наличие двух ярких игроков: Postgres Profesional и Platform V с продуктом SOWA и т.п.

Что тут сказать... СУБД PostgreSQL монополизировал рынок. Однако многие мелкие и некторые средние банки используют opensource вариант. Что для меня лично оказалось некоторой неожиданностью. Я понимаю, что нагрузка на инфраструктуру низкая, но требования по безопасности огромны. Не проще воспользоваться облачными продуктами? Вопрос к размышлению...

Про СберТех и так понятно ))) Пытаются захватить МИР 😈, т.е. диверсифицировать доходы. Это хорошая и дальновидная стратегия.

Пообщася с компанием Диасофт про их продукт Digital Q.DataBase. Мне повезло пообщаться с одним из инженров этой поделки. Я напомню идею. Диасофт сделал форк PostgreSQL, ClickHouse, Tarantool. Объединила эти СУБД в одну платформу и начала это всё продавать. Спросил я человека про развитие платформы и т.п. Итого, компания вкладывает все силы в PostgreSQL (кто бы сомневался). Именно там выходит куча доработок и улучшений. Все остальные СУБД находятся в их opensource вариантах. Доработок либо мало, либо их нет. Вот тебе и платформа )))

На этом первый день конференции и единственный, на котором я был, подошел к концу. Рюкзак забит всяческим мерчом в виде: блокнотов, ручек, конфет, кубиков-антистресс и прочими мелочами 😎