🎥 27 сентября прошёл T-Meetup: GreenPlum от Т-Банка.

К сожалению, не смог в офлайне посетить это мероприятия, т.к. пятница была очень выматывающая, поэтому обзор офиса Т-Банка будет в следующий раз. Благо, все выступления доступны на видео.

Доклады:
👉Как мы мониторинг Greenplum 6 делали - Дмитрий Белозеров, Т-Банк

👉Greenplum без инженера: Автоматизация, метаданные и надежность - Александр Маслов, Т-Банк

👉Круглый стол "Будущее Greenplum в России".
Наверное, самая интересная для меня секция. Приведу несколько тезисов:

❗Greenplum - безальтернативная платформа для компаний с малым бюджетом.
❗Oracle - универсальная база данных. Все привыкли работать с ней именно так. Greenplum пытается быть такой.
❗Многие пользователи с Redis переходят на ValKey
❗Cloudberry аналог GreenPlum от китайской компании HashData Technology Limited. Яндекс один из контрибьютеров.
❗22 ноября будет митап от Яндекса по Cloudberry.
❗Аренадата тоже коммитит в Cloudberry
❗Greenplum 6 и 7 версий до сих ни у кого нет адекватных сравнений производительности. Даже у Аренадаты и Яндекса.
❗Часть докладов на Smardata2024 была посвящена идеи ухода от GreenPlum куда-то...
❗Не зная PostgreSQL нельзя развивать GreenPlum.
👽 Спецы из Яндекса явно недолюбливают спецов из Аренадаты.

Финал получился очень интересным. Я боялся, что люди из Яндекса и Аренадаты начнут друг другу лица бить 💪. Жаль, что трансляция закончилась 🥲

Начало первой ит-конференции по базам данных для преподавателей! Наконец-то что придумали для прокачки академического образования! У меня большие ожидания! Буду впитывать... 🧽🧽🧽

📚 OpenAI попросила власти США разрешить запуск энергоёмких 5-гигаваттных ЦОД

Эта статья связана с СУБД по касательной, однако заставляет задуматься на тему, что мешает современными ИИ стать еще круче и полезнее... Алгоритмы? Данные для обучения? Сверхмощное железо? 🤔

Оказывается, развитие ИИ может застопориться из-за банальной нехватки электроэнергии. Все эти ЦОД для ИИ потребляют ГВт электроэнергии. Далеко не каждая страна готова строить ни одну, а целый комплекс АЭС для их питания. Даже США испытывают трудности.

В России построить АЭС кажется задачек попроще, но из-за санкций создать ЦОД для ИИ задача крайне дорогая.

В итоге, в США есть технологии, но тратить деньги на постройку АЭС они вряд ли захотят. В России в разы проще построить АЭС, но с технологиями для ИИ беда.

Так и живём 😊

Будьте осторожны на дорогах...

С пятницей!

#mems

📚 Статья: Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциями.

Простенькая статья призванная разъяснить в чем разница между понятиями витрина данных, озеро данных или океаном данных. Для расширения кругозора подойдёт 😉

Порой очень сложно следить за трендами концепций построения (архитектур) хранилищ данных. Каждые 2-3 года придумывается что-то новое и не понятно полезно это или нет. Чаще всего получается так, что идея была изложена еще 5 лет назад, а ее воплотить получилось только сейчас в последних версиях каких-то продуктов.

Эта статья прекрасно контрастирует с недавним постом про T-Meetup: GreenPlum от Т-Банка.

9 октября прошла 1-ая конференция для IT-преподавателей СУБД PGCONF.ACADEMY 2024

Конференция получилась довольно интересной, можно было пообщаться с коллегами по несчастью 😃 и расширить круг общения между единомышленниками.

Давайте пробежимся по докладам:
👉Что должен знать каждый преподаватель СУБД?
В целом, автор еще раз рассказал историю развития СУБД и Постгреса в особенности. Ничего такого интересного сказано не было. У Автора есть доклад про историю PostgreSQL на HighLoad SPB от 2022 года. Если кого-то интересует исторический экскурс в продукт, то - пожалуйста.

👉Академия Postgres Pro: как мы поддерживаем преподавателей и студентов
Это рекламка от PostgresPro... Скажем так, больше поддерживают студентов. Преподаватели чаще всего "за бортом"

👉Опыт внедрения СУБД PostgreSQL в учебный процесс в вузе
Автор рассказал, как он в четырёх ВУЗах на разных кафедрах внедрил Постгрес в свои курсы. Занавес.

👉Как помочь студенту, который хочет в системное программирование.
Это самый жаркий доклад 🔥 Я про него отдельным постом расскажу. Чуть позже.

👉Автоматическая генерация заданий для курсов по базам данных.
Идея из 2000-х о том, как здорово было бы выдавать уникальные задания каждому студенту. Более ничего полезного. Ни о какой интеграции с ИИ и речи нет.

👉Создание интерактивного портала для обучения базам данных.
Автор и её две студентки написали портал для обучения. В OpenSource ничего не выложено. Сравнения с текущими решениями нет. Конец.

👉Проблемы методического и кадрового обеспечения учебного процесса при переходе на «открытое» и российское программное обеспечение в системе СПО.
Автор поднял проблему литературы по СУБД для Средне Профессионального Образования (СПО). Фактически, литературы толковой нет. Сплошные переиздания "старой школы". Из-за этого страдает качество преподавания. Вывод: пишите, пожалуйста, учебники для СПО.

👉Учебные курсы и сертификация Postgres Professional
ПостгресПро представили дорожную карту по развитию своих курсов и сертификации. Наконец-то они решили их обновить! Это успех ) Самое интересное, что они планируют расширить сертификацию с двух до трёх уровней. Сертификация на самый крутой уровень должна быть интересной.

👉Использование DBaaS в учебном процессе Университета ИТМО
Один из самых ценных докладов. ПостгресПро подарили факультету DBaaS решение, и ВУЗ по полной решил использовать эту возможность. Очень крутое решение, которое спасает ВУЗ от множества проблем с инфраструктурой поддержки ПО. Супер решение!

👉Опыт внедрения СУБД PostgreSQL в дисциплины направления Информационная безопасность.
Финальный доклад о том, как кафедра по информационной безопасности учит студентов взламывать PostgreSQL. Я бы на месте компании ПостгресПро по-максимуму вкладывался в это направление. Фактически, компания покупает кучу пентестеров за минимум денег. Гениально!

Как и обещал, отдельный рассказ о докладе "Как помочь студенту, который хочет в системное программирование" от Михаила Рутмана с PGCONF.ACADEMY.

Если кратко, то Михаил на базе новосибирского универа при посредничестве PostgesPro:
- сделал летнюю школу,
- организовал лабораторию по работе с Постгресом,
- создал программу стажировки и
- ведет кучу исследовательских проектов...

Человек загружен по самые гланды.

❔Я его в кулуарах спрашиваю, а сколько человек из Постгрес и самого Универа вовлечено в проект летней школы?
❗️Ответ: за орг.вопросы отвечает 2 человека. Этого достаточно. За контент и сопровождение студентов и прочее, отвечают 10 человек.

❔Думаю, ну, круто. Дело хорошее, и полезное, а сколько за это платят и кто платит?
❗️Ответ: Универ вообще ничего не платит. Какие-то деньги платит PostgesPro. Но этих денег очень мало. Я вкладываю кучу времени и сил, но денежный выхлоп совсем скромный.

❔Блин, тогда зачем ты это делаешь? У тебя же наверняка есть семья, дети... Зачем это всё?
❗️Ответ: Это работа для души, вот, нравится мне. Это некая волонтерская деятельность. Я от этого кайфую! Что касается заработка, то у меня есть своя фирма по разработке ПО, которая приносит кучу денег для меня и моей семьи...

*ляяяяя... у меня с этого ж*** сгорела 🚀🔥🔥🔥. Ну, как так-то? Чувак, от безделья, занимается образовательной деятельностью 24/7. Жесть! У богатых свои причуды (с)

Моя мечта зарабатывать на образовании рухнула в один момент 🤪

Универсальный PostgreSQL подходит всем! Особено если данных "с гулькин нос" и требований столько же.

C пятницей!

#mems

💬 22-23 октября проходит XI Международный форум
"Вся банковская автоматизация"

Главные цели Форума – представить финансовому сообществу новейшие отечественные программные продукты, оборудование и инфраструктурные решения, обеспечивающие автоматизацию всех аспектов деятельности современной финансовой организации, и создать условия для всестороннего обсуждения современных трендов в оптимизации бизнеса с использованием информационных технологий.

🔝. Исключительно офлайн-формат.

✅День 1.
Количество зарегистрированных участников в этом году превысило 900 человек. Как и в прошлом году. Народу толпа, но особой давки не было. Одним из достижений можно назвать количество спонсоров - более 50 штук.

Традиционно конференцию открыл Андрей Бурдинский, затем выступили все главные спонсоры, по 15 минут каждый.

Основные мысли выступающих, которые я уловил:

👉Импортозамещение трансформируется в импортоопережение.
👉 Финтех следует трем приципам: инкапсуляция (больше работы в регионах и с регионами), сцециализация (выбирается какая-то ниша и компания пытается в ней стать лидером), трансформация ( больше интеграций и колабораций)
👉 ИИ захватывает мир. LLM и т.п.
👉 Финтех подсаживают банки на LOW-/ NO-CODE платформы. Это неизбежное будущее...
👉 ИТ-аутстафинг. Если грубо переводить, то это ИТ-сутенерство. Самая близкая аналогия 🤪

Что-то по докладам рассказывать особо смысла нет, т.к всё направлено на продажу того или иного решения. Сколько бы докладов я не слушал, никто не делает сравнений с тем, как сейчас работает закачик и как их решение упрощает/ускоряет текущий процесс.

📍Из новинок форума наличие двух ярких игроков: Postgres Profesional и Platform V с продуктом SOWA и т.п.

Что тут сказать... СУБД PostgreSQL монополизировал рынок. Однако многие мелкие и некторые средние банки используют opensource вариант. Что для меня лично оказалось некоторой неожиданностью. Я понимаю, что нагрузка на инфраструктуру низкая, но требования по безопасности огромны. Не проще воспользоваться облачными продуктами? Вопрос к размышлению...

Про СберТех и так понятно ))) Пытаются захватить МИР 😈, т.е. диверсифицировать доходы. Это хорошая и дальновидная стратегия.

Пообщася с компанием Диасофт про их продукт Digital Q.DataBase. Мне повезло пообщаться с одним из инженров этой поделки. Я напомню идею. Диасофт сделал форк PostgreSQL, ClickHouse, Tarantool. Объединила эти СУБД в одну платформу и начала это всё продавать. Спросил я человека про развитие платформы и т.п. Итого, компания вкладывает все силы в PostgreSQL (кто бы сомневался). Именно там выходит куча доработок и улучшений. Все остальные СУБД находятся в их opensource вариантах. Доработок либо мало, либо их нет. Вот тебе и платформа )))

На этом первый день конференции и единственный, на котором я был, подошел к концу. Рюкзак забит всяческим мерчом в виде: блокнотов, ручек, конфет, кубиков-антистресс и прочими мелочами 😎

Не переживайте, всё наладится!

С пятницей!

#mems

📚 Статья: Tencent создает единую базу данных NoSQL для управления всеми моделями данных

Мир СУБД не стоит на месте и даже такой техногигант как Tencent разрабатывают свою облачную СУБД X-Stor. Что же в ней особенного?

Предпосылки
👉 Огромное количество контента (социальные сети, потоковые видео, онлайн-игры и т.п.)
👉 множество моделей данных (графы, документы, ряды и т.п.)
👉 гетерогенные данные

Что предлагает X-Stor (WP по X-Stor)
❗ Новая СУБД работает лучше остальных (странно, если бы этого утверждения не было)
❗ Очень эффективное использование ресурсов
❗ Более элегантное решение, чем у конкурентов (Redis, MongoDB, ArangoDB)
❗ Микросервисная архитектура СУБД.
❗12 ПБт оперативных данных, обработка 700 млрд.запросов в день.

БД закрыта, поэтому проверить на истину данные заявления проблематично.

Занавес 🫤

💬 24 октября состоялся форум DaTalks 2024 от компании Navicon. Генеральным партнером выступила Arenadata (А).

Это конференция более полезна аналитикам данных, а не представителям мира СУБД. Хотя товарищи из компании А активно продвигали свои облачные решения и Data Catalog.

Я решил сходить ради двух первых докладов:
❗Основные тенденции рынка данных
❗Панельная дискуссия «Будущее технологий данных: Инновации, Перемены, Технологии завтрашнего дня»

Вдруг что-то новое и интересное расскажут...ииии...

Есть кратко, то все новшества крутятся вокруг ИИ. ИИ тут, ИИ там, ИИ везде, куда можно прикрутить какой-то анализ...(LLM, федеративное обучение, объяснимый ИИ, культура работы ИИ). Еще можно добавить идею роста внутреннего центра компетенций.

Более ничего существенного я не уловил.

p.s.
👉Из интересного закинул удочку в компанию А насчет их форка PostgeSQL. Интересно, чем их форк отличается от других на рынке. Надеюсь, удастся пообщаться.
👉Еще встретил своего бывшего студента, который выпустился более 5 лет назад. Было здорово пообщаться.
👉Встретил товарища из команды YDB. Перекинулись несколькими фразами. Возможно, приглашу кого-то их команды прочитать лекцию на следующем запуске моего курса в МФТИ в феврале.

Будьте внимательны к выбору репликаций...

С пятницей!

#mems

💬 24 октября состоялась конференция GOCLOUD TECH 2024 от компании cloud.ru.

Да-да, я в один день побывал на двух конференциях подряд 🤪 Меня пригласили знакомые, поэтому грех был отказываться 🫶

Из треков мне приглянулся "Под капотом". Я думал, что мне расскажут о том, как всё устроено в cloud.ru изнутри. Расскажут про их процессы и технологии. По факту в это секции спикеры рассказывали о результатах своих исследований и тестов новых технологий или софта. Видимо на основе этих результатов будут приниматься решения о переносе в продакшн. Секция: Comming Soon 🚀

Мне понравился доклад "От гейминга к AI: потенциал потребительских GPU в облачных вычислениях". Все клиенты cloud.ru ждут возможности аренды мощностей GPU для своих задач, а их всё нет 😡

В этом докладе автор рассказал об основных сложностях этого процесса и перспективы использования пользовательских видеокарт Nvidia 4090. По результатам было очевидно, что пользовательские решения проигрывают серверным H100 в несколько раз. Однако, использование 4090 суровая реальность, а не муки выбора, что же всё-таки лучше? Кто в РФ продаст мощнейшие серверные GPU? Правильно, только перекупы. Ценник там сами можете догадаться какой.
Короче, ждем массовой закупки cloud.ru пользовательским к GPU и раздача этого добра клиентам.