Будьте осторожны на дорогах...

С пятницей!

#mems

📚 Статья: Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциями.

Простенькая статья призванная разъяснить в чем разница между понятиями витрина данных, озеро данных или океаном данных. Для расширения кругозора подойдёт 😉

Порой очень сложно следить за трендами концепций построения (архитектур) хранилищ данных. Каждые 2-3 года придумывается что-то новое и не понятно полезно это или нет. Чаще всего получается так, что идея была изложена еще 5 лет назад, а ее воплотить получилось только сейчас в последних версиях каких-то продуктов.

Эта статья прекрасно контрастирует с недавним постом про T-Meetup: GreenPlum от Т-Банка.

9 октября прошла 1-ая конференция для IT-преподавателей СУБД PGCONF.ACADEMY 2024

Конференция получилась довольно интересной, можно было пообщаться с коллегами по несчастью 😃 и расширить круг общения между единомышленниками.

Давайте пробежимся по докладам:
👉Что должен знать каждый преподаватель СУБД?
В целом, автор еще раз рассказал историю развития СУБД и Постгреса в особенности. Ничего такого интересного сказано не было. У Автора есть доклад про историю PostgreSQL на HighLoad SPB от 2022 года. Если кого-то интересует исторический экскурс в продукт, то - пожалуйста.

👉Академия Postgres Pro: как мы поддерживаем преподавателей и студентов
Это рекламка от PostgresPro... Скажем так, больше поддерживают студентов. Преподаватели чаще всего "за бортом"

👉Опыт внедрения СУБД PostgreSQL в учебный процесс в вузе
Автор рассказал, как он в четырёх ВУЗах на разных кафедрах внедрил Постгрес в свои курсы. Занавес.

👉Как помочь студенту, который хочет в системное программирование.
Это самый жаркий доклад 🔥 Я про него отдельным постом расскажу. Чуть позже.

👉Автоматическая генерация заданий для курсов по базам данных.
Идея из 2000-х о том, как здорово было бы выдавать уникальные задания каждому студенту. Более ничего полезного. Ни о какой интеграции с ИИ и речи нет.

👉Создание интерактивного портала для обучения базам данных.
Автор и её две студентки написали портал для обучения. В OpenSource ничего не выложено. Сравнения с текущими решениями нет. Конец.

👉Проблемы методического и кадрового обеспечения учебного процесса при переходе на «открытое» и российское программное обеспечение в системе СПО.
Автор поднял проблему литературы по СУБД для Средне Профессионального Образования (СПО). Фактически, литературы толковой нет. Сплошные переиздания "старой школы". Из-за этого страдает качество преподавания. Вывод: пишите, пожалуйста, учебники для СПО.

👉Учебные курсы и сертификация Postgres Professional
ПостгресПро представили дорожную карту по развитию своих курсов и сертификации. Наконец-то они решили их обновить! Это успех ) Самое интересное, что они планируют расширить сертификацию с двух до трёх уровней. Сертификация на самый крутой уровень должна быть интересной.

👉Использование DBaaS в учебном процессе Университета ИТМО
Один из самых ценных докладов. ПостгресПро подарили факультету DBaaS решение, и ВУЗ по полной решил использовать эту возможность. Очень крутое решение, которое спасает ВУЗ от множества проблем с инфраструктурой поддержки ПО. Супер решение!

👉Опыт внедрения СУБД PostgreSQL в дисциплины направления Информационная безопасность.
Финальный доклад о том, как кафедра по информационной безопасности учит студентов взламывать PostgreSQL. Я бы на месте компании ПостгресПро по-максимуму вкладывался в это направление. Фактически, компания покупает кучу пентестеров за минимум денег. Гениально!

Как и обещал, отдельный рассказ о докладе "Как помочь студенту, который хочет в системное программирование" от Михаила Рутмана с PGCONF.ACADEMY.

Если кратко, то Михаил на базе новосибирского универа при посредничестве PostgesPro:
- сделал летнюю школу,
- организовал лабораторию по работе с Постгресом,
- создал программу стажировки и
- ведет кучу исследовательских проектов...

Человек загружен по самые гланды.

❔Я его в кулуарах спрашиваю, а сколько человек из Постгрес и самого Универа вовлечено в проект летней школы?
❗️Ответ: за орг.вопросы отвечает 2 человека. Этого достаточно. За контент и сопровождение студентов и прочее, отвечают 10 человек.

❔Думаю, ну, круто. Дело хорошее, и полезное, а сколько за это платят и кто платит?
❗️Ответ: Универ вообще ничего не платит. Какие-то деньги платит PostgesPro. Но этих денег очень мало. Я вкладываю кучу времени и сил, но денежный выхлоп совсем скромный.

❔Блин, тогда зачем ты это делаешь? У тебя же наверняка есть семья, дети... Зачем это всё?
❗️Ответ: Это работа для души, вот, нравится мне. Это некая волонтерская деятельность. Я от этого кайфую! Что касается заработка, то у меня есть своя фирма по разработке ПО, которая приносит кучу денег для меня и моей семьи...

*ляяяяя... у меня с этого ж*** сгорела 🚀🔥🔥🔥. Ну, как так-то? Чувак, от безделья, занимается образовательной деятельностью 24/7. Жесть! У богатых свои причуды (с)

Моя мечта зарабатывать на образовании рухнула в один момент 🤪

Универсальный PostgreSQL подходит всем! Особено если данных "с гулькин нос" и требований столько же.

C пятницей!

#mems

💬 22-23 октября проходит XI Международный форум
"Вся банковская автоматизация"

Главные цели Форума – представить финансовому сообществу новейшие отечественные программные продукты, оборудование и инфраструктурные решения, обеспечивающие автоматизацию всех аспектов деятельности современной финансовой организации, и создать условия для всестороннего обсуждения современных трендов в оптимизации бизнеса с использованием информационных технологий.

🔝. Исключительно офлайн-формат.

✅День 1.
Количество зарегистрированных участников в этом году превысило 900 человек. Как и в прошлом году. Народу толпа, но особой давки не было. Одним из достижений можно назвать количество спонсоров - более 50 штук.

Традиционно конференцию открыл Андрей Бурдинский, затем выступили все главные спонсоры, по 15 минут каждый.

Основные мысли выступающих, которые я уловил:

👉Импортозамещение трансформируется в импортоопережение.
👉 Финтех следует трем приципам: инкапсуляция (больше работы в регионах и с регионами), сцециализация (выбирается какая-то ниша и компания пытается в ней стать лидером), трансформация ( больше интеграций и колабораций)
👉 ИИ захватывает мир. LLM и т.п.
👉 Финтех подсаживают банки на LOW-/ NO-CODE платформы. Это неизбежное будущее...
👉 ИТ-аутстафинг. Если грубо переводить, то это ИТ-сутенерство. Самая близкая аналогия 🤪

Что-то по докладам рассказывать особо смысла нет, т.к всё направлено на продажу того или иного решения. Сколько бы докладов я не слушал, никто не делает сравнений с тем, как сейчас работает закачик и как их решение упрощает/ускоряет текущий процесс.

📍Из новинок форума наличие двух ярких игроков: Postgres Profesional и Platform V с продуктом SOWA и т.п.

Что тут сказать... СУБД PostgreSQL монополизировал рынок. Однако многие мелкие и некторые средние банки используют opensource вариант. Что для меня лично оказалось некоторой неожиданностью. Я понимаю, что нагрузка на инфраструктуру низкая, но требования по безопасности огромны. Не проще воспользоваться облачными продуктами? Вопрос к размышлению...

Про СберТех и так понятно ))) Пытаются захватить МИР 😈, т.е. диверсифицировать доходы. Это хорошая и дальновидная стратегия.

Пообщася с компанием Диасофт про их продукт Digital Q.DataBase. Мне повезло пообщаться с одним из инженров этой поделки. Я напомню идею. Диасофт сделал форк PostgreSQL, ClickHouse, Tarantool. Объединила эти СУБД в одну платформу и начала это всё продавать. Спросил я человека про развитие платформы и т.п. Итого, компания вкладывает все силы в PostgreSQL (кто бы сомневался). Именно там выходит куча доработок и улучшений. Все остальные СУБД находятся в их opensource вариантах. Доработок либо мало, либо их нет. Вот тебе и платформа )))

На этом первый день конференции и единственный, на котором я был, подошел к концу. Рюкзак забит всяческим мерчом в виде: блокнотов, ручек, конфет, кубиков-антистресс и прочими мелочами 😎

Не переживайте, всё наладится!

С пятницей!

#mems

📚 Статья: Tencent создает единую базу данных NoSQL для управления всеми моделями данных

Мир СУБД не стоит на месте и даже такой техногигант как Tencent разрабатывают свою облачную СУБД X-Stor. Что же в ней особенного?

Предпосылки
👉 Огромное количество контента (социальные сети, потоковые видео, онлайн-игры и т.п.)
👉 множество моделей данных (графы, документы, ряды и т.п.)
👉 гетерогенные данные

Что предлагает X-Stor (WP по X-Stor)
❗ Новая СУБД работает лучше остальных (странно, если бы этого утверждения не было)
❗ Очень эффективное использование ресурсов
❗ Более элегантное решение, чем у конкурентов (Redis, MongoDB, ArangoDB)
❗ Микросервисная архитектура СУБД.
❗12 ПБт оперативных данных, обработка 700 млрд.запросов в день.

БД закрыта, поэтому проверить на истину данные заявления проблематично.

Занавес 🫤

💬 24 октября состоялся форум DaTalks 2024 от компании Navicon. Генеральным партнером выступила Arenadata (А).

Это конференция более полезна аналитикам данных, а не представителям мира СУБД. Хотя товарищи из компании А активно продвигали свои облачные решения и Data Catalog.

Я решил сходить ради двух первых докладов:
❗Основные тенденции рынка данных
❗Панельная дискуссия «Будущее технологий данных: Инновации, Перемены, Технологии завтрашнего дня»

Вдруг что-то новое и интересное расскажут...ииии...

Есть кратко, то все новшества крутятся вокруг ИИ. ИИ тут, ИИ там, ИИ везде, куда можно прикрутить какой-то анализ...(LLM, федеративное обучение, объяснимый ИИ, культура работы ИИ). Еще можно добавить идею роста внутреннего центра компетенций.

Более ничего существенного я не уловил.

p.s.
👉Из интересного закинул удочку в компанию А насчет их форка PostgeSQL. Интересно, чем их форк отличается от других на рынке. Надеюсь, удастся пообщаться.
👉Еще встретил своего бывшего студента, который выпустился более 5 лет назад. Было здорово пообщаться.
👉Встретил товарища из команды YDB. Перекинулись несколькими фразами. Возможно, приглашу кого-то их команды прочитать лекцию на следующем запуске моего курса в МФТИ в феврале.

Будьте внимательны к выбору репликаций...

С пятницей!

#mems

💬 24 октября состоялась конференция GOCLOUD TECH 2024 от компании cloud.ru.

Да-да, я в один день побывал на двух конференциях подряд 🤪 Меня пригласили знакомые, поэтому грех был отказываться 🫶

Из треков мне приглянулся "Под капотом". Я думал, что мне расскажут о том, как всё устроено в cloud.ru изнутри. Расскажут про их процессы и технологии. По факту в это секции спикеры рассказывали о результатах своих исследований и тестов новых технологий или софта. Видимо на основе этих результатов будут приниматься решения о переносе в продакшн. Секция: Comming Soon 🚀

Мне понравился доклад "От гейминга к AI: потенциал потребительских GPU в облачных вычислениях". Все клиенты cloud.ru ждут возможности аренды мощностей GPU для своих задач, а их всё нет 😡

В этом докладе автор рассказал об основных сложностях этого процесса и перспективы использования пользовательских видеокарт Nvidia 4090. По результатам было очевидно, что пользовательские решения проигрывают серверным H100 в несколько раз. Однако, использование 4090 суровая реальность, а не муки выбора, что же всё-таки лучше? Кто в РФ продаст мощнейшие серверные GPU? Правильно, только перекупы. Ценник там сами можете догадаться какой.
Короче, ждем массовой закупки cloud.ru пользовательским к GPU и раздача этого добра клиентам.

📚 Статья: Оптимизируйте производительность базы данных за счет использования центрального процессора

Статья проспонсирована компанией ScyllaDB.
Автор: Павел Емельянов.

Всегда приятно видеть статьи соотечественников на западных ресурсах. Мне кажется это очень милым.

Статья рассказывает о тесном взаимодействии СУБД и ЦПУ. Всё-таки СУБД должны по максимум использовать аппаратные части серверного оборудования.

💬 24 октября прошла конференция СИЛА ПЛАТФОРМЫ от компании Нанософт.

p.s. еще одна конференция от 24 октября 🤪 Многие компании решили провести в этот день свои мероприятия.

24 октября можно считать всеобщим днём конференций 🎉

По сути, это конференция про инженерное программное обеспечение. С миром СУБД не связана никак. Однако меня заинтересовала сессия в зале 7: "Образование и переподготовка кадров" 🧐. Интересно, как компания-вендор поддерживает ВУЗы? Какие программы обучения и т.п.

Посмотрел на выходных все видосы этой сессии и был приятно удивлен. Действительно, есть чему поучиться у них.

Разберу основные примеры...

❗Что предлагает вендор?
👉Лицензии на свое ПО без ограничений
👉Обучение преподавателей (ППС)
👉Доработка рабочих программ
👉Учебно-методическое обеспечение.

В мире вендоров СУБД попросить лицензии не сложно. Дают довольно легко. Для любимого МФТИ - вообще не проблема. С остальным всё гораздо хуже. Обучать преподавателей никто не хочет. Все хотят денег. Я сам проявляю активность и стучусь к вендорам, и 90% мне отказывают. Если и зовут, то максимум послушать курс без выдачи сертификатов или сдачи каких-то тестов. Ну, такое...

Про доработки рабочих программ даже и говорить не стоит. Чтобы вендор принимал в этом участие? Для меня как фантазия звучит, а вот наоборот - да. Бывало. "Панголинщики" делают свой курс с учетом моих комментариев. Хотя от них последние 5 месяцев "ни ответа ни привета". Занятые все 🫤

Если бы вендор предоставил бы мне учебно-методическое обеспечение. Было бы здорово! Но это мечта.... 💫

❗Конкурс образовательных программ.
Участвуют кафедры различных ВУЗов. Товарищи из Нанософт подготовили свою рабочую программу и список требований к остаточным знаниям у студентов. Кафедра должна провести этот курс для студентов. По окончанию студенты проходят тестирование/и или собеседование. Результаты этой оценочной практики передаются вендору и по ним определяется победитель. Вендор дарует кафедре ПРИЗ 💌. Например, покупает оборудование на сумму 300 000 или еще что-то. (Всем преподам по iPhone 16 Pro Max Black! 🤤)

❗Проведение соревнований (хакатоны, олимпиады и т.п.)
В целом, сейчас в ВУЗах активно преподается PostgreSQL. Почему бы не устроить соревнование среди студентов разных ВУЗов по знанию этого продукта? Отличная идея. Главное, чтобы задания не ограничивались лишь знанием SQL.

❗На базе ВУЗа сделать свои учебные центы дополнительного образования.
Обучение на кафедрах БИТ и Блокчейн в МФТИ - бесплатное. Выбирай любую дисциплину из списка и изучай. Что, если добавить "платный контент"? Добавить уникальные платные курсы для студентов, которые хотели бы глубже разобраться в каких-то темах? Идея не новая, но в текущих реалиях позабыта. Хотя, может быть, это только в МФТИ так... Надо бы расспросить коллег 🥹

При диагностике проблемы главное не выйти на самого себя

С пятницей!

#mems