Универсальный PostgreSQL подходит всем! Особено если данных "с гулькин нос" и требований столько же.

C пятницей!

#mems

💬 22-23 октября проходит XI Международный форум
"Вся банковская автоматизация"

Главные цели Форума – представить финансовому сообществу новейшие отечественные программные продукты, оборудование и инфраструктурные решения, обеспечивающие автоматизацию всех аспектов деятельности современной финансовой организации, и создать условия для всестороннего обсуждения современных трендов в оптимизации бизнеса с использованием информационных технологий.

🔝. Исключительно офлайн-формат.

✅День 1.
Количество зарегистрированных участников в этом году превысило 900 человек. Как и в прошлом году. Народу толпа, но особой давки не было. Одним из достижений можно назвать количество спонсоров - более 50 штук.

Традиционно конференцию открыл Андрей Бурдинский, затем выступили все главные спонсоры, по 15 минут каждый.

Основные мысли выступающих, которые я уловил:

👉Импортозамещение трансформируется в импортоопережение.
👉 Финтех следует трем приципам: инкапсуляция (больше работы в регионах и с регионами), сцециализация (выбирается какая-то ниша и компания пытается в ней стать лидером), трансформация ( больше интеграций и колабораций)
👉 ИИ захватывает мир. LLM и т.п.
👉 Финтех подсаживают банки на LOW-/ NO-CODE платформы. Это неизбежное будущее...
👉 ИТ-аутстафинг. Если грубо переводить, то это ИТ-сутенерство. Самая близкая аналогия 🤪

Что-то по докладам рассказывать особо смысла нет, т.к всё направлено на продажу того или иного решения. Сколько бы докладов я не слушал, никто не делает сравнений с тем, как сейчас работает закачик и как их решение упрощает/ускоряет текущий процесс.

📍Из новинок форума наличие двух ярких игроков: Postgres Profesional и Platform V с продуктом SOWA и т.п.

Что тут сказать... СУБД PostgreSQL монополизировал рынок. Однако многие мелкие и некторые средние банки используют opensource вариант. Что для меня лично оказалось некоторой неожиданностью. Я понимаю, что нагрузка на инфраструктуру низкая, но требования по безопасности огромны. Не проще воспользоваться облачными продуктами? Вопрос к размышлению...

Про СберТех и так понятно ))) Пытаются захватить МИР 😈, т.е. диверсифицировать доходы. Это хорошая и дальновидная стратегия.

Пообщася с компанием Диасофт про их продукт Digital Q.DataBase. Мне повезло пообщаться с одним из инженров этой поделки. Я напомню идею. Диасофт сделал форк PostgreSQL, ClickHouse, Tarantool. Объединила эти СУБД в одну платформу и начала это всё продавать. Спросил я человека про развитие платформы и т.п. Итого, компания вкладывает все силы в PostgreSQL (кто бы сомневался). Именно там выходит куча доработок и улучшений. Все остальные СУБД находятся в их opensource вариантах. Доработок либо мало, либо их нет. Вот тебе и платформа )))

На этом первый день конференции и единственный, на котором я был, подошел к концу. Рюкзак забит всяческим мерчом в виде: блокнотов, ручек, конфет, кубиков-антистресс и прочими мелочами 😎

Не переживайте, всё наладится!

С пятницей!

#mems

📚 Статья: Tencent создает единую базу данных NoSQL для управления всеми моделями данных

Мир СУБД не стоит на месте и даже такой техногигант как Tencent разрабатывают свою облачную СУБД X-Stor. Что же в ней особенного?

Предпосылки
👉 Огромное количество контента (социальные сети, потоковые видео, онлайн-игры и т.п.)
👉 множество моделей данных (графы, документы, ряды и т.п.)
👉 гетерогенные данные

Что предлагает X-Stor (WP по X-Stor)
❗ Новая СУБД работает лучше остальных (странно, если бы этого утверждения не было)
❗ Очень эффективное использование ресурсов
❗ Более элегантное решение, чем у конкурентов (Redis, MongoDB, ArangoDB)
❗ Микросервисная архитектура СУБД.
❗12 ПБт оперативных данных, обработка 700 млрд.запросов в день.

БД закрыта, поэтому проверить на истину данные заявления проблематично.

Занавес 🫤

💬 24 октября состоялся форум DaTalks 2024 от компании Navicon. Генеральным партнером выступила Arenadata (А).

Это конференция более полезна аналитикам данных, а не представителям мира СУБД. Хотя товарищи из компании А активно продвигали свои облачные решения и Data Catalog.

Я решил сходить ради двух первых докладов:
❗Основные тенденции рынка данных
❗Панельная дискуссия «Будущее технологий данных: Инновации, Перемены, Технологии завтрашнего дня»

Вдруг что-то новое и интересное расскажут...ииии...

Есть кратко, то все новшества крутятся вокруг ИИ. ИИ тут, ИИ там, ИИ везде, куда можно прикрутить какой-то анализ...(LLM, федеративное обучение, объяснимый ИИ, культура работы ИИ). Еще можно добавить идею роста внутреннего центра компетенций.

Более ничего существенного я не уловил.

p.s.
👉Из интересного закинул удочку в компанию А насчет их форка PostgeSQL. Интересно, чем их форк отличается от других на рынке. Надеюсь, удастся пообщаться.
👉Еще встретил своего бывшего студента, который выпустился более 5 лет назад. Было здорово пообщаться.
👉Встретил товарища из команды YDB. Перекинулись несколькими фразами. Возможно, приглашу кого-то их команды прочитать лекцию на следующем запуске моего курса в МФТИ в феврале.

Будьте внимательны к выбору репликаций...

С пятницей!

#mems

💬 24 октября состоялась конференция GOCLOUD TECH 2024 от компании cloud.ru.

Да-да, я в один день побывал на двух конференциях подряд 🤪 Меня пригласили знакомые, поэтому грех был отказываться 🫶

Из треков мне приглянулся "Под капотом". Я думал, что мне расскажут о том, как всё устроено в cloud.ru изнутри. Расскажут про их процессы и технологии. По факту в это секции спикеры рассказывали о результатах своих исследований и тестов новых технологий или софта. Видимо на основе этих результатов будут приниматься решения о переносе в продакшн. Секция: Comming Soon 🚀

Мне понравился доклад "От гейминга к AI: потенциал потребительских GPU в облачных вычислениях". Все клиенты cloud.ru ждут возможности аренды мощностей GPU для своих задач, а их всё нет 😡

В этом докладе автор рассказал об основных сложностях этого процесса и перспективы использования пользовательских видеокарт Nvidia 4090. По результатам было очевидно, что пользовательские решения проигрывают серверным H100 в несколько раз. Однако, использование 4090 суровая реальность, а не муки выбора, что же всё-таки лучше? Кто в РФ продаст мощнейшие серверные GPU? Правильно, только перекупы. Ценник там сами можете догадаться какой.
Короче, ждем массовой закупки cloud.ru пользовательским к GPU и раздача этого добра клиентам.

📚 Статья: Оптимизируйте производительность базы данных за счет использования центрального процессора

Статья проспонсирована компанией ScyllaDB.
Автор: Павел Емельянов.

Всегда приятно видеть статьи соотечественников на западных ресурсах. Мне кажется это очень милым.

Статья рассказывает о тесном взаимодействии СУБД и ЦПУ. Всё-таки СУБД должны по максимум использовать аппаратные части серверного оборудования.

💬 24 октября прошла конференция СИЛА ПЛАТФОРМЫ от компании Нанософт.

p.s. еще одна конференция от 24 октября 🤪 Многие компании решили провести в этот день свои мероприятия.

24 октября можно считать всеобщим днём конференций 🎉

По сути, это конференция про инженерное программное обеспечение. С миром СУБД не связана никак. Однако меня заинтересовала сессия в зале 7: "Образование и переподготовка кадров" 🧐. Интересно, как компания-вендор поддерживает ВУЗы? Какие программы обучения и т.п.

Посмотрел на выходных все видосы этой сессии и был приятно удивлен. Действительно, есть чему поучиться у них.

Разберу основные примеры...

❗Что предлагает вендор?
👉Лицензии на свое ПО без ограничений
👉Обучение преподавателей (ППС)
👉Доработка рабочих программ
👉Учебно-методическое обеспечение.

В мире вендоров СУБД попросить лицензии не сложно. Дают довольно легко. Для любимого МФТИ - вообще не проблема. С остальным всё гораздо хуже. Обучать преподавателей никто не хочет. Все хотят денег. Я сам проявляю активность и стучусь к вендорам, и 90% мне отказывают. Если и зовут, то максимум послушать курс без выдачи сертификатов или сдачи каких-то тестов. Ну, такое...

Про доработки рабочих программ даже и говорить не стоит. Чтобы вендор принимал в этом участие? Для меня как фантазия звучит, а вот наоборот - да. Бывало. "Панголинщики" делают свой курс с учетом моих комментариев. Хотя от них последние 5 месяцев "ни ответа ни привета". Занятые все 🫤

Если бы вендор предоставил бы мне учебно-методическое обеспечение. Было бы здорово! Но это мечта.... 💫

❗Конкурс образовательных программ.
Участвуют кафедры различных ВУЗов. Товарищи из Нанософт подготовили свою рабочую программу и список требований к остаточным знаниям у студентов. Кафедра должна провести этот курс для студентов. По окончанию студенты проходят тестирование/и или собеседование. Результаты этой оценочной практики передаются вендору и по ним определяется победитель. Вендор дарует кафедре ПРИЗ 💌. Например, покупает оборудование на сумму 300 000 или еще что-то. (Всем преподам по iPhone 16 Pro Max Black! 🤤)

❗Проведение соревнований (хакатоны, олимпиады и т.п.)
В целом, сейчас в ВУЗах активно преподается PostgreSQL. Почему бы не устроить соревнование среди студентов разных ВУЗов по знанию этого продукта? Отличная идея. Главное, чтобы задания не ограничивались лишь знанием SQL.

❗На базе ВУЗа сделать свои учебные центы дополнительного образования.
Обучение на кафедрах БИТ и Блокчейн в МФТИ - бесплатное. Выбирай любую дисциплину из списка и изучай. Что, если добавить "платный контент"? Добавить уникальные платные курсы для студентов, которые хотели бы глубже разобраться в каких-то темах? Идея не новая, но в текущих реалиях позабыта. Хотя, может быть, это только в МФТИ так... Надо бы расспросить коллег 🥹

При диагностике проблемы главное не выйти на самого себя

С пятницей!

#mems

📚 За период моего отпуска вышел новый номер журнала Database Trends and Applications Magazine: June/July 2024

Журнал открывает статья
Enterprises Wrestle With Data Trust Issues Behind AI
By Joe McKendrick

Если кратко, то проблема, которая была озвучена в предыдущих выпусках журнала о качестве данных становится всё более и более актуальной. Руководители не доверяют данным и т.п. Как раз недавно прошел форум этики в сфере искусственного интеллекта, где по сути некоторые журналисты "ласково" называют ИИ - бредогенератором. Очень советую почитать обзор.

Мне кажется, тут идет наслаивание одного на другого. Данные для обучения могут быть "корявыми", так еще и алгоритмы ИИ тоже далеки от совершенства. В итоге мы и получаем "бредогенератор".

Встаёт вопрос доверия. В статье пишут, что 61 процент опрошенных доверяют ИИ. Ну-ну... верим... 👼

🤔В дополнение:
Сложные архитектуры данных (complex data architectures) - это враг ИИ, поскольку он изначально
неточен. (с)

💬 31 Октября 2024 прошел Orion Digital Day под заголовком IT+Rock конференция года.

К сожалению, офлайн билет мне не достался, поэтому я посмотрел ее в онлайне на выходных 🫤

Что сказать, организована конференция на 5+. Круто, драйвово и зажигательно! Меня зацепило 😎 Жаль, что не удалось посетить. Что касаемо докладов, то 90% информации мимо мира СУБД. Однако, у компании Orion есть свой форк PostgreSQL под названием Proxima DB.

Как и про форк от Аренадаты, про эту СУБД не знаю почти ничего. Разработчиков из Ориона не видел ни на какой значимой конференции по базам данных. Возможно, они так заняты разработкой, что им не до того 🙂

Мне понравились следующие доклады:
❇️Виртуализация на отечественном: как дела сегодня и что нас ждет завтра?
Спикер: Дмитрий Горохов, Инфосистемы Джет

Это больше для расширения кругозора. Интересно было узнать как выживает рынок виртуализации в РФ после ухода Vmware. Скажу честно, был приятно удивлён. Множество компаний предлагают свои уникальные решения. Кто-то копирует Vmware "один-в-один" (технология oVirt), кто-то использует другие технологии по виртуализации окружения: OpenNebula, Proxmoxm, Openstack, Virtuozzo и т.д. Количество игроков на рынке РФ 30+. Сейчас идет процесс консолидации. Кто-то выходит из гонки, кого-то поглощают, кто-то привлекает массу инвестиций и продолжает развиваться. Как сказал автор, надо подождать года 3, и тогда рынок более-менее стабилизируется, и можно будет назвать однозначных лидеров.

Автор привел интересный проект по виртуализации на базе контейнеров в Кубере под названием Kubervirt. Мне бы даже в голову не пришла идея разворачивать виртуальные машины как контейнеры. Забавно, как рынок виртуализации пытается вернуться к тому, от чего пытался уйти долгие годы.

Интересная деталь - процесс интеграции Кубера напрямую на железо. Фактически Кубер превращают в полноценный гипервизор на замену ESX от Vmware или Hyper-V от Microsoft. Посмотрим, получится ли обрести популярность...

В заключение приведу мнение автора о том, что ждать в РФ полноценные аналоги продуктам Vmware не стоит в ближайшие 3 года точно. Расслабляемся...

❇️ Дайте дорогу данным: опыт использования СУБД Proxima DB в Polymatica BI
Максим Стецук, Polymatica
❇️ СУБД Proxima DB: предрелизный показ новых возможностей
Любовь Родионова лидер продукта Proxima DB Orion soft

Про эти два доклада расскажу общее впечатление. Орионцы и их последователи 👽...считают, что Proxima DB на 15-20, а то и все 30% быстрее ванильного PostgreSQL. Так же у них встроенный в коробку балансировщик нагрузки и HA-кластер. Большую ставку они делают на мониторинг и прокачку своего Enterprise Manager. Хотят сделать лучше, чем у Oracle.

С одной стороны, я понимаю, что для СУБД важно иметь хороший графический интерфейс (GUI) для мониторинга состояния БД и выполнении не сложных задач. Каждый разработчик пытается сделать что-то свое в противовес Ораклу. Почему никто не сравнивает возможности GUI среди отечественных решений? Если бы разработчики этих GUI объединились в какое-нибудь общее комьюнити, то получилось бы сделать единый крутой интерфейс! Можно бы легко тягаться с Dbeaver. НО... Опять каждый тянет одеяло на себя...

По поводу самой Proxima DB особо и рассказать нечего. Попробую связаться с вендором и выпросить какую-то демонстрацию, а может даже дадут учебный курс глянуть...

🍀💬 1 ноября прошла ежегодная конференция ArchDays 2024.

Место проведение опять новое. На этот раз нас позвали в Radisson Collection Hotel.

С каждым годом организация мероприятия становится всё лучше и лучше 💪. Афтепати просто на высоте. Всего очень много - на любой вкус и цвет. 🥂🥃

Мне понравилась организация расписания. Доклад, сразу перерыв, еще доклад и опять перерыв. Это крайне крутой формат. Порой очень не хватает времени на общение со спикером после доклада. Его либо не найти, либо ты просто забываешь все вопросы спустя пару часов. За это огромный респект организаторам Scrumtrek 🤝.

Основная повестка слабо связана с миром СУБД, если бы не один доклад...

❇️ Могут ли современные алгоритмы и подходы принципиально изменить скорость СУБД и на сколько?
Спикер Андрей Коротченко, АО НПП Реляционные Экспертные Системы.

Какая крутая тема, подумал я. Надо точно посетить. И я послушал....Нуу, что тут сказать... Весь доклад - это реклама СУБД SoQoL. Какая она классная, производительнее PostgreSQL в *дцать раз и т.п.

Эти ребята выступают на разных IT-конференциях с одним и тем же докладом. Это так странно - слушать одно и тоже третий раз подряд за последний год. Ничего нового. И ничего существенного. Ради интереса задал несколько вопросов спикеру... Если кратко, то SoQoL пока далек от PostgreSQL по количеству фич. Я предположил, а что если SoQoL по фичам догонит PostgreSQL, то как это повлияет на производительность? Ответа я не получил 🤔

Ребята что-то "пилят" у себя в Воронеже и пытаются закрепиться на рынке РСУБД. Ну такое... Конечно, отдельный респект им за то, что они хотя бы выступают на конференциях и митапах 🤝. Поэтому их СУБД у сообщества на слуху. Как я писал ранее, я не верю в успех этой СУБД. Да, она займет какой-то "нано"сегмент рынка, но не более того. Я не могу даже представить, что этот продукт станет популярным в современном IT-ландшафте. Возможно, я слишком пессимистичен. Поглядим...

Еще один интересный доклад:
❇️ Жизнь архитектора: мечты и реальность
от Сергея Баранова, основателя конференции ArchDays.
Грех был не сходить.

В целом, доклад получился неплохой... про ожидания и суровые будни. Был удивлён, что львиную долю времени у архитекторов занимает поддержка. В компании, где я сейчас работаю, архитектор привлекается в двух случаях: разбор postmortom инцидентов, и если тимлид не может выбрать способ исправления бага и ему нужен совет. Всё.

Мне казалось, это занимает чуть-чуть времени, но видимо был не прав. Еще на архитектора возлагают обязанности по распределению задач по анализу инцидентов. Архитектор читает заявку и затем её переадресует нужному разработчику/тимлиду для дальнейшей проработки. Это весьма странный способ потратить время такого крутого специалиста.
👉Архитектор - это дорогое удовольствие для компании. Почему он должен заниматься такие вещами, загадка...

В целом, по качеству докладов конференция чуть-чуть просела. Очень мало интересного и хардкорного. Всё какое-то лайтовое. Это отмечали многие посетители, с кем я общался. Посмотрим, что будет в 2025 году. Да, конференция обязательно состоится в следующем году! Ждем!

p.s. собрал рюкзак мерча 🧳. Конечно было не особо богато, но лучше, чем на других конференциях в сентябре-октябре. 🍯

Полезный совет на конец недели

С пятницей!

#mems