🎦 24 октября прошла конференция «Больше чем обучение»

👉 ссылка на программу

В этот раз нас не стали отвозить в СберУниверситет, а выбрали площадку в кампусе НИТУ МИСИС. И, честно говоря, это плюс: дорога заняла всего час от порога до порога — против трёх часов, как раньше.

❇️ Площадка

Оказалось, что мероприятие проходило в бывшем клубе «Точка» — легендарном месте для любителей рока и метала. Я туда когда-то ходил на концерты и даже выступал на сцене. Видимо, клуб теперь стал частью МИСИС. Эх, ушла эпоха…

Помещение представляет собой три «подпольных» кинозала 🥷. Поскольку это бывший клуб, всё находится в подвале - атмосфера получилась соответствующая: чуть мрачная, камерная, с ощущением, будто вот-вот начнётся что-то не совсем одобренное ректоратом 😈 Особенно забавно осознавать, что это всё - часть престижного университета 😇.

❇️ Организация

С едой всё было в порядке — вкусно, сытно, претензий нет. Хотя, если вы веган и не едите сладкого, выбор будет, мягко говоря, ограничен. К счастью, меня это не касается 😋

А вот с партнёрами и дополнительными активностями — полный провал. Всего три стенда: СберМобайл, Кандинский 3D и Bootcamp со своими восемью курсами. Всё. Больше ничего. 🤨

Для конференции такого масштаба — это неожиданно. Пригласили множество зарубежных спикеров, известных учёных, авторов книг, но ознакомиться с их работами не дали: книжек не продавали, автограф-сессий не было. А ведь так хотелось 🤤! Возможно, часть активности проходила в самом СберУниверситете, но мне об этом неизвестно.

❇️ Доклады
Я разберу тут только самый главный открывающий доклад. Про остальные доклады расскажу в отдельном посте.
❗️Обучение и мышление в эпоху ИИ
Самое интересное, это выступление иностранного спикера Ник Шеклтон-Джонс. Ник написал свою книжку, которая легла в основу главной темы конференции. Книга называется "Как люди учатся. Проектирование образования и тренингов, повышающих результативность". Литрес. Думаю стоит почитать. Греф и многие спикеры прям нахваливали её как могли.

По сути можно сказать, что обучение тесно связано с эмоциями. Если во время процесса обучения спикер затрагивает эмоциональную часть у слушателя, то есть большая вероятность того, что слушатель запомнит материал. Хотя бы запомнит спикера.

Приведу несколько тезисов, которые меня зацепили

💡 Креативность начинается с несогласия
💡 ИИ - дешёвая креативность
💡 Когнитивная задолженность
💡 ИИ - друг и товарищ с которым можно поделиться мнением и эмоциями

❇️ Итого
👉 Качество докладов 10 из 10. Мне очень понравились. Я тезисно про некоторые расскажу в отдельном посте.
👉 Активности на площадке 1 из 10. Ужас, ничего нет.
👉 Еда 8 из 10

📚 Российские СУБД в 2025: кто займет нишу Oracle в enterprise-сегменте

Интересная статья для улучшения понимания позиционирования различных отечественных СУБД. Автор разобрал 3 продукта: PostgeSQL, YDB, Tarantool.

Из общего, всё есть в opensource. Фактически каждый может пользоваться продуктами бесплатно.

Пропустим всякие рассуждения и перейдем к некоторым позициям сводной таблицы

1️⃣ PostgreSQL(форки)
Основная роль: Универсальное решение для большинства новых проектов и микросервисов
Кому подойдет: Новым проектам и микросервисам, где важна гибкость и доступность

2️⃣YDB
Основная роль: «Тяжелая артиллерия» для high-load и монолитов
Кому подойдет: Крупным, критичным системам, где важна отказоустойчивость и масштабируемость на уровне enterprise

3️⃣Tarantool
Основная роль: Специалист по скорости и In-Memory платформа для «горячих» данных, поддержка гибридного хранения
Кому подойдет: Там, где нужен мгновенный отклик и обработка пиковых нагрузок, real-time сервисы

Для меня стала чуть понятнее ниша YDB.

p.s. Надо всё-таки засесть на эту СУБД и по изучать её. Никак не получается :-(

Иногда бывает так увлечешься, что выходит немного не то, что заказывали.

Хорошо это или плохо - уже не важно.

С пятницей!

#mems

🎥 Думаю стоит пройтись по докладах конференции "Больше чем образование"

Все видео доступны на VKvideo. 5 треков => 5 видео.

Пленарную сессию я разобрал в самом первом посте про конференцию. Сейчас пройдусь по некоторым выступлениям

Начнем...

❇️Готовность к будущему: как преуспеть в новой реальности?
Иностранный спикер из ОАЭ. Опять тема того, что работать придется и в 80+. О пенсии надо забыть.

Под это подвела какую-то научную базу и добавила понятие Neoteny - возраст не препятствие.

Как результат её выступление 2 графика.
1️⃣На первом, текущая система: Education, Work, Retirement. Линейный график. Сначала мы учились, теперь работаем и затем пенсия.
2️⃣На втором, новая система: Live, Learn,Work. Огромное количество кружков с этими тремя словами по всей оси координат. Это означает, что надо постоянно учиться чему-то новому, жить и работать. Причем весь период жизни делится на такие кружки по интересам, которые могут пересекаться между собой, а могут быть забыты с течением лет. Чем-то напоминает подходы Watrefall и Agile.
👉 Agile - в каждый дом!
👉 Преуспевание через личное развитие

❇️ Уметь учиться: как прокачать главный мета-навык будущего?

С внедрением ИИ повышается спрос на аналитическое мышление и интерпретацию данных, навыки коммуникации и командной работы, цифровую грамотность и работу с ИИ-инструментами, устойчивость (resilience), адаптивность и этическую ответственность.

(набор красивых слов)

Спикер сказал, что это старый мем, но он прошел мимо меня.

Вопрос: Кто ты ёж или лис?
Ёж - это тот, кто отлично разбирается в чем-то одном или в нескольких близких друг к другу областях.
Лис - ничего не знает глубоко, но у него очень широкий кругозор и знаний обо всем по чуть-чуть

❇️ Квантовые технологии: что изменит нашу жизнь, кроме ИИ?
Закон Мура жив 😱...расходимся 💃

Квантовые технологии - возможно новая нефть. Все дружно выбираем для детей специализацию со словом квантовый-Квантовый механик, квантовый инженер, квантовый дворник...

❇️ Университеты будущего: что стоит преобразовать сейчас, чтобы не остаться в прошлом

Ограничусь лишь тезисами:
❗️ Главное это: эрудированность, начитанность и критическое мышление.... о том ли ты говоришь?
❗️ Авторские задачи - двигатель прогресса. Хотя я понял этот тезис, как придумать задачу так, чтобы ИИ не смог решить, а человек смог.
❗️Можно пользоваться ИИ-агентами, но за ответ/решение отвечает человек.
❗️ Эпоха быстрых достижений.
❗️Университет должен предоставлять студенту право на ошибку. В школе права на ошибку нет.
❗️ Неудачное исследование, то же исследование, главное сделать правильные выводы и преподнести их общественности.
❗️ Без индустрии - ученые киснут...

❇️ Когнитивный потенциал: как научить студентов тому, что не будет уметь ИИ?

Ограничусь лишь тезисами:
🎯 ИИ не может вывести вас из зоны комфорта.
🎯 Майнер - студент 2-3 курса. Он может выбрать совершенно другую специализацию в отличии от выбранной ранее при поступлении.
🎯 T-shape - в глубину (ёж)
🎯 Выпускник МФТИ выбирает 3 пути: наука, инженерия (в том числе ИТ), предпринимательство.
🎯⁣, Чтобы придти к успеху нужно (с точки зрения спикеров):
👉 уметь мыслить (как это померить, не понятно)
👉стрессоустойчивость и уметь быстро принимать решения (это померить можно)
👉уметь колаборироваться (не очень понятно о чем конкретно речь, но думаю автор подразумевает, что надо работать в командах и сообществах. Одному достигнуть успеха в разы сложнее)

❇️ Самообучающаяся организация: как развить в организации «мышление роста»?

Прикольный доклад. Самое интересное в конце...

Внутрене свободный человек - это человек, который не разрушается, когда им перестают управлять.

❇️ Дата-интеллект: как организации управлять данными по-умному?

Доклад о том, как Alibaba следит за своими сотрудниками. Билеты, кафе, отели и т.п. "Большой брат" всё знает!

🎯 Пусть люди сидят и пьют чай - пока бегут данные...

Продолжение во второй части...

Продолжение разбора докладов с конференции "Больше чем образование".

Осталось чуть-чуть...

❇️ Wandering mind: как в организациях создать свободное пространство для мышления?

Тезисы:
❗️Не бойтесь состояний, что вы ничего не делайте
❗️паничка, если нет встреч в календаре ))
❗️Простое решение в пивнухе порой самое классное
❗️Неформальное общение... всё равно сведётся к работе

❇️ Как люди учатся: почему когнитивные процессы не работают без эмоций и как это использовать?

Жесть конечно, можно сгенерировать видео с собой. Можно даже через чат ГПТ потренироваться говорить и увольнять сотрудников. ЧатГПТ выступает в роли тренажера для руководителя. LLM видит тебя и видит то, что тебя окружает... ужас

❇️ Unlearning: какие навыки будут не нужны командам будущего?

Очень интересное название дискуссии! Но как опытный боец я уже приготовился к тому, что провокационных откровений я не услышу. И так, тезисы:

❗️Доверяй больше приборам, чем ощущениям

и как в противовес:

❗️Нужно отучиться доверять машинам (думаю это навеяно ИИ. Доверять ИИ нельзя)

❗️Нужно научиться отказываться от моделей, которые ранее тебя приводили к успеху

unlearning уметь знать и НЕ практиковать
learning уметь знать и практиковать

❗️Нужно стремиться к быстрому принятию решений. Разучивать иерархический способ управления организацией.

❗️Делегирование отвественности

📚 Наконец-то дочитал я книгу "Потоковые базы данных".

3 недели читал, 271 страница 🤪

Согласен, успех так себе, но главное результат 😎

❇️ Краткий отзыв
Книга сложная, и она далека от академического подхода.
Первые четыре главы посвящены погружению в контекст: здесь формируется понимание проблематики и мотивация для дальнейшего изучения.

Главы 5–7 можно называть ядром повествования. Рассматриваются потоковые СУБД и библиотеки обработки данных в реальном времени.

Начиная с глав 8–11 авторы поднимаются на следующий уровень абстракции. Речь идёт уже не столько об инструментах, сколько о парадигме работы с данными в потоковом режиме. Здесь обсуждаются современные практики, архитектурные паттерны и - что особенно ценно - обзор инструментария (спойлер: его очень много). Однако именно в этой части чувствуется нехватка конкретики: мало реальных кейсов, сравнений, примеров внедрений «в бой».

Думаю это книга рассчитана на архитекторов данных и инженеров данных (Data Engineers), которые уже сталкивались с batch-обработкой и теперь хотят системно освоить потоковую аналитику.

Оценка: 4/5. Сильная, но требовательная книга.

🚼 Мои общие мысли о карьере и немного о прочитанном.
Я занимаюсь (увлекаюсь) базами данных. Причем всеми типами СУБД. Не ограничиваю себя Postgres'ом. Поэтому появление класса потоковых баз данных мне показалось очень интересным.

Немного предыстории...

Когда я работал в банке, еще в период с 2010 по 2019 год, у меня были карьерные качели, когда хотелось изучать новые системы, стать системным админом, перейти в java-разрабочика и даже стать архитектором решений (solution architect). Люблю я всякие схемки рисовать. Хотя навыки мои весьма скромные. В итоге, ни одно из этих направлений не выгорело. Провал по всем фронтам. Можно было бы по обвинять кого-нибудь, но это уже не важно 😒

Нужно как-то определиться. Кто я? 🤷‍♂️ Кем хочу быть? Начались самокопания . В итоге получись следующие направления:
❗️СУБД
❗️Системное администрирование (DevOps)
❗️ИТ архитектура предприятий
❗️Педагогика

В сфере моих интересов всегда были базы данных. Начинал их изучение еще в 2008 году, но более-менее серьезно получилось погрузиться только в 2018 (Об этом можно послушать в моем докладе на PG.Conf.Academy.2025). Однако базы данных - это лишь малая доля от ИТ-мира, это не более чем кирпичика в ИТ-инфраструктуре предприятия. НО...Этими кирпичиками нужно уметь управлять, настраивать и интегрировать между собой. Это упирается в навыки эксплуатации и администрирования (а потом еще в технику оптимизации). Всего это мало. Хочется больше понимать про устройство современного ИТ-ландшафта. Всё-таки какие-то "нотки" архитектора засели в моей душе 👻.

В качестве развития в себе понимания ИТ-архитектуры, я стал ходить на конференцию Archdays, знакомиться с людьми и подписался на всякие чаты для архитекторов. Это в свою очередь дало много хороших плодов.

Все эти три активности пронизывает педагогика. Я постоянно в системе самообразования. Смотрю вебинары, читаю книги, хожу на курсы. Меня очень привлекает тема образования, новых методик и инструментов. Поэтому я стараюсь их применять в своей деятельности по максимум.

По итогу, к чем этот весь монолог? 🤔 Чтобы раскурить книгу "Потоковые базы дынных", нужно понимать современные архитектурные паттерны построения сервисов. Такие понятия как SOA, Data Mesh, Data Fabric, DDD - должны быть уже вам знакомы. Авторы постоянно оперируются такими вещами как потоковая, аналитическая и операционная плоскости данных 🫠. Такой уровень абстракции далеко не для всех.

В общем, если вы хотите стать настоящим специалистом в области баз данных, то нужно развивать в себе компетенции инженера данных и архитектора данных. Думаю так должна выглядеть карьерная лестница. Начиная со специалиста по одной СУБД, расширять знания по нескольким СУБД, затем углубляться в механизмы интеграции между СУБД и в итоге превратиться в человека, который управляет потоками данных всей компании! 🌋

Всем бодрого утра!

С пятницей!

#mems

🎥 Просмотрел и прослушал все видосы Онлайн-конференция Яндекса про образование.

Почти как пытка 🤪

❇️ Общее впечатление
Традиционно конференция YAC/E проходит спустя пару недель после Сбера: "Больше, чем обучение". Соответственно можно догадаться, что темы будут пересекаться. Так и есть. ИИ везде в каждом докладе.

Что хотелось бы отметить...

На конференции от Сбера все поют дифирамбы Герману Грефу. Чаще всего по делу, т.к. выступление Грефа можно легко разбирать на цитаты. Порой видна лесть, но в пределах разумного. На YAC/E все восхваляют Яндекс и все их проекты и продукты!💥 Порой народ перегибает палку. Особенно это видно на треках "преподавательский хаб", "Кабинет директора" и "Студенческая лаборатория". Такое ощущение, если Яндекс заметил какой-то колледж или ВУЗ, то это высшая благодать! Событие всей жизни! 🙏👼! Смотрится это всё с экрана с таким лицом 🤨 или 🫤.

❇️Плюсы и минусы
➕ Очень крутые и профессиональные ведущие в каждой секции. Я до сих пор под впечатлением 👍. Очень здорово отвели/курировали свои доклады. Молодцы 💪
➕ Крайне разнообразная программа конференции. Каждый найдёт для себя 1-2 или более интересных докладов.
➖ Целование "Яндекса" во все места. Может конечно я передергиваю, но не могу отделаться от этого ощущения. Может это ревность какая-то? 🙂
➖ Для себя я вынес мало чего-то полезного. После конференции от Сбера, конфа от Яндекса смотрится как повтор уже услышанного.

❇️ Фразы и тезисы, которые запомнились

Из забавного:

Питон - бог всех языков

👉 Софт-скиллы важны и для линейного персонала, т.е. даже обычному рядовому инженеру нужно качать софты.

Конец всем интровертам...

👉 Учиться надо всегда

🤢🤮... уже более 20 лет слышу эту мантру

👉 Усталость от технологии. Психологическая нагрузка.

👉 Человеческое общение превалирует над ИИ. Создание атмосферы - ключевой навык для преподавателя.

Обнимашки, целовашки и дружеские похлопывания по плечу - вот секрет успеха!

Народ посмеялся над тезисом:

👉 Мы вас научим! То есть нельзя насильно заставить учиться.

Я этот тезис воспринимаю как вызов. То есть тот, кто так заявляет, сможет прорвать барьер не желания учиться. Сможет создать условия, благодаря которым, любой научится.

👉 Нельзя отдавать ИИ авторство. Очень тонкая грань.

👉 Есть страх того, что ИИ может стать вашим боссом.

👉 Live Long Lerning - из каждого утюга. Новая концепция Live Width Lerning. Везде видеть обучение.

👉 Возможно ли развитие, когда ты чуть ли не 24/7 закрываешь базовые потребности (необходимости) ?

Ответа на этот вопрос не услышал. Мое мнение, нет, не возможно. Надо просто пережить, когда закончится этот период. Либо период сам заканчивается (конец сессии, конец проекта), либо ты сам его насильно заканчиваешь (отпуск, увольнение).

👉 Креативность - не стандартность.

👉 Если у тебя всё хорошо, то это стопер креативности. Ты становишься равнодушным.

👉 Мысль. Все мы слушаем какие-то лекции. Бывает, что лекция плохая. Не нравится. У тебя есть варианты действий: игнорировать и терпеть, а второй, переосмыслить её и составить лекцию так, как тебе бы понравилось. Переписать её.

👉 Как мотивировать студентов?
Надо создать такие условия, чтобы студент понимал, что если он не решит задачу, то будет так плохо, так плохо, что земля под ногами разверзнется.

👉 Как следует вести урок?
Дилетант: Звенит звонок, входит учитель и начинает рассказывать.
Профессионал: Звенит звонок, входит учитель и начинает спрашивать.

❗️Вся педагогика - это шантаж и подкуп.

💥Платформа обучения. Вопросы для закрепления лекционного материала.

Был классный доклад о том, какие ИИ-агенты внедрены в китайский ВУЗ. Уровень цифровизации у них колоссальный! Нам такого не хватает. Чтобы у каждого студента был единый портал со всеми курсами, со всеми заданиями и задачами. Чтобы была возможность вести урок на единой платформе. Интеграции с ИИ. Крутая концепция! Почему это у нас не работает, не знаю. Возможно слишком высокие трудозатраты...

📚 How Distributed Databases Power Developer Platforms at Scale

Очередная статья о том, что распределенные базы данных становятся новым фундаментов для проектов/стартапов, где требуется работа на глобальном рынке.

Повторю основные плюшки для разработчиков:

👉 Глобальная масштабируемость: База данных легко масштабируется горизонтально по мере роста числа пользователей.

👉 Отказоустойчивость: Система продолжает работать даже при сбоях в отдельных дата-центрах.

👉 Согласованность данных: Обеспечивает целостность данных даже в распределенной среде.

👉 Упрощение для разработчиков: Позволяет программистам думать о базе данных как о едином логическом кластере, не вникая в сложности распределенных систем, что ускоряет разработку.

Есть такие темы, которые всегда на хайпе. Чтобы поддерживать этот хайп нужно выпускать какие-то статьи. Это прекрасный пример. Ничего нового по сути не сказано, но еще раз напомнили людям и распределенных системах.

От себя добавлю следующее, что на глобальном рынке распределенных СУБД доминирует CockroachDB и YugabyteDB. Я уверен, то текущие версии продуктов уже достаточно отлажены и готовы к реальной работе.

Я смотрю на решения в наших отечественных компаниях и это конечно грусть. Я не говорю, что продукты плохие, нет. Но их используют очень мало клиентов. Выловить все баги текущими ресурсами просто невозможно. "Взросление" продукта проходит крайне медленно.

Недавно был случай, когда из-за ошибки active-active кластера работа финансового приложения была парализовано на 3 часа. Буквально через месяц опять из-за active-active режима нарушился бизнес-флоу. С точки зрения системы ничего критичного не произошло, но со стороны Бизнеса это был серьезный крит.

Надеюсь, что наши продукты YDB, Tarantool, Shardman всё-таки смогут потягаться с западными продуктами в плане надежности и стабильности. Вопрос только, когда...

В продолжении темы распределенных СУБД

📚 Data Locality vs. Independence: Which Should Your Database Prioritize?

В статье объясняет фундаментальный принцип проектирования баз данных — "Store Together, Access Together" (Храните вместе то, что будете запрашивать вместе) и почему он критически важен для производительности, особенно в распределенных системах.

Автор еще раз напоминает всем основу проектирования базы данных. 1️⃣ Первым делом мы должны понимать какие пользователи могут быть в нашей базе данных. 2️⃣Второе, какие запросы они могут выполнять. Одной из задач разработчика сделать так, чтобы данные для выполнения этих запросов находились в одном месте, а не разбросаны по всему кластеру. Тут еще можно вспомнить денормализацию, т.е. копирование одних и тех же данных в другие таблицы, чтобы запросы выполнялись эффективнее. Это больше касается различных справочников. Еще один принцип проектирования базы данных.

❇️Ключевые тезисы:

👉Данные, которые часто нужны для одного запроса, должны физически храниться рядом друг с другом (в одном узле баз данных).

👉Если связанные данные разбросаны по разным серверам или регионам, база данных вынуждена выполнять дорогостоящие операции, а это сетевые вызовы между узлами (network hops), сбор и объединение (JOIN) данных из разных источников.

👉Как пример решения проблемы распределенных данных - это добавление кластеризации индексов (Index Clustering). Приводится пример CockroachDB, где можно указать, как связанные строки из разных таблиц (например, заказы и товары в этих заказах) должны физически храниться рядом на диске, если они связаны общим ключом.

Как только появляется шардирование - это добавляет ряд дополнительных сложностей проектировщику базы данных. Нужно учитывать новые реалии.

Скоро предзащиты по НИРам. Чувствую предновогоднюю суету 😱 🌲

С пятницей!

#mems

🎦 7 ноября прошла конференция ArchDays 2025.

Цель - распространение имеющихся и создание новых знаний об архитектуре программных решений

❇️Общее впечатление

Каждый год - новое место. В этот раз это был РБК Центр Событий. Площадка неплохая. Довольно уютная, даже было отдельное тихое место, где можно было посидеть с ноутом в наушниках для тех, кто даже в выходной умудряется работать. По еде всё супер! Всего много и всё вкусно. К сожалению, не смог остаться на afterparty из-за личных дел, поэтому увеличить круг знакомств не вышло 😅

❇️По выступлениям
В этом году почти все, если не все, выступления были довольно далеки от мира СУБД. Многие прослушанные доклады я не осознал. Какой-то иной уровень абстракции... 🙁 Не для всех

Ранее я не замечал, но в этот раз было много рекламных докладов 🪧. Выходит спикер от какого-то вендора и рассказывает про свой продукт. Какой он классный и как помогает архитекторам. Особенно мне запомнилось выступление "Практики прикладной архитектуры ВТБ: как мы отвечаем на вызовы". Спикеры от ВТБ и Т1.

ВТБ полностью владеет Т1. Дочка. Вёл доклад спикер от ВТБ, а человек с Т1 был на подхвате и рекламировал свои решения.

Вот мы для ВТБ сделали то... Наш продукт может вот это... И т.п.

Я слушал это не понимал зачем это всё рассказывалось? 🤔Вряд ли решение от Т1 кому-то будет полезно, т.к. ВТБ в это влил кучу денег и продать это кому-то еще будет не просто. СберТех не даст соврать 😉

Все презентации по докладам уже доступы на странице с расписанием. Можно их просмотреть

Отмечу некоторые выступления, которые мне показались полезными.

🟢 Экономические последствия архитектурных решений
Сергей Баранов, ArchDays
Преза

Шикарный доклад о том, как рассчитывается стоимость архитектурных решений 💰. Внедрение и последствия. Я очень хочу сделать из этого тему для магистерской НИР и предложить своим студентам 😎. Я думаю нашей кафедре будет интересно послушать про это.

Несколько тезисов:
👉 Архитектура невидима для конечного пользователя, но ее влияние на бизнес огромно.
👉 Архитекторы могут провести любое решение если им надо. Плевать на экономику
👉 Мозг разработчика - самый дорогой ресурс
👉 Многие выбирают гибкий вариант не из экономических соображений, а потому что он кажется более профессиональным и гибким. Это классическая ловушка opportunity cost.

🟢 Composable Enterprise: Стратегический переход к модульному банкингу
Дмитрий Клецких, Raiffeisen Bank, Главный архитектор
Преза

👉 Мы сами ломаем наш банк своими изменениями
👉 Self-driving – это выигрышная стратегия. Герман Греф назвал задачей банка принимать подавляющее большинство решений в автоматическом режиме на основе искусственного интеллекта. Глава «Сбера» призвал «дать машине свободу» и ограничения в рамках свободы

🟢 Сжатие технологического стека, или анти-Highload
Павел Кутаков, VKTech
Преза

Самая прикольная тема доклада на всей конференции! У меня были очень завышены ожидания! 🧐 Но...как всегда, напрасно... 😥

Весь доклад выглядит как дипломная работа бакалавра, даже не магистра.

Автор, взял пример "из Вселенной" и набросал какую-то потенциально рабочую архитектуру онлайн-магазина. С помощью расширений к PostgreSQL сузил количество ит-сервисов до минимума. Готово 🥸. Провёл гипотетическое тестирование через pgbench и получил успешную обработку до 90 заказов в секунду ☝️. Сравнил с какими-то показателями прочих магазинов и резюмировал, что его значения норм. Пойдёт. Дешево и сердито. Конец.

Эээээ... Вроде автор раскрыл тему выступления, но ощущение, что это "сферический конь в вакууме" у меня сохранилось. Как дипломный проект - зачёт.

😉 На этом всё

p.s. отмечу шикарную презентацию по докладу "Архитектор и ИИ: Управляем старым техдолгом и создаем новый". 121 слайд визуального кайфа! Не знаю кто дизайнер этой презентации, но он точно не даром ест свой хлеб! Очень красиво!

📚 БД без боли: моя шпаргалка для собесов в Java. Часть 4

Коротенькая, но шикарная статья о том, с каким минимальным набором знаний нужно выходить после курса по базам данных.

Прям ТОП🔝👆

Если выпускник что-то не знает из этой статьи, то это очень печально 😡

Список вопрос для итоговой аттестации можно смело брать из этой статьи. Даже думать не надо 😉

1. Что такое ACID?
2. Как работают индексы?
3. Расскажите по LSM-деревья.
4. Опишите план действий по применению индекса к таблице
5. Какие бывают виды репликации?
6. Что такое шардирование в базе данных? Чем отличается от партиционирования?
и т.д.

📚 Как работают федеративные системы: рассказываем на примере YDB

Гигансткий лонгрид на 20+ минут от команды YDB. Еще раз подтвердается тренд на HTAP СУБД. Развитие аналитических возможностей и средств интеграции с разными источниками данных. Реализация процессов Zero-ETL и NearZero-ETL.

Главная мысль (или даже достяжения команды YDB) реализации возможности сбора, обработки и агрегации данных из гетерогенных источников. Фактически это снимает coreblock о том, что СУБД не может быть "разнообразной" Variability, т.е. быть способной обработать любые форматы данных. Структурирование, полуструктрированные, не струкутированые форматы.

Еще один повод начать изучать YDB. Как найти на это время, не знаю 🙂

Начинается зима

С пятницей!

#mems

🎦 Добрался до видосов конференции PGConf.СПб 2025.

Сам я там не был, но очень интересно о чем же там рассказывал народ.

Большинство видео уже доступно для просмотра в личном кабинете.

❗️Повторюсь, для преподавателей и студентов все видео бесплатны.

Какие доклады меня зацепили...
❇️ О битых данных и их восстановлении.

Хорошая тема доклада. Если говорить о его качестве, то где-то на 6 из 10.

Автор разбил доклад на 2 логические части: методология и истории пользователей. Более 20 минут ушло на рассказ методологии. В голове осталось очень мало. На меня вылили кучу каких скринов ошибок и привели 10+ инструментов диагностики. Ну, такое... Остальные 10 минут ушли на истории клиентов. Это было интересно, хоть и мало 🥺.

Меня очень манит идея сделать какой-то курс по диагностики и восстановлению поврежденных баз данных 👷🏻‍♂️. Материал достать не сложно. Проработать план курса, создать банк сбойных БД, создать ряд практических работ и дело в шляпе. Вопрос только в том, кому нужен этот курс? Написать его можно, а кто его проходить будет? ❔
Пока это главный стопер для меня. Не хочется убить 100+ часов на разработку курса "в стол".

❇️ Shardman: реляционные привычки в распределённой СУБД

Это доклад для разработчиков приложений или специалистов по оптимизации запросов, которые работают с распределенной БД или думают об этом. Суть доклада в том, что если архитектор решил перейти на распределенную БД, то надо проводить анализ всех запросов. Какие из них замедляться, а какие ускорятся... Проблемы могут выстрелить в любом месте. Стандартные методики диагностики могут "выстрелить вам в ногу".

Очень интересно каким правилам проектирования БД придерживаются разработчики, если база данных изначально распределенная? Как они "с нуля" начинает проектирование? Какие отличия от стандартного проектирования БД с одним сервером, и. т.д.
Тема для исследования 🧑🏻‍🔬

❇️ Стратегия движения к универсальной СУБД (OLTP/OLAP/HTAP)
Автор Марк Ривкин, Postgres Professional Presale manager

Автор одним словом, продажник. Не больше ни меньше. Марк рассказал о линейке продуктов PostgresPro и о том, как много они делают для аналитиков. Ребята используют все доступные средства повышения OLAP возможностей своего флагманского продукта PostgresPro Entreprise. Начиная от расширений и встраивания DuckDB - заканчивая своей Datalake платформой, Tengri с возможностью обработки несколько петабайт данных.
PostgresPro Entreprise становится настоящим комбайном, который может обработать всё. Собственно это суть доклада.
Приходите и покупайте 💰💸

Если кого-то зацепили еще какие-то выступления, то пишите в комментариях 😉

🎦 25 ноября прошел митап «СУБД глазами инфраструктурщиков» от Инфорсистем Джет (наш отечественный интегратор).

Доклады

🔹PostgreSQL без валидола: сборка кластера вручную
Роман Куликов, старший администратор баз данных, «Инфосистемы Джет»
🔹Автоматизация кластеров Postgre
Игорь Старшинов, инженер‑проектировщик OpenStack, «Инфосистемы Джет»
🔹Как мы перевезли Oracle с Solaris SPARC на x86
Максим Пасисниченко, администратор SAP Basis, «Инфосистемы Джет»
🔹Масштабирование и отказоустойчивость YDB — 9 нод, банковская нагрузка, падение дата-центра, перезапуск кластера под нагрузкой без простоя.
Евгений Ярош, руководитель направления СУБД, «Инфосистемы Джет»
🔹Круглый стол «Масштабирование СУБД: реальные проблемы и перспективы»
Эксперты из «Инфосистемы Джет», Яндекс (YDB), Arenadata, СберТех, Postgres Professional, Газинформсервис

Первые 3 доклада не особо интересны, но наверное кто-то для себя что-то полезное найдет 🔎. Разве что секция вопросов-ответов стоит внимания ⚠️.

Приступим к главным вишенкам 🍒:
1️⃣ Масштабирование и отказоустойчивость YDB.
Автор взял смоделировал "из воздуха" процессинговую нагрузку, раскатал БД на 9 нод по трём разным ЦОД. Затем запустил стресс-тест по проверке катастрофоустойчивости. Все тесты пройдены успешно. Конец. Вот и весь доклад. Без выводов, без ничего.

У меня под конец изрядно подгорело🔥. Что я только что прослушал? Зачем это? С какими знаниями я остаюсь? Что в тестах YDB ведет себя хорошо на реальных ЦОД? Нуууу...ОК 👌. Короче, одно из моих разочарований митапа .

2️⃣ Круглый стол «Масштабирование СУБД: реальные проблемы и перспективы»
Самый главный прикол в том, что тема про масштабирование баз данных, но по сути подобный опыт и продукт есть только у Яндекса (YDB) и PostgresPro (Shardman) 😨. 2/3 всех вопросов отвечали именно они. Даже не так, на все вопросы отвечал Михаил Сумской из PostgresPro. Полностью перетянул на себя внимание 🤓

Если попытаться сформулировать тезисы этого стола, то ничего не получится. Все ответы максимально абстрактны. Каких-то откровений не было. Последние 2 вопроса были хороши 😊!

Вопрос 1. Стоит ли задумываться о распределенной/шардированной БД изначально на этапе проектирования сервиса?

Ответ: Опять всё очень абстрактно, но если подытожить, то нет. Всему свое время.

Кажется тут скрывается некое лукавство, т.к. не любую базу данных можно легко горизонтально масштабировать. Такая возможность должна быть заложена. Если нет, то нужно начинать новый подпроект по переписываю схемы базы данных под новые реалии. Думаю на этом товарищи вендоры зарабатывают кучу денег 💰.

Вопрос 2: на каком объеме проекта стоит задуматься о горизонтальном масштабировании БД?

Все ответы черти-о-чем 🤷‍♂️. Только в самом конце один из спикеров сформулировал цифры:

10-15 ТБ - норм для одного инстанса (до 30 ТБ норм). От 30 до 100 потребуется шардирование. 100+ ТБ это распределенная СУБД.

Вот и весь митап 🥸

📚 На неделе прошел четырех дневный курс: Arenadata QuickMarts для пользователей

Arenadata QuickMarts или ADQM - это форк ClickHouse. Каких-то важных изменений разработчики от Аренадаты туда не внесли, поэтому курс можно смело переименовать в курс по ClickHouse. Ничего бы не поменялось. Думаю все отличия в эксплуатации, т.к. ADQM должен уметь интегрироваться со всеми инструментами развертывания и мониторинга от Аренадаты.

❇️ Мнение о курсе
Это не первый курс от Аренадаты, который я прохожу, поэтому есть с чем сравнить. И знаете что, все курс полностью методологически одинаковы⚖️ . Братья близнецы♊️. Даже презентации в едином корпоративном стиле. Такое впечатление, что все курсы писал 1 человек. Меняется только спикер курса. Очень странное ощущение остается 😅.

Про качество курса говорить сложно. Курс идет 4 дня по 8 часов. Информации тьма 🌚! Видно, что ведущий курса должен нам это всё впихнуть, поэтому свободного времени почти не остается. Мне кажется я уже отвык от подобной модели обучения . Раньше такие курсы были в офлайне и отрыве от работы, поэтому информация усваивалась лучше. Сейчас это преимущественно онлайн. Это конечно накладывает свой отпечаток. Возможно тут я сам виноват и нужно было отгулы брать ⛳️.

Субъективно, курс хороший 👍, но скучный 🥱. "Хоспади", как же скучно и не понятно зачем это всё 🤷‍♂️? 32 реальных часа в меня пытались вложить информацию по всем возможностям обработки данных ClickHouse! Казалось бы не уже ли этих возможностей много? Оказывается да, много и самое ужасное в том, что ощущение недосказанности осталось. Мне точно рассказали далеко не всё 🪫.

Текущая модель обучения проверена годами и уже кажется устаревшей. На смену ей пришла модель занятий по 4 часа в неделю (2 пары), но из-за этого срок обучение вместо 4 дней растягивается на 8 недель, а то и больше 🌊! Сейчас учиться на курсе 4-6 месяцев кажется нормой. Это тоже такое себе мероприятия. Казалось бы надо искать какой-то компромисс 🤷‍♂️.

Сейчас набирают обороты мини-курсы с конкретной целью. Зачем иметь 1 большой курс, когда можно сделать несколько маленьких и их порционно продавать. Такая модель кажется более выигрышной. Я сам читаю курс в коммерческом учебном центре DevHands. Мне куратор сразу сказал, что курсов длиннее 6 занятий по 1.5 часа быть не должно😡! Статистика говорит о том, что на финишную прямую выходят единицы. Я с этим полностью согласен. Сам учился пару раз на курсах длинной в 5 месяцев. До конца доходило человека 2-3 из 15.

Есть задумка писать курсы еще короче на 3 встречи (4.5 часа). В теории это может дать больший эффект. Возможно стоит уйти в формат воркшопов, чтобы участники курса были максимально вовлечены и активны, а автор лишь направлял народ. Чем-то напоминает выполнение лабораторных работ в институте. Есть задание, есть методичка и вперед. Преподаватель лишь следит за ходом работы. Но это работает в очном формате.

В онлайне есть практика, что автор воркшопа ставит какую-то задачу и затем предлагает аудитории её решить. Автор выслушивает вариант и выбирает какой-то из них и выполняет. Фактически всю работу делает автор курса, а аудитория занимается постоянным мозговым штурмом и поправляет автора, если он что-то делает не так. Я бывал на подобном формате обучения и мне кажется стоит его попробовать применить самому.

В общем, надо пробовать разные форматы и искать тот, который покажется максимально эффективным!

Итог всех конференций в этом и думаю в следующем году тоже

С пятницей!

#mems

🎦 Еще одна конференция от сентября Data Internals X.

Только 24 ноября наконец-то выложили видео.

❗️Кстати, я там выступал в самом конце на круглом столе. Думаю в 2026 доступ всем откроют бесплатно❗️

Тяжело обозревать доклады доступ к которым закрыт и открывается только "за донат". Надеюсь, что многие выступления выложат с общий доступ на платформе VKvideo. Да, на любимом ютубчике видео с конференции официально не будет.

Список докладов

❇️ Общее впечатление
Очень крутая конференция в плане контента 💪! Все выступления классные и интересные. Очень советую по возможности глянуть или хотя бы презентации полистать 👀. К сожалению, в этот день у меня на работе возник факап по проекту и пришлось почти всю конфу заниматься устранением последствий 😢. Реально не повезло 😭 Если бы за день до конфы не было бы препати для докладчиков 🍻, я бы так и ни с кем не познакомился .

Отмечу доклады, которые лично для меня, показались интересными.

👉 Citus изнутри: как устроен шардинг.
Преза

Автор доклада подробно разобрал расширение Citus для PostgreSQL. Жаль, что у мероприятия жесткий тайминг в 30 минут. По факту там надо рассказывать часа 3 не меньше. Думаю, если людям интересен Citus, то в нём нет ничего страшного. Надо просто ставить и изучать. Это уже нормально взрослое, а главное, опенсорсное масштабированию OLTP нагрузки.

👉 Data Quality как distributed-система: паттерны отказоустойчивости для данных
Преза
Очень крутой докладчик 🤟. Голос поставлен великолепно. Слушать его было очень приятно. Доклад реально сложный. Насыщен множеством профессиональных терминов, но от этого только интереснее. Я проникся. Несколько тезисов

1️⃣Качество данных — не роскошь, а необходимость
2️⃣DQ — это не про идеал, а про минимизацию потерь и доверие бизнеса
3️⃣Внедряйте гибридные подходы, считайте убытки, автоматизируйте рутину

👉 DuckDB для работы с графами: форматы хранения графа в S3, расширение GraphAr и опыт разработки
Преза

Автор доклада (и его команда) из R&D Т-Банка сделали свое расширение к DuckDB по интеграции возможностей библиотеки GraphAr, чтобы DuckDB успешно работал с графовыми данными.
Расширение можно глянуть тут
Отличная работа! Респект! 👋

👉 Как подготовить платформу данных к миграции уже сейчас?
Преза

Очень грустный доклад 😢. Раньше был вендор SAS, который предоставлял весь спектр инструментария для отчетов, аналитики и прочее.

SAS ушел и пришлось искать альтернативы. Вместо группы из 5-ти связанных продуктов с единым интерфейсом пришлось изучать и внедрять чуть ли не 10 новых инструментов от разных вендоров 🤯. Эххх...как же раньше было просто 😞... Далее автор рассказывает о некоторых граблях на которые наткнулись при миграции, ну и всё.

👉 Ревью без боли: DataOps-подход к управлению изменениями в DWH
Преза
Меня привлекло название доклада ✋. По сути автор рассказал, что раньше все тестировали ручками, но потов внедрили автотесты, анализаторы кода, интеграционные тесты и прочие механизмы сверки - в итоге всё стало лучше, быстрее и мощнее. Конец.

Очередное подтверждение того, что еще есть куча компаний-разработчиков, где культура нормального тестирования не внедрена. У многих до сих пор полно ручного тестирования ✍️.