📚 PostgreSQL 16. Организация данных. Часть 1

Главная цитата:

Данная статья является объединением книги и официальной документации с моими рисунками, объясняющими написанное в более наглядном (надеюсь, простом) варианте.

Информация взята из книги Егора Рогова «PostgreSQL 16 изнутри», а также из документации PostgreSQL 16.2.

Чтобы написать статью, достаточно прочесть книжку, несколько страниц документации, и готово. Секрет успеха раскрыт!

Я не буду делать обзор этой статьи, суть поста не в этом. Хочу сказать, чтобы вы не стеснялись писать о своей работе и своих исследованиях. Не просто так в ВУЗах дают возможность сделать свою Научно Исследовательскую Работу (НИР).

Сегодня сделать публикацию не составляет большого труда. Такие порталы как Хабр, Медиум и прочее охотно принимают любой материал. Конечно, за качеством они тоже следят, но это уже другой аспект. Главное, не стесняйтесь писать о том, что вы делайте. Особенно в рамках НИР.

🎦 Один PostgreSQL, чтобы править всеми
Виталий Лихачев

Не хотел делать пост про данное видео, но уж очень интересная тема доклада.

По сути, выдвигается тезис, что PostgreSQL может заменить Kafka, RabbitMQ, MongoDB, Redis, Elastic, Geospatial database, cron... Очень амбициозная идея, не так ли? 😉 Далее спикер рассказывает о фичах и расширениях PostgreSQL, которые помогают этого добиться.

Структура доклада мне не очень зашла, т.к. я ожидал, что автор будет рассказать о кейсах использования специализированных решений и в противовес приводить фичи PostgreSQL. Однако спикер продолжил перечислять фичи и высказывать свое мнение. На этом доклад закончился.

В целом, из этой идеи может получиться отличный НИР. Гипотеза фактически готова. Осталось это доказать или опровергнуть. В каких сценариях это действительно работает, а в каких нет? Если вы еще не определились с темой, то можно рассмотреть эту. 👈

В дополнениe к предыдущему посту...

Всех с пятницей!

#mems

📚Graph database shows Biden outspends Trump in social media ad war by Lindsay Clark

Забавная статья на тему необычного применения графовых СУБД.

При поддержке исследовательского гранта в размере 250 000 долларов от вендора базы данных Neo4j Syracuse University's Institute for Democracy, Journalism and Citizenship (IDJC) опубликовал свои первые результаты исследовательского проекта по изучению тенденций расходов и настроений на двух популярных платформах социальных сетей Meta (Запрещенная на территории РФ).

Исследовательская группа использовала базу данных Neo4j, обнаружила, что прямые расходы Байдена на рекламу Facebook и Instagram примерно в 7 к 1 превысили расходы Трампа. Однако, в рекламных объявлениях от групп, связанных с обоими кандидатами, Байден упоминается чаще (47 процентов), чем Трамп (37 процентов).

Благодаря графовой СУБД поиск взаимосвязей между различными событиями стал в разы проще и быстрее. Несмотря на то, что графовые СУБД существуют на рынке уже почти 14 лет, мы еще не раскрыли все области их применения. Очень здорово, когда вендор СУБД выделяет гранты на подобные исследования. Это великолепная маркетинговая инициатива!

📚История Redis и его создателя Сальваторе Санфилиппо (ник antirez)
Перевод. Автор оригинала: Brachiosoft

Порой приятно почитать о людях, которые уже оставили огромный след в истории ИТ-сообщества 🦶. О том, как человек искусства создал великое творение! Однако, в отличие от художников, скульпторов или писателей, ему приходится постоянно совершенствовать свой шедевр. 🧑‍🎨

Потребителям всё время чего-то не хватает.
В конечном итоге это приводит к вечной борьбе между самовыражением и пользой, приносимой сообществу.
Поэтому так важно подобрать момент и выйти из этого порочного круга 🕺. Так поступил и antirez.

В 2021 году он ушел из разработки Redis (хотя по-прежнему доступен как консультант) и занялся написанием научно-фантастических книг. В 2022 году вышла его первая книга Wohpe об искусственном интеллекте. 👽

Несколько тезисов:

🍎Redis разработана в 2009 году.

🍎Изначально разрабатывалась для решения проблемы бутылочного горлышка в операциях чтения/записи жесткого диска.

🍎Прототип LMDB (LLOOGG Memory Database) стал предшественником Redis.

🍎Redis RDB работает на основе fork(), создавая дочерний процесс для записи данных на диск.

🍎Redis начал использоваться в GitHub, Instagram и Twitter, привлекая все больше пользователей.

🍎VMware и компания Redis Labs стали первыми крупными спонсорами Redis.

17 мая прошла конференция от MTC True Tech Day

Видео с этой конференции должны будут попасть на youtube, когда-нибудь.

Хотите пример классного доклада? На конференции мне понравились эти два:

1. Мифы и реалии мультимастера в архитектуре СУБД PostgreSQL
Жилин Михаил, Postgres Professional
Конотопов Павел, Postgres Professional

Еще раз указали на разницу между мультимастером и двунаправленной репликацией:

Отличается от мультимастера.
Минусы
👉Нет строгой согласованности данных
👉Ограниченное определение и разрешение конфликтов
👉Нет отказоустойчивости узлов
👉Нет автоматического восстановления узлов
👉Нет транзакционности в масштабах кластера

2. Пикодата
Константин Осипов, со-основатель Пикодата, Директор по разработке ScyllaDB

Я уже писал обзор на этот доклад. Решил добавить несколько тезисов:
👉Тарантул создавался как аналог Редис.
👉У Редис и Тарантула требования к кластерной архитектуре появились значительно позже. Пришлось многое переосмыслить.
👉Пикодата создавалась изначально по cluster-first подходу.

📌Технические конференции в Москве проходят довольно часто. Чуть ли не каждый месяц что-то, да происходит. При этом спикеры плюс-минус одни и те же.

Как вы понимаете, делать на каждую конференцию уникальный доклад - задача довольно утомительная.
Я ждал момента, когда доклады станут повторятся. И дождался. MTC True Tech Day оправдал мои ожидания. 😉 Если вы частый гость подобных конференций, то вы точно найдете повторы при просмотре программы.

Не поймите меня неправильно, это не хейт конференции. Ни в коем случае! 😘 Просто так сложились звезды ⭐ - темы повторяются. Мне было приятно еще раз послушать уже знакомых спикеров. Надеюсь, у читателей моего канала они тоже есть, и вы меня понимаете! 🥹

Далеко не во всём ПО можно интуитивно разобраться. Порой приходится читать документацию. Не стоит этого стесняться...

С пятницей 🤪

#mems

🎥 Состоялся 3-й митап по базам данных при поддержке Яндекса. Database Internals Meetup #3: архитектура СУБД SoQoL, и протокол репликации YTsaurus

Традиционно представлено 2 доклада:
👉Архитектура новой российской СУБД SoQoL,
Коротченко Андрей, Архитектор, Руководитель Разработки Яндекса
👉 Протокол межкластерной репликации данных YTsaurus,
Руслан Савченко

Второй доклад по YTsaurus разбирать не буду, так как там много архитектурных моментов и вряд ли это интересно большинству. Если вам нравится платформа Hadoop, то YTsaurus - это наш отечественный аналог.

Сконцентрируемся на СУБД SoQoL.
До этого было несколько видео от компании Релэкс по этой СУБД. Однако, всё они плюс-минус одинаковые и очень общие. Например, SoQoL — СУБД для цифровой модернизации

На этот раз спикер больше сконцентрировался на технической части презентации. Весьма интересно было послушать о том, что лежит "под капотом"🚗. Традиционно, на этом митапе интересная секция вопросов-ответов. Тоже советую послушать.

Несколько тезисов:
❗ Разработка с 2017 года
❗ СУБД SoQoL это OLTP RDBMS
❗ Основана на подходе lockfree
❗ Гибкая и масштабируемая архитектура.

Кейсы внедрения:
📍 Перевод системы учета внутренних ресурсов компании с PostgreSQL на SoQoL
📍 Перевод платформы управления предприятием с Oracle на SoQoL
📍 Перевод системы управления ситуационным центром с MS SQL на SoQoL

Сегодня небольшой пост с рассуждениями о преподавании и передаче знаний в целом.

Мой коллега-преподаватель раньше вёл курсы в МГТУ имени Н.Э. Баумана. Ему там многое нравилось, однако вопрос денег ставился всё острее. В конечном итоге, ушел он оттуда. Он специалист высокого класса, предложений перейти в другой ВУЗ у него было полно. Как вы думаете, что он выбрал?

После долгих раздумий он выбрал Университет Синергия. Почему имеено этот ВУЗ? Ведь он далеко не самый престижный среди абитуриентов, которые хотят стать IT-специалистами. Общественное мнение явно не на стороне Синергии.

Ответ прост - в Синергии предлагают максимум денег и минимум отвественности. В престижных ВУЗах, таких, как МФТИ, МИФИ, ВШЭ, довольно скромные зарплаты, высокий уровень бюракратии и много "активностей", за которые не платят.

Какие выводы можно сделать?
⚡ Если ВУЗ тратит много денег на рекламу и привлечение студентов, то, вероятно, он не экономит и на зарплатах преподавателей.
⚡ Все хотят мало работать и много зарабатывать 😉

Искусственный Интеллект все чаще и чаще встречается в нашей жизни! Нам осталось лишь обучиться им пользоваться и применять во благо

С пятницей!

#mems

6 июня прошла конференция Firebird Conf 2024
Организаторы - компания РЕД СОФТ, которые являются отечественными разработчиками СУБД, ОС, виртуализации и прочего.

Место проведения - отель Radisson Blu Olympiyskiy Hotel. Отель великолепный! Помещение для конференции хоть и небольшое, но довольно комфортное.

Было, кажется, 7 стендов. 4 из которых от РЕД СОФТ. Можно было пообщаться со специалистами по мониторингу, обслуживанию Ред Базы Данных. Был отдельный стенд с демонстрацией работы отказоустойчивого кластера.

Доклады скоро выложат на youtube, поэтому разбирать их не буду.

Однако хочу рассказать о начале конференции и "приветсвенном слове".

Opensource проекту FireBird 25 лет! За это время вышло всего 5 релизов. Причем 4-й и 5-й - с разницей всего в 1 год.
О чем это говорит? О том, что к проекту было очень мало внимания. Фактически, он был вялотекущим. НО...благодаря импортозамещению и вливанию денег со стороны РЕД СОФТ, проект ожил.

Этой информацией я вас подвожу к началу выступления спикера Алексея Ковязина, Президента Firebird Foundation. Всё выступление свелось к привлечению спонсоров в сообщество Firebird Foundation. Даже прайс показали. Стоимость членства в элитном клубе без привилегий - 5 000 рублей. НО...если вы хотите стать VIP участником с привилегиями, то стоимость членства поднимается до 90 000 в год. Под привилегиями понимается способность голосовать. Вы можете ускорить или отложить внедрение каких-то фич.

Мне такой подход показался весьма интересным. Для opensource проекта создается финансовая организация. На взносы участников происходит финансирование разработчиков проекта.

Надо взять на заметку! 😉

📚Недавно была статья на хабре: Что такое Proxima DB? Знакомство с российской СУБД на базе PostgreSQL
Компании Orion soft

Очередной форк PostgreSQL, который, по информации авторов
статьи, разрабатывается уже 5 лет.

Не будем фокусироваться на статье, а зайдем сразу в комментарии. Люди задают толковые вопросы:
👉 Как клиентам сползать обратно на ванильный PostgreSQL, когда финансирование Proxima DB прекратится?
👉Было бы круто увидеть сравнение с прямыми конкурентами - PosgresPRO & Arenadata.
👉Продукт существует с 2019 года, но, простите, где вы были все эти 5 лет? Ни одной статьи на Хабре или еще где-то. На PgConf 2024 вас так же не было.

Ответы автор решил не давать.

Я об этой компании сам ничего не знаю. Давайте пробьем ее по сайту Т-Банка:
❗Зарегистрирована в 2021 году. Спрашивается, откуда 5 лет разработки?
❗ Ген.дир и глав.бух - одно лицо. Костров Владимир Олегович. Тоже настораживает.
❗ Компания очень неустойчивая. Низкий уровень ликвидности и собственного капитала.

Фактическая компания может объявить себя банкротом в любое удобное время. Можно сказать, что комментарии аудитории Хабра были обоснованными.

От себя хочу добавить: если компания-разработчик создаст себе хорошую репутацию, то обязательно надо вкладываться в маркетинг и активно показывать себя на ИТ-мероприятиях. Не только как спонсоры, но и как спикеры. 🏖️

Наконец-то, все экзамены и защиты НИР, ВКР и т.п. закончены. Теперь перед вами открывается настоящая взрослая жизнь! Я лишь хочу пожелать вам карьерного роста и творческих успехов! Ура!

С пятницей!

#mems

Закрылся перспективный стартап ottertune от знаменитого преподавателя Энди Павло , университет Carnegie Mellon University.

Напомню, что продуктом компании является ИИ-автоматизированный оптимизатор для базы данных. Основная идея в том, что существующий зоопарк СУБД имеет свои уникальные настройки оптимизации. Человеку запомнить их все, даже в рамках одной СУБД, непросто, а успешно применять эти знания - еще сложнее. Поэтому так дорого ценятся специалисты с большим портфолио по грамотной настройке СУБД. ИИ должен был помочь решить подобного рода задачи за минимум вложений.

Идея отличная! Этот стартап привлек хорошие инвестиции, но... как оказалось, этого было мало. В своем твиттере Энди написал, что хотел продать стартап со всеми наработками крупных игрокам. Однако их так никто и не купил. Сделка сорвалась. Занавес. Можно гадать в чем же причина, то ли продукт не очень, то ли маркетинг подкачал, то ли цена была завышенной... Мне не известно. Можно предположить, что стартапу уже 4 года, а инвестиции так и не окупились, поэтому проще было закрыть предприятие, чем пытаться его спасти.

👉Мораль? Процитирую коллегу: "Опять ИИ не смог заменить человека. Работаем дальше... Продолжаем читать книги и ходить на курсы по оптимизации работы СУБД. Эххххх".

Пора задуматься о новых начинаних! Что это будет: стартап, курсы, путешествия, иные формы просвещения - я не знаю. Выбирать вам!

С пятницей!

#mems

Поздравляю всех с началом Нового Учебного Года! Надеюсь, полученные знания и умения вам всем пригодятся в вашей карьере! Если что-то и не пригодится, то, по крайне мере, расширит ваш кругозор!

Удачи вам в новых начинаниях!

p.s. а себе я пожелаю глубоко дышать...мира и спокойствия... амммммммммммм

Всех с пятницей!

#mems

🎥 4 сентября состоялся четвертый Database Internals Meetup от компании Яндекс по разработке СУБД.
На этот раз он состоялся на территории Авито. Это в очередной раз намекает нам на то, что крупные ИТ-гиганты очень плотно сотрудничают друг с другом. Мне кажется, такие взаимоотношения очень бустят ИТ-процессы в нашей стране. Вернемся к митапу...

Традиционно на митапе 2 доклада:
👉 Векторные поиски в Sphinx - автор Михаил Самолкаев, Авито.Тех
👉 Материализованные представления в GreenplumDB - автор Кирилл Решке, Яндекс

Традиционно первый доклад крайне сложный. Он заточен на разработчиков СУБД с мощным бэкграудом. Думаю, если кто-то пробовал интегрировать векторных поиск в какой-либо продукт, то проблем возникнуть не должно. У меня человек написал НИР по интеграции алгоритмов векторного поиска в СУБД Manticore. При желании и должной мотивации розгами по спине, можно во всем разобраться.

Второй доклад для понимания в разы проще. Даже по названию это можно понять 🙂. Автор очень бодро рассказал про историю развития материализованных представлений в проекте Постгрес. Поведал о проблеме актуализации данных. Доклад очень объемный, но если как-то подытожить, то код для работы с материализованными представлениями лучше комитить сразу в ядро, т.к это позволит лучше его оптимизировать, чем писать отдельное расширение для этого. В целом, они больше нужны для GP. Поэтому Яндекс в своем форке сделал максимум оптимизаций для этого.

Митап получился неплохой, ждем следующий. Как раз в начале митапа заанонсили следующий, который пройдёт на базе ИСП РАН ИМ. В.П. ИВАННИКОВА. Будет уже не 2 доклада, а 4. Пройдёт это всё 11-12 декабря в Москве.

#databaseinternals

4, 8 и 9 сентября прошла конференция SmartData 2024. Она посвящена "дата-инженеграм" и BigData. В целом, мне подходит.

4 сентября - бесплатный день. Вы можете свободно посмотреть эти доклады после регистрации. Давайте разберем некоторые из них

👉 Как жить с data swamp - Александр Боргардт
Название доклада не очень соответствует его содержанию. По сути, автор приводит кейс о том, что есть большой пласт данных в 35ТВ в DWH и нужно сформировать отчет. Для обработки такого количества данных нужно использовать мощь GPU. Аналитикам данных следует изучать команды работы c GPU. Везде есть свои нюансы. Миксовать CPU и GPU вычисления - плохая идея. Занавес.

👉 Шардированный не значит распределенный: что важно знать, когда PostgreSQL мало - Евгений Иванов, Яндекс и Олег Бондарь, Яндекс
В первой части авторы рассказывают про шардирование и транзакции в целом. Теоретическая часть. Большинство примеров с СУБД Citus.
Вторая часть посвящена тестам. Был использован бэнчмарк TCP-C. TCP-C - единственный объективный бэнчмарк для СУБД по измерению OLTP нагрузки.
Проект CMU Benchbase - фреймворк для создания тестов для любых СУБД. Из интересного хочу отметить, что ресурсы, которые используются для работы бенчмарка, могут быть даже больше, чем ресурсы, выделенные под тестируемую СУБД. Это довольно неочевидный факт.
🧨 Постгрес на трех нодах по производительности оказался лучше популярных распределенных СУБД 🏆(YDB, Cockroach). Если нод становится больше, то распределенные СУБД уже заметно эффективнее.

👉 Оптимизация распределения партиций в последовательности задач распределенной обработки данных - Милена Букина, Т-Банк
Автор рассказала о своей дипломной работе. Я считаю, что так должно выглядеть эталонная презентация ВКР. Выступление фактически длилось 12 минут. Если чуть-чуть подсократить и убрать слайд о возможном будущем, то в регламентные 7-10 минут укладывается на раз-два. Супер-доклад! Придраться можно разве что к непонятным выводам. Да, получили какие-то цифры, почему это хорошо, а не плохо? А можно ли сделать лучше? А если сменить тестовый набор? И т.п.
В целом, выступление и слайды очень хороши. Советую к просмотру!

На этом первый бесплатный день конференции для меня подошел к концу! Посмотрим, что будет дальше 😉😉

Конференция SmartData 2024.

8 сентября.

Докладов было много, но по моим интересам почти ничего. Одна сплошная миграция с одного решения на другое. Разве что можно отметить такие:

👉 Выбрасываем Java и кратно ускоряем Spark/Presto… Или пока нет? - Павел Солодовников, CedrusData
Меня зацепили минусы монолитной архитектуры. Автор их проговаривал, я думал, так это плюс! Почему минус? Не понятно. Когда пошло сравнение с модульными системами, то тут же вспомнилось противостояние Ios/Andriod или Windows/Linux. Где-то подход "пользуйся и не парься", а где-то "настраивай строго под себя". Презентация.
Если кратко, то модуль СУБД, который отвечает за исполнение запроса (Execute Engine) выпилили из СУБД и переписали на С++, назвав его Velox. Занавес.
Опять тема доклада не очень вяжется с его содержимым. Я не понимаю, как этот кейс кому-то может помочь. Взять проект на Java, затем часть модулей переписать на С++ и сказать, что получилось круто! А сразу всё на С++ сделать нельзя? Возможно, я не уловил "полезность" доклада...