🎦Что предстоит делать с данными в 2024 году?
Спикер: Николай Карлов Директор инновационных проектов VK Tech

🤓Не скажу, что сильно интересный доклад, автор рассказывает про концепт высоконагруженной антифрод системы. Как векторный поиск и векторные СУБД в целом могут помочь в этой задаче.

В очередной раз автор грезит об HTAP. Мне кажется, сейчас рынку РФ пока не до этой технологии. Надо еще "привыкнуть" с работой PostgreSQL.

📚Решил почитать книгу «DevOps for Databases» за авторством David Jambor от 2023 года.
Тема показалась мне довольно интригующей 🔎.

🤓 Книга оказалась больше теоретической, чем практической, хотя в ней довольно много примеров на YAML, Python и прочих языках. Автор делает упор на основные постулаты DevOps, в которые интегрирована еще и тема СУБД. Книга отнюдь не для начинающих - необходимо для начала ознакомиться с идеологией DevOps.

➕Плюсы:
- Много интересных идей о роли DevOps в современных организациях.
- Книга хорошо структурирована. Каждая последующая глава дополнят предыдущую.
- Мне лично очень зашла глава 13. Мне очень нравится идеология про самовосстановление в мире программного обеспечения🔝.

❗️Особенности:
- Отдельная глава про опыт работы автора 📑. По сути целая глава выделена как одно большое резюме. Хорошо это или плохо каждый решит сам.
- Много воды 💦. Пусть это и свойственно любым книгам, но почему-то здесь это особенно бросилось в глаза.
- Некоторые главы проходные (10, 11, 12).

Далее я сделаю несколько постов с цитатами из книги📝.

#DevOpsDataBases #book

📍Эволюция моделей баз данных. Иерархические модели

✍️В этой модели данные организованы в записи, которые хранятся в иерархии отношений "родитель-потомок". Эта структура похожа на дерево, с корневым узлом наверху и дочерними узлами, отходящими от него.

➕Плюсы:
1) Скорость и эффективность
2) Простота

➖Минусы:
1) Неадаптивность
2) Отсутствие поддержки сложных взаимосвязей между данными
3) Избыточность данных
4) Ограниченная масштабируемость

🟰Итого:
Несмотря на эти ограничения, иерархические базы данных продолжают использоваться во многих отраслях промышленности. Они могут быть полезны для небольших приложений, где простота является приоритетом, а взаимосвязи данных относительно просты.
Однако иерархические системы всё-таки являются "вымирающим видом". Они выживают только там, где принцип "Работает - не трогай" является базовым 🗿.

#DevOpsDataBases #book

📍Эволюция моделей баз данных. Сетевые модели.

✍️Сетевая модель базы данных основана на концепции, согласно которой данные организованы в ряд взаимосвязанных узлов или записей, образующих сеть данных.

➕Плюсы:
1) Гибкость. Допускаются сложные взаимосвязи между объектами.
2) Обработка сложных структур данных и взаимосвязей.
3) Обработка больших объемов данных.
4) Поддержка несколько путей доступа к данным.
5) Повышенная производительность в некоторых типах аналитических запросов.

➖Минусы:
1) Трудно поддерживать согласованность и целостность при наличии множества взаимосвязей между объектами.
2) Трудность освоения и понимания всех взаимосвязей.

🟰Итого:
Сетевая модель представляет собой иерархическую СУБД, которая допускает сложные взаимосвязи между сущностями. Несмотря на эти преимущества, модель сетевой базы данных в значительной степени была вытеснена моделью реляционной базы данных, которая на сегодняшний день является доминирующей моделью.

#DevOpsDataBases #book

📍Эволюция моделей баз данных. Реляционные модели.

✍️Модель реляционной базы данных является широко используемым методом организации данных и управления ими в компьютерных системах. Впервые она была представлена Эдгаром Ф. Коддом в 1970 году и с тех пор стала основой для многих современных СУБД.

➕Плюсы:
1. Согласованность и целостность данных.
2. Масштабируемость.
3. Гибкость.
4. Безопасность данных.

➖Ограничения:
1. Производительность.
2. Сложность.
3. Недостаточная гибкость.
4. Дублирование данных.
5. Ограниченная поддержка неструктурированных данных.

🟰Итого:
На текущий момент РСУБД представляют собой доминирующий класс СУБД. По сути, все современные задачи можно решить с помощью реляционной модели данных. Да, возможно в ущерб скорости и простоты, но тем не менее. Однако со временем мириться с ограничениями реляционной модели становится всё сложнее, поэтому новые noSQL решения начинают открыто заполнять рынок (2009 год)

#DevOpsDataBases #book

ACIDRain: concurrency-related attacks on database backed web applications

🤓Статья далеко не новая, однако очень интересная👍.
Когда заходит тема про атаки 🎯на СУБД, все как один говорят об SQL-инъекциях, и более ни о чем. Мол, других атак нет🤦. На самом деле это далеко не так☝️.

NoSQL and NewSQL: Tradeoffs Between Scalable Performance & Consistency

Обзорный доклад по системам DistibutedSQL (CockroachDB) и NoSQL (ScyllaDB).

В очередной раз Scylla похвасталась своей производительностью, которая на голову выше почти любой РСУБД 📈.

Автор доклада кратко проходится по истории СУБД, терминологии ACID, CAP/PACELC 📑.

🤓Самое интересное - это вторая часть доклада, посвященная различию подходов NewSQL и NoSQL.

Далее автор рассказывает про то, как повлияло на производительность СУБД развитие аппаратной части. Упоминается Закон Амдала, что дает автору доп.очки лично от меня 🏅.
В самом конце автор подводит итоги сравнения подходов NewSQL и NoSQL.

Compute/Storage separation в Greenplum
Презентация
Автор: Андрей Бородин (Yandex Cloud)
*️⃣Yezzey — открытое расширение GreenplumDB, которое позволяет перенести таблицу в S3, но при этом сохранить нативный формат данных. При таком подходе производительность многих запросов оказывается сходной с производительностью запросов к таблицам на локальных SSD-дисках.

🤓Рассказ о том, что Яндекс с командой из Екатеринбурга участвуют в opensource проекте Greenplum (GP). Главный инсайт для меня лично: GP плохо работает с SSD локальными дисками и отлично работает с S3 хранилищем. Получается "некая магия" - производительность на SSD лишь чуть-чуть 🤏 уступает облачному S3. По сути, хранить файлы с данными можно в S3 практически без снижения скорости доступа. Это можно назвать революцией в хранении данных в облаке 👏🏻.

#HighLoad2023

🎦Когда нужно делать свою базу данных
Презентация

Когда нужно делать свою базу данных? И нужно ли вообще? 🤔

Разработчик Александр Бирюков в своём докладе прольёт свет 💡на сложности выбора между использованием готовых решений и созданием собственного.

🤓Очень интересный доклад! Особенно мне понравилась секция с анализом текущих решений. 📊Вопрос разбирается с учетом актуальной ситуации на мировом рынке, где уже присутствует множество конкурентов, особое внимание уделяется компаниям, продолжающим работать в России🇷🇺.
🟰По сути, решиться на разработку своего продукта очень сложно. Особенно на рынке СУБД, где схожих по функционалу продуктов очень много. Тем не менее, команда разработчиков с Александром во главе приступила к разработке SageBD для компании Тинькофф 🧑‍💻. Автор смог убедить руководство в необходимости собственной базы данных🗂️.

Немного удивляет, что команда разработки у SageDB весьма скромная (около 4-х человек), но слушая автора, я понимаю, что все они настоящие профессионалы своего дела 🔝.

📍Ждем! Возможно, SageDB от Тиннькофф выйдет в open source.

#HighLoad2023

🎦Математический хайлоад: большие, очень большие и немыслимо большие числа
Автор: Александр Кирсанов (VK)
Презентация

🤓Если автор или организаторы конференции Highload++ когда-нибудь выложат это выступление в открытый доступ, всем советую его посмотреть!
40 минут увлекательного путешествия в мир сверхбольших чисел и даже дальше! ♾️
Поделюсь с вами главными мыслями доклада.

✍️История изучения больших чисел на всем ее протяжении связана с тупиками✖️: как записать сверхбольшие числа, не потратив на это сверхбольшое количество времени? Форма записи стала настолько сложной, что превратилась в рутину. Числа четвертого и более высоких порядков 📈 нуждались в сокращении формы записи. Так образовались разные ситемы символов: гипероператоры, стрелочная нотация Кнута, числа Грема и тд, которые выполняют одну задачу - фиксируют в качествке математического текста сверхбольшие числа. (Не удивительно, что человечество придумывает всевозможные способы, чтобы избавится от рутины. 😏 И всегда находятся те, кто смог прорвать этот барьер и заглянуть в будущее).

💪Если вы когда-нибудь упретесь в стену, то переживать не стоит. Вскоре она точно вам поддастся. 🤞

#HighLoad2023 #сверхбольшиечисла #математика

🎦 Подкаст разработчиков векторной СУБД Weaviate с Andy Pavlo преподавателем "Баз Данных" из университета CMU

🤓Волшебный подкаст о роли ML и AI в современных СУБД. О том, как ChatGPT 🤖может помочь найти проблему в SQL запросах, о том, как векторный поиск важен для современных задач ❗️и как разработчики пытаются упростить жизнь обычным пользователям 🤝. В конце подкаста Энди порассуждал о возможном будущем СУБД.

✍️Тезисы, которые я вынес:
- ML-модели в рамках одной СУБД могут мешать друг другу.
- ML-модели могут вмешиваться в данные и менять их.
- Один из путей развития СУБД - отказ от человеческой субъективности в том, как мы храним данные.
- Вокруг СУБД крутятся большие деньги, специалистам это нравится.
- Задача дисциплины "Базы данных" не в том, чтобы сделать из каждого слушателя разработчика. Основная ее задача - познакомить слушателя с миром СУБД. Каждый будет взаимодействовать с СУБД на необходимом ему уровне.
- Проблема NoSQL в том, что они строятся на идее противостояния с РСУБД. Что-то, что в РСУБД работает плохо, в NoSQL показывает себя хорошо. Однако за прошедшие 14 лет многие идеи и фичи РСУБД перекочевали в NoSQL.
- Попытки сформулировать, что такое экосистема AI.
- Если векторные СУБД смогут пережить пару-тройку лет, то вполне вероятно, что им придется добавлять поддрежку SQL, транзакций и прочих фич традиционных СУБД. Как, например, пришлось делать MongoDB
- Многие говорят о встраивании SQL. Возможно, будет достаточно сделать транслятор языка SQL в язык выбранной СУБД.
- СУБД с AI могли бы вмешиваться в запрос пользователя и дополнять его.

🔮Предсказания:
- в ближайший год многие популярные СУБД встроят поддержку векторных индексов.
- в ближайшие годы появится стандартизация векторного поиска. Возможно, новый SQL стандарт
- В проектах новых СУБД появится больше автоматизации. Новые СУБД будут требовать меньший порог вхождения от специалистов.
- Логика работы СУБД может перекочевать в ядро операционных систем (ОС).
- Модель СУБД может стать ядром ОС.

💬 6-7 февраля, Конференция iFin-2024.

Крупнейший форум по электронным финансам в России с 2001 года🔝. Исключительно офлайн-формат.

✅День 1.
Количество зарегистрированных участников в этом году превысило 900 человек. Это рекорд последних лет. Организаторы, казалось, справились с такой толпой народа, однако обед смели за 15 минут 😆.

Традиционно конференцию открыл Константин Маркелов. Обычно он делает доклад по достижениям фин.тех индустрии прошлого года и дает предсказания на текущий. В этом году он видимо заленился не сделал презентацию, а просто сказал, что "этот год будет прорывным", но "пока не понятно какой именно сегмент выстрелит" 🔫. Опять всплыло сберовское любимое слово (я только от представителей сбера его слышал) - "человекоцентричность", за которым скрывается принцип:

Надо относиться к человеку не так, как ты хочешь чтобы к тебе относились, а так, как сам человек хотел бы, чтобы к нему относились.

🤔 На мой взгляд, это что-то из разряда чтения мыслей или распознавания настроения.

Отмечу наиболее важные темы форума.

📍ИИ захватывает финтех. Всё больше и больше проектов будут с его использованием. 🤖 Пример такого рода - коллаб BSS и ПСБ.
ПСБ сделали своего ИИ помощника - Катюшу. Этот ИИ ориентирован на микробизнес - ИП без сотрудников и т.п. Катюша позволяет голосом отправлять рублевые платежи, проверять баланс счета, запрашивать выписки, может проговаривать все денежные поступления на счет. ПСБ даже сделали интеграцию в колонку Яндекса - Алису. Что и продемонстрировали на выступлении👯‍♀️. Было забавно.

В целом, многие крупные банки заявили, что добавление в чат-бот функции GPT повышает интерес у людей к общению с чат-ботом. 👩‍❤️‍👩 В тоже время, чат-бот может давать рекомендации по заполнению документов, налогов и т.п.👍

Ученые шутят: "Когда нет чего-то естественного, то пользуйся искусственным"

📍Антисанкции. Приложения банков удаляют из AppStore. Что делать? Ответ - развивать Progressive Web Applications (PWA). Одним из первых банков, кто применил эту технологию, был Тинькофф. Затем уже подтянулись и остальные.

📍Крутое выступление было у Максима Морозова, компания Aston. Тема: Технологическое развитие отечественных и зарубежных банков.
Он ответил на вопрос, что там интересного происходит, на загнивающем Западе.
Тренды банков Великобритании:
1. КриптоТрейдинг
2. Массовые периодические платежи
3. Функционал "Сейфов". Главная их идея в противодействии мошенничеству. Клиент сам накладывает ограничения на снятие денежных средств. Например, 50 долларов можно перевести через мобильных банк, а следующую транзакция можно сделать только через интернет-клиент, или через оператора банка, или только с личным визитом в банк. 🤪
4. Карты для детей.
Успешные кейсы по воплощению этих трендов:
1. Open Banking API. Интеграция со сторонними сервисами
2. Виртуальные карты
3. Системы мониторинга с открытым кодом (open source). Сбор метрик действий клиентов.
4. Электронный кошелек. Безналичный и бескарточный расчет.
5. Раздельный счет. Каждый оплачивает свою часть счета.

📍Интересный продукт
Deeep (много букв "e"). Как мне сказали, это фишка такая, чтобы показать, что продукт ооочень глубокий... странно, ну ок.
Если кратко, то это что-то типа сайта "Отзовик" для мобильных приложений. Сбор отзывов, комментариев от специалистов по UI/UX. Очень похоже на рейтинговый сайт... Интересно, сколько будет стоить накрутка... 💸

📍Аутсайдеры конференции (по моему скромному мнению).
Генеральный спонсор конференции "Информационные системы". У них шикарный дизайн и забавный лозунг - "миксуй, как хочешь". Концепция 👍, но... Спикеры вообще ничего полезного на выступлении не сказали. Ничего не понятно про продукты, и общее впечатление от уровня подготовки крайне низкое. Публичный позор, честное слово🤦.

Из забавного.
"Информационные системы" сравнивали свой софт с коктейлем, мол, можно под каждый банк смиксовать свой уникальный продукт. Однако на стенде, кроме картинок, ничего не было. 🫥 При этом на соседнем стенде кампания CARCRAFT открыла целый бар с коктейлями. 🍹🍸Ха-ха...

💬 6-7 февраля, Конференция iFin-2024.

Крупнейший форум по электронным финансам в России с 2001 года🔝. Исключительно офлайн-формат.

✅День 2.
Помните, я вчера писал, что обед смели за 15 минут? Так вот, сегодня я опоздал в банкетный зал на 20 минут, и в итоге... все столы с едой... были пустые! Абсолютно! Даже чай и кофе закончились... 😭

📍День открыла Виктория Гузеватая - Банк ВТБ, Вице-президент. Она рассказала про предоставление банковских гарантий без участия человека. Меня зацепила фраза, сказанная ею в самом конце выступления:

"В скором будущем общение с чат-ботом будет являться нормой. Но если вы хотите поговорить с человеком (специалистом), то это уже привилегия! И она будет стоить денег".

📍МТС-банк занял позицию то ли банка, то ли ИТ-компании. Они сделали своей фишкой 2 продукта:
1) Оплата Steam, Netflix и других ушедших из РФ сервисов через свой платежный шлюз. Любой банк может подключиться к этому шлюзу. 💸
2) Внедрение биометрии на этапе знакомства с клиентом 📸.
Судя по докладу, команда МТС сильно поднатарела в области биометрический аутентификации и борьбы с deepfake'рами. 👍

📍Очень много спикеров пело дифирамбы соц.сети ВК (про Одноклассники вообще все забыли). 🗣 На платформе ВК мы строим свои банковские приложения. В ВК можно пользоваться услугами ПСБ, ВТБ и прочих банков. Это круто-модно-сорвеменно, поколение Z (от 16 до 30) прямо в восторге.🥳
Напишите в комментариях, кто пользуется банковскими сервисами на платформе ВК? Действительно ли вы согласны, что ВК для вас единственная удобная незапрещенная соц сеть?

📍Интересный доклад был от компании 1С. Они сделали бэкэнд мобильный план на платформе 1С. Предоставляют его для любых банков. Подключайтесь, кто хочет - совершенно бесплатно. 🤑
Вопрос из зала: почему 1С предоставляет такой крутой сервис бесплатно?
Ответ:

не секрет, что доля рынка 1С в РФ примерно 80 или даже 90%. Охват огромный. Чтобы поддерживать репутацию лидера, мы сделали данный сервис.

🤓Прикольно, когда компания работает не на увеличение прибыли всеми возможными путями, а на удержание своей лидирующей позиции. Видно, что 1С вкладывается в развитие своего бизнеса.👍

На этом для меня 2-ой день конференции подошел к концу.

Напоследок хочу процитировать одного спикера, который рассказывал про Open Banking API:

Чтобы создавать прорывные технологии и сервисы, финтех должен быть голодным

Вспоминается древнее "художник должен быть голодным"😵. Жду ваших мнений по этому поводу в комментариях.

🎦Интервью Ивана Панченко (Postgres Pro) с Максимом Горшениным

🤓 Рекомендую к просмотру. У ролика активный тайм-код, выбирайте интересующую вас тему, я не буду делать подробный пересказ. Общее впечатление: слушать Ивана Панченко - огромное удовольствие 👍. Очень люблю его выступления. Приведу несколько тезисов, которые мне особо запомнились:

- PostgreSQL - первая РСУБД с поддержкой JSON 🥇.
- На волне роста популярности Postgres менеджеры Российского представительства компании Oracle разослали своим клиентам письмо под заголовком "Почему Postgres никогда не заменит Oracle? (2016 год)". На данный момент авторы этого письма работают в Postgres Pro. 🤭
- никто об импортозамещении веб-серверов не думает. Нет такого раздела в реестре отечественного ПО (Nginx) 🙅
- в Postgres контребьютят Яндекс, Аренадата, СКБ Контур 👍.
- ИСП РАН 🫡 - одна из организаций, которая развивает OpenSource в РФ.
- Скала-Р + Postgres = (ПАК) ➡️ полноценное решения любых пользовательских задач. Аппаратная часть заточена под работу СУБД.
- СУБД Линтер (Воронеж) разработана в полной изоляции от мирового сообщества.
- Наконец-то выходит графический интерфейс Postgres Pro Enterprise Manager. Теперь можно отслеживать состояние СУБД, анализируя красивые графики 📊и картинки 🖼, вместо использования командной строки🔢.
- физика - наука о том как мысленно моделировать реальность.
- Учебный Центр ФОРС активно сотрудничает с компанией Postgres Professional. Есть профессиональная сертификация 👨‍🎓.

Проходите по ссылке, смотрите интервью, делитесь в комментариях тем, что заинтересовало лично вас. 🫵

📚 Database Trends and Applications.

🤔В своем телеграм-канале я редко упоминал популярный журнал о субд, который можно скачать с его сайта.

‼️Хотелось бы обратить внимание на номер за декабрь 2013/январь 2024. Журнал открывается статьей автора Joe McKendrick под названием "The Data Quality Confidence Gap Keeps Widening".

🤖Вкратце, статья обсуждает причины падения доверия к качеству данных, связанные с внедрением искусственного или генеративного интеллекта.

🔥Аналитическая нагрузка на предприятиях выявила проблемы с качеством данных, такие как недостоверность, неактуальность и нехватка данных. Многие компании признают необходимость внутренней поддержки и дополнительных инвестиций для улучшения качества данных.

📈Проблемы с качеством данных обычно отслеживаются с помощью человеческого ручного труда, так как автоматизация этих процессов представляется сложной и нереализуемой задачей.

➖В другой статье Joe McKendrick - "The Top Information Management Trends for 2024" - рассматриваются основные тренды в области управления информацией.

‼️Среди них:

-искусственный интеллект,
-открытие экосистемы,
-компонуемые API и микросервисы,
-ответственность за продукт-данные,
-финансовые аспекты,
-демократизация данных,
-расширение прав и возможностей персонала.

📝В статье Stephanie Simone "Trend-Setting Products for 2024" приводятся многочисленные тренды продуктов, но меня особенно заинтересовали те, которые связаны с безопасностью инфраструктуры от действий искусственного интеллекта.

📌Необходимо помнить, что существует и темная сторона искусственного интеллекта, которая может представлять угрозу. Например, профессия телефонного мошенника может быть заменена голосовыми ассистентами. Искусственный интеллект, несмотря на свою полезность, также является новой кибер-угрозой.

📊Далее в журнале идут статьи, посвященные искусственному интеллекту, открытым исходным кодам и облачным технологиям.

https://www.dbta.com/Magazine/Database-Trends-and-Applications-Magazine-December-2023-January-2024-Issue-13235.aspx

🎦 Я. Субботник по инфраструктуре 🗓 от 17.02.2024.
Спикер Олег Бондарь, CPO YDB.
YDB — распределённая отказоустойчивая база данных с открытым исходным кодом.

🤓Хороший доклад по внутреннему устройству процесса масштабирования YDB. Поначалу не сильно понятный 🤭, но после десятой минуты в голове начинает складываться картинка 🧩. В конце выступления создается ощущение, что YDB автоматически партиционируется, шардируется, и вмешательство человека не требуется. Кажется, Яндекс стал на шаг ближе к созданию полностью автоматизированной СУБД🤩.

YDB относится к классу DistributedSQL. В этом классе помимо YDB всего 2 представителя: CockroachDB, YugaByteDB. Они закрывают потребность рынка в надежном отказоустоичивом решении и конкурируют между собой. Кого же предпочесть?

На мой взгляд, западные продукты упакованы гораздо более эффектно. Материалы, выступления разработчиков, маркетинг продукта намного ярче и понятнее🎨. Порой смотришь на Youtube ролики по CockroachDB или Yugabyte, и такое ощущение, что попадаешь в другой мир. Фантастический! 💫
Маркетинг YDB им проигрывает 😔. В разы. Возможно, из-за этого я до сих пор не приступил к изучению YDB. Для меня это имеет значение.

А какое значение вы 🫵 придаете упаковке продукта? Если брать кота в мешка, имеет ли значение цвет мешка? 🤔

Ну и напоследок хотелось бы пожелать удачи разработчикам YDB. Надеюсь, они сменят маркетологов.

Из забавного. CockroachDB и Yugabyte давно внедрили у себя поддержку протокола PostgreSQL. YDB это сделали только в 2023 году, спустя 9 лет с момента начала проекта.

🗓️14-15 февраля прошла онлайн-конференция: ScyllaDB Summit 2024 "What’s next for data-intensive applications".

🤓Я кратко отмечу три видео, которые показались мне наиболее интересными.

📍Topology on Raft: An Inside Look
Konstantin Osipov
Традиционно Константин в своих выступления говорит про алгоритмы консенсуса. В данном случае про Raft. В этом видео он рассказывает, что под капотом у ScyllaDB используется Raft для выполнения фоновых задач. Рассказывает о нововведениях шестой версии ScyllaDB.

📍A Deep Dive into ScyllaDB's Architecture
Tzach Livyatan
Люблю видео с глубоким погружением в архитектуру СУБД🏛️. Хотя текущее видео больше заинтересует людей из отдела эксплуатации, чем разработчиков. В любом случае, спикер хороший, презентация яркая и доходчивая.

📍Balancing Compaction Principles and Practices
Raphael Carvalho
Продолжаем погружаться во внутреннее устройство ScyllaDB. 🤿 Вводная часть посвящена теме LSM деревьев, но главное в этом видео - это стратегии сжатия. Автор строит треугольник Read-Write-Space. Затем все разобранные стратегии помещаются в этот треугольник. Каждый может выбрать свою стратегию исходя из особенностей нагрузки.

Рекомендую ознакомиться с этими выступлениями. На данный момент все видео доступны на сайте конференции бесплатно.
ScyllaDB Summit 2024

🎦Vector search in old and modern databases от Сергея Николаева, технического директора ManticoreSearch и Петра Зайцева соучредителя Manticore Software Ltd.

Спикер знакомит читателя с алгоритмами векторного поиска. Какие виды поиска существуют и в каких СУБД они реализованы.

❗️Напоминаю, что 7 марта 2024 года Сергей Николаев прочтёт лекцию по продукту ManticoreSearch для студентов МФТИ. Уверен, будет весьма интересно и захватывающе!
Не пропустите!

🎦20 февраля 2024 года в компании Яндекс прошел первый митап для разработчиков СУБД "Database Internals Meetup #1: Оптимизатор YDB, и как Picodata меняет рынок in-memory data grid".

На этом митапе было 2 доклада:
1. Оптимизатор YDB. Спикер Павел Велихов
2. Picodata меняет рынок in-memory data grid. Спикер Константин Осипов.

📍Первый доклад - технический хардкор. Мне, человеку, далекому от разработки, оценить выступление было довольно сложно. Речь шла о гибких моделях данных (Anchor), SOTA технике и динамическом программировании (DPccp, DPhyp). Если вы интересуетесь внутренним устройством компонентов СУБД YDB, то материал будет вам очень полезен.

📍Второй доклад в разы проще для восприятия. По сути, Константин рассказал историю создания СУБД Tarantool, какую роль он выполнял в проекте, почему были приняты те или иные решения в разработке и многое другое. Всем, кому интересно развитие коммерческих СУБД - обязательно к просмотру! 🫵

Дополнительно отмечу несколько тезисов доклада:
📌 Если смотреть на рынок коммерческих СУБД, то идёт конвергенция к SQL-like СУБД с поддержкой сложных композитных типов данных.

🧨 Коммерческие СУБД развиваются по принципу: "Мы хотим так же, как в СУБД 'Х', но еще и с 'Y' функцией/ями"

✨ OLAP требует очищенных и строго типизированных данных. Из этого утверждения можно сделать вывод, что MongoDB - это аналитическая СУБД.

📌 Коммерческие СУБД с 2013 года - это гибрид между СУБД и сервером приложений.

🧨 КО: «Главная ошибка (Tarantool), что мы родились в ВК. ВК душит инновации. Нас отправили в рынок собирать деньги. С YDB совсем другая история».

Весь митап доступен на youtube: Database Internals Meetup #1: Оптимизатор YDB, и как Picodata меняет рынок in-memory data grid

🎦 “Анализируем данные в real-time”. Вебинар от компании ВК. Спикер Николай Карлов.
Презентация

Можно сказать, что это первая презентация нового продукта Tarantool Column Store.
Соответствующий пост на Хабре.

✍️Основные тезисы:

📍Tarantool Column Store - это коммерческая СУБД. Следовательно, не opensource.
📍Первая СУБД с поддержкой HTAP обработки. Так это или нет, сказать сложно - нет реальных тестов.
📍Нет никаких сравнений с текущими конкурентными решениями.
📍Был выдвинут тезис, что решения на базе новой СУБД при внедрении и эксплуатации окажутся дешевле аналогов. Но это ничем не подтверждено.

Презентация началась с рабочих кейсов. Спикер приводит пример: корпоративные клиенты с оборотом 1000+ транзакций в день ждут от Интернет-Банкинга возможности построить аналитические отчеты. Я, как человек, который работает с юриками с 2006 года, скажу, что крупным юрикам не нужны никакие графики от интернет-банка. Они их ждут от 1С бухгалтерии, т.к. именно в 1С есть информация не только по счетам в одном банке, а по всем счетам во всех банках - в 1С сливается вся информация. Странно требовать от интернет-банка способности строить крутые BI-отчеты. Возможно, заказчик (банк) выдвинул такие требования, и ВК тут не виноваты (они лишь исполнители), но со стороны такая "хотелка" кажется очень странной.

Спустя час пятнадцать от начала выступления началась секция вопросов-ответов. Спикер отвечал подробно и добросовестно, но часто терял суть заданного вопроса. 🤦

В общем, ждем анонсов докладов/презентаций СУБД Tarantool Column Store на различных митапах/конференциях/форумах. Рекламная кампания только началась, как и календарный год.