https://t.iss.one/sterodata/25
Я от части согласен с некоторыми пунктами, но далеко не со всеми.

HighLoad++ SPB 26-27 июня 2023

Зал 00. Башня. 26 и 27

1. Современные базы данных. Как выбрать СУБД в 2023?
Преза 
Для меня одно из самых больших разочарований. Такая тема интересная, но автор говорил о чём угодно, только не о том, что нужно. Краткий итог: "Хорошая СУБД - это опенсорс СУБД. Конец." Весь смысл доклада в одном предложении. У меня осталось очень грустное послевкусие.

2. Распределенные графовые СУБД — будущее для аналитики на Больших Данных?
Преза
Мне очень понравился доклад. Было интересно. Смущает только, что автор человек из YDB, но графовый функционал в YDB даже не планируется. Фактически автор рассказал то, чем занимался ДО работы YDB или о своем хобби :-)

3. От алгоритма до прода: как подойти к верификации распределенных систем
Преза
Сложная тема. Я для себя сделал такой вывод, что верификаций систем надо заниматься в команде. Хорошей и мощной команде. На своём "горбу" это нести смысла нет.

4. Революция в управлении данными — рассвет графовых баз данных
Преза
Тяжелый доклад. 0 картинок и куча текста. Возможно просто не моё. По сути автор пытался донести информацию о том, что графовые СУБД могут быть применены в любом секторе. Они полезны чуть ли не везде. Прежде всего в задачах аналитики, BI, поиска связей и т.п. Как говорится: "Ну Ок". Посмотрим, что будет дальше.

p.s. безусловно, это далеко не все доклады по СУБД, я выбрал самые бесплатные полезные.

Полистал сегодня книжку: "Бёрнс Б.Распределенные системы. Паттерны проектирования. — Питер, 2019"
Написано в целом интересно. К сожалению, для меня не очень много полезного, но кое-что полезное почерпнул.

Топ прикольных цитат:

"Если бы мы писали весь необходимый программный код самостоятельно, то мы никогда бы ничего не доделали."

"Проектирование распределенных систем пока остается «черной магией» для посвященных, а не наукой, доступной непрофессионалу."

"Цель паттерна — предоставить общие предложения по архитектуре системы, задать ее ориентировочную структуру"

https://www.youtube.com/watch?v=H8EC002zS-0
Отличное видео по векторному поиску.

"Мониторинг PostgreSQL" (с)
Мне очень зашла картинка

Новостной выпуск №4

1. https://habr.com/ru/companies/ru_mts/articles/748112/
Нейросеть и SQL. Фактически это начало эры занятий с учителем без учителя.

2. https://habr.com/ru/companies/yandex_cloud_and_infra/articles/747998/
Использование YDB и PostgreSQL одновременно. Необходимо было использовать YDB в качестве дополнительного хранилища и реализовать запись в новую базу YDB. При этом чтение осуществлялось по такой логике: «если в YDB данных нет, то попробуй сходить в PostgreSQL. Если там данные есть, то дозапиши их в YDB и отдай пользователю». Данные начали мигрировать по мере обращения к ним.

3. https://habr.com/ru/companies/itglobalcom/articles/746252/

4. https://redis.com/blog/redisgraph-eol/
RedisGraph прощается с нами. Компания объявила, что более не будет развивать этот продукт. 31 января 2025

5. https://redis.com/blog/data-101-data-science-fundamentals/
По этой статье можно сделать первую лекцию по БД.

6. https://www.eweek.com/artificial-intelligence/influxdata-time-series-databases/
Интересный подкаст с CEO InfluxData Evan Kaplan. Однако забавно слышать в качестве преимуществ свого продукта такие вещи как: "1. Мы начали разработку раньше всех. В 2013 году. 2. У нам большое опен-сорс сообщество. 3.Мы успели привлечь огромное количество компаний к нашему продукту". В целом, это всё. По мне, все эти преимущества пустой звук.

7. https://www.datamation.com/cloud/current-database-trends/
Очередная статейка по трендам баз данных. В целом, ничего интересного. Если бы год статьи поменять с 2023 на 2020 или 2019, то ничего бы не изменилось. Забавно, что автор выделяет в отдельный тренд переход СУБД на работу со флеш-накопителями и даже ставит их выше СУБД ориентированные на работу с RAM. Страннова-то конечно. Еще интересный тренд в области безопасности СУБД. Мне кажется безопасность всегда будет идти рука обруку с любой технологией.

8. https://thenewstack.io/breaking-barriers-democratizing-access-to-vector-databases/
Еще раз про векторные СУБД. Главная фишка, что указана ссылка на бенчмарк для векторных СУБД. Очень интересно было бы погонять тесты.

9. https://www.influxdata.com/blog/influxdb-3-0-system-architecture/
ороший архитектурный разбор новой базы данных InfluxDB 3.0. Позиционируется как cloud-native и highly elastic. Переписан движок хранения с LSM на чистый Parquet с Arrow, а запросами ведает Apache DataFusion. Понятное дело, всё на Rust. Сторадж оторван в объектное хранилище, а системный каталог вообще в Postgres/RDS. От старого influx остался только язык запросов Flux, но DataFusion представляет очередной диалект SQL со своими особенностями. Совместимость мажорных версий InfluxDB всегда была головной болью, поэтому можно смело считать их независимыми базами данных. Пока что это cloud-only, отдельные компоненты есть в опен-сорсе, поэтому может и докатиться до OSS-версии.

10. https://www.kdnuggets.com/2023/07/duckdb-getting-popular.html
Интересный конкурент SQLite. Думаю стоит внимания.

https://www.orioledata.com/blog/no-more-vacuum-in-postgresql/

Люблю такие пафосные статьи

Хорошая статейка на тему векторных БД с объяснением "на пальцах"
https://towardsdatascience.com/explaining-vector-databases-in-3-levels-of-difficulty-fc392e48ab78

Новостной выпуск №5

1. https://habr.com/ru/companies/flant/articles/747760/
Хорошая техническая статья по сравнению кластерных возможностей keyDB с Redis. Конечно в ней больше про KeyDB, но не суть.
Автор пишет хорошо и интересно.

2. https://habr.com/ru/companies/vk/articles/748082/
Новая "мага" по распределенных системах от VK на базе ВУЗа ИТМО.
Меня привлекло то, что в 1-ом семестре будут 2 предмета по БД: "Углубленные БД" и "NoSQL БД". Очень интересны учебные программы. Особенно заинтересовал спойлер в виде методики преподавания live coding. Очень интересно как это будет реализовано...

3. https://habr.com/ru/companies/timeweb/articles/748812/
Верификация распределенных систем.

4. https://siliconangle.com/2023/07/21/sqldbm-helps-psl-group-improve-medical-care-through-visualized-and-interactive-database-modeling-snowflakesummit/
"Облачная СУБД Snowflake такая классная! Она позволили улучшить показатели качества мед.обслуживания нашей компании PSL Group" (с). Краткий тезис новости :-).
Хотелось бы подроюностей, но хоть так...

5. https://blog.jetbrains.com/dotnet/2023/07/20/reverse-engineering-existing-databases-with-entity-framework-core/
В этой статье затронута довольна интересная тема реверс-инженеринга готового проекта. Есть какая-то схема в бд, есть функции, процедуры, представления. Хочется понять их логическую взаимосвязь. Довольно интересное поле для исследований. Хотя возможно я ошибаюсь и всё уже давны-давно разобрано "до белых костей".

6. https://thenewstack.io/what-is-a-real-vector-database/
Продвигается интрумент тестирования векторных СУБД VectorDBBench. Супер, сразу можно понять подойдёт вам та или иная СУБД.

7. https://thenewstack.io/why-developers-need-vector-search/
Опять про векторный поиск и какой он классный...

8. https://www.theregister.com/2023/07/18/benefits_that_drive_enterprise_adoption/
Графовые БД потихонечку завоевывают своё "место под солнцем". Небольшая реклама книги.

https://www.youtube.com/watch?v=iJPjOaajQdQ
Несколько видео с лекциями Константина Осипова по Базам Данных для аналитиков данных. Очень крутой спикер. Всем советую его послушать!

Новостной выпуск №6

1. https://mariadb.com/resources/blog/new-mariadb-enterprise-server-23-release-now-available-as-technical-preview/
Интересное почитать про фичи новой версии МарииДБ. Для ознакомления пойдёт.

2. https://www.vertabelo.com/blog/data-model-for-inventory-management-system/
Очередной сайт по проектирвоанию БД онлайн. Ничего особо интересного, но так, полистать сойдёт.

3. https://thenewstack.io/predictive-analytics-using-a-time-series-database/
Прогнозная аналитика в TSDB. Тема очень интересная. Хотелось бы пощупать такой проект в живую. Думаю для дипломных работ вполне может зайти.

4. https://www.pcgamer.com/notorious-hacking-forums-data-up-for-sale-after-being-hacked-by-other-hackers/
Что тут важного... База данных BreachForums с 212 тысяч записей стоит 100 000-150 000 долларов (даже 250 000 долларов).
Получается 50 центов за 1 учетку. Хочется поразмышлять о стоимости и ценности украденных данных. Почему именно такая цена? Кто готов за неё заплатить? Какие последствия в случае успешной продажи? Куча вопросов без ответа...

5. https://www.securityweek.com/maritime-cyberattack-database-launched-by-dutch-university/
Продолжение темы кибербезопасности.
"База данных о морских кибератаках также может быть использована для создания реалистичных симуляций киберинцидентов, заявили ее создатели" (с).

6. https://www.itnews.com.au/news/australia-post-looks-to-graph-database-digital-twin-to-improve-delivery-598130
Почтовые компании тоже пытаются постичь Джен с графовыми БД. Интересно, у Почты России (или ПочтыТех) есть такие планы?

7. https://www.dbta.com/Magazine/Database-Trends-and-Applications-Magazine-June-July-2023-Issue-12882.aspx
Очередной номер журанала о трендах в области баз данных за июнь/июль. Обзор журанал сделаю чуть позже.

8. https://arenadata.tech/about/news/arenadata-zanyala-chetvertoe-mesto-sredi-razrabotchikov-gotovogo-po-v-renkinge-raex/
"Себя не похвалишь - никто не похвалит" (с) Аренадата продолжает зарабатывать кучу денег. Снимаю шляпу перед маркетологами.

9. https://habr.com/ru/companies/yandex/articles/748134/
Интересная статья на тему релевантного поиска в магазине. Самое интересеное, что используются 3 разных движка и методов поиска в зависимости от настроек системы. Интересное решение.

10. https://habr.com/ru/companies/cloud_mts/articles/750592/
Для людей, которые занимаются мониторингом весьма полезная статья. Думаю отличное начало для проектирования дашборда по отслеживанию сотояния БД.

Разбор некоторых статей из журнала "Database-Trends-and-Applications" за июнь/июль 2023.

1. Статья: Data Leaves the Silo to Power the Intelligent Enterprise By Joe McKendrick
Несколько цитат: «К 2025 году по меньшей мере 90% новых выпусков корпоративных приложений будут включать встроенные функции искусственного интеллекта», «Существует также "облачизация" баз данных с открытым исходным кодом с полностью управляемыми сервисами, объем рынка которой значительно растет», «более 70% новых приложений будут разрабатываться на основе баз данных с открытым исходным кодом», «Еще 80% предприятий будут работать в нескольких облаках».

2. Статья: The New World of DATABASE TECHNOLOGIES and STRATEGIES in 2023
Несколько советов по достижению адекватного понимая в работе СУБД
А. Обучайте бизнес-пользователей, обучайте команду базы данных
Б. Держите бизнес на переднем плане и в центре внимания.
В. Сделайте архитектуру данных и моделирование данных более важными, чем когда—либо.
Г. Активизируйте запросы.
Д. Убедитесь, что все данные скопированы, доступны и защищены
Е. Следите за производительностью и потенциальными сбоями
Ж. Продолжайте автоматизацию
З. Поддерживайте в актуальном состоянии навыки каждого
И. Обратите внимание на DataOps, DevOps и гибкие методологии

3. Статья: Data Democratization for Highly Siloed, Complex, and Large Organizations
Очень расплывчатая статья по демократизации данных. Основная идея, чтобы новые сервисы использовали существующие пулы данных и т.п.

4. Статья: Five Tips for Becoming a More Effective Database Professional
А. Если и учиться, то только в «полевых условиях».
Б. Ищите наставника и учитесь у других.
В. Пройдите специализированные курсы и получите сертификаты.
Г. Планируйте заранее. Учитесь быть проактивными.
Д. Используйте систему мониторинга.

5. Статья: Arweave Aims to Provide a ‘Forever’ Data Store
История имеет тенденцию меняться. Каждый правитель может изменить какие-то исторические реалии и следовать им. Это является огромной проблемой современного общества. Как вариант борьбы с этим, можно вести «летопись» с помощью технологии Блокчейн. Она позволит сохранить данные в неизменяемом виде. Это прекрасная идея и концепция. Мне кажется эта особенность может дать второе рождение этой технологии.

6. Статья: AI Is Impacting the Role of the DBA
Это мечта любой компании, что добавив ИИ можно будет сократить штат админов до 1-2 человек. Автоматизированные БД и т.п. Сейчас многие крупные компании пытаются разработать инструменты управления БД с функциямии ИИ. Порой это весьма полезно. НО… стоимость такого ПО заоблачная… Однако для владельцев облачных БД думаю вполне посильная. ИИ будет всё чаще встречаться нам в облачных сервисах.

7. Статья Programming and Attitudes
Если кратко, то статья о том, что в самого начала проекта надо задать все интересующие вопросы. Не должно быть много значности и прочее.

Новостной выпуск №7

1. https://habr.com/ru/companies/cloud_mts/articles/751720/
Жизненная статья про возможный ущерб в случае падения БД.

2. https://habr.com/ru/companies/ydb/articles/751374/
Фишки новой версии YDB.

3. https://datageek.blog/en/2023/08/03/what-is-snowflake/
Что такое "снижинка" и с чем её едят.

4. https://www.infoq.com/presentations/tigerbeetle/

5. https://thenewstack.io/comparing-different-vector-embeddings/

Why Machine Learning for Automatically Optimizing Databases Doesn't Work by Andy Pavlo - JOTB23
Очень интересное исследование машинного обучения и автоматизированных СУБД. Всего можно добиться, но есть огромное число нюансов....

#smartdata2023
Что не так с NoSQL?
Нападение
- Нет определения термина NoSQL. Что это такое - непонятно.
- Если мы говорим, что используем в проекте NoSQL СУБД, то это означает любую не РСУБД.
- Cassanda - антагонист MongoDB

Защита
- Что такое SQL СУБД? Их так же огромное количество.
- Если мы говорим SQL, то подразумеваем ACID
- NoSQL - удобный термин. "Понятный" для многих.

#smartdata2023
ACID-транзакции в Apache Cassandra 5.0
Немного про ACCORD.
Кассандра потенциально первая СУБД с поддержкой leaderless ACID транзакций.
Неплохо дано введение в аккорд и зачем это нужно Кассандре.