Как создать свою СУБД с нуля и не сойти с ума. Практическое пособие начинающему некроманту. Часть первая

Забавная статья на тему создания собственной СУБД. Достойна рассмотрения

✅ Эти навыки и знания полезны как в личных, так и профессиональных целях

✅ Кроме того, создание собственной базы данных может стать интересным хобби

✅ Возможно, и вы решите попробовать создать свою собственную СУБД и откроете для себя новый мир информационных технологий!

👨🏻‍💻 Видео довольно старое, но мне понравилось, как автор ответил на вопрос о различиях DWH и Data Lake

⚡️ Для тех, кто не знаком с этими понятиями, хранилище данных (DWH) - централизованная система, где данные собираются, обрабатываются и хранятся в структурированном виде.

⚡️ DWH обычно используется для анализа и отчетности, где данные предварительно обрабатываются и структурируются для легкого доступа и использования.

ТОП популярных СУБД по версии сайта StackOverflow.

🧩 На мой взгляд, ничего удивительного! Когда речь заходит о популярности субд, всё предсказуемо.

🎉 Правда, одной из самых популярных систем управления базами данных оказался MySQL. Не могу сказать, что это меня шокирует.

📌 MySQL широко используется из-за своей простоты в использовании и отличной производительности.

🔮Публикация статей на Хабре | Наиболее полезные советы для написания НИР

🔻 В современном академическом мире составление научно-исследовательской работы (НИР) является одним из важных шагов в обучении на бакалавриате или магистратуре.

🔻 Студенты готовят НИР, чтобы продемонстрировать свои знания, умения и способности в определенной области. Вместе с тем, это также открывает возможности для публикации таких работ на популярных платформах, включая Хабр.

🔻 В данной статье я хочу поделиться своим опытом и дать несколько полезных советов по написанию НИР с возможностью последующей публикации на Хабре.

https://habr.com/ru/company/yandex/blog/702998/?from=vk

https://habr.com/ru/company/otus/blog/710094/

‼️ Полезно ещё раз напомнить себе основы основ

✅ Резервное копирование и восстановление СУБД PostgreSQL играют важную роль в обеспечении безопасности данных и надежности системы.

♻️ В случае сбоя или потери данных, наличие актуальной резервной копии СУБД PostgreSQL позволяет быстро восстановить базу данных и минимизировать потери.

⏱ 6 минутное видео об использовании СУБД Redis 📌

🌐 Весьма полезно для любого разработчика или системного администратора ознакомиться с функциональностью и преимуществами СУБД Redis.

🛜 Redis – это высокопроизводительная и масштабируемая система управления базами данных, которая основывается на принципе хранилища "ключ-значение".

https://www.youtube.com/watch?v=a4yX7RUgTxI

https://yeniseidb.ru/#sbd

🤖🧠СУБД «Енисей» — это документо-ориентированная распределённая NoSQL СУБД с поддержкой multi-master replication.

🔧 Представляет собой инструмент управления оперативными базами данных, необходимых для построения сложных, высоконагруженных проектов.

🔨 Она специально разработана для распределенного хранения и обработки информации без использования SQL.

🔗 Это означает, что изменения, внесенные в одну копию базы данных, автоматически синхронизируются с другими копиями, обеспечивая надежность и доступность данных.

Люблю когда народ считает чужие деньги. Это прекрасно!

По факту ничего неожиданного. Компания развивается семимильными шагами.
https://www.cnews.ru/news/top/2023-04-13_vyruchka_razrabotchika_glavnoj

https://www.youtube.com/watch?v=O3PwuzCvAjI
Очень крутой ролик. Идея "супердисков" мне зашла. Интересно такую конфигурацию пощупать в реале.

«Три кита» при выборе СУБД: производительность, безопасность и отказоустойчивость (с)

Новостной выпуск №1
1. https://habr.com/ru/companies/k2tech/articles/741980

‼️Интересная статья.

➖Позволяет чуть-чуть окунуться в мир выбора СУБД для проекта в компании. Однако самое интересное, как всегда, в комментариях. Справедливое замечание: «К вопросу выбора коммерческой СУБД я бы ещё обязательно добавил:
Год основания компании, Списочная численность сотрудников (чтобы кто-то поддерживал продукт), Финансовые показатели, Риски по СПАРК.
Пример:
Квантом - в глубоком минусе по прибыли.
Orion soft - 28 сотрудников»

2. https://habr.com/ru/companies/sportmaster_lab/articles/741828

‼️Отличная статья про попытки поддерживать консистентность и доступность в распределённой среде.

➖Некоторые кейсы для меня оказались в новинку. Конечно же, очень здорово, что автор и хабр в целом постоянно нас отсылают к конфе HighLoad++.
«Только там вы получили самую актуальную информацию )) если не получили, что через годик напомним» (с)

3. https://habr.com/ru/companies/redmadrobot/articles/741414/

‼️Не сильно относится к базам данных, но статья интересная. Какое-то хорошее впечатление о машинном обучении на душе остаётся.

➖Отдельно хотел бы отметить, список участников написанной статьи. Их трое: автор, редактор и иллюстратор. Очень круто, когда работает целая команда. Это серьезно поднимает качество контента.

5. https://www.sqlshack.com/different-methods-for-monitoring-mongodb-databases/

‼️Не скажу, что статья прям балует какими-то откровеньями, но она полезна с точки зрения напоминания того, что мы мониторим, зачем и т.п.

➖Кратко описаны встроенные утилиты и инструменты в саму монго. Мне кажется, стоит рассматривать этот материал как «освежить в памяти» и не более того.

6. https://redis.com/blog/ai-impact-on-inventory-optimization-and-demand-forecasting/

‼️Все больше и больше новостей про векторные СУБД.

➖Мне кажется это лучше назвать новой технологией, которая будет интегрирована в современные СУБД. Она уже доступна в каком-то виде в Редис и АстраДБ(Cassandra). Думаю, прочие производители быстро подтянутся к этому тренду.

7. https://www.datavail.com/blog/how-to-choose-the-right-database/

‼️Очередная, казалось бы, интересная статья, но по факту бесполезна и ни о чём.

➖По сути, интересен лишь один слайд с описанием причин модернизации и смены архитектуры СУБД из-за обострения тех или иных проблем.

8. https://thenewstack.io/top-5-vector-database-solutions-for-your-ai-project

‼️Интересный ТОП "истиновекторных" СУБД.

➖Для меня тема довольно новая и неизведанная. Однако хотелось бы надеяться, что она будет воспринято лучше, чем блокчейн СУБД.

9. https://www.scmagazine.com/news/threat-intelligence/mssql-93-percent-all-activity-honeypots-tracking-10-databases

‼️Забавное исследование про атаки на СУБД. Топ 1 - ms sql (кто бы сомневался). Топ 2 - Redis. Неожиданно.

➖Отдельно отмечу, что в исследовании указаны страны Россия и Украина. Если честно, я пока не очень понимаю как исследователи сотрудничают с данными странами в текущей ситуации. Ну, да, ладно...

10. https://www.infoq.com/news/2023/06/paypal-junodb-kv-store/

‼️PayPall тоже поделились своей СУБД поделкой под названием JunoDB.

➖Основана на RocksDB. Здорово, что такие мастадонты вкладываются в Opensource сообщества. Надеюсь эта база данных найдёт своего клиента.

11. https://www.dbta.com/Editorial/News-Flashes/Arweave-Aims-to-Provide-a-‘Forever-Data-Store-159044.aspx

‼️Финалочка. Как сохранить данные от вмешательства сторонних лиц и обеспечить неизменяемость истории?

➖Ответ на этот вопрос изложен в статье. Спойлер - нас спасёт блокчейн. Идея интересная. Посмотрим, как долго проект продержится "на плаву" :-)

"Что такое стартап? Стартап - бизнес-проект, созданный для проверки бизнес-гипотезы." (Highload++ SP 2023)

"Если в стартапе появилась нагрузка и понадобилось масштабирование, то это уже не стартап" (Highload++ SP 2023)

Новостной выпуск №2

https://habr.com/ru/articles/743438/
https://habr.com/ru/companies/stm_labs/articles/743276/
https://habr.com/ru/companies/jetinfosystems/articles/739956/
https://habr.com/ru/articles/742244/
https://www.infoworld.com/article/3700072/aerospike-s-new-graph-database-to-support-both-olap-and-oltp-workloads.html
С одной стороны весь мир стремиться к централизации и мультимодельности. Однако в этой статье можно прийти к иному выводу. Казалось бы, зачем компания вывела на рынок новый продукт для работы с графами? Почему это не расширение к текущей СУБД? Вопросы для дальнейшего анализа.
https://dbakevlar.com/2023/06/generating-test-data-with-chatgpt/
Мне кажется это гениально.
https://www.percona.com/blog/mysql-or-postgresql-which-is-better/
https://www.singlestore.com/blog/implement-vector-embeddings-on-json-data/
https://www.vertabelo.com/blog/database-design-principles/
https://db-engines.com/en/blog_post/105
https://www.percona.com/blog/the-ultimate-guide-to-database-high-availability/
https://www.zdnet.com/article/databricks-1-3-billion-buy-of-ai-startup-mosaicml-is-a-battle-for-the-databases-future/#ftag=RSSbaffb68
https://siliconangle.com/2023/06/24/mastering-mongodb-data-modeling-schema-design-future-ai-mongodbnyc/
https://www.datamation.com/big-data/top-database-challenges/
https://blogs.gartner.com/robin-schumacher/4-things-hot-database-vendors-have-in-common/
https://thenewstack.io/real-time-databases-who-is-using-them-and-why/

https://habr.com/ru/articles/743196/
https://habr.com/ru/companies/pt/articles/735756/

https://www.cnews.ru/news/line/2023-06-22_podtverzhdena_sovmestimost
https://www.cnews.ru/news/line/2023-06-21_kompaniya_tantor_labs_vypustila

Новостной выпуск №3

1. https://habr.com/ru/articles/745406/
Хорошая статья, но мало. Я вроде только захотел погрузиться в принципы работы стратегий 2Q и структуры DashTable как всё закончилось.
Как всегда всё самое сладкое в комментариях. Очень советую почитать.
Очень интересно было бы прочитать и пообщаться с людьми, кто попробовал этот продукт у себя.

2. https://habr.com/ru/articles/745948/
Хорошенькая и простенькая статейка по азам SQL.
Вроде ничего такого, но комментариев к посту тьма :-)
Всё-таки пригорает у народа, когда в названии статьи есть слова: "SQL", "собес"

3. https://habr.com/ru/companies/ru_mts/articles/745736/
FairCom DB - первый раз услышал об этой СУБД. Если эта СУБД действительно широкоиспользуется в авиосообщении США, то это довольно интересно. В целом статья весьма скромная. Такое ощущение, что автор собирается сделать целый цикл. Посмотрим.

4. https://habr.com/ru/companies/sberbank/articles/741894/
Коротенькая статейка. Вроде кажется полезной, но я вот прочёл её, а в голове ничего толком не осталось.

5. https://habr.com/ru/companies/vk/articles/743390/
VK пиарят сами себя. Tarantool лучше всех и т.п. У меня весьма предвзятое отношение к подобным статьям

6. https://habr.com/ru/companies/X5Tech/articles/743696/
Статья на тему сравнения ClickHouse и Spark. Угадайте, кто победил? Правильно, именно он.
Приятно читать, когда продукты у истоков которых были люди из России покоряют российский рыкнок :-)

7. https://en.pingwest.com/w/11924
Игровой гигант Tancent запускает проект с векторными СУБД (VectorDB).
Нейросети будут обучаться еще быстрее. Ура :-)

8. https://www.darkreading.com/dr-tech/fortanix-builds-hardware-security-wall-around-plaintext-search
Fortanix внедряет технологию аппаратной безопасности в поиск по базе данных с помощью функции поиска конфиденциальных данных с целью помочь организациям обрабатывать высокочувствительные данные в базах данных.

9. https://www.zdnet.com/article/nvidia-teams-up-with-snowflake-for-large-language-model-ai/#ftag=RSSbaffb68
Snowflake + GPU Nvidea = очередная платформа для тренировки ИИ.

10. https://www.infoworld.com/article/3700448/6-key-features-of-singlestore-kai-for-mongodb.html
Я прочел эту статью у меня сложилось впечатление из разряда: "Ну, купите наш стартап! Пожалуйста! Вон, мы в некоторых кейсах аналитики аж в 100 раз круче обычных СУБД! Купите нас!"

11. https://www.informationweek.com/big-data/top-tips-for-weeding-out-bad-data#
Статья полна "воды", как бы "каламбурно" это не звучало. Однако в ней поднимается довольно интересная тема про валидацию данных в компании. Из разрядка, как не позволить вашему озеру данных превратиться в болото данных.
Тема для дальнейшего изучения.

Скоро я подготовлю срез по прошедшему HighLoad++ в Питере