Новостной выпуск №6

1. https://mariadb.com/resources/blog/new-mariadb-enterprise-server-23-release-now-available-as-technical-preview/
Интересное почитать про фичи новой версии МарииДБ. Для ознакомления пойдёт.

2. https://www.vertabelo.com/blog/data-model-for-inventory-management-system/
Очередной сайт по проектирвоанию БД онлайн. Ничего особо интересного, но так, полистать сойдёт.

3. https://thenewstack.io/predictive-analytics-using-a-time-series-database/
Прогнозная аналитика в TSDB. Тема очень интересная. Хотелось бы пощупать такой проект в живую. Думаю для дипломных работ вполне может зайти.

4. https://www.pcgamer.com/notorious-hacking-forums-data-up-for-sale-after-being-hacked-by-other-hackers/
Что тут важного... База данных BreachForums с 212 тысяч записей стоит 100 000-150 000 долларов (даже 250 000 долларов).
Получается 50 центов за 1 учетку. Хочется поразмышлять о стоимости и ценности украденных данных. Почему именно такая цена? Кто готов за неё заплатить? Какие последствия в случае успешной продажи? Куча вопросов без ответа...

5. https://www.securityweek.com/maritime-cyberattack-database-launched-by-dutch-university/
Продолжение темы кибербезопасности.
"База данных о морских кибератаках также может быть использована для создания реалистичных симуляций киберинцидентов, заявили ее создатели" (с).

6. https://www.itnews.com.au/news/australia-post-looks-to-graph-database-digital-twin-to-improve-delivery-598130
Почтовые компании тоже пытаются постичь Джен с графовыми БД. Интересно, у Почты России (или ПочтыТех) есть такие планы?

7. https://www.dbta.com/Magazine/Database-Trends-and-Applications-Magazine-June-July-2023-Issue-12882.aspx
Очередной номер журанала о трендах в области баз данных за июнь/июль. Обзор журанал сделаю чуть позже.

8. https://arenadata.tech/about/news/arenadata-zanyala-chetvertoe-mesto-sredi-razrabotchikov-gotovogo-po-v-renkinge-raex/
"Себя не похвалишь - никто не похвалит" (с) Аренадата продолжает зарабатывать кучу денег. Снимаю шляпу перед маркетологами.

9. https://habr.com/ru/companies/yandex/articles/748134/
Интересная статья на тему релевантного поиска в магазине. Самое интересеное, что используются 3 разных движка и методов поиска в зависимости от настроек системы. Интересное решение.

10. https://habr.com/ru/companies/cloud_mts/articles/750592/
Для людей, которые занимаются мониторингом весьма полезная статья. Думаю отличное начало для проектирования дашборда по отслеживанию сотояния БД.

Разбор некоторых статей из журнала "Database-Trends-and-Applications" за июнь/июль 2023.

1. Статья: Data Leaves the Silo to Power the Intelligent Enterprise By Joe McKendrick
Несколько цитат: «К 2025 году по меньшей мере 90% новых выпусков корпоративных приложений будут включать встроенные функции искусственного интеллекта», «Существует также "облачизация" баз данных с открытым исходным кодом с полностью управляемыми сервисами, объем рынка которой значительно растет», «более 70% новых приложений будут разрабатываться на основе баз данных с открытым исходным кодом», «Еще 80% предприятий будут работать в нескольких облаках».

2. Статья: The New World of DATABASE TECHNOLOGIES and STRATEGIES in 2023
Несколько советов по достижению адекватного понимая в работе СУБД
А. Обучайте бизнес-пользователей, обучайте команду базы данных
Б. Держите бизнес на переднем плане и в центре внимания.
В. Сделайте архитектуру данных и моделирование данных более важными, чем когда—либо.
Г. Активизируйте запросы.
Д. Убедитесь, что все данные скопированы, доступны и защищены
Е. Следите за производительностью и потенциальными сбоями
Ж. Продолжайте автоматизацию
З. Поддерживайте в актуальном состоянии навыки каждого
И. Обратите внимание на DataOps, DevOps и гибкие методологии

3. Статья: Data Democratization for Highly Siloed, Complex, and Large Organizations
Очень расплывчатая статья по демократизации данных. Основная идея, чтобы новые сервисы использовали существующие пулы данных и т.п.

4. Статья: Five Tips for Becoming a More Effective Database Professional
А. Если и учиться, то только в «полевых условиях».
Б. Ищите наставника и учитесь у других.
В. Пройдите специализированные курсы и получите сертификаты.
Г. Планируйте заранее. Учитесь быть проактивными.
Д. Используйте систему мониторинга.

5. Статья: Arweave Aims to Provide a ‘Forever’ Data Store
История имеет тенденцию меняться. Каждый правитель может изменить какие-то исторические реалии и следовать им. Это является огромной проблемой современного общества. Как вариант борьбы с этим, можно вести «летопись» с помощью технологии Блокчейн. Она позволит сохранить данные в неизменяемом виде. Это прекрасная идея и концепция. Мне кажется эта особенность может дать второе рождение этой технологии.

6. Статья: AI Is Impacting the Role of the DBA
Это мечта любой компании, что добавив ИИ можно будет сократить штат админов до 1-2 человек. Автоматизированные БД и т.п. Сейчас многие крупные компании пытаются разработать инструменты управления БД с функциямии ИИ. Порой это весьма полезно. НО… стоимость такого ПО заоблачная… Однако для владельцев облачных БД думаю вполне посильная. ИИ будет всё чаще встречаться нам в облачных сервисах.

7. Статья Programming and Attitudes
Если кратко, то статья о том, что в самого начала проекта надо задать все интересующие вопросы. Не должно быть много значности и прочее.

Новостной выпуск №7

1. https://habr.com/ru/companies/cloud_mts/articles/751720/
Жизненная статья про возможный ущерб в случае падения БД.

2. https://habr.com/ru/companies/ydb/articles/751374/
Фишки новой версии YDB.

3. https://datageek.blog/en/2023/08/03/what-is-snowflake/
Что такое "снижинка" и с чем её едят.

4. https://www.infoq.com/presentations/tigerbeetle/

5. https://thenewstack.io/comparing-different-vector-embeddings/

Why Machine Learning for Automatically Optimizing Databases Doesn't Work by Andy Pavlo - JOTB23
Очень интересное исследование машинного обучения и автоматизированных СУБД. Всего можно добиться, но есть огромное число нюансов....

#smartdata2023
Что не так с NoSQL?
Нападение
- Нет определения термина NoSQL. Что это такое - непонятно.
- Если мы говорим, что используем в проекте NoSQL СУБД, то это означает любую не РСУБД.
- Cassanda - антагонист MongoDB

Защита
- Что такое SQL СУБД? Их так же огромное количество.
- Если мы говорим SQL, то подразумеваем ACID
- NoSQL - удобный термин. "Понятный" для многих.

#smartdata2023
ACID-транзакции в Apache Cassandra 5.0
Немного про ACCORD.
Кассандра потенциально первая СУБД с поддержкой leaderless ACID транзакций.
Неплохо дано введение в аккорд и зачем это нужно Кассандре.

An Honest Comparison of Open Source Vector Databases - KDnuggets
https://www.kdnuggets.com/an-honest-comparison-of-open-source-vector-databases

#smartdata2023
Разгоним запросы: как быстро готовить ClickHouse
Презентация
Best Practise по настройке ClickHouse. Полезненько.

#smartdata2023
Движение к универсальности: гибридная OLTP-база с поддержкой OLAP-запросов
Презентация

Хороший доклад. Очень наглядно изложены отличия OLAP и OLTP нагрузок. Предложены идеи по решению основных проблем по созданию HTAP хранилища

#smartdata2023
Сжатие, шифрование и не только: меняем поведение и гарантии распределенной базы данных
Презентация
Чудесный доклад в котором "на пальцах" описывается процесс сжатия данных в памяти и на диске. Всем советую посмотреть.

NoSQL and transactions getting the numbers out Konstantin Osipov ScyllaDB
Чудесных доклад Коснтантина Осипова с HighLoad++ в Армении.

#smartdata2023
Применение TLA+ для эффективного тестирования распределенных систем
Презентация
Интересный доклад. Особенного его первая половина. По сути "студенты ИТМО СПб" из ВК работают над верифицирующей системой для реализаций распределенных алгоритмов консенсуса

Клиент всегда прав

Pliops готовит новый СУБД-ускоритель XDP с удвоенной производительностью / ServerNews
https://servernews.ru/1097224

Вначале было слово - архитектура от словаря. Екатерина Лысенко

Очень круто доклад. Всем советую посмотреть...

Решил посмотреть конференцию яндекса "ОНЛАЙН-КОНФЕРЕНЦИЯ ЯНДЕКСА ПРО ОБРАЗОВАНИЕ" и высказать несколько тезисов, которые меня зацепили.

1. Тинькофф Университет. Зачем он создавался? У "тинька" и так есть школы, свои кафедры и прочее. Зачем еще целый университет, где только платное образование? Ответ такой: "Центральный Университет был создан с целью поиска талантливых школьников и предоставления им грантов на обучение. Текущие образовательные программы этого не позволяли сделать, т.к. первые 2 года юные студенты проходят общие курсы и попасть в престижные ВУЗы весьма проблематично. Благодаря программе грантов можно отбирать талантливых людей на самом раннем этапе".

2. Необходимо развивать преподавательский бренд.

3. ИИ нужен для решения рутинных задач. Преподавание становится более творческой профессией.

4. "Зачем тащить слона туда, где может обойтись кенгуру" (с)

5. "Для решения рутинных задач не всегда требуется интеллект" (с)

6. Нейросеть для человека должна стать персонализированным AI-тьютером.