DATABASE DESIGN
1.4K subscribers
2.11K photos
3 videos
5.36K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Building AI with MongoDB: How Devnagri Brings the Internet to 1.3 Billion People with Machine Translations



Read: https://www.mongodb.com/blog/post/how-devnagri-brings-internet-1-3-billion-people-machine-translations
MariaDB C++ Connector 1.0.3 now available

Read: https://mariadb.com/?p=38647
MongoDB Security Incident Post Event Summary, January 23, 2023

In summary, the text consists of three parts. The first part is a post-event summary of a security incident involving unauthorized access to certain MongoDB corporate systems. The investigation revealed that the unauthorized party never had access to any MongoDB clusters and the incident has been closed. The second part discusses MongoDB's commitment to sustainability and the steps they have taken towards renewable energy, waste reduction, and other sustainability initiatives. The third part introduces Devnagri, India's first AI-powered translation platform, and discusses their use of MongoDB as the database platform for their machine translation models. The company serves multiple brands and government agencies in India and has joined MongoDB's AI Innovators Program. This program provides the company's data science team with free access to credits, technical guidance, and best practices for machine translation experiments and development. To get started with building AI-powered apps, it is recommended to sign up for an account on MongoDB Atlas, where users can create a free MongoDB instance with the Atlas database and Atlas Vector Search to explore the platform's possibilities. This information was published on January 23, 2024.

Read: https://www.mongodb.com/blog/post/mongodb-security-incident-post-event-summary-january-23-2023
Introducing Select AI - Natural Language to SQL Generation on Autonomous Database

Introducing Autonomous Database Select AI - enabling you to query your data using natural language. Combining generative AI with Oracle SQL empowers you describe what you want - declarative intent - and let the database generate the SQL query relevant to your particular schema. Using Select AI for SQL generation helps to minimize or eliminate specialized SQL knowledge normally required to formulate SQL queries.

Read: https://blogs.oracle.com/machinelearning/post/introducing-natural-language-to-sql-generation-on-autonomous-database
👍1
How to Implement Encryption at Rest Using Hashicorp Vault and MariaDB

Read: https://mariadb.com/?p=38579
Oracle Database 23c: New feature - Direct Joins for UPDATE and DELETE Statements

Oracle Database 23c introduces a host of powerful features aimed at enhancing database performance and query optimization. Among these innovations, Direct Join stands out as an efficient mechanism to streamline update and delete operations involving multiple related tables.

Read: https://blogs.oracle.com/database/post/oracle-database-23c-new-feature-direct-joins-for-update-and-delete-statements
Нефть глазами аналитика данных

Любите ли вы работать с данными, как люблю это делать я? Страдаете ли вы также от несовершенства инструментов для анализа данных? И вот, буквально в первых строках, я понимаю, что мне надо быть очень аккуратным, дабы не задеть чувства, к примеру, фанатов Excel или Notepad++. Попытаюсь исправить ситуацию: Эксель великолепен! Лучшая low-code система! Notepad++ бесподобен… но попробуйте поработать этими инструментами с данными размером с один миллион строк… эх, не удержался. Ну и раз статья обещает быть провокационной, добавлю еще огоньку: я хочу продемонстрировать, как обрабатывать и анализировать данные по всем обезличенным сделкам по нефти. Взглядом аналитика покажу, как крупный капитал управляет рынком. И да, я хочу, чтобы такая возможность была доступна не только корпорациям с их ресурсами, а обычному пользователю с ноутбуком. Текст статьи не является инвестиционной рекомендацией, все совпадения случайны.


Читать: https://habr.com/ru/companies/ibs/articles/788668/
MongoDB Announces 2023 William Zola Award for Community Excellence Recipient



Read: https://www.mongodb.com/blog/post/mongodb-announces-2023-william-zola-award-community-excellence-recipient
Как мы внедряли каталог данных DataHub и искали компромисс между BI, DWH и ИБ

Счастлив тот аналитик, у которого в компании есть дата-каталог — единая точка входа для поиска информации о данных невероятно экономит время, data lineage выстроен, а уровень заполненности документации на высоком уровне.

Чтобы это были не только мечты, наша команда аналитиков задумалась, как претворить их в реальность. Нам хотелось, чтобы инструмент для поиска описания данных был удобным как библиотечный каталог с широким функционалом.

Меня зовут Костя Тюрин, я руковожу командой BI в СберМаркете. Год назад мы решили внедрить дата-каталог, и сейчас его MAU превышает количество аналитиков в два раза: им пользуется наша команда, а ещё дата-инженеры, менеджеры и команда ИБ. В статье делюсь нашим опытом внедрения DataHub’a и планами на дальнейшее развитие инструмента.


Читать: https://habr.com/ru/companies/sbermarket/articles/788402/
The СПО Strikes Back

Как-то удачно началась неделя. В поле зрения попали отчет про то, как СПО, преодолевая все трудности - наконец показывает ОГОГО КАКИЕ цифры.


Читать: https://habr.com/ru/articles/789018/
Accelerate innovation with enterprise data, OCI Generative AI, and enhanced security

With the release of Oracle OCI Generative AI service, you can accelerate application development or create new business solutions by securely combining your private enterprise data in Autonomous Database with the productivity and creativity of generative AI.

Read: https://blogs.oracle.com/datawarehousing/post/adb-accelerate-innovation-with-select-ai-and-oci-generative-ai
Разбираемся с работой брокеров, или Что такое гарантия доставки сообщений и как с этим жить…

В эпоху мгновенной коммуникации, гарантия доставки сообщений становится не просто плюсом, но и неотъемлемой частью репутации сервиса. Как быть уверенным, что ваше сообщение дойдет до адресата именно тогда, когда это нужно? Привет, Хабр, меня зовут Сергей Коник, я работаю в Самолете на должности старшего разработчика и одна из проблем, с которой сталкивались наши команды, – это потеря важных сообщений при общении между сервисами. Расскажу сегодня основы, как с этим работать.


Читать: https://habr.com/ru/companies/samolet/articles/785382/
MongoDB Security Incident Post Event Summary, January 23, 2024



Read: https://www.mongodb.com/blog/post/mongodb-security-incident-post-event-summary-january-23-2024
SQL: 15 упражнений с решениями

Добрый день! В этом наборе упражнений мы поработаем с SQL и T-SQL. С помощью этих упражнений мы будем создавать разные запросы SQL и T-SQL, чтобы отточить навыки работы с запросами.

Независимо от того, являетесь ли вы новичком или опытным разработчиком, эти упражнения помогут укрепить знания и подготовиться к реальным собеседованиям. Статья предоставляет возможность проверить свои знания и навыки, решая предложенные задачи.

Упражнений по SQL являются отличным способом для начинающих разработчиков улучшить свои навыки работы с языком SQL. Упражнения покрывают широкий спектр тем, включая выборку данных, фильтрацию, сортировку, группировку и объединение таблиц. Каждое упражнение сопровождается подробным объяснением и примерами решений, что помогает читателю лучше понять концепции и применить их на практике.

Пишите свои решение в комментариях и давайте погрузимся в работу и начнём решать задачи.


Читать: https://habr.com/ru/articles/789420/
Представление родственных связей (генеалогического дерева) в виде графа

Прочитал статью Фамильный вики-движок Bonsai: 6 лет спустя и вспомнил что в своё время были планы сделать что-то подобное. После того как я попробовал использовать некоторые существующие решения (особенно одно в котором предлагалось при добавлении человека указать кем он является по отношению к другим и список на 100500 позиций вида сын, дочь, мама, папа, дедушка и т.д. и т.п. ) была разработана собственная схема хранения родственных связей в виде графа. В качестве вершин графа выступают люди, а в качестве ребер отношения между людьми. При этом типов отношений всего два:
1. Родитель->Ребенок (связь имеет направление от родителя к ребенку)
2. Брачный союз (связь равноправна и не имеет направления)
С помощью отношений этих двух видов возможно задать родство любой сложности.



Читать: https://habr.com/ru/articles/783938/
❤‍🔥21
Connected Vehicles: Accelerate Automotive Innovation With MongoDB Atlas and AWS

Capgemini's Trusted Vehicle solution leverages car-to-cloud connectivity to enhance driver and fleet management experiences in the automotive industry. It offers modules for fleet maintenance, keyless vehicle control, and predictive maintenance. MongoDB Atlas and AWS work together to power this solution, providing a secure and scalable data platform for automotive OEMs. MongoDB Atlas offers benefits such as faster time-to-market, cloud agnosticism, and customized solutions for customers. The implementation of Atlas for the Edge allows for efficient data synchronization and management from connected vehicles. Devnagri, India's first AI-powered translation platform, utilizes MongoDB to store and process data for its machine translation models. MongoDB's flexibility and performance make it an ideal choice for Devnagri. Devnagri, as a member of MongoDB's AI Innovators Program, receives support for further development and experimentation. MongoDB also recognizes community member Chris Dellaway with the William Zola Award for his exceptional contributions to the MongoDB community. The text highlights Chris's exceptional support and dedication to the MongoDB community. It mentions that in 2023 alone, Chris gave over 320 uplifting likes to different community posts and provides some specific examples of his support, such as helping community members solve problems, clarifying understanding, and providing code examples. Chris's commitment to the community goes beyond the virtual realm as he launched and led the Toronto MongoDB User Group, which has flourished and formed an in-person community. His peers within the community praise his knowledge, expertise, generosity, and positive attitude. Overall, Chris embodies the spirit of community excellence and is highly valued as a member. The text encourages readers to visit the MongoDB Community homepage to learn more about the community.

Read: https://www.mongodb.com/blog/post/connected-vehicles-accelerate-automotive-innovation-mongodb-atlas-aws
👍1
Smooth Cloud Experience Delivers Data Dividends for iReader

The text discusses how iReader, a digital reading platform, improved its data management and performance by using ApsaraDB for MongoDB. The platform needed a database that could handle large volumes of data and support constant updates and expansions. The integration of ApsaraDB for MongoDB resulted in a 30% improvement in service performance and reduced operational costs by over 10%. The platform now has the capability to handle bidirectional data, manage unstructured data effectively, and support various operational activities. This has allowed iReader to enhance its capabilities and operational efficiency. The text also highlights a community member, Chris Dellaway, who received an award for his exceptional support and contributions to the MongoDB community. In a separate section, the text discusses how MongoDB Atlas and AWS work together to power Capgemini's Trusted Vehicle solution, which accelerates the development of driver and fleet management experiences in the automotive industry. MongoDB Atlas offers faster time-to-market, developer velocity, and customized solutions for customers. It also provides capabilities for data synchronization, storage, and processing in IoT applications. The implementation of MongoDB Atlas in Trusted Vehicle's solution has shifted the responsibility of data management from AWS components to MongoDB, resulting in improved efficiency and performance. This text highlights the benefits of using MongoDB Atlas, a technology stack, in the automotive industry. It mentions that MongoDB Atlas is more cost-effective as the fleet of vehicles expands, leading to a decrease in the total cost of ownership. Additionally, it notes that MongoDB's cloud-agnostic components allow for a more flexible and adaptable implementation, independent of specific cloud environments. Overall, MongoDB Atlas expedites development, reduces costs, and caters to a wider range of clients. The text also provides links for more information on the partnership with Capgemini and the value proposition for the automotive industry.

Read: https://www.mongodb.com/blog/post/smooth-cloud-experience-delivers-data-dividends-ireader
Эффективное обновление состояний в БД из сервисов потоковой обработки событий

Как хранить сложные сущности в БД? Что нужно сделать, чтобы не перезаписывать весь рекламный баннер для обновления одного лишь заголовка? Рассмотрим как минимум 5 независимых и взаимно совместимых идей для многократного снижения нагрузки на чтение и запись подобных объектов.

Меня зовут Юрий Печатнов, я уже 6 лет работаю в Яндексе и занимаюсь сервисами потоковой обработки. Это большие распределенные системы, читающие сообщения из большой распределенной очереди и создающие полезный выход. Полезным выходом могут быть сообщения в другой распределенной очереди и/или обновление состояний в БД. Поговорим о том, как их эффективно обновлять.


Читать: https://habr.com/ru/companies/oleg-bunin/articles/788038/
Написание минимальной подсистемы хранения данных в памяти для MySQL/MariaDB

Я потратил неделю, копаясь во внутренностях MySQL/MariaDB вместе с ещё примерно 80 разработчиками. Хотя MySQL и MariaDB — это, по большей части, одно и то же (я ещё к этому вернусь), я сосредоточился именно на MariaDB.

Раньше я никогда сам не собирал MySQL/MariaDB. В первый день «недели хакерства» я смог наладить локальную сборку MariaDB и твикнул код так, что запрос SELECT 23 возвращал 213. Сделал я и другой твик — такой, что запрос SELECT 80 + 20 возвращал 60. На второй день я смог заставить заработать простую UDF на C, благодаря которой запрос SELECT mysum(20, 30) давал 50.

Остаток недели я потратил, пытаясь разобраться с тем, как сделать минимальный движок для хранения данных в памяти. Именно о нём я и расскажу. Это — 218 строк кода на C++.


Читать: https://habr.com/ru/companies/wunderfund/articles/789640/
🔥1