PostgreSQL 16. Организация данных. Часть 1

PostgreSQL очень популярная СУБД.

Её используют во многих проектах, как новички, так и профессионалы. Однако не все понимают, как именно работает данная система и какое у неё внутренне устройство.

Давайте разберемся вместе на основе книги "PostgreSQL 16 изнутри" и официальной документации!


Читать: https://habr.com/ru/articles/813781/

@database_design

Apache NiFi как доступный ETL инструмент: кейс применения + тестовый стенд Docker

В статье расскажу о практических аспектах использования Apache NiFi, опишу преимущества и проблемы, с которыми я столкнулся.

Для наглядности собрал "песочницу" в контейнере Docker, в которой представлены упрощенные примеры пайплайнов, аналогичные тем, которые были использованы в реальном проекте.


Читать: https://habr.com/ru/articles/813813/

@database_design

Announcing DirectQuery Support for the MongoDB Atlas Connector for Power BI



Read: https://www.mongodb.com/blog/post/announcing-direct-query-support-for-mongodb-atlas-connector-power-bi

@database_design

Where is the Complexity? Part 4

Summary and concluding thoughts on where the complexity is in maintaining data consistency in a microservice based application.

Read: https://blogs.oracle.com/database/post/where-is-the-complexity-part-4

@database_design

Oracle Globally Distributed Database addresses multi-country data residency challenges for Munich Re HealthTech

Oracle Globally Distributed Database helped Munich Re HealthTech comply with data residency regulations while cutting the cost of deploying the entire application stack for multi-region deployment.

Read: https://blogs.oracle.com/database/post/globally-distributed-database-munichre-data-residency

@database_design

How the NFSA is Using MongoDB Atlas and AI to Make Aussie Culture Accessible



Read: https://www.mongodb.com/blog/post/how-nfsa-is-using-mongodb-atlas-ai-make-aussie-culture-accessible

@database_design

Make Better Maps for Your Apps with Spatial Vector Tiles and H3 in Oracle Database 23ai

Powerful, popular spatial data formats for developers can now be natively generated by Oracle Database. Developers can use SQL to generate vector tiles and H3 hierarchies from geometries stored in the database using Oracle Spatial, for fast and flexible map visualization in web applications.

Read: https://blogs.oracle.com/database/post/make-better-maps-for-your-apps-with-spatial-vector-tiles-and-h3-in-oracle-database-23ai

@database_design

Почему люди до сих пор не отказались от дискет


Музыкант Эспен Крафт хранит свои звуковые сэмплы на гибких дисках и использует их для создания музыки из-за их аутентичного звука

Последний гибкий диск был изготовлен больше десятка лет назад, сегодня на нём не хватит места даже для хранения фотографии с современного смартфона. Так почему же некоторые люди до сих пор любят ими пользоваться?

Когда в голову Эспена Крафта приходит идея нового музыкального произведения, он открывает одну из своих многочисленных коробок с дискетами. Открыв коробку, этот ютубер из Норвегии пробегает глазами по рядам разноцветных пластмассовых квадратов.

На одной из этикеток написано «Басовый звук Moog». Именно то, что нужно Крафту. Он достаёт диск и засовывает его в синтезатор. Машина подтверждает наличие диска приятным шумом. По словам Крафта, после этого начинается магия.

Сэмпл почти готов к воспроизведению, но именно предвкушение зарождает ностальгию Крафта по «тёплому и уютному месту». Идея уже висит в воздухе. Он нажимает на клавишу. Уши наполняются звуком.

Если вы помните времена, когда пользование гибкими дисками не казалось чем-то странным, то вам, вероятно, не меньше тридцати лет. Гибкие диски, или дискеты, появились примерно в 1970 году, и около трёх десятков лет были основным способом хранения и резервного копирования компьютерных данных. Всё приобретаемое людьми ПО и программы загружались на пачки таких дисков. Это технология из другой компьютерной эпохи, но по разным причинам дискеты по-прежнему привлекательны для некоторых людей, а значит, ещё не умерли.

Читать: https://habr.com/ru/companies/ruvds/articles/814501/

@database_design

Payments Modernization and the Role of the Operational Data Layer



Read: https://www.mongodb.com/blog/post/payments-modernization-role-of-operational-data-layer

@database_design

Как утилизировать цифровой мусор?

Хочу поделиться проблемой, которая меня давно волнует. С детства я привык к порядку и комфорту: начиная от своей комнаты и заканчивая ведением тетрадей. Когда всё на своих местах и нет ничего лишнего, мне легче работать и приятнее находиться в такой обстановке.

Это отношение я перенёс и в цифровой мир. Будучи разработчиком, я стараюсь поддерживать порядок и чистоту в коде и виртуальном окружении. Конечно, я далек от совершенства, но всё же прилагаю усилия к аккуратности. Я не требую того же от других, пока это не вредит окружающим (или мне).

Однако, когда избыточные данные, перегруженные базы данных и хаос в системе становятся нормой, это превращается в проблему не только для разработчика, который может игнорировать её, но и для всей компании и её пользователей. Это приводит к серьезным потерям: финансовым из-за затрат на содержание всех этих данных и операционным из-за повышенного энергопотребления и вычислительных расходов.

Сегодня объем новых данных растет с экспоненциальной скоростью, и так же увеличивается количество цифрового мусора. Этот термин относится к огромному количеству избыточных, устаревших или незначительных данных, которые накапливаются в наших информационных системах и захламляют их. Цифровой мусор затрагивает практически каждый аспект современного управления данными, от снижения операционной эффективности до усложнения соблюдения законов о защите данных. Кроме того, экологические издержки поддержания бесполезных данных огромны, что ведет к ненужной нагрузке на нашу природу.


Читать: https://habr.com/ru/articles/814667/

@database_design

Ceph: разбираем базовые операции в кластере на примере интеграции с Hashicorp Nomad

Привет! Я Владимир Иванов, системный администратор выделенных серверов в Selectel. Мы довольно часто экспериментируем с подходами, процессами и решениями. В одном из экспериментов добрались до Ceph: сделали тренажер, в котором можно «потыкать» основной функционал хранилища, проверить гипотезы, что-то сломать/починить, не собирая при этом железный кластер. В случае фейла этот тренажер можно развернуть заново в пару консольных команд.

Так и появилась идея написать эту статью. Я покажу, как подключить Ceph к оркестратору Nomad, чтобы получить постоянное хранилище для контейнеров. Если хотите поближе познакомиться с примерами эксплуатации и обслуживания Ceph, прошу под кат! А если уже знакомы — прошу в комментарии, поделитесь своим опытом.

Читать: https://habr.com/ru/companies/selectel/articles/814507/

@database_design

Postgres Pro Shardman: горизонтальное масштабирование реляционных СУБД

Последние несколько лет мы в Postgres Professional активно занимаемся разработкой своего решения для горизонтального масштабирования PostgreSQL. Пользователям нужен был простой способ увеличить производительность путем добавления узлов. Традиционно для веба в таких случаях просто брали NoSQL базы или шардировали вручную, позже появились распределенные SQL-решения с поддержкой ACID-транзакций. Тем не менее терялась часть возможностей и достоинств PostgreSQL. Корпоративный рынок тяжелых вертикальных решений также сильно ограничен как ценой, так и доступностью. Поэтому исследованиями в области распределенных СУБД в компании занимались еще с 2017 года, а в 2020 началась работа над коммерческим продуктом.

В этой статье я расскажу про технические детали реализации и почему был сделан такой выбор технологий. Опишу, какие направления нам показались преждевременными и их пришлось отложить, а также что мы ожидаем в будущем.


Читать: https://habr.com/ru/companies/postgrespro/articles/811041/

@database_design

История: Redis и его создатель antirez

В мире баз данных Redis занимает особое место. Вместо обычных таблиц или документов, являющихся главным элементом большинства баз данных, в Redis вы работаете напрямую с низкоуровневыми структурами данных: связанными списками и хэш-таблицами.

Всё это стало возможно благодаря инновационному дизайну, разработанному создателем Redis Сальваторе Санфилиппо: он известен под ником antirez. Он мастер системного программирования, и поэтому он предпочитает думать, оперируя понятиями структур данных — списками, хэшами и множествами. Более высокоуровневые описания данных, например, таблицы и документы, ему не очень интересны. В начале разработки Redis antirez был новичком в сфере баз данных. Но, возможно, именно нехватка опыта позволила ему привнести в эту отрасль свежие идеи.

Сегодня Redis стал мейнстримом, а его влияние заметно почти во всех веб-сервисах. Согласно опросам на Stack Overflow, Redis пять лет подряд остаётся самой любимой пользователями базой данных.


Читать: https://habr.com/ru/companies/magnus-tech/articles/814513/

@database_design

Exploring MariaDB Performance Schema

Read: https://mariadb.com/?p=39213

@database_design

Установка, резервное копирование и миграция snap nextcloud-сервера (v27.1.8)

Здравствуй, мой дорогой читатель.

В данной статье мы поговорим о snap nextcloud-сервере, установке, резервное копирование и некоторые манипуляции. Если тебе интересна тема open-source и администрирование серверов Linux, то данная статья именно для тебя!


Читать: https://habr.com/ru/articles/815129/

@database_design

What’s new in MariaDB Connector/J 3.4

Read: https://mariadb.com/?p=39246

@database_design

PostgreSQL 16. Изоляция транзакций. Часть 2

Данная статья является продолжением первой части: "PostgreSQL 16. Организация данных. Часть 1".

В этой части мы обсудим, как транзакции могут влиять друг на друга, вызывая "аномалии", а также рассмотрим различные уровни изоляции, которые помогают избежать подобных проблем.


Читать: https://habr.com/ru/articles/815323/

@database_design

Как перейти с Oracle на PostgreSQL, используя Ora2Pg

Привет, Хабр!

Сегодня мы поговорим об актуальной задаче — миграции баз данных с Oracle на PostgreSQL с использованием Ora2Pg. Сейчас популярность PostgreSQL обоснована его мощностями и экономически выгодной альтернативы коммерческим решениям.


Читать: https://habr.com/ru/companies/otus/articles/814041/

@database_design

Двоичный поиск против вероятностного

Внутри Dolt, первой в мире базе данных SQL с полнофункциональными возможностями контроля версий, таится много интересной computer science. Недавно я писал о системе хранения Dolt, в ней есть очень тонкая особенность — применение вероятностного поиска на больших выборках 64-битных целых чисел.

В любом учебном плане по Computer Science есть курс алгоритмов. Моим был CS 102, и одним из пунктов, который объяснялся в нём досконально, было то, что поиск — это, по сути, задача O(log2(N)) при условии, если данные отсортированы. За свою карьеру я многократно встречался с этим в том или ином виде — если сортируешь информацию и сохраняешь её, то стоит ожидать, что для поиска потребуется время O(log2(N)). В общем случае мы соглашаемся на время поиска O(log2(N)), потому что оказывается, что можно перебрать большой объём данных с логарифмическим коэффициентом масштабирования. Эта система работает, потому что мы уже почти автоматически сортируем всё заранее.

Но что, если мы добавим дополнительные ограничения на наши данные, которые позволят нам выполнять поиск за константное время?

Будет ли эта статья историей о необязательной оптимизации? Да, будет. В этом конкретном случае поиск будет занимать гораздо меньше времени, чем чтение с диска. Мы говорим о величинах менее чем 0,1% от суммарного времени. Будет ли эта статья историей о преждевременной оптимизации? Нет, не будет. Это бы подразумевало, что мы не осознаём, что время тратится не на то. Эта статья — история о заманчивости алгоритма константного времени.


Читать: https://habr.com/ru/articles/815353/

@database_design

Don’t Be Fooled by Misleading Data Egress Announcements

Recent announcements in response to the European Data Act have led some to conclude that major Cloud Service Providers (CSP) have eliminated Data Movement and Data Egress charges, but in the ways that matter most to companies running their business in the Cloud on an ongoing basis, that’s not true.

Read: https://blogs.oracle.com/database/post/dont-be-fooled-by-misleading-data-egress-announcements

@database_design

Новые горизонты: японская компания научилась производить 400-слойную флеш-память 3D NAND. Что это за технология?

На днях стало известно, что японская компания Tokyo Electron смогла разработать современный метод выпуска чипов 3D NAND. В них используется пространственная компоновка с вертикальными соединениями между слоями в отдельных микросхемах. Соответственно, достижение японцев даёт возможность увеличить количество слоев памяти до 400. Подробности — под катом.


Читать: https://habr.com/ru/companies/ru_mts/articles/815763/

@database_design