PostgreSQL 16. Изоляция транзакций. Часть 2

Данная статья является продолжением первой части: "PostgreSQL 16. Организация данных. Часть 1".

В этой части мы обсудим, как транзакции могут влиять друг на друга, вызывая "аномалии", а также рассмотрим различные уровни изоляции, которые помогают избежать подобных проблем.


Читать: https://habr.com/ru/articles/815323/

@database_design

Как перейти с Oracle на PostgreSQL, используя Ora2Pg

Привет, Хабр!

Сегодня мы поговорим об актуальной задаче — миграции баз данных с Oracle на PostgreSQL с использованием Ora2Pg. Сейчас популярность PostgreSQL обоснована его мощностями и экономически выгодной альтернативы коммерческим решениям.


Читать: https://habr.com/ru/companies/otus/articles/814041/

@database_design

Двоичный поиск против вероятностного

Внутри Dolt, первой в мире базе данных SQL с полнофункциональными возможностями контроля версий, таится много интересной computer science. Недавно я писал о системе хранения Dolt, в ней есть очень тонкая особенность — применение вероятностного поиска на больших выборках 64-битных целых чисел.

В любом учебном плане по Computer Science есть курс алгоритмов. Моим был CS 102, и одним из пунктов, который объяснялся в нём досконально, было то, что поиск — это, по сути, задача O(log2(N)) при условии, если данные отсортированы. За свою карьеру я многократно встречался с этим в том или ином виде — если сортируешь информацию и сохраняешь её, то стоит ожидать, что для поиска потребуется время O(log2(N)). В общем случае мы соглашаемся на время поиска O(log2(N)), потому что оказывается, что можно перебрать большой объём данных с логарифмическим коэффициентом масштабирования. Эта система работает, потому что мы уже почти автоматически сортируем всё заранее.

Но что, если мы добавим дополнительные ограничения на наши данные, которые позволят нам выполнять поиск за константное время?

Будет ли эта статья историей о необязательной оптимизации? Да, будет. В этом конкретном случае поиск будет занимать гораздо меньше времени, чем чтение с диска. Мы говорим о величинах менее чем 0,1% от суммарного времени. Будет ли эта статья историей о преждевременной оптимизации? Нет, не будет. Это бы подразумевало, что мы не осознаём, что время тратится не на то. Эта статья — история о заманчивости алгоритма константного времени.


Читать: https://habr.com/ru/articles/815353/

@database_design

Don’t Be Fooled by Misleading Data Egress Announcements

Recent announcements in response to the European Data Act have led some to conclude that major Cloud Service Providers (CSP) have eliminated Data Movement and Data Egress charges, but in the ways that matter most to companies running their business in the Cloud on an ongoing basis, that’s not true.

Read: https://blogs.oracle.com/database/post/dont-be-fooled-by-misleading-data-egress-announcements

@database_design

Новые горизонты: японская компания научилась производить 400-слойную флеш-память 3D NAND. Что это за технология?

На днях стало известно, что японская компания Tokyo Electron смогла разработать современный метод выпуска чипов 3D NAND. В них используется пространственная компоновка с вертикальными соединениями между слоями в отдельных микросхемах. Соответственно, достижение японцев даёт возможность увеличить количество слоев памяти до 400. Подробности — под катом.


Читать: https://habr.com/ru/companies/ru_mts/articles/815763/

@database_design

GenAI RAG Likes Explicit Relationships: Use Graphs!

Generative AI is only as good as the data it is trained on. How can additional data be added? This is where RAG comes in, RAG can help generate better output. Graphs provide additional context to RAG because they can model relationships between concepts in any given domain. Let us look at the basics of graphs in this blog and how they can help genAI.

Read: https://blogs.oracle.com/database/post/genai-rag-likes-explicit-relationships-use-graphs

@database_design

Exadata System Software 24ai - Delivers mission critical AI at any scale

Announcing Oracle Exadata System Software 24ai

Read: https://blogs.oracle.com/exadata/post/exadata24ai

@database_design

MariaDB Enterprise Server Available on Nutanix Database Service

Read: https://mariadb.com/?p=39234

@database_design

Не магия: как агрегируются и обрабатываются данные CDP-платформами

В недавно опубликованной статье CleverData постаралась разгадать, как и почему совершаются спонтанные покупки. Над нашими намерениями круглосуточно работают  Customer Data Platforms (CDP) - гибкие платформы накопления данных о пользователях для целей персонализации предложений. Именно поэтому оповещение о скидке на абонемент в спортзал приходит тогда, когда мы вдруг решаем худеть и заказываем доставку диетического питания. Как грамотное применение CDP напрямую влияет на продажи, читайте в нашей новой статье под катом.


Читать: https://habr.com/ru/companies/lanit/articles/814423/

@database_design

Кибер Инфраструктура 5.5. Обзор новинок

Привет Хабр!

Сегодня познакомимся с ключевыми новинками в версии 5.5 нашего продукта "Кибер Инфраструктура". Кибер Инфраструктура — это универсальное решение, которое представляет собой мультипротокольное программно-определяемое хранилище и платформу виртуализации в одном продукте.


Читать: https://habr.com/ru/companies/cyberprotect/articles/815813/

@database_design

What’s New From MongoDB at Microsoft Build 2024



Read: https://www.mongodb.com/blog/post/whats-new-from-mongodb-at-microsoft-build-2024

@database_design

​Когда клиент вносит «совсем незначительные» правки в проект:

Database Performance Tuning - 5 Steps to Resolve Issues

Database performance tuning is the collection of activities to identify and remove the top limiting factor in Database speed. Follow these step by step instructions to get started on your database performance tuning journey

Read: https://blogs.oracle.com/database/post/database-performance-tuning

@database_design

Stay Compliant with MongoDB’s Latest Certifications: ISO 9001, TISAX, HDS, and TX-RAMP



Read: https://www.mongodb.com/blog/post/stay-compliant-mongodbs-latest-certifications-iso9001-tisax-hds-tx-ramp

@database_design

Как Apache Arrow поможет управиться JS с большими данными

Привет. Меня зовут Николай Шувалов, я занимаюсь коммерческим программированием около семи лет, владею Rust, JavaScript, PHP. Сейчас я работаю в отделе данных билайна. Наша платформа позволяет делиться с партнерами данными, не раскрывая их. Например, можно расширить данные с помощью фильтра Блума.

Arrow в сравнении со строковыми форматами

Возьмём простую таблицу, которая состоит из трех столбцов: телефона, даты и имени. Рассмотрим, как она будет выглядеть в строковом и столбчатом форматах. Для строкового формата мы возьмем csv и json, для столбчатого формата структура будет одинаковой. Если же таблица состоит, например, из миллиона строк, а нужно получить имя на строке с номером 10 000, то придется бежать по всей строчке. В json то же самое. А в столбчатом формате ситуация иная — значения привязаны к столбцам. Когда мы хотим получить имя на строке 10 000, то сразу обращаемся к этому столбцу и получаем все его данные.

Существуют RA (random access) файлы, в которых можно пропускать заданное количество строк, но все равно парсеру нужно читать и анализировать пройденные строчки.


Читать: https://habr.com/ru/companies/beeline_tech/articles/816835/

@database_design

Современный клиент к NoSQL-базе данных

Интеграция через базу данных (БД) — один из распространенных видов интеграции. Но БД — тоже сервис, к которому также требуется подключение. Для пользователей эта процедура сводится к подключению коннекторов и изучению их API, но «под капотом» подобных клиентов может скрываться большая архитектура со сложной логикой взаимодействия.


Читать: https://habr.com/ru/companies/vk/articles/816367/

@database_design

WD выпустила 2,5-дюймовые HDD ёмкостью в 6 Тб. Что это за новинка?

Американская компания Western Digital представила первые в мире 2,5-дюймовые жёсткие диски ёмкостью 6 Тб. Современные модели ноутбуков часто оснащены SSD, поэтому компании меньше фокусируются на разработке HDD повышенной ёмкости, так что выпуск подобного накопителя — целое событие. Новые жёсткие диски представлены в сериях My Passport и My Passport Ultra. Подробности — под катом.


Читать: https://habr.com/ru/companies/ru_mts/articles/816909/

@database_design

Driven by Values: One Account Executive’s Journey into Personal and Professional Growth



Read: https://www.mongodb.com/blog/post/driven-by-values-one-account-executives-journey-into-personal-and-professional-growth

@database_design

Повышение живучести SSD за счёт его превращения из QLC в SLC

В этой статье мы займёмся беспрецедентным экспериментом! Я шаг за шагом проведу вас через процесс преобразования SSD на базе QLC NAND в SLC SSD, что позволит значительно повысить его ресурс и общую производительность.
▍ Спецификация испытуемого SSD
На роль испытуемого я выбрал Crucial BX500, который мы уже много раз тестировали, освещая этот процесс как на нашем сайте, так и на YouTube-канале.

Читать: https://habr.com/ru/companies/ruvds/articles/816463/

@database_design

Hazelcast: эксперименты с настройкой и долговременным хранением больших объектов in-memory

Статья будет полезна для тех, кто поддерживает приложения на Java, так как большая ее часть посвящена анализу работы G1 GC, знакомству с соответствующими инструментами и особенностями тюнинга GC, в частности для очень больших heap`ов. А также тем, кто пытается разобраться, на что способен Hazelcast, и для чего его можно применить.

Так исторически сложилось, что на проекте уже использовался Hazelcast, и мы решили попробовать переиспользовать его под новую задачу. Она заключалась в хранении объектов в БД с одним специфичным требованием – данные нельзя записывать на диск, что сильно сужало доступные варианты. Безусловно, мы понимали, что надежность такого хранилища будет низкой, но выбора не было. И, хотя, у нас были мысли развернуть для этого Redis или VoltDB, мы решили опробовать Hazelcast, так как в его возможности, помимо прочего, так же входит in-memory хранилище.

Что из этого получилось – читайте под катом.


Читать: https://habr.com/ru/companies/croc/articles/816973/

@database_design

Как я подвергся «хакерской атаке»

Привет всем, меня зовут Никита, я начинающий backend-разработчик. Сегодня хочу вам рассказать про атаку, которая произошла при изучении новой технологии, а именно redis'а.
хакнуть

Читать: https://habr.com/ru/articles/817527/

@database_design