Конвертация в один клик! Как перенести код из Teradata в GreenPlum без лишних затрат и усилий

Привет, Хабр! Миграция баз данных из одной СУБД в другую представляет собой особо сложную задачу, требующую тщательного планирования, подготовки и исполнения. В 2023 году в Сбербанке завершился масштабный проект по миграции крупного аналитического хранилища данных с платформы Teradata на GreenPlum. Особое внимание уделялось таким направлениям, как:

Повышенная трудоёмкость ручного переписывания SQL‑скриптов из‑за разницы в диалекте и специфических встроенных функций Teradata.

- Перенос архива данных из Teradata, объемом более 400 Тб.

- Кросс‑платформенная проверка качества данных в ходе и после завершения миграции.

Этой статьёй мы открываем небольшую серию, посвящённую технологическим решениям вышеупомянутых сложностей. И начнём с рассмотрения сервиса миграции кода из Teradata в GreenPlum, который автоматизирует и упрощает конвертацию сложных запросов.


Читать: https://habr.com/ru/companies/sberbank/articles/799435/

@database_design

Self-Hosted ServiceNow Quick Start Guide for MariaDB Enterprise Server 10.6

Read: https://mariadb.com/?p=38958

@database_design

MariaDB Enterprise Server Q1 2024 maintenance releases

Read: https://mariadb.com/?p=38980

@database_design

Квест по синхронизации аналитического и оперативного хранилищ в реальном времени без потерь на сотнях терабайт данных

Я работаю в компании STM Labs, где мы строим большие высоконагруженные системы класса Big Data. Эта статья написана по мотивам моего выступления на конференции Saint Highload 2023. Хочу рассказать вам увлекательную историю про то, как мы искали лучшее решение по синхронизации аналитического и оперативного хранилищ в реальном времени. Нам важно было сделать это без потерь, потому что на кону стояли сотни и более терабайт данных.

Сразу обозначу, чего в этой статье не будет:

• Я не буду подробно говорить о типах СУБД и их различиях.
• Я не буду делать обзор аналитических СУБД. Тут каждый выбирает сам.
• Я не буду подробно останавливаться на архитектуре, отказоустойчивости и масштабировании СУБД MongoDB.
• Я не буду делать обзор отличий OLAP и OLTP.
• Я не буду делать обзор и сравнение реализаций CDC в различных СУБД.


Читать: https://habr.com/ru/companies/stm_labs/articles/799591/

@database_design

Криптографические пруфы zkSNARKs для масштабирования и безопасности

Привет, Хабр! Меня зовут Сергей Прилуцкий, я руковожу отделом исследований компании MixBytes. Мы занимаемся аудитами безопасности смарт-контрактов и исследованиями в области блокчейн-технологий. В числе прочего занимаемся и направлением zero-knowledge. Эта статья подготовлена по мотивам моего доклада на Highload про zkSNARKs. Это одна из самых горячих тем в современной криптографии. Они используются для обеспечения приватности и масштабируемости в децентрализованных системах. Поговорим, как масштабировать криптографические системы, какие проблемы существуют у снарк-алгоритмов и зачем они нужны.


Читать: https://habr.com/ru/companies/oleg-bunin/articles/799613/

@database_design

ORA-04031 Memory Error - Why it Happens and How to Resolve

Understand why the ORA-04031 error occurs and see how to simply diagnose and resolve this memory problem

Read: https://blogs.oracle.com/database/post/ora-04031

@database_design

Резервное копирование на дешёвом VPS-сервере

Мы уже рассказывали, как можно использовать ультрадешёвый VPS за 130 рублей в месяц. На самом деле 512 МБ оперативной памяти вполне достаточно для нормальной работы Linux (без GUI) и множества приложений, таких как VPN, веб-хостинг, некоторые игровые серверы, а также для резервного копирования файлов.

Конечно, в интернете куча облачных хостингов, но всё-таки приватные файлы спокойнее хранить на личном сервере, который полностью под нашим контролем.

Читать: https://habr.com/ru/companies/ruvds/articles/797457/

@database_design

Using Generative AI and MongoDB to Tackle Cybersecurity’s Biggest Challenges



Read: https://www.mongodb.com/blog/post/using-generative-ai-mongodb-tackle-cybersecuritys-biggest-challenges

@database_design

Introducing Zero to low-cost Autonomous Database for Developers

Announcing zero-cost Autonomous Database for Developers on Dedicated Infrastructure and Cloud@Customer

Read: https://blogs.oracle.com/database/post/introducing-autonomous-database-for-developers

@database_design

Одно, чтоб править всеми: как мы сделали хаб для сопровождения СУБД

Работа в СУБД — это множество разноплановых задач: создание новых продуктов, плановые обновления, работа с инцидентами. По мере цифровизации компании количество таких задач растёт, очередь запросов наполняется. Всё больше времени уходит не на решения, а на подготовку — сбор данных, аналитику и прочие «ветряные мельницы». Разрешить эту проблему помогают графические инструменты управления базами данных.

Меня зовут Иван Пушкарь, и вместе с командой я разрабатываю один из таких инструментов — Platform V Kintsugi. В этой статье расскажу, как появились первые платформы и оркестраторы для работы с СУБД, что сейчас есть для управления PostgreSQL и как мы решили создать собственный инструмент, который стал бы кольцом Всевластья для множества баз данных Сбера.


Читать: https://habr.com/ru/companies/sberbank/articles/799759/

@database_design

G2 Market Research vs Gartner: слон или тигр?

Мы в Кругах Громова любим исследования. Можно было бы даже сказать «собаку на них съели», но собакенов мы любим не меньше, чем исследования, и, конечно, есть никого не собираемся. Как бы там ни было, нам интересно – и, конечно, познавательно – наблюдать и изучать работу крупных мировых игроков. Сегодня решили поделиться с вами результатами сравнения двух «рапторов» – Gartner и G2 Market Research.


Читать: https://habr.com/ru/articles/800173/

@database_design

From Relational Databases to AI: An Insurance Data Modernization Journey



Read: https://www.mongodb.com/blog/post/from-relational-databases-to-ai-insurance-data-modernization-journey

@database_design

6 важных принципов GDPR

Привет, Хабр!

Сегодня я хочу поговорить о GDPR – регуляции, которая изменила понимание приватности данных в Европе и за ее пределами. На первый взгляд, GDPR может показаться очередной бюрократической головной болью, но на самом деле это очень большой шаг в сторону уважения и защиты личной информаций.

GDPR выступает не как какой-то набор ограничений, а как стимул для повышения качества работы с данными.

Санкции за несоблюдение GDPR могут быть очень большими, в некоторых случаях доходя до 10 миллионов евро или 2% от общего мирового годового оборота за предыдущий финансовый год, а в других случаях — до 20 миллионов евро или до 4% от общего мирового годового оборота. Размер штрафа оценивается индивидуально и зависит от множества факторов, как серьезность нарушения, степень причиненного ущерба, наличие умысла, и многое другое​​.

В этой статье мы рассмотрим несколько основных принципов GDPR.


Читать: https://habr.com/ru/companies/otus/articles/799079/

@database_design

​Когда к резюме попросили приложить пример лично написанной программы:

@tproger_web

SQL HowTo: один индекс на два диапазона

В прошлой статье я показал, как условие с парой однотипных неравенств, плохо поддающееся индексации с помощью btree, можно переделать на эффективно gist-индексируемое в PostgreSQL условие относительно диапазонных типов, а наш сервис анализа планов запросов explain.tensor.ru подскажет, как именно это сделать.

Но что делать, если неравенств у нас не два, а целых четыре, да еще и с разными типами участвующих полей? Например, для целей бизнеса это может быть задачей вроде "найди мне все продажи за декабрь на сумму 10-20K", что на SQL будет выглядеть примерно так:

dt >= '2023-12-01'::date AND dt <=

sum >= 10000::numeric AND sum <=


Читать: https://habr.com/ru/companies/tensor/articles/800397/

@database_design

Клонируем ноутбук при помощи NVME over TCP

Недавно я купил новый ноутбук и мне нужно было настроить его перед использованием. Но у меня не было настроения выполнять все те привычные шаги, о которых я рассказывал в предыдущем посте. Я пожаловался на это своему коллеге, и в ответ он предложил целиком копировать диск на новый ноутбук. Хотя эта идея показалась мне интересной, у меня возникли сомнения, которыми я поделился с ним.


Читать: https://habr.com/ru/articles/800455/

@database_design

Проверь себя: Ты — знаток мира BI?

Привет, Хабр! А сейчас у нас на кону интересное развлечение. Мы предлагаем вам угадать двух тайных экспертов марафона по визуализции “Ничего Лишнего”, которые будут принимать участие в двух днях работы с участниками. Под катом — краткие характеристики наших героев, а также варианты ответов. Проверьте себя, насколько вы знаете мир BI (или проверьте свою интуицию, что тоже забавно).


Читать: https://habr.com/ru/companies/visiology/articles/800465/

@database_design

Её величество Плоская таблица

Слева красиво! Но ничего не понятно. Куча объектов с непонятными связями. Каша, какая-то.

Справа техническая красота :) Всё разложено по полочкам, всё находится под контролем. Никакие детали не могут ускользнуть от нашего внимания.

Переход к плоской таблице и понимание её архитектуры напоминает переход слева-направо. Из зоны тумана, в зону ясности. В статье мы поговорим об этом подробнее. Также увидим какие инструменты нам помогают в этом.


Читать: https://habr.com/ru/articles/800473/

@database_design

Инженер-аналитик или дата-инженер: Как выбрать нужного специалиста? | Census

Мэдисон — инженер-аналитик, увлекающаяся данными, предпринимательством, писательством и образованием. Ее цель — преподавать так, чтобы это было полезно для каждого, независимо от того, начинает ли он карьеру или уже работает в инженерии 20 с лишним лет.

И так вы поняли, что вам не помешала бы дополнительная помощь в работе с данными. Но кого конкретно следует искать, вы не знаете, ведь существуют дата-аналитики, дата-инженеры, а теперь… и инженеры-аналитики?!

Не разобравшись, можно подумать, что дата-инженеры и инженеры-аналитики — это одно и то же. Звучит-то ведь похоже, верно? Но на самом деле у инженеров-аналитиков и дата-инженеров разные обязанности. Поэтому выбор подходящего для вас и вашей организации специалиста зависит от ваших потребностей, места, которое он занимает по отношению к бизнесу, и навыков, необходимых для работы.


Читать: https://habr.com/ru/companies/otus/articles/800529/

@database_design

Announcing Search Index Management in MongoDB Compass



Read: https://www.mongodb.com/blog/post/announcing-search-index-management-in-mongodb-compass

@database_design

Simplify SSH key management, enhance manageability and improve operational security with Oracle Key Vault 21.8

Oracle Key Vault 21 release update 8 is now available. Key Vault 21.8 offers improved stability, faster SSH key management deployment, and includes platform update.

Read: https://blogs.oracle.com/database/post/okv218

@database_design