6 важных принципов GDPR
Привет, Хабр!
Сегодня я хочу поговорить о GDPR – регуляции, которая изменила понимание приватности данных в Европе и за ее пределами. На первый взгляд, GDPR может показаться очередной бюрократической головной болью, но на самом деле это очень большой шаг в сторону уважения и защиты личной информаций.
GDPR выступает не как какой-то набор ограничений, а как стимул для повышения качества работы с данными.
Санкции за несоблюдение GDPR могут быть очень большими, в некоторых случаях доходя до 10 миллионов евро или 2% от общего мирового годового оборота за предыдущий финансовый год, а в других случаях — до 20 миллионов евро или до 4% от общего мирового годового оборота. Размер штрафа оценивается индивидуально и зависит от множества факторов, как серьезность нарушения, степень причиненного ущерба, наличие умысла, и многое другое.
В этой статье мы рассмотрим несколько основных принципов GDPR.
Читать: https://habr.com/ru/companies/otus/articles/799079/
@database_design
Привет, Хабр!
Сегодня я хочу поговорить о GDPR – регуляции, которая изменила понимание приватности данных в Европе и за ее пределами. На первый взгляд, GDPR может показаться очередной бюрократической головной болью, но на самом деле это очень большой шаг в сторону уважения и защиты личной информаций.
GDPR выступает не как какой-то набор ограничений, а как стимул для повышения качества работы с данными.
Санкции за несоблюдение GDPR могут быть очень большими, в некоторых случаях доходя до 10 миллионов евро или 2% от общего мирового годового оборота за предыдущий финансовый год, а в других случаях — до 20 миллионов евро или до 4% от общего мирового годового оборота. Размер штрафа оценивается индивидуально и зависит от множества факторов, как серьезность нарушения, степень причиненного ущерба, наличие умысла, и многое другое.
В этой статье мы рассмотрим несколько основных принципов GDPR.
Читать: https://habr.com/ru/companies/otus/articles/799079/
@database_design
Forwarded from Веб-страница
SQL HowTo: один индекс на два диапазона
В прошлой статье я показал, как условие с парой однотипных неравенств, плохо поддающееся индексации с помощью
Но что делать, если неравенств у нас не два, а целых четыре, да еще и с разными типами участвующих полей? Например, для целей бизнеса это может быть задачей вроде "найди мне все продажи за декабрь на сумму 10-20K", что на SQL будет выглядеть примерно так:
Читать: https://habr.com/ru/companies/tensor/articles/800397/
@database_design
В прошлой статье я показал, как условие с парой однотипных неравенств, плохо поддающееся индексации с помощью
btree, можно переделать на эффективно gist-индексируемое в PostgreSQL условие относительно диапазонных типов, а наш сервис анализа планов запросов explain.tensor.ru подскажет, как именно это сделать.Но что делать, если неравенств у нас не два, а целых четыре, да еще и с разными типами участвующих полей? Например, для целей бизнеса это может быть задачей вроде "найди мне все продажи за декабрь на сумму 10-20K", что на SQL будет выглядеть примерно так:
dt >= '2023-12-01'::date AND dt <=sum >= 10000::numeric AND sum <=Читать: https://habr.com/ru/companies/tensor/articles/800397/
@database_design
Клонируем ноутбук при помощи NVME over TCP
Недавно я купил новый ноутбук и мне нужно было настроить его перед использованием. Но у меня не было настроения выполнять все те привычные шаги, о которых я рассказывал в предыдущем посте. Я пожаловался на это своему коллеге, и в ответ он предложил целиком копировать диск на новый ноутбук. Хотя эта идея показалась мне интересной, у меня возникли сомнения, которыми я поделился с ним.
Читать: https://habr.com/ru/articles/800455/
@database_design
Недавно я купил новый ноутбук и мне нужно было настроить его перед использованием. Но у меня не было настроения выполнять все те привычные шаги, о которых я рассказывал в предыдущем посте. Я пожаловался на это своему коллеге, и в ответ он предложил целиком копировать диск на новый ноутбук. Хотя эта идея показалась мне интересной, у меня возникли сомнения, которыми я поделился с ним.
Читать: https://habr.com/ru/articles/800455/
@database_design
Проверь себя: Ты — знаток мира BI?
Привет, Хабр! А сейчас у нас на кону интересное развлечение. Мы предлагаем вам угадать двух тайных экспертов марафона по визуализции “Ничего Лишнего”, которые будут принимать участие в двух днях работы с участниками. Под катом — краткие характеристики наших героев, а также варианты ответов. Проверьте себя, насколько вы знаете мир BI (или проверьте свою интуицию, что тоже забавно).
Читать: https://habr.com/ru/companies/visiology/articles/800465/
@database_design
Привет, Хабр! А сейчас у нас на кону интересное развлечение. Мы предлагаем вам угадать двух тайных экспертов марафона по визуализции “Ничего Лишнего”, которые будут принимать участие в двух днях работы с участниками. Под катом — краткие характеристики наших героев, а также варианты ответов. Проверьте себя, насколько вы знаете мир BI (или проверьте свою интуицию, что тоже забавно).
Читать: https://habr.com/ru/companies/visiology/articles/800465/
@database_design
Её величество Плоская таблица
Слева красиво! Но ничего не понятно. Куча объектов с непонятными связями. Каша, какая-то.
Справа техническая красота :) Всё разложено по полочкам, всё находится под контролем. Никакие детали не могут ускользнуть от нашего внимания.
Переход к плоской таблице и понимание её архитектуры напоминает переход слева-направо. Из зоны тумана, в зону ясности. В статье мы поговорим об этом подробнее. Также увидим какие инструменты нам помогают в этом.
Читать: https://habr.com/ru/articles/800473/
@database_design
Слева красиво! Но ничего не понятно. Куча объектов с непонятными связями. Каша, какая-то.
Справа техническая красота :) Всё разложено по полочкам, всё находится под контролем. Никакие детали не могут ускользнуть от нашего внимания.
Переход к плоской таблице и понимание её архитектуры напоминает переход слева-направо. Из зоны тумана, в зону ясности. В статье мы поговорим об этом подробнее. Также увидим какие инструменты нам помогают в этом.
Читать: https://habr.com/ru/articles/800473/
@database_design
Инженер-аналитик или дата-инженер: Как выбрать нужного специалиста? | Census
Мэдисон — инженер-аналитик, увлекающаяся данными, предпринимательством, писательством и образованием. Ее цель — преподавать так, чтобы это было полезно для каждого, независимо от того, начинает ли он карьеру или уже работает в инженерии 20 с лишним лет.
И так вы поняли, что вам не помешала бы дополнительная помощь в работе с данными. Но кого конкретно следует искать, вы не знаете, ведь существуют дата-аналитики, дата-инженеры, а теперь… и инженеры-аналитики?!
Не разобравшись, можно подумать, что дата-инженеры и инженеры-аналитики — это одно и то же. Звучит-то ведь похоже, верно? Но на самом деле у инженеров-аналитиков и дата-инженеров разные обязанности. Поэтому выбор подходящего для вас и вашей организации специалиста зависит от ваших потребностей, места, которое он занимает по отношению к бизнесу, и навыков, необходимых для работы.
Читать: https://habr.com/ru/companies/otus/articles/800529/
@database_design
Мэдисон — инженер-аналитик, увлекающаяся данными, предпринимательством, писательством и образованием. Ее цель — преподавать так, чтобы это было полезно для каждого, независимо от того, начинает ли он карьеру или уже работает в инженерии 20 с лишним лет.
И так вы поняли, что вам не помешала бы дополнительная помощь в работе с данными. Но кого конкретно следует искать, вы не знаете, ведь существуют дата-аналитики, дата-инженеры, а теперь… и инженеры-аналитики?!
Не разобравшись, можно подумать, что дата-инженеры и инженеры-аналитики — это одно и то же. Звучит-то ведь похоже, верно? Но на самом деле у инженеров-аналитиков и дата-инженеров разные обязанности. Поэтому выбор подходящего для вас и вашей организации специалиста зависит от ваших потребностей, места, которое он занимает по отношению к бизнесу, и навыков, необходимых для работы.
Читать: https://habr.com/ru/companies/otus/articles/800529/
@database_design
Announcing Search Index Management in MongoDB Compass
Read: https://www.mongodb.com/blog/post/announcing-search-index-management-in-mongodb-compass
@database_design
Read: https://www.mongodb.com/blog/post/announcing-search-index-management-in-mongodb-compass
@database_design
Simplify SSH key management, enhance manageability and improve operational security with Oracle Key Vault 21.8
Oracle Key Vault 21 release update 8 is now available. Key Vault 21.8 offers improved stability, faster SSH key management deployment, and includes platform update.
Read: https://blogs.oracle.com/database/post/okv218
@database_design
Oracle Key Vault 21 release update 8 is now available. Key Vault 21.8 offers improved stability, faster SSH key management deployment, and includes platform update.
Read: https://blogs.oracle.com/database/post/okv218
@database_design
Oracle
Simplify SSH key management, enhance manageability and improve operational security with Oracle Key Vault 21.8
Oracle Key Vault 21 release update 8 is now available. Key Vault 21.8 offers improved stability, faster SSH key management deployment, and includes platform update.
Transforming Industries with MongoDB and AI: Manufacturing and Motion
Read: https://www.mongodb.com/blog/post/transforming-industries-mongodb-ai-manufacturing-motion
@database_design
Read: https://www.mongodb.com/blog/post/transforming-industries-mongodb-ai-manufacturing-motion
@database_design
Дом, милый дом: нюансы работы с ClickHouse. Часть 1
Всем привет, меня зовут Пётр, я инженер компании Nixys. На современных проектах используется огромное разнообразие баз данных: реляционные, ключ-значение, документоориентированные. Особое место среди них занимают колоночные базы данных, ярким представителем которых является ClickHouse. Это мощный инструмент, который способен обрабатывать миллиарды строк в секунду при минимальном времени ответа. Однако, для максимальной эффективности ClickHouse необходимо понимать ряд фундаментальных моментов для того, чтобы использовать его по назначению. В этой серии статей мы разберем особенности работы ClickHouse, которые помогут в выжимании максимума из этой базы. И сегодня начнём с фундаментальных теоретических моментов, чтобы составить максимально полное общее впечатление, которое поможет нам в дальнейшем.
Читать: https://habr.com/ru/companies/nixys/articles/801029/
@database_design
Всем привет, меня зовут Пётр, я инженер компании Nixys. На современных проектах используется огромное разнообразие баз данных: реляционные, ключ-значение, документоориентированные. Особое место среди них занимают колоночные базы данных, ярким представителем которых является ClickHouse. Это мощный инструмент, который способен обрабатывать миллиарды строк в секунду при минимальном времени ответа. Однако, для максимальной эффективности ClickHouse необходимо понимать ряд фундаментальных моментов для того, чтобы использовать его по назначению. В этой серии статей мы разберем особенности работы ClickHouse, которые помогут в выжимании максимума из этой базы. И сегодня начнём с фундаментальных теоретических моментов, чтобы составить максимально полное общее впечатление, которое поможет нам в дальнейшем.
Читать: https://habr.com/ru/companies/nixys/articles/801029/
@database_design
Живы ли жесткие диски в 2024 году, и где их стоит применять
Кажется, что эпоха жестких дисков давно ушла. SSD-накопители если не вытеснили HDD с рынка комплектующих для консьюмерских ПК, то сильно пошатнули их позиции. Иначе и быть не могло, когда имеешь дело с очевидно превосходящим решением, которое развивается семимильными шагами. Несмотря на это, жесткие диски все еще продаются и даже пользуются определенной популярностью. Эту статью мы подготовили для тех, кто сомневается и не уверен в рациональности приобретения (или, наоборот, не-приобретения) HDD в 2024 году. Никакого rocket science под катом -- только факты и их анализ, а также сегодня мы расскажем про пять сфер, в которых HDD остаются лучшее SSD.
Читать: https://habr.com/ru/companies/x-com/articles/801563/
@database_design
Кажется, что эпоха жестких дисков давно ушла. SSD-накопители если не вытеснили HDD с рынка комплектующих для консьюмерских ПК, то сильно пошатнули их позиции. Иначе и быть не могло, когда имеешь дело с очевидно превосходящим решением, которое развивается семимильными шагами. Несмотря на это, жесткие диски все еще продаются и даже пользуются определенной популярностью. Эту статью мы подготовили для тех, кто сомневается и не уверен в рациональности приобретения (или, наоборот, не-приобретения) HDD в 2024 году. Никакого rocket science под катом -- только факты и их анализ, а также сегодня мы расскажем про пять сфер, в которых HDD остаются лучшее SSD.
Читать: https://habr.com/ru/companies/x-com/articles/801563/
@database_design
Когда одного Postgres'a мало: сравнение производительности PostgreSQL и распределенных СУБД
Общеизвестно, что PostgreSQL - крайне эффективная СУБД с богатой функциональностью. При этом не секрет, что PostgreSQL масштабируется только вертикально и её производительность ограничена возможностями одного сервера.
Написано много хороших постов, в которых сравнивают архитектуру монолитных и распределенных СУБД. К сожалению, обычно авторы ограничиваются теоретическим сравнением и не приводят конкретные цифры. Данный пост же наоборот основан на эмпирическом исследовании с использованием бенчмарка TPC-C, который является промышленным стандартом для оценки производительности транзакционных СУБД (On-Line Transaction Processing, OLTP).
Мы расскажем, когда именно одного Postgres'a становится мало, и какие возможны компромиссы между производительностью и надежностью. Для тех, кто не готов к компромиссам, мы покажем, что могут предложить такие распределенные СУБД, как CockroachDB и YDB.
Читать: https://habr.com/ru/companies/ydb/articles/801587/
@database_design
Общеизвестно, что PostgreSQL - крайне эффективная СУБД с богатой функциональностью. При этом не секрет, что PostgreSQL масштабируется только вертикально и её производительность ограничена возможностями одного сервера.
Написано много хороших постов, в которых сравнивают архитектуру монолитных и распределенных СУБД. К сожалению, обычно авторы ограничиваются теоретическим сравнением и не приводят конкретные цифры. Данный пост же наоборот основан на эмпирическом исследовании с использованием бенчмарка TPC-C, который является промышленным стандартом для оценки производительности транзакционных СУБД (On-Line Transaction Processing, OLTP).
Мы расскажем, когда именно одного Postgres'a становится мало, и какие возможны компромиссы между производительностью и надежностью. Для тех, кто не готов к компромиссам, мы покажем, что могут предложить такие распределенные СУБД, как CockroachDB и YDB.
Читать: https://habr.com/ru/companies/ydb/articles/801587/
@database_design
Современные тенденции и проблемы управления данными на рынке РФ: вызовы 2024 года
В эпоху данных и активной цифровизации вопросы эффективного управления данными становятся все более актуальными. От того, насколько эффективно компания управляет своими данными, зависит эффективность принятия управленческих решений, что влияет на выручку компании и чистую прибыль.
Вопросы управления данными включают задачи эффективного хранения и обработки данных (КХД, озера данных, ETL & ELT) в облаках и On-Premise, настройки интеграционных потоков (транспорт) для анализа в режиме реального времени и не только, вопросы предоставления данных во внешние системы и BI, процессы качества данных и каталогизации, безопасность данных, решения на базе расширенной аналитики и ИИ.
Александр Сулейкин, кандидат технических наук, генеральный директор и архитектор Big Data систем компании “ДЮК Технологии” дает прогноз на предстоящий год: какие технологии управления данными будут развиваться, с какими проблемами сталкивается бизнес и каких технологий не хватает для полноценного импортозамещения.
Читать: https://habr.com/ru/articles/801599/
@database_design
В эпоху данных и активной цифровизации вопросы эффективного управления данными становятся все более актуальными. От того, насколько эффективно компания управляет своими данными, зависит эффективность принятия управленческих решений, что влияет на выручку компании и чистую прибыль.
Вопросы управления данными включают задачи эффективного хранения и обработки данных (КХД, озера данных, ETL & ELT) в облаках и On-Premise, настройки интеграционных потоков (транспорт) для анализа в режиме реального времени и не только, вопросы предоставления данных во внешние системы и BI, процессы качества данных и каталогизации, безопасность данных, решения на базе расширенной аналитики и ИИ.
Александр Сулейкин, кандидат технических наук, генеральный директор и архитектор Big Data систем компании “ДЮК Технологии” дает прогноз на предстоящий год: какие технологии управления данными будут развиваться, с какими проблемами сталкивается бизнес и каких технологий не хватает для полноценного импортозамещения.
Читать: https://habr.com/ru/articles/801599/
@database_design
Безопасность данных в BI-системе
Привет, Хабр! На связи Александр Чебанов, product owner Modus. Сегодня хочу поговорить о том, что такое безопасность данных, и какие свойства информации ее обеспечивают, где в BI-системах уязвимые места и как защитить свои данные. Поехали!
Читать: https://habr.com/ru/companies/modusbi/articles/801715/
@database_design
Привет, Хабр! На связи Александр Чебанов, product owner Modus. Сегодня хочу поговорить о том, что такое безопасность данных, и какие свойства информации ее обеспечивают, где в BI-системах уязвимые места и как защитить свои данные. Поехали!
Читать: https://habr.com/ru/companies/modusbi/articles/801715/
@database_design
Инженер на минималках: установка и настройка ClickHouse
Базы данных — один из важнейших инструментов в арсенале аналитика. А ClickHouse — это высокопроизводительная аналитическая СУБД, которая заточена на то, чтобы переваривать огромные массивы данных. Поэтому полезно будет разобраться, как самостоятельно установить ClickHouse в Yandex Cloud или на VDS-сервере, как создать пользователей и активировать веб-интерфейс и доступ по сети. Этим и займемся в статье.
Читать: https://habr.com/ru/articles/801757/
@database_design
Базы данных — один из важнейших инструментов в арсенале аналитика. А ClickHouse — это высокопроизводительная аналитическая СУБД, которая заточена на то, чтобы переваривать огромные массивы данных. Поэтому полезно будет разобраться, как самостоятельно установить ClickHouse в Yandex Cloud или на VDS-сервере, как создать пользователей и активировать веб-интерфейс и доступ по сети. Этим и займемся в статье.
Читать: https://habr.com/ru/articles/801757/
@database_design
New Data Modeling Learning Path and Certification
Read: https://www.mongodb.com/blog/post/new-data-modeling-learning-path-certification
@database_design
Read: https://www.mongodb.com/blog/post/new-data-modeling-learning-path-certification
@database_design
Introducing Semantic Caching and a Dedicated MongoDB LangChain Package for gen AI Apps
Read: https://www.mongodb.com/blog/post/introducing-semantic-caching-dedicated-mongodb-lang-chain-package-gen-ai-apps
@database_design
Read: https://www.mongodb.com/blog/post/introducing-semantic-caching-dedicated-mongodb-lang-chain-package-gen-ai-apps
@database_design
Как мы улучшили СУБД промышленного уровня Platform V Pangolin в версии 6.1
Меня зовут Михаил Гелемеев, я лидер команды сопровождения Platform V Pangolin в СберТехе.
Platform V Pangolin — реляционная система управления базами данных. Она основана на свободно распространяемой версии PostgreSQL и содержит ряд доработок, обеспечивающих соответствие повышенным требованиям к безопасности данных, доступности, надежности, а также удобству эксплуатации. Наш продукт помогает получить функциональные возможности реляционной СУБД, включая построение кластеров высокой доступности, резервирование данных, снятие и восстановление резервных копий.
В январе мы выпустили новую версию — Platform V Pangolin 6.1. В ней появились обновления для работы с большим объёмом данных. Если вкратце — работать с секциями стало проще и быстрее: дешевле доступ к данным в секционированных таблицах, и для них можно гибко создавать уникальные глобальные индексы. Теперь можно предотвратить высокое потребление CPU и RAM пользовательской сессией, это улучшает доступность сервиса. Мы также добавили инструмент диагностики текущей активности для детального понимания процессов сессии, так работа СУБД становится более прозрачной.
В статье подробнее расскажу о каждой из доработок. Их можно условно разделить на две части: для пользователей и для администраторов/инфраструктуры.
Читать: https://habr.com/ru/companies/sberbank/articles/801797/
@database_design
Меня зовут Михаил Гелемеев, я лидер команды сопровождения Platform V Pangolin в СберТехе.
Platform V Pangolin — реляционная система управления базами данных. Она основана на свободно распространяемой версии PostgreSQL и содержит ряд доработок, обеспечивающих соответствие повышенным требованиям к безопасности данных, доступности, надежности, а также удобству эксплуатации. Наш продукт помогает получить функциональные возможности реляционной СУБД, включая построение кластеров высокой доступности, резервирование данных, снятие и восстановление резервных копий.
В январе мы выпустили новую версию — Platform V Pangolin 6.1. В ней появились обновления для работы с большим объёмом данных. Если вкратце — работать с секциями стало проще и быстрее: дешевле доступ к данным в секционированных таблицах, и для них можно гибко создавать уникальные глобальные индексы. Теперь можно предотвратить высокое потребление CPU и RAM пользовательской сессией, это улучшает доступность сервиса. Мы также добавили инструмент диагностики текущей активности для детального понимания процессов сессии, так работа СУБД становится более прозрачной.
В статье подробнее расскажу о каждой из доработок. Их можно условно разделить на две части: для пользователей и для администраторов/инфраструктуры.
Читать: https://habr.com/ru/companies/sberbank/articles/801797/
@database_design
Как мы делаем свой DBaaS
Сейчас мы, в Postgres Professional, разрабатываем новый интересный продукт — DataBase as a Service, и в этой статье хочется немного рассказать о наших успехах, узнать ваше мнение и послушать возможные пожелания.
Читать: https://habr.com/ru/companies/postgrespro/articles/801795/
@database_design
Сейчас мы, в Postgres Professional, разрабатываем новый интересный продукт — DataBase as a Service, и в этой статье хочется немного рассказать о наших успехах, узнать ваше мнение и послушать возможные пожелания.
Читать: https://habr.com/ru/companies/postgrespro/articles/801795/
@database_design
Требования к безопасности веб-проектов на «1С-Битрикс»
Рассказали о мерах безопасности в 1С-Битрикс, которые обеспечат надежную работу всей системы. И показали, как настроить встроенные средства защиты и журналирования.
Читать: «Требования к безопасности веб-проектов на «1С-Битрикс»»
@database_design
Рассказали о мерах безопасности в 1С-Битрикс, которые обеспечат надежную работу всей системы. И показали, как настроить встроенные средства защиты и журналирования.
Читать: «Требования к безопасности веб-проектов на «1С-Битрикс»»
@database_design