DATABASE DESIGN
1.4K subscribers
2.11K photos
3 videos
5.36K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Книга «Kali Linux в действии. Аудит безопасности информационных систем. 2-е издание»

Привет, Хаброжители!

В этой книге рассматриваются методы обхода систем безопасности сетевых сервисов и проникновения в открытые информационные системы. Информационная безопасность, как и многое в нашем мире, представляет собой медаль с двумя сторонами. С одной стороны, мы проводим аудит, ищем способы проникновения и даже применяем их на практике, а с другой — работаем над защитой. Тесты на проникновение являются частью нормального жизненного цикла любой ИТ-инфраструктуры, позволяя по-настоящему оценить возможные риски и выявить скрытые проблемы.

Может ли взлом быть законным? Конечно, может! Но только в двух случаях — когда вы взламываете принадлежащие вам ИС или когда вы взламываете сеть организации, с которой у вас заключено письменное соглашение о проведении аудита или тестов на проникновение. Мы надеемся, что вы будете использовать информацию из данной книги только в целях законного взлома ИС. Пожалуйста, помните о неотвратимости наказания — любые незаконные действия влекут за собой административную или уголовную ответственность.

Вы последовательно пройдете все шаги, необходимые для проведения аудита безопасности информационных систем и тестов на проникновение: от общих понятий, рассмотрения стандартов и необходимых действий перед проведением аудита до методов проникновения в информационную систему и закрепления в ней. Каждая глава книги подкреплена реальными примерами и содержит практическую информацию по применению тех или иных методов.

Читать: https://habr.com/ru/companies/piter/articles/793436/
Building AI with MongoDB: Putting Jina AI’s Breakthrough Open Source Embedding Model To Work



Read: https://www.mongodb.com/blog/post/building-ai-mongodb-putting-jina-ais-breakthrough-open-source-embedding-model-to-work
Building AI with MongoDB: Navigating the Path From Predictive to Generative AI



Read: https://www.mongodb.com/blog/post/building-ai-mongodb-navigating-path-from-predictive-to-generative-ai
Conversations are the next generation in natural language queries

Autonomous Database Select AI has introduced an incredibly powerful new capability that lets you have conversations with your data. What’s the difference between a simple natural language query and a conversation? A lot! Conversations provide a natural way to analyze your data. Ask a question, review the result, and then follow up with a clarifying question. It’s so simple because we all have been doing this since we learned to speak.

Read: https://blogs.oracle.com/datawarehousing/post/conversations-are-the-next-generation-in-natural-language-queries
👍1
Autonomous Database brings AI to your data

Continuing to enrich Oracle’s full-stack AI, we are introducing several enhancements to Autonomous Database including cutting-edge innovations for easily integrating AI and advanced machine learning into applications and solutions.

Read: https://blogs.oracle.com/datawarehousing/post/now-is-the-time-to-innovate-with-ai-ml
Leading Industry Analysts Comment on the Latest AI and Machine Learning Innovations to Autonomous Database

Oracle has just announced a number of enhancements to Autonomous Database, introducing cutting-edge innovations that simplify and accelerate the integration of AI and advanced machine learning into your applications and analytics. Read reactions from leading industry analysts.

Read: https://blogs.oracle.com/database/post/leading-industry-analysts-comment-adb-ai-ml-announcement-feb2024
В поисках ПАК: импортозамещаем немецкое «железо» в российском ЦОД

Привет, Хабр! Меня зовут Артем Золотарев, я инженер по виртуализации в Oxygen Data Centres & Clouds. Любой облачный провайдер и оператор ЦОД может столкнуться с задачей проброса USB-портов виртуальным машинам, которым нужен доступ к определенным устройствам. И чем серьезнее требования к безопасности этих флешек – тем сложнее реализовать такое решение на практике. Сегодня я расскажу о нашем пути к выбору ПАК (программно-аппаратного комплекса) для решения задач с флешками и чем нас обрадовало найденное российское решение, когда немцы решили больше не поставлять свою технику.


Читать: https://habr.com/ru/companies/oxygendc/articles/793582/
Как я искал ПДн в 300 базах данных [и сохранил рассудок]

Пришли как-то ко мне парни из службы безопасности и говорят: «Надо обойти все БД и собрать с них персональные данные». Потому что в России изменилось законодательство и теперь их нужно хранить в особо защищённых хранилищах.

Если этого не сделать, то рано или поздно данные могут утечь и ещё можно нарваться на высокие штрафы при утечке. Задача безопасников (и основная выгода от их наличия в компании) — минимизация таких рисков.

Вот только у нас несколько сотен баз данных, где-то около трёхсот. Даже если просто заглянуть в них и попытаться сделать выборку — это займёт весьма продолжительное время. И никто не имеет полной картины, где что хранится.

Скорее всего, вам скоро предстоит такое же, поэтому сейчас покажу артефакты, которые я нашёл в процессе.

Читать: https://habr.com/ru/companies/skyeng/articles/792494/
CPM vs. BI:  о чем не расскажут продавцы

Более восьми лет я специализируюсь на внедрении CPM и BI-систем различных вендоров. Несмотря на то, что во многом их функционал пересекается, мне хорошо понятно, какие задачи решаются лучше, а какие решаются только одним из этих двух классов систем.

Написать данную статью меня сподвигли несколько повторяющихся случаев путаницы при выборе системы для определенного пула задач. В моей практике произошло меньшей мере 4 случая, когда финансовые службы различных компаний на полном серьезе рассматривали внедрение BI-системы в качестве основной системы планирования и прогнозирования. Также, вспоминается случай во время моей работы в Большой четверке, когда партнер попросил меня провести встречу с заказчиком, чтобы объяснить, зачем им нужны наши услуги по внедрению CPM, когда у них уже есть работающая BI-система.

Кстати, встречаются и обратные ситуации. Не так давно один из CIO интересовался о возможности и целесообразности построения BI системы для всей компании на базе встроенного функционала визуализации одного из известных CPM решений.

Допускаю, моим коллегам, профессионалам в этой области, подобные идеи могут показаться нонсенсом. И во многом я с ними соглашусь. Но, во-первых, мне известен ряд неплохих решений, которые, после применения несколько довольно существенных настроек над BI, позиционируют себя как системы планирования (стесняясь, однако, называть себя как CPM). Во-вторых, я видел работающие (хоть и с ограничениями) решения на базе CPM платформ, собирающих множественные наборы данных из других ИТ-систем компании, и представляющих их далее в виде аналитических BI-отчетов для пользователей.


Читать: https://habr.com/ru/companies/ade_solutions/articles/793920/
Enhanced Atlas Functionality: Introducing Resource Tagging for Projects



Read: https://www.mongodb.com/blog/post/enhanced-atlas-functionality-introducing-resource-tagging-for-projects
Побит новый рекорд емкости HDD. 30 ТБ и 400 градусов Цельсия внутри

Многие задаются вопросом, как хранить данные дома или на работе. Надо же не только установить систему на жесткий диск, но еще куда-то сложить несколько сезонов любимого сериала, фотографии друзей и родных, видео с котиками, да и для игр тоже нужно много места. А если вы работаете с большими объемами информации, то проблем становится еще больше. Но еще более требовательными являются центры обработки данных. И всем нужны большие накопители. Seagate представила самый большой жесткий диск, и его характеристики действительно впечатляют.


Читать: https://habr.com/ru/companies/x-com/articles/794130/
Announcing MariaDB Community Server 11.3 GA and 11.4 RC

Read: https://mariadb.com/?p=38848
7 направлений оптимизации ClickHouse, которые помогают в BI

Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации.
А что там с оптимизацией ClickHouse?

Читать: https://habr.com/ru/articles/794456/
1
Кратко про Raft и Paxos: путь к надежным распределенным базам данных

Привет, Хабр!

Консенсус позволяет нескольким узлам или процессам согласовать некоторое значение или последовательность действий, даже если часть системы выходит из строя или ведет себя непредсказуемо.

Среди множества подходов к решению проблемы достижения консенсуса в распределенных системах, Paxos и Raft являются самыми эффективными. Рассмотрим их подробней.


Читать: https://habr.com/ru/companies/otus/articles/793198/
👍1
7 направлений оптимизации ClickHouse, которые помогают в BI

Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации.
А что там с оптимизацией ClickHouse?

Читать: https://habr.com/ru/companies/visiology/articles/794456/
1
Во что обойдется линеаризуемость в распределенной системе

Всем привет, меня зовут Сергей Петренко, я программист в Tarantool. Сегодня мы посмотрим, с какими трудностями сталкивается клиент, когда вместо того чтобы общаться с системой, расположенной на одном инстансе, начинает общаться с распределенной системой. И разумеется, поговорим о том, как эти трудности преодолеть. Я расскажу, что такое линеаризуемость, как мы ее реализуем в Tarantool и как это делают другие СУБД. В завершение мы поговорим о накладных расходах от линеаризуемости.


Читать: https://habr.com/ru/companies/vk/articles/793210/
Expanded enterprise-class support with Oracle Audit Vault and Database Firewall (AVDF) Release Update 11 (20.11)

Announcing the release of AVDF 20.11, with support for SAML-based Single Sign-on, before/after values reporting for MySQL databases, and much more!

Read: https://blogs.oracle.com/database/post/avdf20-11
iOmega ZIP. Уже не дискеты, но ещё не HDD

Приветствую всех!
Казалось бы, о накопителях iOmega ZIP не писал только ленивый. Даже здесь, на Хабре было несколько статей, посвящённых этому во всех смыслах неоднозначному формату. Но вот в мои руки тоже попал такой привод, и я подумал: а что бы не затронуть и эту технологию? Тем более, что мне есть, что добавить к предыдущим обзорам.
Итак, в сегодняшней статье поговорим об iOmega ZIP — носителе информации, совмещавшем в себе недостатки как дискет, так и жёстких дисков. Узнаем, как устроены и работают такие устройства и посмотрим, что они могут. Традиционно будет много интересного.

Читать: https://habr.com/ru/companies/timeweb/articles/792998/
Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 1

Привет, Хабр! Недавно мы делали доклад на конференции HighLoad 2023 — «Мифы и реалии Мультимастера в архитектуре СУБД PostgreSQL». Мы — это Павел Конотопов (@kakoka) и Михаил Жилин (@mizhka), сотрудники компании Postgres Professional. Павел занимается архитектурой построения отказоустойчивых кластеров, а Михаил — анализом производительности СУБД. У каждого за плечами более десяти лет опыта в своей области.

Порассуждаем о том, как развивалась технология «Мультимастер» в экосистеме PostgreSQL, остановимся на том, что она из себя представляет, на каких внутренних механизмах PostgreSQL основана и как её можно использовать.

Мы также поговорим о том, существует ли «Честный Мультимастер» (само понятие «Честный Мультимастер» достаточно специфично и в основном употребляется в кругу разработчиков), какие реализации у него есть и как его следует применять.


Читать: https://habr.com/ru/companies/postgrespro/articles/793068/
Together AI: Advancing the Frontier of AI With Open Source Embeddings, Inference, and MongoDB Atlas



Read: https://www.mongodb.com/blog/post/together-ai-advancing-frontier-open-source-embeddings-inference-atlas