DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
От установки до использования: пример развертывания сервиса шифрования данных в покое

Нарушение конфиденциальности данных, хранящихся на серверах компаний, недопустимо и неизбежно ведет к тяжелым последствиям. Поэтому компании стараются «обвешать» свои хранилища всеми возможными мерами защиты. В том числе прибегают к использованию сервисов шифрования данных в состоянии покоя, которые гарантируют, что даже если злоумышленник получит физический доступ к устройству, он не сможет прочитать находящиеся на нем данные без ключей расшифровки.


Читать: https://habr.com/ru/companies/vk/articles/820617/

@database_design
___
Другие наши проекты
Autonomous Health Framework (AHF) Version 24.5 Released

Oracle Autonomous Health Framework 24.5 includes Data Guard health report Included in AHF Insights, new Security Checks section for Orachk and Exachk, ability to run a Balance fleet report for the clusters in an Enterprise Manager group, discovery of nodes and switches on Dom0 and new health checks - learn more.

Read: https://blogs.oracle.com/database/post/ahf-24-5

@database_design
___
Другие наши проекты
OpenDJ: быстрый масштабируемый LDAP на базе Apache Cassandra

LDAP-совместимые службы каталогов — широко распространенный отраслевой стандарт и удобное решение для хранения идентификационных данных.

В одном из популярных open-source LDAP каталогов OpenDJ, начиная с версии 4.6.1 появилась возможность использовать Apache Cassandra или ScyllaDB в качестве хранилища данных. Это позволяет использовать преимущества производительности и масштабируемости колоночных NoSQL БД по сравнению с классическими LDAP каталогами. В данной статье мы развернем инстанс OpenDJ на базе Apache Cassandra.


Читать: https://habr.com/ru/articles/820925/

@database_design
___
Другие наши проекты
Хоп, Хлоп, и MVP готов

Здравствуйте, меня зовут Дмитрий Карловский и я.. как 30 лет назад вошёл в IT, и всё никак не могу из него выйти. И всё это время я не только работал работу, но и точил свой набор топоров, благодаря которому путь стартапа от идеи до прода сокращается с минимум недели до максимум часа.

Заинтригованы? Тогда следите за руками внимательно, иначе пропустите как мы во мгновение ока нарисуем полноценный фронтенд без чат-ботов, поднимем базу данных без сервера, задеплоим всё на статический сервер без боли, и будем наслаждаться результатом без тормозов.
Ну 0_0

Читать: https://habr.com/ru/articles/820871/

@database_design
___
Другие наши проекты
👍1
Открытые инструменты визуализации данных

Бизнесу нужны данные, чтобы эффективно работать. Не важно, какой инструмент вы используете для анализа, главное, чтобы он экономил ваше время и повышал производительность.
Современные технологии делают цифровые процессы извлечения полезной информации и принятия решений доступными для всех компаний, независимо от их специализации или уровня подготовки сотрудников.

Сегодня расскажем о некоторых открытых (и бесплатных) инструментах визуализации данных. Мы отобрали их по количеству звезд на GitHub. Хотя они не так известны, как Tableau Public или PowerBI, эти приложения позволяют легко создавать диаграммы и дашборды, фокусируясь не на инструментах, а на данных и их бизнес-ценности.

А еще напомним, что данные практически любого объема и формата вы можете хранить в облаке. Сейчас на объектное хранилище MWS действует скидка 50%.



Читать: https://habr.com/ru/companies/mws/articles/820959/

@database_design
___
Другие наши проекты
Качество данных и роботы: как мы высвободили 5 рабочих часов в день сотрудника DQ

Привет, меня зовут Катя Моисеева, я руководитель направления качества данных в Data Office Tele2. Мы уже рассказывали о том, как с нуля строили процессы качества данных на различных площадках (выступления можно посмотреть по ссылке).

Сейчас для нас остро встал вопрос о ресурсах нашей команды, а точнее их «резиновости» - поток входящих инцидентов растет по мере подключения новых систем к проверкам качества, а команда остается в составе 3 сотрудников. Возникает вопрос – а какая она, идеальная команда качества данных, которая сможет создать процессы с нуля, внедрить и привить культуру внутренним заказчикам, свести к минимуму риски возникновения инцидентов, а еще минимизировать затраты компании?

Под катом поделились своим опытом борьбы с хаосом из потока входящих задач и запросов от бизнеса и о маленьком роботе-спасителе, который экономит нам ежедневно 5 часов сотрудника DQ и внедрить которого по силам каждому.


Читать: https://habr.com/ru/companies/tele2/articles/820991/

@database_design
___
Другие наши проекты
MariaDB Enterprise Server Q2 2024 maintenance releases

Read: https://mariadb.com/?p=39348

@database_design
___
Другие наши проекты
Как хеширование поможет вам оптимизировать хранение данных?

Хеширование – это мощный инструмент, широко используемый в различных областях IT: от защиты паролей до создания быстрых структур данных. В этой статье мы подробно рассмотрим, как хеширование помогает оптимизировать хранение данных, исключить дубликаты и улучшить работу с файлами.


Читать: https://habr.com/ru/articles/821337/

@database_design
___
Другие наши проекты
Разработка многопоточной Базы Данных: Ключевые аспекты и примеры реализации ( C++ )

Эта статья посвящена разработке многопоточной базы данных. Мы рассмотрим основные компоненты, такие как хранилище данных, транзакционные системы, многопоточность, журналирование и восстановление, а также создание API для взаимодействия с базой данных. Примеры кода на языке C++ помогут лучше понять реализацию различных аспектов многопоточной базы данных.


Читать: https://habr.com/ru/articles/821381/

@database_design
___
Другие наши проекты
Простая документация с dbt: Упрощение документирования хранилищ данных

Когда вы в последний раз впервые смотрели на хранилище данных? Помните то чувство фрустрации, когда вы не знали, что содержат таблицы orders_final_v1? Или как отличить user_uuid от user_id? Любой специалист по данным может понять эти ощущения.

К счастью, dbt (Data Build Tool) значительно упростил задачу документирования хранилищ данных. Все, что нужно сделать, это включить описание наших таблиц и колонок в YAML-файл схемы. Затем вся информация собирается в аккуратный HTML-файл.

Данная статья это перевод с английского с некоторыми адаптациями. Перевод сделан НЕшколой для инженеров Inzhenerka.Tech совместно с автором симулятора по DWH на dbt Павлом Рословцом. Больше материала в нашем сообществе


Читать: https://habr.com/ru/articles/821503/

@database_design
___
Другие наши проекты
Алгоритм формирования дробных индексов

В данной статье я постараюсь объяснить процесс разработки и оптимизации алгоритма построения дробных индексов, используя простые логические рассуждения. По ходу статьи мы углубимся в тонкости алгоритма и возможные применения, коснемся темы оптимизации размера индекса в крайних случаях, а также рассмотрим, как изменить алгоритм для поддержки одновременного использования многими пользователями.


Читать: https://habr.com/ru/articles/821187/

@database_design
___
Другие наши проекты
Как снизить нагрузку на CRM-систему

Рассказали, как справляемся с нагрузкой внутренней CRM-системы: какие технологии и практики используем и почему.

Читать: «Как снизить нагрузку на CRM-систему»

@database_design
___
Другие наши проекты
Настройка iScsi в L3-сети для эффективной утилизации возможностей канала и СХД

После тестирования NVME over TCP, описанной тут https://habr.com/ru/companies/beeline_tech/articles/770174/, решили проверить, насколько хорошо iScsi в L3-сети работает по сравнение со специализированным решение на FC.

Настройки iScsi

TL/DR

Машина в Bios переведена на профиль HPC (был пустой).

На уровне OS и iscsid сделаны такие изменения


Читать: https://habr.com/ru/companies/beeline_tech/articles/821855/

@database_design
___
Другие наши проекты
Хранение данных на ДНК/РНК: возможности и перспективы

Приветствую всех айтишников и технарей. Выпустив очередную часть саги про ЯМР, я словил катарсис и почувствовал за собой моральное право опять пографоманить на отвлеченные темы. И сегодня мы с двух ног ворвемся в тему хранения данных на ДНК/РНК. Тема интересная, и намного ближе к айтишечке, чем все предыдущие опусы, поэтому погнали!
Добро пожаловать под кат

Читать: https://habr.com/ru/articles/818081/

@database_design
___
Другие наши проекты
Дедупликация данных в Windows 10 и Windows 11 средствами Microsoft

Сегодня я кратко расскажу вам как включить дедупликацию данных в клиентских ОС - Windows 10 и Windows 11, добавив функционал из Windows Server, причем не какие-то сторонние бинарники, а оригинальные, подписанные файлы Microsoft, которые к тому же будут обновляться через Windows Update.

В этой статье не будет описания дедупликации данных, - разве что совсем кратко что это такое, и не будет сравнения решений разных вендоров. Я дам ниже ссылки на достойные, на мой взгляд, статьи других авторов и готов буду отвечать на вопросы, если их зададут ниже в виде комментария или в ПМ.

Начать знакомство рекомендую с базовой теории Введение в дедупликацию данных / Хабр (habr.com) от компании Veeam, затем почитать о том, что такое дедупликация Microsoft - Обзор и настройка средств дедупликации в Windows Server 2012 / Хабр (habr.com) - статья моего бывшего коллеги по Microsoft Георгия говорит о том, как настраивается дедупликация NTFS в Windows Server 2012. В последующих изданиях Windows Server 2012R2, 2016, 2019, 2022 и 2025 функционал развивался, появилась поддержка ReFS, стало возможно (неочевидным способом) дедуплицировать системный том, расширились компоненты управления, - но для конечного пользователя все остается там же. Установили одним кликом, включили для диска, забыли. В заключение подготовительной информации - тем кого действительно интересует кроссплатформенные решения и их сравнения, предложу ознакомиться со статьей Илии Карина - Dedup Windows vs Linux, MS снова “удивит”? / Хабр (habr.com) - его не должны заподозрить в рекламе Microsoft, его сравнение подходов, и результат меня самого удивил. У меня на такую большую исследовательскую работу сил и возможностей нет, - почитайте. И имейте в виду, что если вы используете последний Windows 11, то и компоненты дедупликации в нем будут последние, от Windows Server 2025, то есть с еще более впечатляющим результатом.


Читать: https://habr.com/ru/articles/822117/

@database_design
___
Другие наши проекты
Обзор нового поколения блочных СХД Qsan XCubeSAN. Укрепляем свои позиции на рынке

Прошло уже немало времени с момента нашей публикации обзора СХД Qsan серии XCubeSAN. Некоторое время назад QSAN обновил эту линейку, и на текущий момент эти системы хранения данных являются самыми востребованными среди наших заказчиков. Поэтому мы хотим, пусть и с некоторым опозданием, поделиться своим мнением относительно данного продукта.


Читать: https://habr.com/ru/companies/skilline/articles/820845/

@database_design
___
Другие наши проекты
От платформы к коробочным продуктам: анализ архитектуры Tarantool

Даже если вы никогда не слышали о Tarantool, вы наверняка им пользовались: видели баннеры, которые берут профили рекламы из Tarantool, заказывали еду, доставка которой обрабатывается Tarantool, заходили в онлайн-банк и видели историю трат, которую показывает Tarantool. Решение активно задействуют во многих отраслях и сценариях, а количество кейсов его успешного применения постоянно растет.

Но так было не всегда: за 15 лет Tarantool прошел большой путь, на котором были как успехи, так и подводные камни.


Читать: https://habr.com/ru/companies/vk/articles/819059/

@database_design
___
Другие наши проекты