Когда одного Postgres'a мало: сравнение производительности PostgreSQL и распределенных СУБД
Общеизвестно, что PostgreSQL - крайне эффективная СУБД с богатой функциональностью. При этом не секрет, что PostgreSQL масштабируется только вертикально и её производительность ограничена возможностями одного сервера.
Написано много хороших постов, в которых сравнивают архитектуру монолитных и распределенных СУБД. К сожалению, обычно авторы ограничиваются теоретическим сравнением и не приводят конкретные цифры. Данный пост же наоборот основан на эмпирическом исследовании с использованием бенчмарка TPC-C, который является промышленным стандартом для оценки производительности транзакционных СУБД (On-Line Transaction Processing, OLTP).
Мы расскажем, когда именно одного Postgres'a становится мало, и какие возможны компромиссы между производительностью и надежностью. Для тех, кто не готов к компромиссам, мы покажем, что могут предложить такие распределенные СУБД, как CockroachDB и YDB.
Читать: https://habr.com/ru/companies/ydb/articles/801587/
@database_design
Общеизвестно, что PostgreSQL - крайне эффективная СУБД с богатой функциональностью. При этом не секрет, что PostgreSQL масштабируется только вертикально и её производительность ограничена возможностями одного сервера.
Написано много хороших постов, в которых сравнивают архитектуру монолитных и распределенных СУБД. К сожалению, обычно авторы ограничиваются теоретическим сравнением и не приводят конкретные цифры. Данный пост же наоборот основан на эмпирическом исследовании с использованием бенчмарка TPC-C, который является промышленным стандартом для оценки производительности транзакционных СУБД (On-Line Transaction Processing, OLTP).
Мы расскажем, когда именно одного Postgres'a становится мало, и какие возможны компромиссы между производительностью и надежностью. Для тех, кто не готов к компромиссам, мы покажем, что могут предложить такие распределенные СУБД, как CockroachDB и YDB.
Читать: https://habr.com/ru/companies/ydb/articles/801587/
@database_design
Современные тенденции и проблемы управления данными на рынке РФ: вызовы 2024 года
В эпоху данных и активной цифровизации вопросы эффективного управления данными становятся все более актуальными. От того, насколько эффективно компания управляет своими данными, зависит эффективность принятия управленческих решений, что влияет на выручку компании и чистую прибыль.
Вопросы управления данными включают задачи эффективного хранения и обработки данных (КХД, озера данных, ETL & ELT) в облаках и On-Premise, настройки интеграционных потоков (транспорт) для анализа в режиме реального времени и не только, вопросы предоставления данных во внешние системы и BI, процессы качества данных и каталогизации, безопасность данных, решения на базе расширенной аналитики и ИИ.
Александр Сулейкин, кандидат технических наук, генеральный директор и архитектор Big Data систем компании “ДЮК Технологии” дает прогноз на предстоящий год: какие технологии управления данными будут развиваться, с какими проблемами сталкивается бизнес и каких технологий не хватает для полноценного импортозамещения.
Читать: https://habr.com/ru/articles/801599/
@database_design
В эпоху данных и активной цифровизации вопросы эффективного управления данными становятся все более актуальными. От того, насколько эффективно компания управляет своими данными, зависит эффективность принятия управленческих решений, что влияет на выручку компании и чистую прибыль.
Вопросы управления данными включают задачи эффективного хранения и обработки данных (КХД, озера данных, ETL & ELT) в облаках и On-Premise, настройки интеграционных потоков (транспорт) для анализа в режиме реального времени и не только, вопросы предоставления данных во внешние системы и BI, процессы качества данных и каталогизации, безопасность данных, решения на базе расширенной аналитики и ИИ.
Александр Сулейкин, кандидат технических наук, генеральный директор и архитектор Big Data систем компании “ДЮК Технологии” дает прогноз на предстоящий год: какие технологии управления данными будут развиваться, с какими проблемами сталкивается бизнес и каких технологий не хватает для полноценного импортозамещения.
Читать: https://habr.com/ru/articles/801599/
@database_design
Безопасность данных в BI-системе
Привет, Хабр! На связи Александр Чебанов, product owner Modus. Сегодня хочу поговорить о том, что такое безопасность данных, и какие свойства информации ее обеспечивают, где в BI-системах уязвимые места и как защитить свои данные. Поехали!
Читать: https://habr.com/ru/companies/modusbi/articles/801715/
@database_design
Привет, Хабр! На связи Александр Чебанов, product owner Modus. Сегодня хочу поговорить о том, что такое безопасность данных, и какие свойства информации ее обеспечивают, где в BI-системах уязвимые места и как защитить свои данные. Поехали!
Читать: https://habr.com/ru/companies/modusbi/articles/801715/
@database_design
Инженер на минималках: установка и настройка ClickHouse
Базы данных — один из важнейших инструментов в арсенале аналитика. А ClickHouse — это высокопроизводительная аналитическая СУБД, которая заточена на то, чтобы переваривать огромные массивы данных. Поэтому полезно будет разобраться, как самостоятельно установить ClickHouse в Yandex Cloud или на VDS-сервере, как создать пользователей и активировать веб-интерфейс и доступ по сети. Этим и займемся в статье.
Читать: https://habr.com/ru/articles/801757/
@database_design
Базы данных — один из важнейших инструментов в арсенале аналитика. А ClickHouse — это высокопроизводительная аналитическая СУБД, которая заточена на то, чтобы переваривать огромные массивы данных. Поэтому полезно будет разобраться, как самостоятельно установить ClickHouse в Yandex Cloud или на VDS-сервере, как создать пользователей и активировать веб-интерфейс и доступ по сети. Этим и займемся в статье.
Читать: https://habr.com/ru/articles/801757/
@database_design
New Data Modeling Learning Path and Certification
Read: https://www.mongodb.com/blog/post/new-data-modeling-learning-path-certification
@database_design
Read: https://www.mongodb.com/blog/post/new-data-modeling-learning-path-certification
@database_design
Introducing Semantic Caching and a Dedicated MongoDB LangChain Package for gen AI Apps
Read: https://www.mongodb.com/blog/post/introducing-semantic-caching-dedicated-mongodb-lang-chain-package-gen-ai-apps
@database_design
Read: https://www.mongodb.com/blog/post/introducing-semantic-caching-dedicated-mongodb-lang-chain-package-gen-ai-apps
@database_design
Как мы улучшили СУБД промышленного уровня Platform V Pangolin в версии 6.1
Меня зовут Михаил Гелемеев, я лидер команды сопровождения Platform V Pangolin в СберТехе.
Platform V Pangolin — реляционная система управления базами данных. Она основана на свободно распространяемой версии PostgreSQL и содержит ряд доработок, обеспечивающих соответствие повышенным требованиям к безопасности данных, доступности, надежности, а также удобству эксплуатации. Наш продукт помогает получить функциональные возможности реляционной СУБД, включая построение кластеров высокой доступности, резервирование данных, снятие и восстановление резервных копий.
В январе мы выпустили новую версию — Platform V Pangolin 6.1. В ней появились обновления для работы с большим объёмом данных. Если вкратце — работать с секциями стало проще и быстрее: дешевле доступ к данным в секционированных таблицах, и для них можно гибко создавать уникальные глобальные индексы. Теперь можно предотвратить высокое потребление CPU и RAM пользовательской сессией, это улучшает доступность сервиса. Мы также добавили инструмент диагностики текущей активности для детального понимания процессов сессии, так работа СУБД становится более прозрачной.
В статье подробнее расскажу о каждой из доработок. Их можно условно разделить на две части: для пользователей и для администраторов/инфраструктуры.
Читать: https://habr.com/ru/companies/sberbank/articles/801797/
@database_design
Меня зовут Михаил Гелемеев, я лидер команды сопровождения Platform V Pangolin в СберТехе.
Platform V Pangolin — реляционная система управления базами данных. Она основана на свободно распространяемой версии PostgreSQL и содержит ряд доработок, обеспечивающих соответствие повышенным требованиям к безопасности данных, доступности, надежности, а также удобству эксплуатации. Наш продукт помогает получить функциональные возможности реляционной СУБД, включая построение кластеров высокой доступности, резервирование данных, снятие и восстановление резервных копий.
В январе мы выпустили новую версию — Platform V Pangolin 6.1. В ней появились обновления для работы с большим объёмом данных. Если вкратце — работать с секциями стало проще и быстрее: дешевле доступ к данным в секционированных таблицах, и для них можно гибко создавать уникальные глобальные индексы. Теперь можно предотвратить высокое потребление CPU и RAM пользовательской сессией, это улучшает доступность сервиса. Мы также добавили инструмент диагностики текущей активности для детального понимания процессов сессии, так работа СУБД становится более прозрачной.
В статье подробнее расскажу о каждой из доработок. Их можно условно разделить на две части: для пользователей и для администраторов/инфраструктуры.
Читать: https://habr.com/ru/companies/sberbank/articles/801797/
@database_design
Как мы делаем свой DBaaS
Сейчас мы, в Postgres Professional, разрабатываем новый интересный продукт — DataBase as a Service, и в этой статье хочется немного рассказать о наших успехах, узнать ваше мнение и послушать возможные пожелания.
Читать: https://habr.com/ru/companies/postgrespro/articles/801795/
@database_design
Сейчас мы, в Postgres Professional, разрабатываем новый интересный продукт — DataBase as a Service, и в этой статье хочется немного рассказать о наших успехах, узнать ваше мнение и послушать возможные пожелания.
Читать: https://habr.com/ru/companies/postgrespro/articles/801795/
@database_design
Требования к безопасности веб-проектов на «1С-Битрикс»
Рассказали о мерах безопасности в 1С-Битрикс, которые обеспечат надежную работу всей системы. И показали, как настроить встроенные средства защиты и журналирования.
Читать: «Требования к безопасности веб-проектов на «1С-Битрикс»»
@database_design
Рассказали о мерах безопасности в 1С-Битрикс, которые обеспечат надежную работу всей системы. И показали, как настроить встроенные средства защиты и журналирования.
Читать: «Требования к безопасности веб-проектов на «1С-Битрикс»»
@database_design
Уравнение с тремя неизвестными: как отлавливать баги в системах хранения данных
Привет! Меня зовут Никита Гуцалов, я инженер в компании YADRO и занимаюсь разработкой ПО для системы хранения данных TATLIN.UNIFIED. Вообще с системами хранения данных (СХД) я работаю уже много лет и люблю эту тему, поскольку она постоянно бросает новые вызовы, заставляя решать довольно сложные и нестандартные проблемы, что очень увлекательно само по себе, а удачные решения приносят огромное удовлетворение.
В статье я попытаюсь погрузить читателя в проблемы, с которыми нам, инженерам YADRO, приходится сталкиваться при отладке программного обеспечения СХД. Также покажу особенности работы с такими системами. Расскажу, какие инструменты, а иногда и решения, которые мы пишем сами, приходится для этого применять. А еще постараюсь сформулировать условия, которые необходимы для нахождения причин возникновения ошибок обработки данных в системе.
Текст про особенности поиска багов был бы пустым без конкретных примеров, поэтому под катом вас ждет разбор случая, который как-то произошел в нашей лаборатории при тестировании производительности СХД.
Читать: https://habr.com/ru/companies/yadro/articles/800237/
@database_design
Привет! Меня зовут Никита Гуцалов, я инженер в компании YADRO и занимаюсь разработкой ПО для системы хранения данных TATLIN.UNIFIED. Вообще с системами хранения данных (СХД) я работаю уже много лет и люблю эту тему, поскольку она постоянно бросает новые вызовы, заставляя решать довольно сложные и нестандартные проблемы, что очень увлекательно само по себе, а удачные решения приносят огромное удовлетворение.
В статье я попытаюсь погрузить читателя в проблемы, с которыми нам, инженерам YADRO, приходится сталкиваться при отладке программного обеспечения СХД. Также покажу особенности работы с такими системами. Расскажу, какие инструменты, а иногда и решения, которые мы пишем сами, приходится для этого применять. А еще постараюсь сформулировать условия, которые необходимы для нахождения причин возникновения ошибок обработки данных в системе.
Текст про особенности поиска багов был бы пустым без конкретных примеров, поэтому под катом вас ждет разбор случая, который как-то произошел в нашей лаборатории при тестировании производительности СХД.
Читать: https://habr.com/ru/companies/yadro/articles/800237/
@database_design
Обновление кешей сервисов в реальном времени с помощью YDB CDC на примере Yandex Monitoring
Меня зовут Егор Литвиненко. Я старший разработчик Yandex Observability Platform. Летом 2023 года я рассказывал на Saint Highload в Санкт-Петербурге про наш путь внедрения YDB CDC для обновления данных в сервисах, чтобы решить проблему инвалидации кэшей.
В этой статье будет вся история внедрения с теорией, вопросами, ответами, ошибками, о которых я говорил на выступлении. Но кроме того, в конце есть обновления: что произошло и изменилось за это время. Мы рассмотрим весь процесс от появления задачи до результата:
- какие подходы к доставке изменений мы использовали;
- почему выбрали переход на CDC и в чем были сложности в работе с изменениями до этого;
- чем YDB CDC отличается от других решений, как настроить правильно, и на какие грабли мы наступили в процессе;
- какую модель данных выбрать, чтобы решить проблемы с конкурентными изменениями;
- как поддерживать решение после внедрения.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/801603/
@database_design
Меня зовут Егор Литвиненко. Я старший разработчик Yandex Observability Platform. Летом 2023 года я рассказывал на Saint Highload в Санкт-Петербурге про наш путь внедрения YDB CDC для обновления данных в сервисах, чтобы решить проблему инвалидации кэшей.
В этой статье будет вся история внедрения с теорией, вопросами, ответами, ошибками, о которых я говорил на выступлении. Но кроме того, в конце есть обновления: что произошло и изменилось за это время. Мы рассмотрим весь процесс от появления задачи до результата:
- какие подходы к доставке изменений мы использовали;
- почему выбрали переход на CDC и в чем были сложности в работе с изменениями до этого;
- чем YDB CDC отличается от других решений, как настроить правильно, и на какие грабли мы наступили в процессе;
- какую модель данных выбрать, чтобы решить проблемы с конкурентными изменениями;
- как поддерживать решение после внедрения.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/801603/
@database_design
Калькулятор Конфигураций для Firebird SQL и 5 других новостей про Firebird
В последние месяцы в мире FirebirdSQL происходит значительное оживление: помимо релиза Firebird 5 было опубликовано много инструментов, статей и материалов, что я решил подготовить небольшой дайждест для читателей Хабра, которые, вероятно, соскучились по новостям о любимой СУБД.
Во-первых, вышла новая версия Калькулятора Конфигураций для Firebird, с поддержкой Firebird 5. В калькулятор (полностью бесплатный, доступен без регистрации) вводятся характеристики сервера, ...
Читать: https://habr.com/ru/articles/801665/
@database_design
В последние месяцы в мире FirebirdSQL происходит значительное оживление: помимо релиза Firebird 5 было опубликовано много инструментов, статей и материалов, что я решил подготовить небольшой дайждест для читателей Хабра, которые, вероятно, соскучились по новостям о любимой СУБД.
Во-первых, вышла новая версия Калькулятора Конфигураций для Firebird, с поддержкой Firebird 5. В калькулятор (полностью бесплатный, доступен без регистрации) вводятся характеристики сервера, ...
Читать: https://habr.com/ru/articles/801665/
@database_design
Как на стоимость брендов влияет утечка информации?
Любая компания, ориентированная на персоналистское взаимодействие с пользователем, так или иначе занимается сбором, обработкой и сохранением его персональных данных (ФИО, возраст, электронная почта, место проживания или пребывания, объемы приобретенных товаров и многое другое). Подобные материалы интересны хакерам и иным злоумышленникам: правильно обработав эту информацию, всегда возможно, используя инструменты социальной инженерии, получить доступ к деньгам клиента.
Читать: https://habr.com/ru/companies/onlinepatent/articles/802029/
@database_design
Любая компания, ориентированная на персоналистское взаимодействие с пользователем, так или иначе занимается сбором, обработкой и сохранением его персональных данных (ФИО, возраст, электронная почта, место проживания или пребывания, объемы приобретенных товаров и многое другое). Подобные материалы интересны хакерам и иным злоумышленникам: правильно обработав эту информацию, всегда возможно, используя инструменты социальной инженерии, получить доступ к деньгам клиента.
Читать: https://habr.com/ru/companies/onlinepatent/articles/802029/
@database_design
Почему именно SQL и Python — мастхев для аналитика?
Канал Noukash выпустил ролик об основных инструментах аналитика: Python и SQL. Автор объяснил, почему важно владеть обоими языками, а мы от себя добавили ссылки на полезные материалы.
Читать: «Почему именно SQL и Python — мастхев для аналитика?»
@database_design
Канал Noukash выпустил ролик об основных инструментах аналитика: Python и SQL. Автор объяснил, почему важно владеть обоими языками, а мы от себя добавили ссылки на полезные материалы.
Читать: «Почему именно SQL и Python — мастхев для аналитика?»
@database_design
Tproger
Почему именно SQL и Python — мастхев для аналитика?
Канал Noukash выпустил ролик об основных инструментах аналитика: Python и SQL. Автор объяснил, почему важно владеть обоими языками, а мы от себя добавили ссылки на полезные материалы.
A Smarter Factory Floor with MongoDB Atlas and Google Cloud's Manufacturing Data Engine
Read: https://www.mongodb.com/blog/post/smarter-factory-floor-mongodb-atlas-google-clouds-manufacturing-data-engine
@database_design
Read: https://www.mongodb.com/blog/post/smarter-factory-floor-mongodb-atlas-google-clouds-manufacturing-data-engine
@database_design
Есть ли жизнь после Microsoft Teams и OneDrive?
Неизбежность отключения корпоративных пользователей от «облачных» продуктов Microsoft (и не только) стала очевидной последние два года. В текущий известный список продуктов, которые точно будут отключены, входят корпоративный мессенджер Teams, Office 365, облачное хранилище OneDrive и облако Azure. Также будут заблокированы ключи на MS Visio. Планируемое отключение также коснется бесплатных версий Power BI Pro и Azure DevOps и сервиса Microsoft Online Protection, а также не будут доставляться обновления безопасности. Пока что неизвестно, коснется ли это Exchange, Outlook и сред разработки и что будет с образовательными лицензиями.
На фоне паники появились обещания «золотых гор» на «аналогичных сервисах». Но переход с одного сервиса на другой — это непростая задача, и развертывание альтернативных решений не происходит по щелчку пальцев. Также нельзя отрицать, что решения, такие как Azure и AWS (Amazon также может заблокировать доступ российским компаниям), — это не просто «хранилище файлов», а одновременно и инфраструктура, и платформа для приложений и сервисов, которые занимают более половины рынка и просто заменить их opensource не получится.
Что делать? Можно перейти на отечественные облачные платформы и сервисы. Можно развернуть аналоги «уходящих» решений на собственной инфраструктуре. Можно арендовать выделенные или виртуальные сервера и создать инфраструктуру на них, или арендовать виртуальные сервера у хостинг-провайдеров с решениями быстрого развертывания.
Однако при выборе варианта размещения серверов и доступа к ним важно учитывать не только их местоположение, но и ваши собственные ресурсы на миграцию и поддержку решений. Возможно, вам нужно разместить свои сервисы только в России или же доступ должен быть из любой точки земного шара. Также стоит учесть собственные финансовые и человеческие ресурсы на эти цели. Какой вариант лучше выбрать — решать вам.
Читать: https://habr.com/ru/companies/hostkey/articles/802061/
@database_design
Неизбежность отключения корпоративных пользователей от «облачных» продуктов Microsoft (и не только) стала очевидной последние два года. В текущий известный список продуктов, которые точно будут отключены, входят корпоративный мессенджер Teams, Office 365, облачное хранилище OneDrive и облако Azure. Также будут заблокированы ключи на MS Visio. Планируемое отключение также коснется бесплатных версий Power BI Pro и Azure DevOps и сервиса Microsoft Online Protection, а также не будут доставляться обновления безопасности. Пока что неизвестно, коснется ли это Exchange, Outlook и сред разработки и что будет с образовательными лицензиями.
На фоне паники появились обещания «золотых гор» на «аналогичных сервисах». Но переход с одного сервиса на другой — это непростая задача, и развертывание альтернативных решений не происходит по щелчку пальцев. Также нельзя отрицать, что решения, такие как Azure и AWS (Amazon также может заблокировать доступ российским компаниям), — это не просто «хранилище файлов», а одновременно и инфраструктура, и платформа для приложений и сервисов, которые занимают более половины рынка и просто заменить их opensource не получится.
Что делать? Можно перейти на отечественные облачные платформы и сервисы. Можно развернуть аналоги «уходящих» решений на собственной инфраструктуре. Можно арендовать выделенные или виртуальные сервера и создать инфраструктуру на них, или арендовать виртуальные сервера у хостинг-провайдеров с решениями быстрого развертывания.
Однако при выборе варианта размещения серверов и доступа к ним важно учитывать не только их местоположение, но и ваши собственные ресурсы на миграцию и поддержку решений. Возможно, вам нужно разместить свои сервисы только в России или же доступ должен быть из любой точки земного шара. Также стоит учесть собственные финансовые и человеческие ресурсы на эти цели. Какой вариант лучше выбрать — решать вам.
Читать: https://habr.com/ru/companies/hostkey/articles/802061/
@database_design
👍1
Альтернативный вариант к подходу хранения SQL-кода в репозитории и его разработке
Приветствую, current_user()!
Хочется тебе показать, как можно хранить sql-скрипты объектов БД так, чтобы было удобно и разработчику, и ревьюеру, а так-же рассказать о плюсах и минусах такого подхода.
Так-же хотелось-бы узнать твоё мнение о таком подходе и обсудить, возможно стоит что-нибудь добавить в нём.
Ознакомиться с альтернативным подходом...
Читать: https://habr.com/ru/articles/800375/
@database_design
Приветствую, current_user()!
Хочется тебе показать, как можно хранить sql-скрипты объектов БД так, чтобы было удобно и разработчику, и ревьюеру, а так-же рассказать о плюсах и минусах такого подхода.
Так-же хотелось-бы узнать твоё мнение о таком подходе и обсудить, возможно стоит что-нибудь добавить в нём.
Ознакомиться с альтернативным подходом...
Читать: https://habr.com/ru/articles/800375/
@database_design
Сотни миллионов рублей: посчитали, сколько тратит бизнес на российские BI-решения
Из чего складывается стоимость BI-решения? Сколько стоят отечественные BI-системы? Достоверные ответы на эти вопросы вы не нагуглите просто так. Да и для заказчиков ценник часто становится сюрпризом, уже не говоря о полной стоимости владения BI-системами.
Мы решили подсчитать, во сколько же на самом деле обходится BI для российских компаний, и провели небольшое исследование. О результатах которого я и рассказываю в этой статье (плюс провожу небольшой опрос).
Читать статью и пройти опрос
Читать: https://habr.com/ru/companies/sapiens_solutions/articles/801977/
@database_design
Из чего складывается стоимость BI-решения? Сколько стоят отечественные BI-системы? Достоверные ответы на эти вопросы вы не нагуглите просто так. Да и для заказчиков ценник часто становится сюрпризом, уже не говоря о полной стоимости владения BI-системами.
Мы решили подсчитать, во сколько же на самом деле обходится BI для российских компаний, и провели небольшое исследование. О результатах которого я и рассказываю в этой статье (плюс провожу небольшой опрос).
Читать статью и пройти опрос
Читать: https://habr.com/ru/companies/sapiens_solutions/articles/801977/
@database_design
Transforming Industries with MongoDB and AI: Telecommunications and Media
Read: https://www.mongodb.com/blog/post/transforming-industries-mongodb-ai-telecommunications-media
@database_design
Read: https://www.mongodb.com/blog/post/transforming-industries-mongodb-ai-telecommunications-media
@database_design
Прожарка. Luxms BI
О плюсах платформы можно узнать на сайте производителя, по открытым материалам с конференций. Данный материал делает акцент на минусах системы, но это не значит, что платформа не заслуживает внимания клиентов. Лучший вариант всегда - сделай пилот до! И так, обратим внимание коллег из LuxMs на недостатки и риски:
Прожарить
Читать: https://habr.com/ru/articles/802349/
@database_design
О плюсах платформы можно узнать на сайте производителя, по открытым материалам с конференций. Данный материал делает акцент на минусах системы, но это не значит, что платформа не заслуживает внимания клиентов. Лучший вариант всегда - сделай пилот до! И так, обратим внимание коллег из LuxMs на недостатки и риски:
Прожарить
Читать: https://habr.com/ru/articles/802349/
@database_design