7 направлений оптимизации ClickHouse, которые помогают в BI
Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации.
А что там с оптимизацией ClickHouse?
Читать: https://habr.com/ru/articles/794456/
Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации.
А что там с оптимизацией ClickHouse?
Читать: https://habr.com/ru/articles/794456/
❤1
Кратко про Raft и Paxos: путь к надежным распределенным базам данных
Привет, Хабр!
Консенсус позволяет нескольким узлам или процессам согласовать некоторое значение или последовательность действий, даже если часть системы выходит из строя или ведет себя непредсказуемо.
Среди множества подходов к решению проблемы достижения консенсуса в распределенных системах, Paxos и Raft являются самыми эффективными. Рассмотрим их подробней.
Читать: https://habr.com/ru/companies/otus/articles/793198/
Привет, Хабр!
Консенсус позволяет нескольким узлам или процессам согласовать некоторое значение или последовательность действий, даже если часть системы выходит из строя или ведет себя непредсказуемо.
Среди множества подходов к решению проблемы достижения консенсуса в распределенных системах, Paxos и Raft являются самыми эффективными. Рассмотрим их подробней.
Читать: https://habr.com/ru/companies/otus/articles/793198/
👍1
7 направлений оптимизации ClickHouse, которые помогают в BI
Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации.
А что там с оптимизацией ClickHouse?
Читать: https://habr.com/ru/companies/visiology/articles/794456/
Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации.
А что там с оптимизацией ClickHouse?
Читать: https://habr.com/ru/companies/visiology/articles/794456/
❤1
Во что обойдется линеаризуемость в распределенной системе
Всем привет, меня зовут Сергей Петренко, я программист в Tarantool. Сегодня мы посмотрим, с какими трудностями сталкивается клиент, когда вместо того чтобы общаться с системой, расположенной на одном инстансе, начинает общаться с распределенной системой. И разумеется, поговорим о том, как эти трудности преодолеть. Я расскажу, что такое линеаризуемость, как мы ее реализуем в Tarantool и как это делают другие СУБД. В завершение мы поговорим о накладных расходах от линеаризуемости.
Читать: https://habr.com/ru/companies/vk/articles/793210/
Всем привет, меня зовут Сергей Петренко, я программист в Tarantool. Сегодня мы посмотрим, с какими трудностями сталкивается клиент, когда вместо того чтобы общаться с системой, расположенной на одном инстансе, начинает общаться с распределенной системой. И разумеется, поговорим о том, как эти трудности преодолеть. Я расскажу, что такое линеаризуемость, как мы ее реализуем в Tarantool и как это делают другие СУБД. В завершение мы поговорим о накладных расходах от линеаризуемости.
Читать: https://habr.com/ru/companies/vk/articles/793210/
Expanded enterprise-class support with Oracle Audit Vault and Database Firewall (AVDF) Release Update 11 (20.11)
Announcing the release of AVDF 20.11, with support for SAML-based Single Sign-on, before/after values reporting for MySQL databases, and much more!
Read: https://blogs.oracle.com/database/post/avdf20-11
Announcing the release of AVDF 20.11, with support for SAML-based Single Sign-on, before/after values reporting for MySQL databases, and much more!
Read: https://blogs.oracle.com/database/post/avdf20-11
Oracle
Expanded enterprise-class support with Oracle Audit Vault and Database Firewall (AVDF) Release Update 11 (20.11)
Announcing the release of AVDF 20.11, with support for SAML-based Single Sign-on,
iOmega ZIP. Уже не дискеты, но ещё не HDD
Приветствую всех!
Казалось бы, о накопителях iOmega ZIP не писал только ленивый. Даже здесь, на Хабре было несколько статей, посвящённых этому во всех смыслах неоднозначному формату. Но вот в мои руки тоже попал такой привод, и я подумал: а что бы не затронуть и эту технологию? Тем более, что мне есть, что добавить к предыдущим обзорам.
Итак, в сегодняшней статье поговорим об iOmega ZIP — носителе информации, совмещавшем в себе недостатки как дискет, так и жёстких дисков. Узнаем, как устроены и работают такие устройства и посмотрим, что они могут. Традиционно будет много интересного.
Читать: https://habr.com/ru/companies/timeweb/articles/792998/
Приветствую всех!
Казалось бы, о накопителях iOmega ZIP не писал только ленивый. Даже здесь, на Хабре было несколько статей, посвящённых этому во всех смыслах неоднозначному формату. Но вот в мои руки тоже попал такой привод, и я подумал: а что бы не затронуть и эту технологию? Тем более, что мне есть, что добавить к предыдущим обзорам.
Итак, в сегодняшней статье поговорим об iOmega ZIP — носителе информации, совмещавшем в себе недостатки как дискет, так и жёстких дисков. Узнаем, как устроены и работают такие устройства и посмотрим, что они могут. Традиционно будет много интересного.
Читать: https://habr.com/ru/companies/timeweb/articles/792998/
Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 1
Привет, Хабр! Недавно мы делали доклад на конференции HighLoad 2023 — «Мифы и реалии Мультимастера в архитектуре СУБД PostgreSQL». Мы — это Павел Конотопов (@kakoka) и Михаил Жилин (@mizhka), сотрудники компании Postgres Professional. Павел занимается архитектурой построения отказоустойчивых кластеров, а Михаил — анализом производительности СУБД. У каждого за плечами более десяти лет опыта в своей области.
Порассуждаем о том, как развивалась технология «Мультимастер» в экосистеме PostgreSQL, остановимся на том, что она из себя представляет, на каких внутренних механизмах PostgreSQL основана и как её можно использовать.
Мы также поговорим о том, существует ли «Честный Мультимастер» (само понятие «Честный Мультимастер» достаточно специфично и в основном употребляется в кругу разработчиков), какие реализации у него есть и как его следует применять.
Читать: https://habr.com/ru/companies/postgrespro/articles/793068/
Привет, Хабр! Недавно мы делали доклад на конференции HighLoad 2023 — «Мифы и реалии Мультимастера в архитектуре СУБД PostgreSQL». Мы — это Павел Конотопов (@kakoka) и Михаил Жилин (@mizhka), сотрудники компании Postgres Professional. Павел занимается архитектурой построения отказоустойчивых кластеров, а Михаил — анализом производительности СУБД. У каждого за плечами более десяти лет опыта в своей области.
Порассуждаем о том, как развивалась технология «Мультимастер» в экосистеме PostgreSQL, остановимся на том, что она из себя представляет, на каких внутренних механизмах PostgreSQL основана и как её можно использовать.
Мы также поговорим о том, существует ли «Честный Мультимастер» (само понятие «Честный Мультимастер» достаточно специфично и в основном употребляется в кругу разработчиков), какие реализации у него есть и как его следует применять.
Читать: https://habr.com/ru/companies/postgrespro/articles/793068/
Together AI: Advancing the Frontier of AI With Open Source Embeddings, Inference, and MongoDB Atlas
Read: https://www.mongodb.com/blog/post/together-ai-advancing-frontier-open-source-embeddings-inference-atlas
Read: https://www.mongodb.com/blog/post/together-ai-advancing-frontier-open-source-embeddings-inference-atlas
Reducing Bias in Credit Scoring with Generative AI
Read: https://www.mongodb.com/blog/post/credit-scoring-applications-with-generative-ai
Read: https://www.mongodb.com/blog/post/credit-scoring-applications-with-generative-ai
PGQL Property Graphs and Virtual Private Database (VPD)
Virtual Private Database (VPD) is a row-level security (RLS) feature built into an Oracle Database. It allows you to set up security policies on database tables that restrict what a database or application users can see or change.
This post describes, how VPD can be used with property graphs created based on tables or views in the Oracle Database.
Read: https://blogs.oracle.com/database/post/pgql-property-graphs-and-virtual-private-database-vpd
Virtual Private Database (VPD) is a row-level security (RLS) feature built into an Oracle Database. It allows you to set up security policies on database tables that restrict what a database or application users can see or change.
This post describes, how VPD can be used with property graphs created based on tables or views in the Oracle Database.
Read: https://blogs.oracle.com/database/post/pgql-property-graphs-and-virtual-private-database-vpd
Oracle
PGQL Property Graphs and Virtual Private Database (VPD)
Virtual Private Database (VPD) is a row-level security (RLS) feature built into an Oracle Database. It allows you to set up security policies on database tables that restrict what a database or application users can see or change.
This post describes, how…
This post describes, how…
Реализуем пагинацию в Go используя PostgreSQL
В этом ролике мы разберём ещё один способ организации пагинации (или бесконечного скрола) в Go без использования параметра offset.
Читать: «Реализуем пагинацию в Go используя PostgreSQL»
В этом ролике мы разберём ещё один способ организации пагинации (или бесконечного скрола) в Go без использования параметра offset.
Читать: «Реализуем пагинацию в Go используя PostgreSQL»
Tproger
Реализуем пагинацию в Go используя PostgreSQL
В этом ролике мы разберём ещё один способ организации пагинации (или бесконечного скрола) в Go без использования параметра offset.
Aussie Fintech Monoova Leads the Way on “Multi” “Cloud” (Not “Multi-Cloud”), to Solve Data Security and Compliance Conundrums
Read: https://www.mongodb.com/blog/post/aussie-fintech-monoova-leads-way-solve-data-security-compliance-conundrums
Read: https://www.mongodb.com/blog/post/aussie-fintech-monoova-leads-way-solve-data-security-compliance-conundrums
Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 2
Привет, Хабр! Это снова мы — Павел Конотопов и Михаил Жилин, сотрудники компании Postgres Professional. Напомню, что Павел занимается архитектурой построения отказоустойчивых кластеров, а я анализом производительности СУБД. У каждого из нас за плечами более десяти лет опыта в своей области.
В первой части статьи «Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL» мы посмотрели как развивалась технология «Мультимастер» в экосистеме PostgreSQL. Обсудили существует ли «Честный Мультимастер», какие у него реализации и как его следует применять. Теперь поговорим о надёжности хранения данных.
Читать: https://habr.com/ru/companies/postgrespro/articles/793156/
Привет, Хабр! Это снова мы — Павел Конотопов и Михаил Жилин, сотрудники компании Postgres Professional. Напомню, что Павел занимается архитектурой построения отказоустойчивых кластеров, а я анализом производительности СУБД. У каждого из нас за плечами более десяти лет опыта в своей области.
В первой части статьи «Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL» мы посмотрели как развивалась технология «Мультимастер» в экосистеме PostgreSQL. Обсудили существует ли «Честный Мультимастер», какие у него реализации и как его следует применять. Теперь поговорим о надёжности хранения данных.
Читать: https://habr.com/ru/companies/postgrespro/articles/793156/
Бэкап, бэкап и еще раз бэкап
Речь сегодня пойдет об отказоустойчивости и даже о катастрофоустойчивости.
Почему вроде бы правильно настроенное архивирование базы данных не всегда помогает спасти систему в случае инцидентов? Этим вопросом я, наверное, многих даже задел за живое. Одних тем, что сама постановка вопроса им кажется абсурдной – у этой группы админов все настроено идеально, работает как часы и они готовы к любым катаклизмам. А кого-то тем, что напоминаю о тех самых инцидентах, когда возвращаться в тот день, даже мысленно, совсем не хочется.
В рамках проектов аудита производительности мы обязательно проверяем систему заказчика на предмет используемых средств отказоустойчивости и катастрофоустойчивости. И если есть основания, обязательно предоставляем рекомендации по улучшениям. Соответствующий раздел в своё время стал обязательным в каждом отчёте аудита не на пустом месте. За долгие годы мы встречались с таким количеством ситуаций, что можно начинать писать книгу :) Сама по себе ситуация краха системы редкая, поэтому вопросы отказоустойчивости далеко не везде в приоритете, а с учетом распространения в последние годы разнообразных ЦОД’ов, появляется большой соблазн снять с себя ответственность за целостность базы данных и непрерывного доступа к ней. Так что, с появлением ЦОД’ов люди совсем расслабились. А зря.
Опишу несколько характерных примеров из нашей практики, с которыми мы столкнулись, причем в роли спасателей клиентской инфраструктуры и данных. Иногда на кону стояло само существование БД, иногда – интервал потерянных данных, иногда – время простоя бизнеса.
Читать: https://habr.com/ru/companies/softpoint/articles/795305/
Речь сегодня пойдет об отказоустойчивости и даже о катастрофоустойчивости.
Почему вроде бы правильно настроенное архивирование базы данных не всегда помогает спасти систему в случае инцидентов? Этим вопросом я, наверное, многих даже задел за живое. Одних тем, что сама постановка вопроса им кажется абсурдной – у этой группы админов все настроено идеально, работает как часы и они готовы к любым катаклизмам. А кого-то тем, что напоминаю о тех самых инцидентах, когда возвращаться в тот день, даже мысленно, совсем не хочется.
В рамках проектов аудита производительности мы обязательно проверяем систему заказчика на предмет используемых средств отказоустойчивости и катастрофоустойчивости. И если есть основания, обязательно предоставляем рекомендации по улучшениям. Соответствующий раздел в своё время стал обязательным в каждом отчёте аудита не на пустом месте. За долгие годы мы встречались с таким количеством ситуаций, что можно начинать писать книгу :) Сама по себе ситуация краха системы редкая, поэтому вопросы отказоустойчивости далеко не везде в приоритете, а с учетом распространения в последние годы разнообразных ЦОД’ов, появляется большой соблазн снять с себя ответственность за целостность базы данных и непрерывного доступа к ней. Так что, с появлением ЦОД’ов люди совсем расслабились. А зря.
Опишу несколько характерных примеров из нашей практики, с которыми мы столкнулись, причем в роли спасателей клиентской инфраструктуры и данных. Иногда на кону стояло само существование БД, иногда – интервал потерянных данных, иногда – время простоя бизнеса.
Читать: https://habr.com/ru/companies/softpoint/articles/795305/
Building AI with MongoDB: Accelerating App Development With the Codeium AI Toolkit
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-accelerating-app-development-with-codeium-ai-toolkit
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-accelerating-app-development-with-codeium-ai-toolkit
Should I Begin a Pre-Sales Career at MongoDB? Insights from Our Remote Solutions Center
Read: https://www.mongodb.com/blog/post/should-begin-pre-sales-career-mongodb-insights-from-our-remote-solutions-center
Read: https://www.mongodb.com/blog/post/should-begin-pre-sales-career-mongodb-insights-from-our-remote-solutions-center
First Quarterly Update of Oracle Graph (2024)
Oracle Graph Server and Client 24.1 is now available for download for use with databases in the Cloud (OCI Marketplace image is available) and for databases on-premises. In this release we introduce the Graph Server Administrator Dashboard to monitor memory usage, the ability to connect to Graph Server (PGX) using JDBC, and support for ONE ROW PER STEP syntax when running PGQL queries in database.
Read: https://blogs.oracle.com/database/post/first-quarterly-update-of-oracle-graph-2024
Oracle Graph Server and Client 24.1 is now available for download for use with databases in the Cloud (OCI Marketplace image is available) and for databases on-premises. In this release we introduce the Graph Server Administrator Dashboard to monitor memory usage, the ability to connect to Graph Server (PGX) using JDBC, and support for ONE ROW PER STEP syntax when running PGQL queries in database.
Read: https://blogs.oracle.com/database/post/first-quarterly-update-of-oracle-graph-2024
Oracle
First Quarterly Update of Oracle Graph (2024)
Oracle Graph Server and Client 24.1 is now available for download for use with databases in the Cloud (OCI Marketplace image is available) and for databases on-premises. In this release we introduce the Graph Server Administrator Dashboard to monitor memory…
Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 3
Привет, Хабр! Это снова мы — Павел Конотопов и Михаил Жилин, сотрудники компании Postgres Professional. Напомню, что Павел занимается архитектурой построения отказоустойчивых кластеров, а я анализом производительности СУБД. У каждого из нас за плечами более десяти лет опыта в своей области.
Во второй части статьи «Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL» мы говорили о гарантии согласованности данных и разрешение конфликтов. Разобрали как выявлять и разрешать конфликты, используя разные способы. Теперь пришла пора одной из самых важных характеристик хранения данных — надёжности.
Читать: https://habr.com/ru/companies/postgrespro/articles/793158/
Привет, Хабр! Это снова мы — Павел Конотопов и Михаил Жилин, сотрудники компании Postgres Professional. Напомню, что Павел занимается архитектурой построения отказоустойчивых кластеров, а я анализом производительности СУБД. У каждого из нас за плечами более десяти лет опыта в своей области.
Во второй части статьи «Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL» мы говорили о гарантии согласованности данных и разрешение конфликтов. Разобрали как выявлять и разрешать конфликты, используя разные способы. Теперь пришла пора одной из самых важных характеристик хранения данных — надёжности.
Читать: https://habr.com/ru/companies/postgrespro/articles/793158/