Как утилизировать цифровой мусор?
Хочу поделиться проблемой, которая меня давно волнует. С детства я привык к порядку и комфорту: начиная от своей комнаты и заканчивая ведением тетрадей. Когда всё на своих местах и нет ничего лишнего, мне легче работать и приятнее находиться в такой обстановке.
Это отношение я перенёс и в цифровой мир. Будучи разработчиком, я стараюсь поддерживать порядок и чистоту в коде и виртуальном окружении. Конечно, я далек от совершенства, но всё же прилагаю усилия к аккуратности. Я не требую того же от других, пока это не вредит окружающим (или мне).
Однако, когда избыточные данные, перегруженные базы данных и хаос в системе становятся нормой, это превращается в проблему не только для разработчика, который может игнорировать её, но и для всей компании и её пользователей. Это приводит к серьезным потерям: финансовым из-за затрат на содержание всех этих данных и операционным из-за повышенного энергопотребления и вычислительных расходов.
Сегодня объем новых данных растет с экспоненциальной скоростью, и так же увеличивается количество цифрового мусора. Этот термин относится к огромному количеству избыточных, устаревших или незначительных данных, которые накапливаются в наших информационных системах и захламляют их. Цифровой мусор затрагивает практически каждый аспект современного управления данными, от снижения операционной эффективности до усложнения соблюдения законов о защите данных. Кроме того, экологические издержки поддержания бесполезных данных огромны, что ведет к ненужной нагрузке на нашу природу.
Читать: https://habr.com/ru/articles/814667/
@database_design
Хочу поделиться проблемой, которая меня давно волнует. С детства я привык к порядку и комфорту: начиная от своей комнаты и заканчивая ведением тетрадей. Когда всё на своих местах и нет ничего лишнего, мне легче работать и приятнее находиться в такой обстановке.
Это отношение я перенёс и в цифровой мир. Будучи разработчиком, я стараюсь поддерживать порядок и чистоту в коде и виртуальном окружении. Конечно, я далек от совершенства, но всё же прилагаю усилия к аккуратности. Я не требую того же от других, пока это не вредит окружающим (или мне).
Однако, когда избыточные данные, перегруженные базы данных и хаос в системе становятся нормой, это превращается в проблему не только для разработчика, который может игнорировать её, но и для всей компании и её пользователей. Это приводит к серьезным потерям: финансовым из-за затрат на содержание всех этих данных и операционным из-за повышенного энергопотребления и вычислительных расходов.
Сегодня объем новых данных растет с экспоненциальной скоростью, и так же увеличивается количество цифрового мусора. Этот термин относится к огромному количеству избыточных, устаревших или незначительных данных, которые накапливаются в наших информационных системах и захламляют их. Цифровой мусор затрагивает практически каждый аспект современного управления данными, от снижения операционной эффективности до усложнения соблюдения законов о защите данных. Кроме того, экологические издержки поддержания бесполезных данных огромны, что ведет к ненужной нагрузке на нашу природу.
Читать: https://habr.com/ru/articles/814667/
@database_design
Ceph: разбираем базовые операции в кластере на примере интеграции с Hashicorp Nomad
Привет! Я Владимир Иванов, системный администратор выделенных серверов в Selectel. Мы довольно часто экспериментируем с подходами, процессами и решениями. В одном из экспериментов добрались до Ceph: сделали тренажер, в котором можно «потыкать» основной функционал хранилища, проверить гипотезы, что-то сломать/починить, не собирая при этом железный кластер. В случае фейла этот тренажер можно развернуть заново в пару консольных команд.
Так и появилась идея написать эту статью. Я покажу, как подключить Ceph к оркестратору Nomad, чтобы получить постоянное хранилище для контейнеров. Если хотите поближе познакомиться с примерами эксплуатации и обслуживания Ceph, прошу под кат! А если уже знакомы — прошу в комментарии, поделитесь своим опытом.
Читать: https://habr.com/ru/companies/selectel/articles/814507/
@database_design
Привет! Я Владимир Иванов, системный администратор выделенных серверов в Selectel. Мы довольно часто экспериментируем с подходами, процессами и решениями. В одном из экспериментов добрались до Ceph: сделали тренажер, в котором можно «потыкать» основной функционал хранилища, проверить гипотезы, что-то сломать/починить, не собирая при этом железный кластер. В случае фейла этот тренажер можно развернуть заново в пару консольных команд.
Так и появилась идея написать эту статью. Я покажу, как подключить Ceph к оркестратору Nomad, чтобы получить постоянное хранилище для контейнеров. Если хотите поближе познакомиться с примерами эксплуатации и обслуживания Ceph, прошу под кат! А если уже знакомы — прошу в комментарии, поделитесь своим опытом.
Читать: https://habr.com/ru/companies/selectel/articles/814507/
@database_design
Postgres Pro Shardman: горизонтальное масштабирование реляционных СУБД
Последние несколько лет мы в Postgres Professional активно занимаемся разработкой своего решения для горизонтального масштабирования PostgreSQL. Пользователям нужен был простой способ увеличить производительность путем добавления узлов. Традиционно для веба в таких случаях просто брали NoSQL базы или шардировали вручную, позже появились распределенные SQL-решения с поддержкой ACID-транзакций. Тем не менее терялась часть возможностей и достоинств PostgreSQL. Корпоративный рынок тяжелых вертикальных решений также сильно ограничен как ценой, так и доступностью. Поэтому исследованиями в области распределенных СУБД в компании занимались еще с 2017 года, а в 2020 началась работа над коммерческим продуктом.
В этой статье я расскажу про технические детали реализации и почему был сделан такой выбор технологий. Опишу, какие направления нам показались преждевременными и их пришлось отложить, а также что мы ожидаем в будущем.
Читать: https://habr.com/ru/companies/postgrespro/articles/811041/
@database_design
Последние несколько лет мы в Postgres Professional активно занимаемся разработкой своего решения для горизонтального масштабирования PostgreSQL. Пользователям нужен был простой способ увеличить производительность путем добавления узлов. Традиционно для веба в таких случаях просто брали NoSQL базы или шардировали вручную, позже появились распределенные SQL-решения с поддержкой ACID-транзакций. Тем не менее терялась часть возможностей и достоинств PostgreSQL. Корпоративный рынок тяжелых вертикальных решений также сильно ограничен как ценой, так и доступностью. Поэтому исследованиями в области распределенных СУБД в компании занимались еще с 2017 года, а в 2020 началась работа над коммерческим продуктом.
В этой статье я расскажу про технические детали реализации и почему был сделан такой выбор технологий. Опишу, какие направления нам показались преждевременными и их пришлось отложить, а также что мы ожидаем в будущем.
Читать: https://habr.com/ru/companies/postgrespro/articles/811041/
@database_design
История: Redis и его создатель antirez
В мире баз данных Redis занимает особое место. Вместо обычных таблиц или документов, являющихся главным элементом большинства баз данных, в Redis вы работаете напрямую с низкоуровневыми структурами данных: связанными списками и хэш-таблицами.
Всё это стало возможно благодаря инновационному дизайну, разработанному создателем Redis Сальваторе Санфилиппо: он известен под ником antirez. Он мастер системного программирования, и поэтому он предпочитает думать, оперируя понятиями структур данных — списками, хэшами и множествами. Более высокоуровневые описания данных, например, таблицы и документы, ему не очень интересны. В начале разработки Redis antirez был новичком в сфере баз данных. Но, возможно, именно нехватка опыта позволила ему привнести в эту отрасль свежие идеи.
Сегодня Redis стал мейнстримом, а его влияние заметно почти во всех веб-сервисах. Согласно опросам на Stack Overflow, Redis пять лет подряд остаётся самой любимой пользователями базой данных.
Читать: https://habr.com/ru/companies/magnus-tech/articles/814513/
@database_design
В мире баз данных Redis занимает особое место. Вместо обычных таблиц или документов, являющихся главным элементом большинства баз данных, в Redis вы работаете напрямую с низкоуровневыми структурами данных: связанными списками и хэш-таблицами.
Всё это стало возможно благодаря инновационному дизайну, разработанному создателем Redis Сальваторе Санфилиппо: он известен под ником antirez. Он мастер системного программирования, и поэтому он предпочитает думать, оперируя понятиями структур данных — списками, хэшами и множествами. Более высокоуровневые описания данных, например, таблицы и документы, ему не очень интересны. В начале разработки Redis antirez был новичком в сфере баз данных. Но, возможно, именно нехватка опыта позволила ему привнести в эту отрасль свежие идеи.
Сегодня Redis стал мейнстримом, а его влияние заметно почти во всех веб-сервисах. Согласно опросам на Stack Overflow, Redis пять лет подряд остаётся самой любимой пользователями базой данных.
Читать: https://habr.com/ru/companies/magnus-tech/articles/814513/
@database_design
Установка, резервное копирование и миграция snap nextcloud-сервера (v27.1.8)
Здравствуй, мой дорогой читатель.
В данной статье мы поговорим о snap nextcloud-сервере, установке, резервное копирование и некоторые манипуляции. Если тебе интересна тема open-source и администрирование серверов Linux, то данная статья именно для тебя!
Читать: https://habr.com/ru/articles/815129/
@database_design
Здравствуй, мой дорогой читатель.
В данной статье мы поговорим о snap nextcloud-сервере, установке, резервное копирование и некоторые манипуляции. Если тебе интересна тема open-source и администрирование серверов Linux, то данная статья именно для тебя!
Читать: https://habr.com/ru/articles/815129/
@database_design
PostgreSQL 16. Изоляция транзакций. Часть 2
Данная статья является продолжением первой части: "PostgreSQL 16. Организация данных. Часть 1".
В этой части мы обсудим, как транзакции могут влиять друг на друга, вызывая "аномалии", а также рассмотрим различные уровни изоляции, которые помогают избежать подобных проблем.
Читать: https://habr.com/ru/articles/815323/
@database_design
Данная статья является продолжением первой части: "PostgreSQL 16. Организация данных. Часть 1".
В этой части мы обсудим, как транзакции могут влиять друг на друга, вызывая "аномалии", а также рассмотрим различные уровни изоляции, которые помогают избежать подобных проблем.
Читать: https://habr.com/ru/articles/815323/
@database_design
Как перейти с Oracle на PostgreSQL, используя Ora2Pg
Привет, Хабр!
Сегодня мы поговорим об актуальной задаче — миграции баз данных с Oracle на PostgreSQL с использованием Ora2Pg. Сейчас популярность PostgreSQL обоснована его мощностями и экономически выгодной альтернативы коммерческим решениям.
Читать: https://habr.com/ru/companies/otus/articles/814041/
@database_design
Привет, Хабр!
Сегодня мы поговорим об актуальной задаче — миграции баз данных с Oracle на PostgreSQL с использованием Ora2Pg. Сейчас популярность PostgreSQL обоснована его мощностями и экономически выгодной альтернативы коммерческим решениям.
Читать: https://habr.com/ru/companies/otus/articles/814041/
@database_design
Двоичный поиск против вероятностного
Внутри Dolt, первой в мире базе данных SQL с полнофункциональными возможностями контроля версий, таится много интересной computer science. Недавно я писал о системе хранения Dolt, в ней есть очень тонкая особенность — применение вероятностного поиска на больших выборках 64-битных целых чисел.
В любом учебном плане по Computer Science есть курс алгоритмов. Моим был CS 102, и одним из пунктов, который объяснялся в нём досконально, было то, что поиск — это, по сути, задача
Но что, если мы добавим дополнительные ограничения на наши данные, которые позволят нам выполнять поиск за константное время?
Будет ли эта статья историей о необязательной оптимизации? Да, будет. В этом конкретном случае поиск будет занимать гораздо меньше времени, чем чтение с диска. Мы говорим о величинах менее чем 0,1% от суммарного времени. Будет ли эта статья историей о преждевременной оптимизации? Нет, не будет. Это бы подразумевало, что мы не осознаём, что время тратится не на то. Эта статья — история о заманчивости алгоритма константного времени.
Читать: https://habr.com/ru/articles/815353/
@database_design
Внутри Dolt, первой в мире базе данных SQL с полнофункциональными возможностями контроля версий, таится много интересной computer science. Недавно я писал о системе хранения Dolt, в ней есть очень тонкая особенность — применение вероятностного поиска на больших выборках 64-битных целых чисел.
В любом учебном плане по Computer Science есть курс алгоритмов. Моим был CS 102, и одним из пунктов, который объяснялся в нём досконально, было то, что поиск — это, по сути, задача
O(log2(N)) при условии, если данные отсортированы. За свою карьеру я многократно встречался с этим в том или ином виде — если сортируешь информацию и сохраняешь её, то стоит ожидать, что для поиска потребуется время O(log2(N)). В общем случае мы соглашаемся на время поиска O(log2(N)), потому что оказывается, что можно перебрать большой объём данных с логарифмическим коэффициентом масштабирования. Эта система работает, потому что мы уже почти автоматически сортируем всё заранее.Но что, если мы добавим дополнительные ограничения на наши данные, которые позволят нам выполнять поиск за константное время?
Будет ли эта статья историей о необязательной оптимизации? Да, будет. В этом конкретном случае поиск будет занимать гораздо меньше времени, чем чтение с диска. Мы говорим о величинах менее чем 0,1% от суммарного времени. Будет ли эта статья историей о преждевременной оптимизации? Нет, не будет. Это бы подразумевало, что мы не осознаём, что время тратится не на то. Эта статья — история о заманчивости алгоритма константного времени.
Читать: https://habr.com/ru/articles/815353/
@database_design
Don’t Be Fooled by Misleading Data Egress Announcements
Recent announcements in response to the European Data Act have led some to conclude that major Cloud Service Providers (CSP) have eliminated Data Movement and Data Egress charges, but in the ways that matter most to companies running their business in the Cloud on an ongoing basis, that’s not true.
Read: https://blogs.oracle.com/database/post/dont-be-fooled-by-misleading-data-egress-announcements
@database_design
Recent announcements in response to the European Data Act have led some to conclude that major Cloud Service Providers (CSP) have eliminated Data Movement and Data Egress charges, but in the ways that matter most to companies running their business in the Cloud on an ongoing basis, that’s not true.
Read: https://blogs.oracle.com/database/post/dont-be-fooled-by-misleading-data-egress-announcements
@database_design
Новые горизонты: японская компания научилась производить 400-слойную флеш-память 3D NAND. Что это за технология?
На днях стало известно, что японская компания Tokyo Electron смогла разработать современный метод выпуска чипов 3D NAND. В них используется пространственная компоновка с вертикальными соединениями между слоями в отдельных микросхемах. Соответственно, достижение японцев даёт возможность увеличить количество слоев памяти до 400. Подробности — под катом.
Читать: https://habr.com/ru/companies/ru_mts/articles/815763/
@database_design
На днях стало известно, что японская компания Tokyo Electron смогла разработать современный метод выпуска чипов 3D NAND. В них используется пространственная компоновка с вертикальными соединениями между слоями в отдельных микросхемах. Соответственно, достижение японцев даёт возможность увеличить количество слоев памяти до 400. Подробности — под катом.
Читать: https://habr.com/ru/companies/ru_mts/articles/815763/
@database_design
GenAI RAG Likes Explicit Relationships: Use Graphs!
Generative AI is only as good as the data it is trained on. How can additional data be added? This is where RAG comes in, RAG can help generate better output. Graphs provide additional context to RAG because they can model relationships between concepts in any given domain. Let us look at the basics of graphs in this blog and how they can help genAI.
Read: https://blogs.oracle.com/database/post/genai-rag-likes-explicit-relationships-use-graphs
@database_design
Generative AI is only as good as the data it is trained on. How can additional data be added? This is where RAG comes in, RAG can help generate better output. Graphs provide additional context to RAG because they can model relationships between concepts in any given domain. Let us look at the basics of graphs in this blog and how they can help genAI.
Read: https://blogs.oracle.com/database/post/genai-rag-likes-explicit-relationships-use-graphs
@database_design
Exadata System Software 24ai - Delivers mission critical AI at any scale
Announcing Oracle Exadata System Software 24ai
Read: https://blogs.oracle.com/exadata/post/exadata24ai
@database_design
Announcing Oracle Exadata System Software 24ai
Read: https://blogs.oracle.com/exadata/post/exadata24ai
@database_design
Oracle
Exadata System Software 24ai
Announcing Oracle Exadata System Software 24ai
MariaDB Enterprise Server Available on Nutanix Database Service
Read: https://mariadb.com/?p=39234
@database_design
Read: https://mariadb.com/?p=39234
@database_design
Не магия: как агрегируются и обрабатываются данные CDP-платформами
В недавно опубликованной статье CleverData постаралась разгадать, как и почему совершаются спонтанные покупки. Над нашими намерениями круглосуточно работают Customer Data Platforms (CDP) - гибкие платформы накопления данных о пользователях для целей персонализации предложений. Именно поэтому оповещение о скидке на абонемент в спортзал приходит тогда, когда мы вдруг решаем худеть и заказываем доставку диетического питания. Как грамотное применение CDP напрямую влияет на продажи, читайте в нашей новой статье под катом.
Читать: https://habr.com/ru/companies/lanit/articles/814423/
@database_design
В недавно опубликованной статье CleverData постаралась разгадать, как и почему совершаются спонтанные покупки. Над нашими намерениями круглосуточно работают Customer Data Platforms (CDP) - гибкие платформы накопления данных о пользователях для целей персонализации предложений. Именно поэтому оповещение о скидке на абонемент в спортзал приходит тогда, когда мы вдруг решаем худеть и заказываем доставку диетического питания. Как грамотное применение CDP напрямую влияет на продажи, читайте в нашей новой статье под катом.
Читать: https://habr.com/ru/companies/lanit/articles/814423/
@database_design
Кибер Инфраструктура 5.5. Обзор новинок
Привет Хабр!
Сегодня познакомимся с ключевыми новинками в версии 5.5 нашего продукта "Кибер Инфраструктура". Кибер Инфраструктура — это универсальное решение, которое представляет собой мультипротокольное программно-определяемое хранилище и платформу виртуализации в одном продукте.
Читать: https://habr.com/ru/companies/cyberprotect/articles/815813/
@database_design
Привет Хабр!
Сегодня познакомимся с ключевыми новинками в версии 5.5 нашего продукта "Кибер Инфраструктура". Кибер Инфраструктура — это универсальное решение, которое представляет собой мультипротокольное программно-определяемое хранилище и платформу виртуализации в одном продукте.
Читать: https://habr.com/ru/companies/cyberprotect/articles/815813/
@database_design
What’s New From MongoDB at Microsoft Build 2024
Read: https://www.mongodb.com/blog/post/whats-new-from-mongodb-at-microsoft-build-2024
@database_design
Read: https://www.mongodb.com/blog/post/whats-new-from-mongodb-at-microsoft-build-2024
@database_design
Database Performance Tuning - 5 Steps to Resolve Issues
Database performance tuning is the collection of activities to identify and remove the top limiting factor in Database speed. Follow these step by step instructions to get started on your database performance tuning journey
Read: https://blogs.oracle.com/database/post/database-performance-tuning
@database_design
Database performance tuning is the collection of activities to identify and remove the top limiting factor in Database speed. Follow these step by step instructions to get started on your database performance tuning journey
Read: https://blogs.oracle.com/database/post/database-performance-tuning
@database_design
Oracle
Database Performance Tuning - 5 Steps to Resolve Issues
Database performance tuning is the collection of activities to identify and remove the top limiting factor in Database speed. Follow these step by step instructions to get started on your database performance tuning journey
Stay Compliant with MongoDB’s Latest Certifications: ISO 9001, TISAX, HDS, and TX-RAMP
Read: https://www.mongodb.com/blog/post/stay-compliant-mongodbs-latest-certifications-iso9001-tisax-hds-tx-ramp
@database_design
Read: https://www.mongodb.com/blog/post/stay-compliant-mongodbs-latest-certifications-iso9001-tisax-hds-tx-ramp
@database_design