Архивация сегментов WAL с помощью Pgbackrest
Добрый день, меня зовут Андрей, я специалист по администрированию баз данных в компании «Сервионика». За 2,5 года под моим контролем побывало около 700 кластеров баз данных, из которых 80 % — High Avaiability, треть из них — это трёхнодовые полноценные кластеры, где есть мастер, синхронная и асинхронная реплики. Также были успешно проведены проекты по миграции с Oracle и MSSQL на PostgreSQL.
Резервное копирование — один из важнейших процессов администрирования баз данных. К сожалению, никто не застрахован от сбоев оборудования или логических ошибок. Однажды мы столкнулись с ошибкой резервного копирования PostgreSQL, которая возникает у многих пользователей Pgbackrest. В сети нет единого описания её исправления. Расскажу о том, к какому решению мы пришли, и как в компании реализовано резервное копирование PostgreSQL.
Читать: https://habr.com/ru/companies/T1Holding/articles/823360/
@database_design
___
Другие наши проекты
Добрый день, меня зовут Андрей, я специалист по администрированию баз данных в компании «Сервионика». За 2,5 года под моим контролем побывало около 700 кластеров баз данных, из которых 80 % — High Avaiability, треть из них — это трёхнодовые полноценные кластеры, где есть мастер, синхронная и асинхронная реплики. Также были успешно проведены проекты по миграции с Oracle и MSSQL на PostgreSQL.
Резервное копирование — один из важнейших процессов администрирования баз данных. К сожалению, никто не застрахован от сбоев оборудования или логических ошибок. Однажды мы столкнулись с ошибкой резервного копирования PostgreSQL, которая возникает у многих пользователей Pgbackrest. В сети нет единого описания её исправления. Расскажу о том, к какому решению мы пришли, и как в компании реализовано резервное копирование PostgreSQL.
Читать: https://habr.com/ru/companies/T1Holding/articles/823360/
@database_design
___
Другие наши проекты
Atlas Vector Search Once Again Voted Most Loved Vector Database
Read: https://www.mongodb.com/blog/post/retool-state-of-ai-report-mongodb-vector-search-most-loved-vector-database
@database_design
___
Другие наши проекты
Read: https://www.mongodb.com/blog/post/retool-state-of-ai-report-mongodb-vector-search-most-loved-vector-database
@database_design
___
Другие наши проекты
ELK: использовать нельзя изобрести
Прекрасный момент: система написана, часть тестов автоматизирована, отчеты сгенерированы и даже выявлено несколько дефектов. Выдыхаем и будем думать о дальнейших планах: увеличить тестовое покрытие, добавить стабильности и что-то делать с логированием. Стоп, подождите, вы про логи? Заряжаем ELK, агенты сбора, выделяем ресурсы. Как нет ресурсов? Так, может быть, rsyslog в конце концов? И его нельзя? Звучит как тестовая задача на собеседовании, однако можно ли в такой ситуации обойтись без дополнительных инструментов, да еще и интегрировать работу с логами в систему автоматизации тестирования?
Читать: https://habr.com/ru/companies/vk/articles/822391/
@database_design
___
Другие наши проекты
Прекрасный момент: система написана, часть тестов автоматизирована, отчеты сгенерированы и даже выявлено несколько дефектов. Выдыхаем и будем думать о дальнейших планах: увеличить тестовое покрытие, добавить стабильности и что-то делать с логированием. Стоп, подождите, вы про логи? Заряжаем ELK, агенты сбора, выделяем ресурсы. Как нет ресурсов? Так, может быть, rsyslog в конце концов? И его нельзя? Звучит как тестовая задача на собеседовании, однако можно ли в такой ситуации обойтись без дополнительных инструментов, да еще и интегрировать работу с логами в систему автоматизации тестирования?
Читать: https://habr.com/ru/companies/vk/articles/822391/
@database_design
___
Другие наши проекты
MariaDB R2DBC Connector 1.2.1 now available
Read: https://mariadb.com/?p=39381
@database_design
___
Другие наши проекты
Read: https://mariadb.com/?p=39381
@database_design
___
Другие наши проекты
Собираем полноценный NAS с 4 NVME дисками размером с небольшую книгу
Увидев видео про эту плату, я подумал, что она по сути может быть полноценной медиа приставкой, файлопомойкой и торрентокачалкой одновременно и при этом занимать место размером с маленькую книгу формата А5 и кушать 5 ватт в простое, работая 24/7. Вкусно!
На самом деле несмотря на маркетинг, нормальная комплектация стоит порядка 175 долларов (а не 100, плюс доставка и растаможка) и диски, естественно не входят в эту цену. Речь идёт про плату CM3588 на базе системы на чипе RK3588. Маркетинговая страничка, спецификация, вики. Комплектов на алике очень много вариантов (с корпусами и всякими доп. железками) - выбирайте очень аккуратно.
Изначально мне казалось будет приключение на 20 минут, но в итоге пришлось чуть повозиться и не всё получилось. В этой статье я расскажу, что именно получилось сделать с этой платой, а что не получилось и какие-то минимальные результаты тестирования прошивок от производителя, дисков и копирования файлов по сети.
Что получилось, что не получилось?
Читать: https://habr.com/ru/articles/823814/
@database_design
___
Другие наши проекты
Увидев видео про эту плату, я подумал, что она по сути может быть полноценной медиа приставкой, файлопомойкой и торрентокачалкой одновременно и при этом занимать место размером с маленькую книгу формата А5 и кушать 5 ватт в простое, работая 24/7. Вкусно!
На самом деле несмотря на маркетинг, нормальная комплектация стоит порядка 175 долларов (а не 100, плюс доставка и растаможка) и диски, естественно не входят в эту цену. Речь идёт про плату CM3588 на базе системы на чипе RK3588. Маркетинговая страничка, спецификация, вики. Комплектов на алике очень много вариантов (с корпусами и всякими доп. железками) - выбирайте очень аккуратно.
Изначально мне казалось будет приключение на 20 минут, но в итоге пришлось чуть повозиться и не всё получилось. В этой статье я расскажу, что именно получилось сделать с этой платой, а что не получилось и какие-то минимальные результаты тестирования прошивок от производителя, дисков и копирования файлов по сети.
Что получилось, что не получилось?
Читать: https://habr.com/ru/articles/823814/
@database_design
___
Другие наши проекты
Unlock PDF Search in Insurance with MongoDB & SuperDuperDB
Read: https://www.mongodb.com/blog/post/unlock-pdf-search-in-insurance-mongodb-superduperdb
@database_design
___
Другие наши проекты
Read: https://www.mongodb.com/blog/post/unlock-pdf-search-in-insurance-mongodb-superduperdb
@database_design
___
Другие наши проекты
Быстрый запуск Redis через Docker Compose
Доброго времени суток! Сегодня я продемонстрирую вам, как быстро и эффективно настроить Redis с помощью Docker Compose. Этот процесс займет всего несколько минут, но в результате вы получите полноценную базу данных Redis, работающую в изолированном Docker контейнере. Важные компоненты, такие как данные кэша и конфигурации, будут сохранены на вашей локальной машине благодаря использованию томов (volumes), что обеспечит надежность и доступность данных.
Читать: https://habr.com/ru/articles/823936/
@database_design
___
Другие наши проекты
Доброго времени суток! Сегодня я продемонстрирую вам, как быстро и эффективно настроить Redis с помощью Docker Compose. Этот процесс займет всего несколько минут, но в результате вы получите полноценную базу данных Redis, работающую в изолированном Docker контейнере. Важные компоненты, такие как данные кэша и конфигурации, будут сохранены на вашей локальной машине благодаря использованию томов (volumes), что обеспечит надежность и доступность данных.
Читать: https://habr.com/ru/articles/823936/
@database_design
___
Другие наши проекты
👍1
Секретные материалы: удобство (без)опасности
Выбор метода хранения и передачи секретной информации и его настройки могут серьёзно сказаться на общей безопасности инфраструктуры. Наши аналитики Нина Степовик и Виктор Кузнецов рассказали об этом со сцены Positive Hack Days Fest 2, а мы выкладываем видеозапись и дополненную текстовую версию доклада.
Из этого материала вы узнаете о некоторых аспектах управления секретными данными и основных видах атак на хранилища секретов. Наши специалисты сравнили популярные хранилища, поделились рекомендациями и лучшими практиками для их настройки, а также разобрали типичные ошибки в интеграции хранилищ секретов в инфраструктуру.
Читать: https://habr.com/ru/companies/bastion/articles/824096/
@database_design
___
Другие наши проекты
Выбор метода хранения и передачи секретной информации и его настройки могут серьёзно сказаться на общей безопасности инфраструктуры. Наши аналитики Нина Степовик и Виктор Кузнецов рассказали об этом со сцены Positive Hack Days Fest 2, а мы выкладываем видеозапись и дополненную текстовую версию доклада.
Из этого материала вы узнаете о некоторых аспектах управления секретными данными и основных видах атак на хранилища секретов. Наши специалисты сравнили популярные хранилища, поделились рекомендациями и лучшими практиками для их настройки, а также разобрали типичные ошибки в интеграции хранилищ секретов в инфраструктуру.
Читать: https://habr.com/ru/companies/bastion/articles/824096/
@database_design
___
Другие наши проекты
Почему Starburst Icehouse подходит не всем
Недавно CEO Starburst опубликовал манифест о будущем открытого озера данных. В манифесте он говорит об Icehouse, архитектуре озера данных нового поколения на базе Trino и Iceberg. Глядя на нее, многие разработчики недоумевали: «А чем она отличается от любой другой архитектуры Data Lakehouse?». Команда VK Cloud перевела статью о концепции Icehouse. Вы поймете, почему в ней нет необходимости и почему она подходит далеко не всем, кто работает с открытыми архитектурами озера данных.
Читать: https://habr.com/ru/companies/vk/articles/824258/
@database_design
___
Другие наши проекты
Недавно CEO Starburst опубликовал манифест о будущем открытого озера данных. В манифесте он говорит об Icehouse, архитектуре озера данных нового поколения на базе Trino и Iceberg. Глядя на нее, многие разработчики недоумевали: «А чем она отличается от любой другой архитектуры Data Lakehouse?». Команда VK Cloud перевела статью о концепции Icehouse. Вы поймете, почему в ней нет необходимости и почему она подходит далеко не всем, кто работает с открытыми архитектурами озера данных.
Читать: https://habr.com/ru/companies/vk/articles/824258/
@database_design
___
Другие наши проекты
Auditing access to your sensitive data is now simpler and more precise
Oracle Database 23ai expands the unified audit framework with new, easier to use, column-level auditing capabilities
Read: https://blogs.oracle.com/database/post/auditing-access-to-your-sensitive-data-is-now-simpler-and-more-precise
@database_design
___
Другие наши проекты
Oracle Database 23ai expands the unified audit framework with new, easier to use, column-level auditing capabilities
Read: https://blogs.oracle.com/database/post/auditing-access-to-your-sensitive-data-is-now-simpler-and-more-precise
@database_design
___
Другие наши проекты
Новые возможности Audit Vault и Database Firewall
В последнем релизе Audit Vault и Database Firewall появилась функция сканирования сети для поиска баз данных и быстрого добавления новых обнаруженных баз данных в качестве целевых объектов AVDF. Узнайте, как это может повысить безопасность ваших данных.
Читать подробнее
___
Другие наши проекты
В последнем релизе Audit Vault и Database Firewall появилась функция сканирования сети для поиска баз данных и быстрого добавления новых обнаруженных баз данных в качестве целевых объектов AVDF. Узнайте, как это может повысить безопасность ваших данных.
Читать подробнее
___
Другие наши проекты
Oracle
Discover unmonitored databases with Oracle Audit Vault and Database Firewall (AVDF) 20.12
The latest release of Audit Vault and Database Firewall adds the capability to scan your network for databases and quickly add newly discovered databases as AVDF targets
Секретные материалы: удобство (без)опасности
Выбор метода хранения и передачи секретной информации и его настройки могут серьёзно сказаться на общей безопасности инфраструктуры. Наши аналитики Нина Степовик и Виктор Кузнецов рассказали об этом со сцены Positive Hack Days Fest 2, а мы выкладываем видеозапись и дополненную текстовую версию доклада.
Из этого материала вы узнаете о некоторых аспектах управления секретными данными и основных видах атак на хранилища секретов. Наши специалисты сравнили популярные хранилища, поделились рекомендациями и лучшими практиками для их настройки, а также разобрали типичные ошибки в интеграции хранилищ секретов в инфраструктуру.
Читать: https://habr.com/ru/companies/bastion/articles/824748/
@database_design
___
Другие наши проекты
Выбор метода хранения и передачи секретной информации и его настройки могут серьёзно сказаться на общей безопасности инфраструктуры. Наши аналитики Нина Степовик и Виктор Кузнецов рассказали об этом со сцены Positive Hack Days Fest 2, а мы выкладываем видеозапись и дополненную текстовую версию доклада.
Из этого материала вы узнаете о некоторых аспектах управления секретными данными и основных видах атак на хранилища секретов. Наши специалисты сравнили популярные хранилища, поделились рекомендациями и лучшими практиками для их настройки, а также разобрали типичные ошибки в интеграции хранилищ секретов в инфраструктуру.
Читать: https://habr.com/ru/companies/bastion/articles/824748/
@database_design
___
Другие наши проекты
Как мы повышали производительность очереди сообщений
Работа в Яндексе ставит огромное количество технических вызовов, которые интересно решать. И один из них — это производительность основной очереди сообщений YDB Topics. Посмотрим, может ли опенсорсный продукт от Яндекса конкурировать с Apache Kafka по производительности.
Меня зовут Зевайкин Александр. Я уже практически 20 лет в IT. Начинал с преподавания в вузе, запускал множество стартапов, руководил командами разработки. В текущий момент я работаю в Яндексе в отделе, занимающимся одной из высоконагруженных систем. Это разработка распределённой базы YDB, в частности, функциональности YDB Topic.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/824826/
@database_design
___
Другие наши проекты
Работа в Яндексе ставит огромное количество технических вызовов, которые интересно решать. И один из них — это производительность основной очереди сообщений YDB Topics. Посмотрим, может ли опенсорсный продукт от Яндекса конкурировать с Apache Kafka по производительности.
Меня зовут Зевайкин Александр. Я уже практически 20 лет в IT. Начинал с преподавания в вузе, запускал множество стартапов, руководил командами разработки. В текущий момент я работаю в Яндексе в отделе, занимающимся одной из высоконагруженных систем. Это разработка распределённой базы YDB, в частности, функциональности YDB Topic.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/824826/
@database_design
___
Другие наши проекты
Революция в техобслуживании с помощью MongoDB и генеративного ИИ
Предсказательное техобслуживание с генеративным ИИ меняет правила игры в промышленности. MongoDB Atlas обеспечивает интеграцию AI-приложений для анализа данных и оптимизации графиков обслуживания. Исследуйте, как повысить эффективность и снизить издержки с помощью этой передовой технологии! Инновационное решение для страховых компаний: RAG-приложения
Страховые компании могут значительно сократить время на обработку данных благодаря RAG-приложениям. Система на основе MongoDB и SuperDuperDB позволяет искать информацию в PDF-документах, отвечать на вопросы и точно указывать источник данных. Узнайте, как это работает на практике!
Читать подробнее
___
Другие наши проекты
Предсказательное техобслуживание с генеративным ИИ меняет правила игры в промышленности. MongoDB Atlas обеспечивает интеграцию AI-приложений для анализа данных и оптимизации графиков обслуживания. Исследуйте, как повысить эффективность и снизить издержки с помощью этой передовой технологии! Инновационное решение для страховых компаний: RAG-приложения
Страховые компании могут значительно сократить время на обработку данных благодаря RAG-приложениям. Система на основе MongoDB и SuperDuperDB позволяет искать информацию в PDF-документах, отвечать на вопросы и точно указывать источник данных. Узнайте, как это работает на практике!
Читать подробнее
___
Другие наши проекты
Работа с базами данных в Rust с помощью Diesel
Привет, Хабр!
Сегодня мы поговорим о Diesel ORM — инструменте, который превращает работу с базами данных в Rust в настоящее удовольствие. Diesel ORM — это расширяемый и безопасный объектно-реляционный маппер и конструктор запросов для Rust. Он имеет высокоуровневый API для взаимодействия с различными СУБД: PostgreSQL, MySQL и SQLite.
Начнем с установки и настройки!
Читать: https://habr.com/ru/companies/otus/articles/817777/
@database_design
___
Другие наши проекты
Привет, Хабр!
Сегодня мы поговорим о Diesel ORM — инструменте, который превращает работу с базами данных в Rust в настоящее удовольствие. Diesel ORM — это расширяемый и безопасный объектно-реляционный маппер и конструктор запросов для Rust. Он имеет высокоуровневый API для взаимодействия с различными СУБД: PostgreSQL, MySQL и SQLite.
Начнем с установки и настройки!
Читать: https://habr.com/ru/companies/otus/articles/817777/
@database_design
___
Другие наши проекты
Суммируем и не только. Агрегатные функции в SQL - это просто.
Рассмотрим базовые агрегатные функции COUNT, SUM, MIN, MAX и AVG в SQL и как ими пользоваться в написании запросов.
Читать: «Суммируем и не только. Агрегатные функции в SQL - это просто.»
@database_design
___
Другие наши проекты
Рассмотрим базовые агрегатные функции COUNT, SUM, MIN, MAX и AVG в SQL и как ими пользоваться в написании запросов.
Читать: «Суммируем и не только. Агрегатные функции в SQL - это просто.»
@database_design
___
Другие наши проекты
Tproger
Суммируем и не только. Агрегатные функции в SQL - это просто.
Рассмотрим базовые агрегатные функции COUNT, SUM, MIN, MAX и AVG в SQL и как ими пользоваться в написании запросов.
Качество данных в М.Видео-Эльдорадо
Привет, Хабр! С середины 2023 года у нас в компании было принято решение открыть новое направление в области управления данными - «Качество данных». Вот почти уже год мы активно в нем развиваемся и хотели бы поделиться накопленным опытом. Надеемся, что данный материал будет вам полезен.
Читать: https://habr.com/ru/companies/mvideo/articles/825314/
@database_design
___
Другие наши проекты
Привет, Хабр! С середины 2023 года у нас в компании было принято решение открыть новое направление в области управления данными - «Качество данных». Вот почти уже год мы активно в нем развиваемся и хотели бы поделиться накопленным опытом. Надеемся, что данный материал будет вам полезен.
Читать: https://habr.com/ru/companies/mvideo/articles/825314/
@database_design
___
Другие наши проекты
Качество данных в М.Видео-Эльдорадо
Привет, Хабр! С середины 2023 года у нас в компании было принято решение открыть новое направление в области управления данными - «Качество данных». Вот почти уже год мы активно в нем развиваемся и хотели бы поделиться накопленным опытом. Надеемся, что данный материал будет вам полезен.
Читать: https://habr.com/ru/companies/mvideo/articles/825314/
@database_design
___
Другие наши проекты
Привет, Хабр! С середины 2023 года у нас в компании было принято решение открыть новое направление в области управления данными - «Качество данных». Вот почти уже год мы активно в нем развиваемся и хотели бы поделиться накопленным опытом. Надеемся, что данный материал будет вам полезен.
Читать: https://habr.com/ru/companies/mvideo/articles/825314/
@database_design
___
Другие наши проекты
Как нормализовывать телефонные номера
Замечали когда-нибудь, что все записывают телефонные номера по-разному? Некоторые пишут их через пробелы, другие через дефис, а кто-то использует скобки. Разные люди по-разному группируют цифры номеров в числа.
И это становится реальной проблемой, когда вам нужно сохранить телефонные номера в базе данных и затем извлекать из неё записи по ним.
Читать: https://habr.com/ru/companies/ruvds/articles/824708/
@database_design
___
Другие наши проекты
Замечали когда-нибудь, что все записывают телефонные номера по-разному? Некоторые пишут их через пробелы, другие через дефис, а кто-то использует скобки. Разные люди по-разному группируют цифры номеров в числа.
И это становится реальной проблемой, когда вам нужно сохранить телефонные номера в базе данных и затем извлекать из неё записи по ним.
Читать: https://habr.com/ru/companies/ruvds/articles/824708/
@database_design
___
Другие наши проекты
❤2
Как нормализовывать телефонные номера
Замечали когда-нибудь, что все записывают телефонные номера по-разному? Некоторые пишут их через пробелы, другие через дефис, а кто-то использует скобки. Разные люди по-разному группируют цифры номеров в числа.
И это становится реальной проблемой, когда вам нужно сохранить телефонные номера в базе данных и затем извлекать из неё записи по ним.
Читать: https://habr.com/ru/companies/ruvds/articles/824708/
@database_design
___
Другие наши проекты
Замечали когда-нибудь, что все записывают телефонные номера по-разному? Некоторые пишут их через пробелы, другие через дефис, а кто-то использует скобки. Разные люди по-разному группируют цифры номеров в числа.
И это становится реальной проблемой, когда вам нужно сохранить телефонные номера в базе данных и затем извлекать из неё записи по ним.
Читать: https://habr.com/ru/companies/ruvds/articles/824708/
@database_design
___
Другие наши проекты
👍1
Что нового в документации YDB во втором квартале 2024 года
Документация YDB продолжает развиваться, отвечая на растущие потребности своей разнообразной аудитории. Наша цель остаётся прежней — улучшение ясности, доступности и глубины предоставляемой информации. В этом квартале мы ввели значительные обновления и новые разделы.
Читать: https://habr.com/ru/companies/ydb/articles/825416/
@database_design
___
Другие наши проекты
Документация YDB продолжает развиваться, отвечая на растущие потребности своей разнообразной аудитории. Наша цель остаётся прежней — улучшение ясности, доступности и глубины предоставляемой информации. В этом квартале мы ввели значительные обновления и новые разделы.
Читать: https://habr.com/ru/companies/ydb/articles/825416/
@database_design
___
Другие наши проекты