PostgreSQL + pgAdmin + mTLS + certificate-based authentication + docker-compose в одном флаконе
Чего у меня не отнять, дак это мастерства заголовка...
В какой-то момент при локальной разработке (да, в общем-то и при тестировании на иных стендах) задумываешься о том, как бы избавиться от довольно монотонных действий. Одним из них является ввод пароля в рамках процесса аутентификации в PostgreSQL. В этой статье я расскажу как слегка автоматизировать данный процесс.
Данная статья является легким переосмыслением того, что я написал на медиуме. Ибо думать я продолжаю на русском.
TL;DR исходники к вашим услугам.
В рамках любых взаимодействий мы сталкиваемся с такими сущностями как авторизация и аутентификация. Повторять в 100500 раз что есть что я не буду (но мне не лень такую длинную ремарку напечатать, ага). В рамках PostgreSQL первое обеспечивается через Roles, а второе через Privileges.
Читать: https://habr.com/ru/articles/804217/
@database_design
Чего у меня не отнять, дак это мастерства заголовка...
В какой-то момент при локальной разработке (да, в общем-то и при тестировании на иных стендах) задумываешься о том, как бы избавиться от довольно монотонных действий. Одним из них является ввод пароля в рамках процесса аутентификации в PostgreSQL. В этой статье я расскажу как слегка автоматизировать данный процесс.
Данная статья является легким переосмыслением того, что я написал на медиуме. Ибо думать я продолжаю на русском.
TL;DR исходники к вашим услугам.
В рамках любых взаимодействий мы сталкиваемся с такими сущностями как авторизация и аутентификация. Повторять в 100500 раз что есть что я не буду (но мне не лень такую длинную ремарку напечатать, ага). В рамках PostgreSQL первое обеспечивается через Roles, а второе через Privileges.
Читать: https://habr.com/ru/articles/804217/
@database_design
Почему люди не делают бэкапы?
Есть у меня вузовский товарищ Сашка. Математик, физик, а теперь и разработчик (умело монетизирует мозги), умный до безобразия. Ещё в университете он проявлял патологическую собранность в походах: чего бы ни понадобилось, всё было у него в рюкзаке. Год за годом он погружался в тему жизнеобеспечения всё глубже — и вот в ковидные времена общество получило выживальщика, продуманного до мелочей. Это тот случай, когда тушёнка, сгущёнка, йодид калия, триста способов разжечь костёр, землянка в пригородном лесу уже выкопана и меблирована обставлена по последнему слову выживания. Так вот, этот разработчик, математик, физик и человек, желающий во что бы то ни стало сохраниться вместе с тихоходками, с полгода назад истерически кричал мне в трубку, что у него «стёрся» проект длиной в год. Причина истерики проста: он не сделал бэкап. И это могла быть курьёзная байка, но таких — сотни и тысячи. Это люди, которые доверяют какому-то авосю свой труд, свои силы, свой опыт, свои деньги, данные, судьбы своих компаний. А авось почему-то оказывается ненадёжным.
Это всё чёрная кошка виновата, а не бэкапы там какие-то несделанные
Почему так происходит? Предлагаю рассмотреть 9 возможных причин.
Читать: https://habr.com/ru/companies/ruvds/articles/804211/
@database_design
Есть у меня вузовский товарищ Сашка. Математик, физик, а теперь и разработчик (умело монетизирует мозги), умный до безобразия. Ещё в университете он проявлял патологическую собранность в походах: чего бы ни понадобилось, всё было у него в рюкзаке. Год за годом он погружался в тему жизнеобеспечения всё глубже — и вот в ковидные времена общество получило выживальщика, продуманного до мелочей. Это тот случай, когда тушёнка, сгущёнка, йодид калия, триста способов разжечь костёр, землянка в пригородном лесу уже выкопана и меблирована обставлена по последнему слову выживания. Так вот, этот разработчик, математик, физик и человек, желающий во что бы то ни стало сохраниться вместе с тихоходками, с полгода назад истерически кричал мне в трубку, что у него «стёрся» проект длиной в год. Причина истерики проста: он не сделал бэкап. И это могла быть курьёзная байка, но таких — сотни и тысячи. Это люди, которые доверяют какому-то авосю свой труд, свои силы, свой опыт, свои деньги, данные, судьбы своих компаний. А авось почему-то оказывается ненадёжным.
Это всё чёрная кошка виновата, а не бэкапы там какие-то несделанные
Почему так происходит? Предлагаю рассмотреть 9 возможных причин.
Читать: https://habr.com/ru/companies/ruvds/articles/804211/
@database_design
MongoDB Announces Support for Punch Cards, Arrakis
Read: https://www.mongodb.com/blog/post/mongodb-announces-support-punch-cards-arrakis
@database_design
Read: https://www.mongodb.com/blog/post/mongodb-announces-support-punch-cards-arrakis
@database_design
Identify the best places in the US to host a solar eclipse viewing party
If you're in North America, it's safe to say you're aware that we're having a solar eclipse next month. Maybe you're even lucky enough to live close enough to the path of totality to view it. But how to do you decide where to go to view it?
Read: https://blogs.oracle.com/database/post/identify-the-best-places-in-the-us-to-host-a-solar-eclipse-viewing-party
@database_design
If you're in North America, it's safe to say you're aware that we're having a solar eclipse next month. Maybe you're even lucky enough to live close enough to the path of totality to view it. But how to do you decide where to go to view it?
Read: https://blogs.oracle.com/database/post/identify-the-best-places-in-the-us-to-host-a-solar-eclipse-viewing-party
@database_design
Oracle
Identify the best places in the US to host a solar eclipse viewing party
placeholder
Шесть вредных советов по работе с Patroni на случай, если вы не хотите спать ночью
Привет, Хабр!
О том, как правильно готовить кластеризацию для PostgreSQL, написано уже достаточно. А потому сегодня вашему вниманию предлагается небольшой сборник рекомендаций, как администратору СУБД под управлением Patroni гарантированно проснуться в три часа ночи от звонка из отдела мониторинга.
Читать: https://habr.com/ru/companies/jetinfosystems/articles/804401/
@database_design
Привет, Хабр!
О том, как правильно готовить кластеризацию для PostgreSQL, написано уже достаточно. А потому сегодня вашему вниманию предлагается небольшой сборник рекомендаций, как администратору СУБД под управлением Patroni гарантированно проснуться в три часа ночи от звонка из отдела мониторинга.
Читать: https://habr.com/ru/companies/jetinfosystems/articles/804401/
@database_design
Что нового в документации YDB за 1 квартал 2024 года
Первоначальная документация YDB, опубликованная в рамках open-source запуска в 2022 году, имела структуру, на которую в значительной степени повлиял закон Конвея. Создание проекта с открытым исходным кодом значительно повышает планку того, что ожидается от документации по технологии. В нашем случае для быстрого создания большого количества контента перед запуском потребовалась командная работа по принципу «разделяй и властвуй». На раннем этапе такое четкое владение каждым фрагментом было полезным. Однако, поскольку общий объем документации со временем продолжает расти, читателям становится всё труднее находить нужную им информацию. Чтобы решить эту проблему, мы перепроектируем структуру документации, чтобы она была ориентирована на пользователя. Таким образом, если вы являетесь командой, работающей с кластером YDB, каждый может иметь свою собственную любимую директорию в документации в соответствии со своей ролью в команде и не отвлекаться на контент, ориентированный на читателей с другой ролью.
Эта реструктуризация ещё в процессе: появился новый раздел для DevOps-инженеров, а также дополнительные разделы для администраторов баз данных, разработчиков приложений, инженеров по безопасности, аналитиков и т.д. Перемещение контента может потребовать выработки новых привычек, но в долгосрочной перспективе такая структура должна упростить навигацию. Мы создаём перенаправление со старого URL на новый при перемещении любой страницы документации, чтобы свести неудобства к минимуму.
Читать: https://habr.com/ru/companies/ydb/articles/804775/
@database_design
Первоначальная документация YDB, опубликованная в рамках open-source запуска в 2022 году, имела структуру, на которую в значительной степени повлиял закон Конвея. Создание проекта с открытым исходным кодом значительно повышает планку того, что ожидается от документации по технологии. В нашем случае для быстрого создания большого количества контента перед запуском потребовалась командная работа по принципу «разделяй и властвуй». На раннем этапе такое четкое владение каждым фрагментом было полезным. Однако, поскольку общий объем документации со временем продолжает расти, читателям становится всё труднее находить нужную им информацию. Чтобы решить эту проблему, мы перепроектируем структуру документации, чтобы она была ориентирована на пользователя. Таким образом, если вы являетесь командой, работающей с кластером YDB, каждый может иметь свою собственную любимую директорию в документации в соответствии со своей ролью в команде и не отвлекаться на контент, ориентированный на читателей с другой ролью.
Эта реструктуризация ещё в процессе: появился новый раздел для DevOps-инженеров, а также дополнительные разделы для администраторов баз данных, разработчиков приложений, инженеров по безопасности, аналитиков и т.д. Перемещение контента может потребовать выработки новых привычек, но в долгосрочной перспективе такая структура должна упростить навигацию. Мы создаём перенаправление со старого URL на новый при перемещении любой страницы документации, чтобы свести неудобства к минимуму.
Читать: https://habr.com/ru/companies/ydb/articles/804775/
@database_design
Курс «PostgreSQL для начинающих»: #4 — Анализ запросов (ч.1 — как и зачем читать планы)
Продолжаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика" в "Тензоре".
В этой лекции мы узнаем, что такое план выполнения запроса, как и зачем его читать (и почему это совсем непросто), и о каких проблемах с производительностью базы он может сигнализировать. Разберем, что такое
Как обычно, для предпочитающих смотреть и слушать, а не читать - доступна видеозапись (часть 1, часть 2).
Читать: https://habr.com/ru/companies/tensor/articles/790282/
@database_design
Продолжаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика" в "Тензоре".
В этой лекции мы узнаем, что такое план выполнения запроса, как и зачем его читать (и почему это совсем непросто), и о каких проблемах с производительностью базы он может сигнализировать. Разберем, что такое
Seq Scan, Bitmap Heap Scan, Index Scan и почему Index Only Scan бывает нехорош, чем отличается Materialize от Memoize, а Gather Merge от "просто" Gather.Как обычно, для предпочитающих смотреть и слушать, а не читать - доступна видеозапись (часть 1, часть 2).
Читать: https://habr.com/ru/companies/tensor/articles/790282/
@database_design
MariaDB Community Server 11.4 LTS: What This Means For Customers
Read: https://mariadb.com/?p=39042
@database_design
Read: https://mariadb.com/?p=39042
@database_design
Шардирование (sharding). Эпизод 1: Начало и шардирование по идентификатору
Divide et impera (разделяй и властвуй) – древний принцип для управления чем-то большим и сложным.
Многие из нас программируют. Многие из нас делают системы, сложные системы. Но некоторым повезло работать в ситуации, когда объёмы по-настоящему огромны и требования кажутся невыполнимыми. Шардировние – один из излюбленных счастливчиками, которых зовут приключения, приемов.
Что-нибудь разбить на кусочки – это круто! Переходите на сторону шардирования у нас есть печеньки!
За кусочками!!!
Читать: https://habr.com/ru/articles/804827/
@database_design
Divide et impera (разделяй и властвуй) – древний принцип для управления чем-то большим и сложным.
Многие из нас программируют. Многие из нас делают системы, сложные системы. Но некоторым повезло работать в ситуации, когда объёмы по-настоящему огромны и требования кажутся невыполнимыми. Шардировние – один из излюбленных счастливчиками, которых зовут приключения, приемов.
Что-нибудь разбить на кусочки – это круто! Переходите на сторону шардирования у нас есть печеньки!
За кусочками!!!
Читать: https://habr.com/ru/articles/804827/
@database_design
Как мы переехали с Oracle на PostgreSQL в нагруженном сервисе без даунтайма
Всем привет! Я Сергей, работаю в B2B-команде Яндекс Маркета последние 3,5 года. Как уже понятно из заголовка, сейчас я вам расскажу про yet-another-миграцию с базы на базу, которая началась в середине 2021 года и заняла почти год. Получается, мемуары.
Вас ждёт рассказ о том, как мы:
- несколько месяцев чинили тесты и делали трансформер;
- десятки раз переливали данные;
- чинили баги незаметно для пользователей;
- заставили сервис работать на PostgreSQL быстрее, чем он работал на Oracle.
Читать: https://habr.com/ru/companies/yandex/articles/801415/
@database_design
Всем привет! Я Сергей, работаю в B2B-команде Яндекс Маркета последние 3,5 года. Как уже понятно из заголовка, сейчас я вам расскажу про yet-another-миграцию с базы на базу, которая началась в середине 2021 года и заняла почти год. Получается, мемуары.
Вас ждёт рассказ о том, как мы:
- несколько месяцев чинили тесты и делали трансформер;
- десятки раз переливали данные;
- чинили баги незаметно для пользователей;
- заставили сервис работать на PostgreSQL быстрее, чем он работал на Oracle.
Читать: https://habr.com/ru/companies/yandex/articles/801415/
@database_design
Исследуем структуру базы данных MySQL с помощью функций SHOW
Для эффективной работы, и разработчику и тестировщику работающих с базой данных важно иметь возможность исследовать все необходимые компоненты. Рассмотрим как это сделать в MySQL при помощи выражений SHOW
Читать: «Исследуем структуру базы данных MySQL с помощью функций SHOW»
@database_design
Для эффективной работы, и разработчику и тестировщику работающих с базой данных важно иметь возможность исследовать все необходимые компоненты. Рассмотрим как это сделать в MySQL при помощи выражений SHOW
Читать: «Исследуем структуру базы данных MySQL с помощью функций SHOW»
@database_design
Tproger
Исследуем структуру базы данных MySQL с помощью функций SHOW
Для эффективной работы, и разработчику и тестировщику работающих с базой данных важно иметь возможность исследовать все необходимые компоненты. Рассмотрим как это сделать в MySQL при помощи выражений SHOW
Proper SQL comes to MongoDB applications .. with the Oracle Database!
The latest innovation in Oracle's Database API for MongoDB is native integration with SQL, using the MongoDB aggregation pipeline operator $sql. Benefit from Oracle's converged database architecture even more than before.
Read: https://blogs.oracle.com/database/post/proper-sql-comes-to-mongodb-applications-with-oracle
@database_design
The latest innovation in Oracle's Database API for MongoDB is native integration with SQL, using the MongoDB aggregation pipeline operator $sql. Benefit from Oracle's converged database architecture even more than before.
Read: https://blogs.oracle.com/database/post/proper-sql-comes-to-mongodb-applications-with-oracle
@database_design
Oracle
Proper SQL comes to MongoDB applications .. with the Oracle Database!
The latest innovation in Oracle's Database API for MongoDB is native integration with SQL, using the MongoDB aggregation pipeline operator $sql. Benefit from Oracle's converged database architecture even more than before.
Эффективные вложения в ИТ: Как посчитать ROI при внедрении ПО на примере системы маскирования данных
Всем привет! Меня зовут Али Гаджиев, я Директор по продукту в компании Crosstech Solutions Group. Мы с моими коллегами Продакт-менеджером Дмитрием Симаком и Руководителем отдела анализа данных и машинного обучения Владимиром Коршуновым решили поднять ту тему, которую, зачастую, технари игнорируют. Мы умеем создавать классные продукты, готовы интересно их заносить функциональным заказчикам, но как только доходим до людей, которые внутри заказчиков выделяют деньги, мы оказываемся (не часто, но бывает) в тупике, слыша вопрос «А зачем мне выделять деньги на автоматизацию, если руками делать дешевле?».
Поэтому, в данной статье мы немного поговорим о функционале нашего продукта Jay Data и много о деньгах.
Итак, в современном мире, где данные являются одним из самых ценных активов компаний, обеспечение их безопасности становится приоритетной задачей. Сложный экономический климат заставляет компании уделять первоочередное внимание инициативам по сокращению затрат и тщательно проверять рентабельность инвестиций (ROI) перед тем, как они будут сделаны.
В данной статье мы рассмотрим важность применения систем маскирования баз данных для защиты конфиденциальной информации и, самое главное, подчеркнем, что инвестиции в такие системы оказываются рентабельными и приносят прибыль за счет автоматизации ранее использованного ручного труда, повышения продуктивности в жизненном цикле разработки программного обеспечения, уменьшения рисков финансовых потерь и повышения эффективность работы компании и безопасности бизнеса.
Читать: https://habr.com/ru/companies/ctsg/articles/805255/
@database_design
Всем привет! Меня зовут Али Гаджиев, я Директор по продукту в компании Crosstech Solutions Group. Мы с моими коллегами Продакт-менеджером Дмитрием Симаком и Руководителем отдела анализа данных и машинного обучения Владимиром Коршуновым решили поднять ту тему, которую, зачастую, технари игнорируют. Мы умеем создавать классные продукты, готовы интересно их заносить функциональным заказчикам, но как только доходим до людей, которые внутри заказчиков выделяют деньги, мы оказываемся (не часто, но бывает) в тупике, слыша вопрос «А зачем мне выделять деньги на автоматизацию, если руками делать дешевле?».
Поэтому, в данной статье мы немного поговорим о функционале нашего продукта Jay Data и много о деньгах.
Итак, в современном мире, где данные являются одним из самых ценных активов компаний, обеспечение их безопасности становится приоритетной задачей. Сложный экономический климат заставляет компании уделять первоочередное внимание инициативам по сокращению затрат и тщательно проверять рентабельность инвестиций (ROI) перед тем, как они будут сделаны.
В данной статье мы рассмотрим важность применения систем маскирования баз данных для защиты конфиденциальной информации и, самое главное, подчеркнем, что инвестиции в такие системы оказываются рентабельными и приносят прибыль за счет автоматизации ранее использованного ручного труда, повышения продуктивности в жизненном цикле разработки программного обеспечения, уменьшения рисков финансовых потерь и повышения эффективность работы компании и безопасности бизнеса.
Читать: https://habr.com/ru/companies/ctsg/articles/805255/
@database_design
Как мы тестируем серверы
Привет! Меня зовут Олег Рябов, я главный эксперт Управления исследований и разработок новых решений компании «Ростелеком-ЦОД» и автор программы и методики испытаний (ПМИ) серверов.
В этой статье расскажу, как мы проводим тестирование серверов и какие утилиты и методы используем.
Читать: https://habr.com/ru/companies/dataline/articles/805141/
@database_design
Привет! Меня зовут Олег Рябов, я главный эксперт Управления исследований и разработок новых решений компании «Ростелеком-ЦОД» и автор программы и методики испытаний (ПМИ) серверов.
В этой статье расскажу, как мы проводим тестирование серверов и какие утилиты и методы используем.
Читать: https://habr.com/ru/companies/dataline/articles/805141/
@database_design
Transforming Industries with MongoDB and AI: Financial Services
Read: https://www.mongodb.com/blog/post/transforming-industries-mongodb-ai-financial-services
@database_design
Read: https://www.mongodb.com/blog/post/transforming-industries-mongodb-ai-financial-services
@database_design
Как дисциплина управления мастер-данными влияет на продажи
Иногда это целая проблема — найти товар с редкими свойствами. Информация о товаре должна быть доступна для поиска, но в лучшем случае особые характеристики указываются в текстовом описании. Даже если для интересующего свойства сделали отдельное поле, то его заполняют левой задней пяткой без гарантий достоверности. В результате покупатель может плюнуть и уйти из магазина, так и не найдя то, что искал. А секрет прост: чтобы все получилось, нужно правильно приготовить мастер-данные.
Рассказываем, чем грамотно построенные процессы управления мастер-данными могут помочь продажам.
Читать: https://habr.com/ru/companies/magnit/articles/805321/
@database_design
Иногда это целая проблема — найти товар с редкими свойствами. Информация о товаре должна быть доступна для поиска, но в лучшем случае особые характеристики указываются в текстовом описании. Даже если для интересующего свойства сделали отдельное поле, то его заполняют левой задней пяткой без гарантий достоверности. В результате покупатель может плюнуть и уйти из магазина, так и не найдя то, что искал. А секрет прост: чтобы все получилось, нужно правильно приготовить мастер-данные.
Рассказываем, чем грамотно построенные процессы управления мастер-данными могут помочь продажам.
Читать: https://habr.com/ru/companies/magnit/articles/805321/
@database_design
👍1
Выбор БД в новом проекте
При разработке приложения, сервиса, системы и тп возникает один из главных вопросов: как мне хранить данные (какую БД выбрать). В связи с тем, что чаще всего в получите ответ “зависит” (it depends), предлагаю рассмотреть несколько стратегий, которые будут работать почти всегда.
Найти стратегии можно тут
Читать: https://habr.com/ru/articles/804975/
@database_design
При разработке приложения, сервиса, системы и тп возникает один из главных вопросов: как мне хранить данные (какую БД выбрать). В связи с тем, что чаще всего в получите ответ “зависит” (it depends), предлагаю рассмотреть несколько стратегий, которые будут работать почти всегда.
Найти стратегии можно тут
Читать: https://habr.com/ru/articles/804975/
@database_design
Настоящие российские коммутаторы, ИИ-ускорители и новые видеокарты от NVIDIA: новинки в мире железа за март
Если спросить у популярного GPT-бота, какое серверное железо появилось в марте 2024 года, — он расскажет о серверах на основе квантовых вычислений. А еще про сверхпроводящие интерференционные устройства и технологии ионных ловушек для хранения и обработки кубитов. Правда это или простая галлюцинация нейросети — оставим на обсуждение в комментариях. Но что точно настоящее, так это дайджест железа.
Привет! Меня зовут Сергей, я менеджер выделенных серверов в Selectel. В этой статье расскажу о новинках в мире железа за прошедший месяц. В программе — новые видеокарты от NVIDIA, коммутаторы, диски и СХД. Подробности под катом!
Читать: https://habr.com/ru/companies/selectel/articles/805585/
@database_design
Если спросить у популярного GPT-бота, какое серверное железо появилось в марте 2024 года, — он расскажет о серверах на основе квантовых вычислений. А еще про сверхпроводящие интерференционные устройства и технологии ионных ловушек для хранения и обработки кубитов. Правда это или простая галлюцинация нейросети — оставим на обсуждение в комментариях. Но что точно настоящее, так это дайджест железа.
Привет! Меня зовут Сергей, я менеджер выделенных серверов в Selectel. В этой статье расскажу о новинках в мире железа за прошедший месяц. В программе — новые видеокарты от NVIDIA, коммутаторы, диски и СХД. Подробности под катом!
Читать: https://habr.com/ru/companies/selectel/articles/805585/
@database_design
Жёсткие диски не сдаются: технологии записи данных совершенствуются, ёмкость HDD растёт
За последние пару лет не раз и не два приходилось слышать мнение, что HDD вскоре уступят место твердотельным накопителям. Они становятся всё более ёмкими и быстрыми, а цена на них падает. Но всё не так просто, поскольку технологии в мире HDD тоже не стоят на месте, а продолжают развиваться. На днях стало известно о новом достижении разработчиков из Seagate и учёных из Университета Тохоку. Подробности — под катом.
Читать: https://habr.com/ru/companies/ru_mts/articles/805859/
@database_design
За последние пару лет не раз и не два приходилось слышать мнение, что HDD вскоре уступят место твердотельным накопителям. Они становятся всё более ёмкими и быстрыми, а цена на них падает. Но всё не так просто, поскольку технологии в мире HDD тоже не стоят на месте, а продолжают развиваться. На днях стало известно о новом достижении разработчиков из Seagate и учёных из Университета Тохоку. Подробности — под катом.
Читать: https://habr.com/ru/companies/ru_mts/articles/805859/
@database_design
Миграция с MSSQL Server на PostgreSQL. Предпосылки
Сегодня обсудим общие вопросы, связанные с миграцией баз данных на новую платформу. Как обычно, акцент сделан на системах 1С:Предприятие, как самых популярных на российском рынке. Но многие рекомендации универсальны и годятся для всех ИТ-систем.
Читать: https://habr.com/ru/companies/softpoint/articles/806127/
@database_design
Сегодня обсудим общие вопросы, связанные с миграцией баз данных на новую платформу. Как обычно, акцент сделан на системах 1С:Предприятие, как самых популярных на российском рынке. Но многие рекомендации универсальны и годятся для всех ИТ-систем.
Читать: https://habr.com/ru/companies/softpoint/articles/806127/
@database_design
Unleashing Developer Potential–and Managing Costs–with MongoDB Atlas
Read: https://www.mongodb.com/blog/post/unleashing-developer-potential-managing-costs-mongodb-atlas
@database_design
Read: https://www.mongodb.com/blog/post/unleashing-developer-potential-managing-costs-mongodb-atlas
@database_design