Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 3
Привет, Хабр! Это снова мы — Павел Конотопов и Михаил Жилин, сотрудники компании Postgres Professional. Напомню, что Павел занимается архитектурой построения отказоустойчивых кластеров, а я анализом производительности СУБД. У каждого из нас за плечами более десяти лет опыта в своей области.
Во второй части статьи «Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL» мы говорили о гарантии согласованности данных и разрешение конфликтов. Разобрали как выявлять и разрешать конфликты, используя разные способы. Теперь пришла пора одной из самых важных характеристик хранения данных — надёжности.
Читать: https://habr.com/ru/companies/postgrespro/articles/793158/
Привет, Хабр! Это снова мы — Павел Конотопов и Михаил Жилин, сотрудники компании Postgres Professional. Напомню, что Павел занимается архитектурой построения отказоустойчивых кластеров, а я анализом производительности СУБД. У каждого из нас за плечами более десяти лет опыта в своей области.
Во второй части статьи «Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL» мы говорили о гарантии согласованности данных и разрешение конфликтов. Разобрали как выявлять и разрешать конфликты, используя разные способы. Теперь пришла пора одной из самых важных характеристик хранения данных — надёжности.
Читать: https://habr.com/ru/companies/postgrespro/articles/793158/
Announcing the GA of the Atlas Device SDK for C++
Read: https://www.mongodb.com/blog/post/announcing-ga-of-atlas-device-sdk-for-c-plus-plus
Read: https://www.mongodb.com/blog/post/announcing-ga-of-atlas-device-sdk-for-c-plus-plus
И снова лазерные диски: китайцы представили болванку с емкостью в 200 ТБ
Подавляющее большинство современных ноутбуков лишены приводов для лазерных дисков. Не устанавливают их и в десктопные ПК, за некоторым исключением. Тем не менее, сам формат не умер, а продолжает развиваться. Например, китайцы представили современную версию лазерного диска с емкостью сразу в 200 ТБ. Подробности об этом носителе — под катом.
Читать: https://habr.com/ru/companies/selectel/articles/795743/
Подавляющее большинство современных ноутбуков лишены приводов для лазерных дисков. Не устанавливают их и в десктопные ПК, за некоторым исключением. Тем не менее, сам формат не умер, а продолжает развиваться. Например, китайцы представили современную версию лазерного диска с емкостью сразу в 200 ТБ. Подробности об этом носителе — под катом.
Читать: https://habr.com/ru/companies/selectel/articles/795743/
ORA-00600 internal error code - What it Means and the 3 Steps to Fix it
ORA-00600 is a generic internal error. It indicates the relevant process has encountered a low-level unexpected condition. Here's the simple steps to fix it.
Read: https://blogs.oracle.com/database/post/ora-00600
ORA-00600 is a generic internal error. It indicates the relevant process has encountered a low-level unexpected condition. Here's the simple steps to fix it.
Read: https://blogs.oracle.com/database/post/ora-00600
Oracle
ORA-00600 internal error code - What it Means and the 3 Steps to Fix it
ORA-00600 is a generic internal error. It indicates the relevant process has encountered a low-level unexpected condition. Here's the simple steps to fix it.
Перенос данных из одного S3 облака в другое
Перенос файлов от одного облачного провайдера S3 к другому должен был обойтись нам примерно в 133 000 рублей. Вместо этого, мы заплатили за него около 29 000 рублей. Как можно в 5 раз удешевить этот процесс – рассказываем в статье.
Читать: https://habr.com/ru/articles/796465/
Перенос файлов от одного облачного провайдера S3 к другому должен был обойтись нам примерно в 133 000 рублей. Вместо этого, мы заплатили за него около 29 000 рублей. Как можно в 5 раз удешевить этот процесс – рассказываем в статье.
Читать: https://habr.com/ru/articles/796465/
Building AI With MongoDB: Story Tools Studio Brings Gen AI To Gaming With Myth Maker AI
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-story-tools-studio-brings-genai-gaming-myth-maker-ai
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-story-tools-studio-brings-genai-gaming-myth-maker-ai
Кодируем крестики-нолики в 15 битах
Недавно я наткнулся на пост Алехандры Гонсалес (@blyxyas), в которой рассказывается о попытке сжать игру крестики-нолики в минимальное количество битов. Она пришла к решению из 18 битов. Это заставило меня задуматься: а можно ли улучшить этот результат?
Как говорит Алехандра, существует 765 возможных состояний игры1. Мы можем просто назначить число каждому состоянию, что займёт 10 битов2. Но, по словам Алехандры, это «скучно». С таким описанием игры мы практически ничего не сможем сделать. Когда будет нужно считать значение из конкретной ячейки или перейти из одного состояния в другое, на практике нам придётся использовать таблицу поиска, сопоставляющую каждое число с более крупным и структурированным описанием, что делает бессмысленным саму идею сжатого описания.
Читать: https://habr.com/ru/articles/796721/
Недавно я наткнулся на пост Алехандры Гонсалес (@blyxyas), в которой рассказывается о попытке сжать игру крестики-нолики в минимальное количество битов. Она пришла к решению из 18 битов. Это заставило меня задуматься: а можно ли улучшить этот результат?
Как говорит Алехандра, существует 765 возможных состояний игры1. Мы можем просто назначить число каждому состоянию, что займёт 10 битов2. Но, по словам Алехандры, это «скучно». С таким описанием игры мы практически ничего не сможем сделать. Когда будет нужно считать значение из конкретной ячейки или перейти из одного состояния в другое, на практике нам придётся использовать таблицу поиска, сопоставляющую каждое число с более крупным и структурированным описанием, что делает бессмысленным саму идею сжатого описания.
Читать: https://habr.com/ru/articles/796721/
Особенности и проблемы mock-сервера Swordfish API Emulator
Эта статья — продолжение истории про разработку Ansible-модулей для взаимодействий с системами хранения данных (СХД) через API, которое удовлетворяет спецификации Swordfish. Эти модули в перспективе облегчат управление парком СХД от разных производителей.
Чтобы тестировать работоспособность созданных модулей, нужен настоящий сервер СХД (или тестовый mock-сервер), который предоставляет необходимый REST API. Получить настоящий сервер от производителя СХД — сложная задача, которая требует финансовых и временных затрат на получение программно-аппаратного обеспечения. В случае open-source разработки такая опция доступна не всем командам.
Компания SNIA, разработчик спецификации Swordfish, подумала об этом и предоставляет разработчикам свободно распространяемый mock-сервер — Swordfish API Emulator. В рамках проекта Лаборатории YADRO на базе СПбПУ Петра Великого мы протестировали его в работе. В статье расскажем, как он устроен и как с ним взаимодействовать в задачах.
Читать: https://habr.com/ru/companies/yadro/articles/795211/
Эта статья — продолжение истории про разработку Ansible-модулей для взаимодействий с системами хранения данных (СХД) через API, которое удовлетворяет спецификации Swordfish. Эти модули в перспективе облегчат управление парком СХД от разных производителей.
Чтобы тестировать работоспособность созданных модулей, нужен настоящий сервер СХД (или тестовый mock-сервер), который предоставляет необходимый REST API. Получить настоящий сервер от производителя СХД — сложная задача, которая требует финансовых и временных затрат на получение программно-аппаратного обеспечения. В случае open-source разработки такая опция доступна не всем командам.
Компания SNIA, разработчик спецификации Swordfish, подумала об этом и предоставляет разработчикам свободно распространяемый mock-сервер — Swordfish API Emulator. В рамках проекта Лаборатории YADRO на базе СПбПУ Петра Великого мы протестировали его в работе. В статье расскажем, как он устроен и как с ним взаимодействовать в задачах.
Читать: https://habr.com/ru/companies/yadro/articles/795211/
Как неПросто сделать холодный бэкап Postgres
File system level backup в Postgres это первое чему нужно научится при использовании Postgres . Никакие pg_dump \ pg_restore не заменят Полный бэкап на уровне файлов. File system level backup это первая ступень для подготовки к Continuous archiving. Понимание архитектуры хранения – это фундамент, по которому можно понять сможете ли Вы жить с Postgres на больших объемах или у Вас другой путь?
Начать копировать кластер правильно
Читать: https://habr.com/ru/articles/796961/
File system level backup в Postgres это первое чему нужно научится при использовании Postgres . Никакие pg_dump \ pg_restore не заменят Полный бэкап на уровне файлов. File system level backup это первая ступень для подготовки к Continuous archiving. Понимание архитектуры хранения – это фундамент, по которому можно понять сможете ли Вы жить с Postgres на больших объемах или у Вас другой путь?
Начать копировать кластер правильно
Читать: https://habr.com/ru/articles/796961/
They Asked, We Answered: A Q&A on Joining MongoDB’s Remote Solutions Center
Read: https://www.mongodb.com/blog/post/they-asked-we-answered-joining-mongodbs-remote-solutions-center
Read: https://www.mongodb.com/blog/post/they-asked-we-answered-joining-mongodbs-remote-solutions-center
How to help AI models generate better natural language queries
Using natural language to query your is an easy way to answer business questions. One question I’m often asked is, “how can this work on my data? Have you seen my table and column names? The names are meaningless.” Fear not! It is possible when you’re using Autonomous Database.
Read: https://blogs.oracle.com/datawarehousing/post/how-to-help-ai-models-generate-better-natural-language-queries-in-autonomous-database
Using natural language to query your is an easy way to answer business questions. One question I’m often asked is, “how can this work on my data? Have you seen my table and column names? The names are meaningless.” Fear not! It is possible when you’re using Autonomous Database.
Read: https://blogs.oracle.com/datawarehousing/post/how-to-help-ai-models-generate-better-natural-language-queries-in-autonomous-database
Oracle
How to help AI models generate better natural language queries
Using natural language to query your is an easy way to answer business questions. One question I’m often asked is, “how can this work on my data? Have you seen my table and column names? The names are meaningless.” Fear not! It is possible when you’re using…
Распределённые облачные системы хранения Filecoin и Storj
Когда-то файлы хранили на дискетах, потом на дисках, потом на флэшках. Закончилось всё облаками. Тогда встал ряд различных вопросов по надёжности и приватности. С одной стороны можно просто доверить файлы гуглу или яндексу, но тогда о приватности можно забыть. C другой стороны можно завести собственное облачное хранилище, будь то дорогое железное решение от Synology, или оперсорсное на арендованной vps на nextcloud, но тут требуется вовлечение, что бы облако оставалось в рабочем состоянии (следить за апдейтами, своевременно обновлять оборудование, поддерживать резервное железо). Вместе с развитием блокчейна и развитием децентрализованных технологий web 3.0, появились и облачные хранилища, обещающие приватность, доступность и низкую цену. Предлагаю к рассмотрению 2 проекта, которые появились более 10 лет назад, и до сих пор существуют - Filecoin и Storj.
Читать: https://habr.com/ru/articles/794394/
Когда-то файлы хранили на дискетах, потом на дисках, потом на флэшках. Закончилось всё облаками. Тогда встал ряд различных вопросов по надёжности и приватности. С одной стороны можно просто доверить файлы гуглу или яндексу, но тогда о приватности можно забыть. C другой стороны можно завести собственное облачное хранилище, будь то дорогое железное решение от Synology, или оперсорсное на арендованной vps на nextcloud, но тут требуется вовлечение, что бы облако оставалось в рабочем состоянии (следить за апдейтами, своевременно обновлять оборудование, поддерживать резервное железо). Вместе с развитием блокчейна и развитием децентрализованных технологий web 3.0, появились и облачные хранилища, обещающие приватность, доступность и низкую цену. Предлагаю к рассмотрению 2 проекта, которые появились более 10 лет назад, и до сих пор существуют - Filecoin и Storj.
Читать: https://habr.com/ru/articles/794394/
Как мы построили систему анализа утечек паролей с хранением в ScyllaDB
В статье я расскажу о том, как мы построили систему для получения, анализа и сохранения утечек паролей. Рассмотрим архитектуру нашей системы, опишем основные компоненты и расскажем о нашем опыте использования ScyllaDB для задач оперативной загрузки большого количества накопленных утечек.
Читать: https://habr.com/ru/companies/passleak/articles/796949/
В статье я расскажу о том, как мы построили систему для получения, анализа и сохранения утечек паролей. Рассмотрим архитектуру нашей системы, опишем основные компоненты и расскажем о нашем опыте использования ScyllaDB для задач оперативной загрузки большого количества накопленных утечек.
Читать: https://habr.com/ru/companies/passleak/articles/796949/
Announcing the general availability of Oracle Globally Distributed Autonomous Database
Oracle Globally Distributed Autonomous Database is now available as a fully managed Oracle Cloud Infrastructure (OCI) service
Read: https://blogs.oracle.com/database/post/general-availability-globally-distributed-autonomous-database
Oracle Globally Distributed Autonomous Database is now available as a fully managed Oracle Cloud Infrastructure (OCI) service
Read: https://blogs.oracle.com/database/post/general-availability-globally-distributed-autonomous-database
Oracle
Announcing the general availability of Oracle Globally Distributed Autonomous Database
Atlas Data Federation and Online Archive Can Now Be Deployed in Azure
Read: https://www.mongodb.com/blog/post/atlas-data-federation-online-archive-can-now-be-deployed-in-azure
Read: https://www.mongodb.com/blog/post/atlas-data-federation-online-archive-can-now-be-deployed-in-azure
RegData & MongoDB: Streamline Data Control and Compliance
Read: https://www.mongodb.com/blog/post/regdata-mongodb-streamline-data-control-compliance
Read: https://www.mongodb.com/blog/post/regdata-mongodb-streamline-data-control-compliance
Как использовать Elasticdump с Manticore
Elasticdump - это инструмент для управления и миграции данных в Elasticsearch. Elasticdump позволяет пользователям перемещать и сохранять индексы, экспортируя данные в файл JSON, а затем импортируя их в другое место. Эта функциональность особенно полезна для целей резервного копирования и восстановления, а также для миграции данных между различными средами (например, из разработки в продакшн).
Читать: https://habr.com/ru/articles/797055/
Elasticdump - это инструмент для управления и миграции данных в Elasticsearch. Elasticdump позволяет пользователям перемещать и сохранять индексы, экспортируя данные в файл JSON, а затем импортируя их в другое место. Эта функциональность особенно полезна для целей резервного копирования и восстановления, а также для миграции данных между различными средами (например, из разработки в продакшн).
Читать: https://habr.com/ru/articles/797055/
Практические задачи для изучающих SQL
Рассказываем о SQLTest.online — платформе, которая поможет вам прокачать навык написания SQL запросов на практических примерах.
Читать: «Практические задачи для изучающих SQL»
Рассказываем о SQLTest.online — платформе, которая поможет вам прокачать навык написания SQL запросов на практических примерах.
Читать: «Практические задачи для изучающих SQL»