Мой 71 ТиБ ZFS NAS проработал 10 лет без единой поломки дисков
Моему серверу 4U 71 TiB ZFS, собранному из двадцати четырех 4-терабайтных дисков, уже больше десяти лет и он всё ещё отлично работает. Хотя сейчас у него уже вторая материнская плата и блок питания, система до сих пор не столкнулась ни с одной поломкой дисков (стучу по дереву). Как же мне удалось добиться отсутствия отказов дисков в течение десяти лет?
Читать: https://habr.com/ru/companies/hostkey/articles/843954/
#ru
@database_design | Другие наши каналы
Моему серверу 4U 71 TiB ZFS, собранному из двадцати четырех 4-терабайтных дисков, уже больше десяти лет и он всё ещё отлично работает. Хотя сейчас у него уже вторая материнская плата и блок питания, система до сих пор не столкнулась ни с одной поломкой дисков (стучу по дереву). Как же мне удалось добиться отсутствия отказов дисков в течение десяти лет?
Читать: https://habr.com/ru/companies/hostkey/articles/843954/
#ru
@database_design | Другие наши каналы
Странное поведение планировщика запросов PostgreSQL
В одной из предыдущих статей я описывал проблемы, которые возникают при работе с временными таблицами. Тогда я вкратце описывал, почему нам приходится их так часто использовать. В частности, одной из причин была неправильная работа планировщика запросов в PostgreSQL. Многие из проблем планировщика запросов (и не только PostgreSQL) были также описаны в статье Почему не SQL. В этой статье я покажу достаточно простой и часто используемый случай, когда планировщик ошибается, что может приводить к значительному росту потребления ресурсов.
Проблема воспроизводится на последней стабильной на данный момент версии PostgreSQL - 16.2. При этом используются стандартные настройки PostgreSQL. Я пробовал менять разные настройки, но мне не удалось добиться правильного плана в общем случае, поскольку в данном случае проблема скорее логическая, а не в определении стоимости вычислений. Однако, каждый может легко воспроизвести эту ситуацию локально и попробовать поиграться с настройками.
Рассмотрим простую доменную логику, в которой есть документы и их строки. Для каждой строки вводится сумма. Строки лежат в отдельной таблице и ссылаются на документ :
Читать: https://habr.com/ru/articles/814155/
#ru
@database_design | Другие наши каналы
В одной из предыдущих статей я описывал проблемы, которые возникают при работе с временными таблицами. Тогда я вкратце описывал, почему нам приходится их так часто использовать. В частности, одной из причин была неправильная работа планировщика запросов в PostgreSQL. Многие из проблем планировщика запросов (и не только PostgreSQL) были также описаны в статье Почему не SQL. В этой статье я покажу достаточно простой и часто используемый случай, когда планировщик ошибается, что может приводить к значительному росту потребления ресурсов.
Проблема воспроизводится на последней стабильной на данный момент версии PostgreSQL - 16.2. При этом используются стандартные настройки PostgreSQL. Я пробовал менять разные настройки, но мне не удалось добиться правильного плана в общем случае, поскольку в данном случае проблема скорее логическая, а не в определении стоимости вычислений. Однако, каждый может легко воспроизвести эту ситуацию локально и попробовать поиграться с настройками.
Рассмотрим простую доменную логику, в которой есть документы и их строки. Для каждой строки вводится сумма. Строки лежат в отдельной таблице и ссылаются на документ :
Читать: https://habr.com/ru/articles/814155/
#ru
@database_design | Другие наши каналы
Зачем и как выгружать сырые логи в ваше хранилище
Логи в CDN — мощный инструмент для администраторов и разработчиков, который дает доступ к детальной информации о запросах пользователей. Он помогает оптимизировать производительность, улучшить качество обслуживания, обеспечить безопасность онлайн-сервисов и доступность контента для конечных пользователей. Чтобы сделать эту работу эффективнее, мы добавили в панель управления возможность выгружать сырые логи. В этой статье разберемся, что это такое, в каких случаях такая опция может пригодиться и почему обычного просмотра логов иногда недостаточно.
Читать: https://habr.com/ru/companies/selectel/articles/843734/
#ru
@database_design | Другие наши каналы
Логи в CDN — мощный инструмент для администраторов и разработчиков, который дает доступ к детальной информации о запросах пользователей. Он помогает оптимизировать производительность, улучшить качество обслуживания, обеспечить безопасность онлайн-сервисов и доступность контента для конечных пользователей. Чтобы сделать эту работу эффективнее, мы добавили в панель управления возможность выгружать сырые логи. В этой статье разберемся, что это такое, в каких случаях такая опция может пригодиться и почему обычного просмотра логов иногда недостаточно.
Читать: https://habr.com/ru/companies/selectel/articles/843734/
#ru
@database_design | Другие наши каналы
Open source решения для управления и работы с данными в облаке
Хабр, привет! Сегодня у нас подборка перспективных open source решений, которые могут упростить хранение данных и работу с ними в облаке. Говорим про Garage, LinDB, LitData и Triplit.
Если вам нужно надежное решение для работы со структурированными данными с возможностью практически неограниченного масштабирования, сервисы MWS помогут организовать полный цикл работы с данными. Вы сможете создать собственную DWH-платформу с масштабированием по клику.
Читать: https://habr.com/ru/companies/mws/articles/844028/
#ru
@database_design | Другие наши каналы
Хабр, привет! Сегодня у нас подборка перспективных open source решений, которые могут упростить хранение данных и работу с ними в облаке. Говорим про Garage, LinDB, LitData и Triplit.
Если вам нужно надежное решение для работы со структурированными данными с возможностью практически неограниченного масштабирования, сервисы MWS помогут организовать полный цикл работы с данными. Вы сможете создать собственную DWH-платформу с масштабированием по клику.
Читать: https://habr.com/ru/companies/mws/articles/844028/
#ru
@database_design | Другие наши каналы
Обновление коннекторов MariaDB R2DBC и Node.js
MariaDB объявила о выпуске обновленных коннекторов: Connector/R2DBC версии 1.2.2 и Connector/Node.js версии 3.3.2. Новые версии включают поддержку спецификации R2DBC 0.9.1, опцию skipPostCommands и многочисленные исправления. Подробности и загрузка доступны на сайте MariaDB.
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB объявила о выпуске обновленных коннекторов: Connector/R2DBC версии 1.2.2 и Connector/Node.js версии 3.3.2. Новые версии включают поддержку спецификации R2DBC 0.9.1, опцию skipPostCommands и многочисленные исправления. Подробности и загрузка доступны на сайте MariaDB.
Читать подробнее
#en
@database_design | Другие наши каналы
Легкое добавление графов в приложения на базе RAG с Oracle Database
Oracle Database позволяет с легкостью добавить графовые функции в ваши приложения. Пример с использованием JavaScript и LangChain демонстрирует, как просто интегрировать графы, чтобы улучшить работу вашего приложения. Узнайте больше о возможностях Oracle Database!
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle Database позволяет с легкостью добавить графовые функции в ваши приложения. Пример с использованием JavaScript и LangChain демонстрирует, как просто интегрировать графы, чтобы улучшить работу вашего приложения. Узнайте больше о возможностях Oracle Database!
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Using JavaScript and LangChain for Retrieval Augmented Generation (RAG) with Oracle Graph
With the easy-to-use graph features in Oracle Database it is very easy to add graph to your RAG based apps.
Искусственный интеллект для юридических исследований: Qura и MongoDB
Компания Qura, используя потенциал ИИ и баз данных MongoDB, создала инновационный поисковый инструмент для юристов. Эта система, базирующаяся на LLM, значительно сокращает время поиска и предоставляет самые точные источники информации, избегая генерации недостоверных ответов. Как использовать векторный поиск для повышения качества поиска
Современный векторный поиск помогает находить наиболее релевантные результаты даже при нечетко сформулированных запросах. Это особенно полезно для улучшения рекомендаций и предотвращения аномалий. Узнайте, как компании, такие как Delivery Hero и VISO TRUST, успешно используют эти технологии.
Читать подробнее
#en
@database_design | Другие наши каналы
Компания Qura, используя потенциал ИИ и баз данных MongoDB, создала инновационный поисковый инструмент для юристов. Эта система, базирующаяся на LLM, значительно сокращает время поиска и предоставляет самые точные источники информации, избегая генерации недостоверных ответов. Как использовать векторный поиск для повышения качества поиска
Современный векторный поиск помогает находить наиболее релевантные результаты даже при нечетко сформулированных запросах. Это особенно полезно для улучшения рекомендаций и предотвращения аномалий. Узнайте, как компании, такие как Delivery Hero и VISO TRUST, успешно используют эти технологии.
Читать подробнее
#en
@database_design | Другие наши каналы
Аhamove использует ИИ для роста e-commerce вьетнама
Ahamove, крупнейшая компания по доставке вьетнамского рынка, внедряет AI на базе MongoDB Atlas. Благодаря этому Ahamove обеспечивает быструю обработку заказов, GPS-трекинг и чат-ботов для ресторанов, что позволяет справляться с пиковыми нагрузками и улучшать клиентский опыт. Прорыв в юридических поисках: Qura и MongoDB
Стартап Qura из Швеции создал ИИ-поисковик для юристов, который с помощью моделей LLM анализирует миллионы страниц правовых текстов за секунды. Используя MongoDB, Qura значительно сократил время на исследования, повысив точность нахождения релевантных источников.
Читать подробнее
#en
@database_design | Другие наши каналы
Ahamove, крупнейшая компания по доставке вьетнамского рынка, внедряет AI на базе MongoDB Atlas. Благодаря этому Ahamove обеспечивает быструю обработку заказов, GPS-трекинг и чат-ботов для ресторанов, что позволяет справляться с пиковыми нагрузками и улучшать клиентский опыт. Прорыв в юридических поисках: Qura и MongoDB
Стартап Qura из Швеции создал ИИ-поисковик для юристов, который с помощью моделей LLM анализирует миллионы страниц правовых текстов за секунды. Используя MongoDB, Qura значительно сократил время на исследования, повысив точность нахождения релевантных источников.
Читать подробнее
#en
@database_design | Другие наши каналы
Мониторинг напряжения в ЦОД Физтеха: шесть лет, полет нормальный
ЦОД Физтеха ведет историю с суперкомпьютера МФТИ-60, которому удалось попасть в TOP500. Затем к нему добавили стойки и обновили вычислительные компоненты.
Штатно за мониторинг отвечала система Delta, но она не давала полной картины, например энергопотребления стоек. Поэтому в 2018 году ее решили усилить с помощью контроллера Wiren Board и модулей.
В статье мы расскажем о системе мониторинга напряжения в ЦОД, а также подведем итоги шестилетней работы и расскажем, были ли какие-либо проблемы и сбои.
Читать: https://habr.com/ru/companies/wirenboard/articles/844422/
#ru
@database_design | Другие наши каналы
ЦОД Физтеха ведет историю с суперкомпьютера МФТИ-60, которому удалось попасть в TOP500. Затем к нему добавили стойки и обновили вычислительные компоненты.
Штатно за мониторинг отвечала система Delta, но она не давала полной картины, например энергопотребления стоек. Поэтому в 2018 году ее решили усилить с помощью контроллера Wiren Board и модулей.
В статье мы расскажем о системе мониторинга напряжения в ЦОД, а также подведем итоги шестилетней работы и расскажем, были ли какие-либо проблемы и сбои.
Читать: https://habr.com/ru/companies/wirenboard/articles/844422/
#ru
@database_design | Другие наши каналы
Майкл Стоунбрейкер: «Всё новое — это хорошо забытое старое. Продолжение»
От редакции: Майкл Стоунбрейкер - один из самых известных в IT мире ученых и отец-основатель Postgres. В соавторстве с Энрю Павло, недавно опубликовал большой обзор всех актуальных технологий систем управления базами данных. В этом материале — подробно обо всем, что произошло в мире баз данных за последнее время, а также прогнозы. Мы посчитали что нельзя лишать нашу аудиторию возможности ознакомиться с этим обзором, поэтому подготовили данный перевод.
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Читать: https://habr.com/ru/companies/postgrespro/articles/844540/
#ru
@database_design | Другие наши каналы
От редакции: Майкл Стоунбрейкер - один из самых известных в IT мире ученых и отец-основатель Postgres. В соавторстве с Энрю Павло, недавно опубликовал большой обзор всех актуальных технологий систем управления базами данных. В этом материале — подробно обо всем, что произошло в мире баз данных за последнее время, а также прогнозы. Мы посчитали что нельзя лишать нашу аудиторию возможности ознакомиться с этим обзором, поэтому подготовили данный перевод.
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Читать: https://habr.com/ru/companies/postgrespro/articles/844540/
#ru
@database_design | Другие наши каналы
Майкл Стоунбрейкер: «Всё новое — это хорошо забытое старое. Продолжение»
От редакции: Майкл Стоунбрейкер - один из самых известных в IT мире ученых и отец-основатель Postgres. В соавторстве с Энрю Павло, недавно опубликовал большой обзор всех актуальных технологий систем управления базами данных. В этом материале — подробно обо всем, что произошло в мире баз данных за последнее время, а также прогнозы. Мы посчитали что нельзя лишать нашу аудиторию возможности ознакомиться с этим обзором, поэтому подготовили данный перевод.
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Читать: https://habr.com/ru/companies/postgrespro/articles/844540/
#ru
@database_design | Другие наши каналы
От редакции: Майкл Стоунбрейкер - один из самых известных в IT мире ученых и отец-основатель Postgres. В соавторстве с Энрю Павло, недавно опубликовал большой обзор всех актуальных технологий систем управления базами данных. В этом материале — подробно обо всем, что произошло в мире баз данных за последнее время, а также прогнозы. Мы посчитали что нельзя лишать нашу аудиторию возможности ознакомиться с этим обзором, поэтому подготовили данный перевод.
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Читать: https://habr.com/ru/companies/postgrespro/articles/844540/
#ru
@database_design | Другие наши каналы
Мой сервер бэкапов
Дошли наконец-то руки сделать персональный сервер бэкапов, который будет стоять не у меня дома. С этой мыслью я уже несколько лет хожу, делал несколько подходов, но вот наконец-то звёзды сошлись — у меня и железка под него образовалась, и дисков в достаточном количестве, и ОС наконец-то более-менее подобрал.
В качестве железа выбрал старенький HP Microserver Gen7. Продавать большого смысла не видел, куда-то в продакшн ставить тоже — он почти на любой чих под 100% загружается, если какие-то сервисы вешать или просто в несколько потоков файлы по гигабитной сети копировать. А вот с простым хранением файлов он ещё справится.
Читать: https://habr.com/ru/articles/844444/
#ru
@database_design | Другие наши каналы
Дошли наконец-то руки сделать персональный сервер бэкапов, который будет стоять не у меня дома. С этой мыслью я уже несколько лет хожу, делал несколько подходов, но вот наконец-то звёзды сошлись — у меня и железка под него образовалась, и дисков в достаточном количестве, и ОС наконец-то более-менее подобрал.
В качестве железа выбрал старенький HP Microserver Gen7. Продавать большого смысла не видел, куда-то в продакшн ставить тоже — он почти на любой чих под 100% загружается, если какие-то сервисы вешать или просто в несколько потоков файлы по гигабитной сети копировать. А вот с простым хранением файлов он ещё справится.
Читать: https://habr.com/ru/articles/844444/
#ru
@database_design | Другие наши каналы
Запуск Oracle Autonomous Database на Google Cloud
Хотите узнать, как начать использовать Oracle Autonomous Database на Google Cloud? Ознакомьтесь с нашим подробным гидом, который проведет вас через все шаги, от настройки аккаунта до оптимизации работы с базой данных. Подробности в статье!
Читать подробнее
#en
@database_design | Другие наши каналы
Хотите узнать, как начать использовать Oracle Autonomous Database на Google Cloud? Ознакомьтесь с нашим подробным гидом, который проведет вас через все шаги, от настройки аккаунта до оптимизации работы с базой данных. Подробности в статье!
Читать подробнее
#en
@database_design | Другие наши каналы
Multiboot usb flash накопитель в пару кликов через Ventoy
Очень краткое руководство по созданию мультизагрузочной флешки (multiboot flash driver) через программу Ventoy, статья о том как в пару кликов создать multiiboot накопитель для загрузки / установки множества дистрибутивов с одного flash накопителя.
Читать: https://habr.com/ru/articles/844784/
#ru
@database_design | Другие наши каналы
Очень краткое руководство по созданию мультизагрузочной флешки (multiboot flash driver) через программу Ventoy, статья о том как в пару кликов создать multiiboot накопитель для загрузки / установки множества дистрибутивов с одного flash накопителя.
Читать: https://habr.com/ru/articles/844784/
#ru
@database_design | Другие наши каналы
Работа с конфигурацией в ASP.NET Core: практическое руководство с настройками MongoDB
MongoDB — популярная NoSQL база данных, которая хранит данные в формате документов. В статье расскажем, как настроить конфигурацию в ASP.NET Core с использованием паттерна Options.
Читать: «Работа с конфигурацией в ASP.NET Core: практическое руководство с настройками MongoDB»
#ru
@database_design | Другие наши каналы
MongoDB — популярная NoSQL база данных, которая хранит данные в формате документов. В статье расскажем, как настроить конфигурацию в ASP.NET Core с использованием паттерна Options.
Читать: «Работа с конфигурацией в ASP.NET Core: практическое руководство с настройками MongoDB»
#ru
@database_design | Другие наши каналы
Новая сертификация MongoDB для ускорения доставки приложений
MongoDB запустила новую сертификацию Application Delivery Certification для партнеров. Она включает онлайн-обучение и практические лаборатории, обеспечивая разработчиков знаниями и навыками для разработки и развертывания современных решений. Эта сертификация помогает ускорить внедрение MongoDB решений для клиентов. Вьетнам: AI и технологии для уличной торговли
Генеративный ИИ и облачные технологии MongoDB помогут улучшить эффективность и поддержать уличных торговцев во Вьетнаме. Ожидаются новые решения для e-commerce и фуд-индустрии, предлагаемые Ahamove под руководством CEO Нгона Фама. Узнайте больше в нашем гайде по Atlas Vector Search!
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB запустила новую сертификацию Application Delivery Certification для партнеров. Она включает онлайн-обучение и практические лаборатории, обеспечивая разработчиков знаниями и навыками для разработки и развертывания современных решений. Эта сертификация помогает ускорить внедрение MongoDB решений для клиентов. Вьетнам: AI и технологии для уличной торговли
Генеративный ИИ и облачные технологии MongoDB помогут улучшить эффективность и поддержать уличных торговцев во Вьетнаме. Ожидаются новые решения для e-commerce и фуд-индустрии, предлагаемые Ahamove под руководством CEO Нгона Фама. Узнайте больше в нашем гайде по Atlas Vector Search!
Читать подробнее
#en
@database_design | Другие наши каналы
Уровни изоляции транзакций в БД
В этой статье обсудим, что из себя представляет изолированность транзакций в БД, какие есть уровни изоляции транзакций, как их установить, какие бывают аномалии на разных уровнях, и что такое MVCC. Естественно, всё на простых примерах.
Читать: https://habr.com/ru/articles/845522/
#ru
@database_design | Другие наши каналы
В этой статье обсудим, что из себя представляет изолированность транзакций в БД, какие есть уровни изоляции транзакций, как их установить, какие бывают аномалии на разных уровнях, и что такое MVCC. Естественно, всё на простых примерах.
Читать: https://habr.com/ru/articles/845522/
#ru
@database_design | Другие наши каналы
Записки оптимизатора (Часть 8). Нагрузка на диски сервера БД при работе с 1С. Пора ли делать апгрейд?
Поговорим про падения производительности ИТ-систем, которые на первый взгляд связаны с дисковой подсистемой. Но это только «на первый взгляд».
Технические специалисты часто видят нагрузку на диски, очереди к ним и сразу появляется жгучее желание модернизировать дисковое хранилище.
Читать: https://habr.com/ru/companies/softpoint/articles/845654/
#ru
@database_design | Другие наши каналы
Поговорим про падения производительности ИТ-систем, которые на первый взгляд связаны с дисковой подсистемой. Но это только «на первый взгляд».
Технические специалисты часто видят нагрузку на диски, очереди к ним и сразу появляется жгучее желание модернизировать дисковое хранилище.
Читать: https://habr.com/ru/companies/softpoint/articles/845654/
#ru
@database_design | Другие наши каналы
Glyphic AI и MongoDB: Новая эра продаж с помощью ИИ
Glyphic AI, основанная бывшими инженерами Google DeepMind и Apple, использует ИИ для анализа продаж и оптимизации работы команд. С помощью MongoDB и LLMs, они превращают данные из звонков в полезную информацию, улучшая взаимодействие с клиентами и ускоряя процессы продаж. Новый сертификат для быстрой разработки на MongoDB
MongoDB анонсирует новый сертификат Application Delivery Certification, который помогает интеграторам быстро создавать и внедрять современные решения. Пилотная программа, проведенная с Accenture и Capgemini, уже доказывает свою эффективность. Узнайте больше на сайте MongoDB.
Читать подробнее
#en
@database_design | Другие наши каналы
Glyphic AI, основанная бывшими инженерами Google DeepMind и Apple, использует ИИ для анализа продаж и оптимизации работы команд. С помощью MongoDB и LLMs, они превращают данные из звонков в полезную информацию, улучшая взаимодействие с клиентами и ускоряя процессы продаж. Новый сертификат для быстрой разработки на MongoDB
MongoDB анонсирует новый сертификат Application Delivery Certification, который помогает интеграторам быстро создавать и внедрять современные решения. Пилотная программа, проведенная с Accenture и Capgemini, уже доказывает свою эффективность. Узнайте больше на сайте MongoDB.
Читать подробнее
#en
@database_design | Другие наши каналы
Obsidian: синхронизация без боли
Легкий и простой способ настроить бесплатную синхронизацию Obsidian между всеми своими устройствами.
Читать: https://habr.com/ru/articles/845900/
#ru
@database_design | Другие наши каналы
Легкий и простой способ настроить бесплатную синхронизацию Obsidian между всеми своими устройствами.
Читать: https://habr.com/ru/articles/845900/
#ru
@database_design | Другие наши каналы
Сжатие данных в PostgreSQL: как различные методы влияют на хранение TOAST
В мире управления базами данных от эффективного хранения больших объемов информации зависит оптимизация производительности и использования дискового пространства. В этой статье разберем основные методы сжатия данных в TOAST, их эволюцию, плюсы и минусы PGLZ и LZ4 и продемонстрируем базовую работу с TOAST в Postgres. В завершение обсудим, как данные с различными методами сжатия могут храниться в одной TOAST-таблице.
Читать: https://habr.com/ru/companies/astralinux/articles/845596/
#ru
@database_design | Другие наши каналы
В мире управления базами данных от эффективного хранения больших объемов информации зависит оптимизация производительности и использования дискового пространства. В этой статье разберем основные методы сжатия данных в TOAST, их эволюцию, плюсы и минусы PGLZ и LZ4 и продемонстрируем базовую работу с TOAST в Postgres. В завершение обсудим, как данные с различными методами сжатия могут храниться в одной TOAST-таблице.
Читать: https://habr.com/ru/companies/astralinux/articles/845596/
#ru
@database_design | Другие наши каналы