Database Performance Tuning - 5 Steps to Resolve Issues

Database performance tuning is the collection of activities to identify and remove the top limiting factor in Database speed. Follow these step by step instructions to get started on your database performance tuning journey

Read: https://blogs.oracle.com/database/post/database-performance-tuning

@database_design

Stay Compliant with MongoDB’s Latest Certifications: ISO 9001, TISAX, HDS, and TX-RAMP



Read: https://www.mongodb.com/blog/post/stay-compliant-mongodbs-latest-certifications-iso9001-tisax-hds-tx-ramp

@database_design

Как Apache Arrow поможет управиться JS с большими данными

Привет. Меня зовут Николай Шувалов, я занимаюсь коммерческим программированием около семи лет, владею Rust, JavaScript, PHP. Сейчас я работаю в отделе данных билайна. Наша платформа позволяет делиться с партнерами данными, не раскрывая их. Например, можно расширить данные с помощью фильтра Блума.

Arrow в сравнении со строковыми форматами

Возьмём простую таблицу, которая состоит из трех столбцов: телефона, даты и имени. Рассмотрим, как она будет выглядеть в строковом и столбчатом форматах. Для строкового формата мы возьмем csv и json, для столбчатого формата структура будет одинаковой. Если же таблица состоит, например, из миллиона строк, а нужно получить имя на строке с номером 10 000, то придется бежать по всей строчке. В json то же самое. А в столбчатом формате ситуация иная — значения привязаны к столбцам. Когда мы хотим получить имя на строке 10 000, то сразу обращаемся к этому столбцу и получаем все его данные.

Существуют RA (random access) файлы, в которых можно пропускать заданное количество строк, но все равно парсеру нужно читать и анализировать пройденные строчки.


Читать: https://habr.com/ru/companies/beeline_tech/articles/816835/

@database_design

Современный клиент к NoSQL-базе данных

Интеграция через базу данных (БД) — один из распространенных видов интеграции. Но БД — тоже сервис, к которому также требуется подключение. Для пользователей эта процедура сводится к подключению коннекторов и изучению их API, но «под капотом» подобных клиентов может скрываться большая архитектура со сложной логикой взаимодействия.


Читать: https://habr.com/ru/companies/vk/articles/816367/

@database_design

WD выпустила 2,5-дюймовые HDD ёмкостью в 6 Тб. Что это за новинка?

Американская компания Western Digital представила первые в мире 2,5-дюймовые жёсткие диски ёмкостью 6 Тб. Современные модели ноутбуков часто оснащены SSD, поэтому компании меньше фокусируются на разработке HDD повышенной ёмкости, так что выпуск подобного накопителя — целое событие. Новые жёсткие диски представлены в сериях My Passport и My Passport Ultra. Подробности — под катом.


Читать: https://habr.com/ru/companies/ru_mts/articles/816909/

@database_design

Driven by Values: One Account Executive’s Journey into Personal and Professional Growth



Read: https://www.mongodb.com/blog/post/driven-by-values-one-account-executives-journey-into-personal-and-professional-growth

@database_design

Повышение живучести SSD за счёт его превращения из QLC в SLC

В этой статье мы займёмся беспрецедентным экспериментом! Я шаг за шагом проведу вас через процесс преобразования SSD на базе QLC NAND в SLC SSD, что позволит значительно повысить его ресурс и общую производительность.
▍ Спецификация испытуемого SSD
На роль испытуемого я выбрал Crucial BX500, который мы уже много раз тестировали, освещая этот процесс как на нашем сайте, так и на YouTube-канале.

Читать: https://habr.com/ru/companies/ruvds/articles/816463/

@database_design

Hazelcast: эксперименты с настройкой и долговременным хранением больших объектов in-memory

Статья будет полезна для тех, кто поддерживает приложения на Java, так как большая ее часть посвящена анализу работы G1 GC, знакомству с соответствующими инструментами и особенностями тюнинга GC, в частности для очень больших heap`ов. А также тем, кто пытается разобраться, на что способен Hazelcast, и для чего его можно применить.

Так исторически сложилось, что на проекте уже использовался Hazelcast, и мы решили попробовать переиспользовать его под новую задачу. Она заключалась в хранении объектов в БД с одним специфичным требованием – данные нельзя записывать на диск, что сильно сужало доступные варианты. Безусловно, мы понимали, что надежность такого хранилища будет низкой, но выбора не было. И, хотя, у нас были мысли развернуть для этого Redis или VoltDB, мы решили опробовать Hazelcast, так как в его возможности, помимо прочего, так же входит in-memory хранилище.

Что из этого получилось – читайте под катом.


Читать: https://habr.com/ru/companies/croc/articles/816973/

@database_design

Как я подвергся «хакерской атаке»

Привет всем, меня зовут Никита, я начинающий backend-разработчик. Сегодня хочу вам рассказать про атаку, которая произошла при изучении новой технологии, а именно redis'а.
хакнуть

Читать: https://habr.com/ru/articles/817527/

@database_design

Рецепт приготовления непрерывного профайлера в 2к24

Всем привет! Меня зовут Газимагомед, я занимаюсь разработкой внутреннего распределённого профайлера Vision в Ozon. В этой статье я раскрою понятие профиля, расскажу о том, что такое распределённый профайлинг, чем отличается автоматический сбор профилей от ручного. А также рассмотрим проблемы, возникающие при построении профайлера. Что ж, усаживайтесь поудобнее, мы начинаем.


Читать: https://habr.com/ru/companies/ozontech/articles/817309/

@database_design

Transforming Predictive Maintenance with AI: Real-Time Audio-Based Diagnostics with Atlas Vector Search



Read: https://www.mongodb.com/blog/post/transforming-predictive-maintenance-ai-real-time-audio-based-diagnostics-atlas-vector-search

@database_design
___
Другие наши проекты

A New Way to Query: Introducing the Atlas Search Playground



Read: https://www.mongodb.com/blog/post/a-new-way-to-query-introducing-atlas-search-playground

@database_design
___
Другие наши проекты

MongoDB Sales Recognized as a Top 20 Org for Professional Development by RepVue



Read: https://www.mongodb.com/blog/post/mongodb-sales-recognized-as-top-20-org-professional-development-repvue

@database_design
___
Другие наши проекты

MariaDB Community Server 11.4 With Improved Query Performance, Now GA With Long Term Maintenance

Read: https://mariadb.com/?p=39260

@database_design
___
Другие наши проекты

Погружаемся в S3 на Ceph. Как мы удаляли 460 млн мелких объектов

Недавно мы выпустили новый сервис — объектное хранилище S3 на базе нашего облака. Запустили его на Ceph. Перед этим провели множество тестов. В частности, решили выяснить, как на практике Ceph справляется с мелкими объектами — проблемой любого S3. И вот что из этого вышло.


Читать: https://habr.com/ru/companies/nubes/articles/818047/

@database_design
___
Другие наши проекты

Персональное облачное хранилище, домашний NAS и сетевой медиаплеер (неожиданно): обзор Orico CD3510

Orico CD3510 это устройство, с помощью которого можно легко сделать персональное облачное хранилище, т. е фактически организовать домашний NAS. С его помощью вы можете автоматически загружать на жесткий диск все свои фото, видео и аудио. Та и вообще бекапить любые указанные папки и разделы, как с компьютера, так и со смартфона. Причем как в ручном режиме (по мере необходимости), так и в автоматическом. Также вы можете дать задание качать торренты, а потом по домашней сети через SMB протокол посмотреть кино на большом экране. В любой точке планеты вы всегда можете зайти в свое хранилище через клиентскую программу и посмотреть фото, видео или послушать музыку.


Читать: https://habr.com/ru/articles/818227/

@database_design
___
Другие наши проекты

Leveraging Database Observability at MongoDB: Unlocking Performance Insights and Optimization Strategies



Read: https://www.mongodb.com/blog/post/unlocking-performance-insights-optimization-strategies

@database_design
___
Другие наши проекты

Announcing MariaDB Community Server 11.5 RC

Read: https://mariadb.com/?p=39265

@database_design
___
Другие наши проекты

Ренессанс ленточных накопителей: что происходит и почему?

В 2023 году мировые продажи ленточных накопителей достигли почти 153 эксабайт. Показатель вырос на 3,14% по сравнению с 2022 годом, в том числе из-за увеличения объема информации и возросшими требованиями к инфраструктуре крупных облачных провайдеров.

Эти носители и системы для работы с ними остаются актуальными, в первую очередь, благодаря своему прямому предназначению — длительному хранению архивной информации. Что происходит на рынке ленточных накопителей и чего ожидать в ближайшем будущем — рассуждаем под катом.


Читать: https://habr.com/ru/companies/selectel/articles/818365/

@database_design
___
Другие наши проекты

Desktop приложение для хранения текстовой информации

В статье рассказываю о разработанном Desktop приложении для Windows для того, чтобы поделиться им со всеми желающими и получить обратную связь.


Читать: https://habr.com/ru/articles/818795/

@database_design
___
Другие наши проекты

Почему я отказался от GraphQL

GraphQL — невероятная технология, привлёкшая много внимания с тех пор, когда я начал в 2018 году использовать её в продакшене. Вам не придётся долго листать мой блог, чтобы увидеть, как я раньше продвигал её. После создания множества React SPA поверх путаницы нетипизированных JSON REST API технология GraphQL показалась мне глотком свежего воздуха. Я искренне поддерживал хайп вокруг GraphQL.

Однако с течением времени у меня появилась возможность выполнять развёртывания в окружениях, где больше важны не функциональные требования, а безопасность, производительность и удобство поддержки. Тогда и поменялась моя точка зрения. В этой статье я подробно расскажу о том, почему сегодня не рекомендовал бы GraphQL большинству, и поделюсь более совершенными альтернативами.

В статье для примеров я буду использовать код на Ruby с превосходной библиотекой graphql-ruby, но я уверен, что многие из перечисленных проблем не зависят от выбора языка/библиотеки GraphQL.

Если вы знаете более качественные решения или способы, напишите мне комментарий.


Читать: https://habr.com/ru/articles/818765/

@database_design
___
Другие наши проекты