DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Визуализация идей: Новый подход к управлению проектами в 3D

Мы рады представить инновационное решение для управления проектами, вдохновленное нейронными сетями и современными концепциями 3D визуализации. Наш новый облачный узел позволяет пользователям взаимодействовать с проектами как с динамичной экосистемой, отображая их в виде 3D карт, что делает процесс управления идеями более интуитивным и привлекательным.
/ In to the future

Читать: https://habr.com/ru/articles/835346/

#ru

@database_design | Другие наши каналы
Как избежать проблем с производительностью S3 в своём приложении

За время работы с объектными хранилищами я встречал немало «подводных рифов» на пути к быстрому и эффективному хранению.

В этой статье я покажу, где чаще всего проседает производительность при работе с S3-совместимым хранилищем, — на примерах из реальных кейсов технической поддержки.


Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/831204/

#ru

@database_design | Другие наши каналы
Как настроить веб-приложение под высокие нагрузки

Привет, меня зовут Александр Ададуров. Я — руководитель проектов ФГБУ «Центр информационно-технического обеспечения». В этой статье я опишу опыт настройки сайта с образовательным контентом под нагрузку в пиках до 15 000 запросов в секунду или до нескольких миллионов пользователей в день.

Образовательный контент сайта представлял собой иллюстрированные HTML-страницы, видеоуроки и различные интерактивные задания, преимущественно на JavaScript, которые проверяли правильность выполнения заданий запросами к бэкенду. Сайт жил спокойной жизнью и вяло развивался до введения локдаунов в связи с распространением COVID-19. Первые месяцы карантина существенно изменили код приложения, его архитектуру и даже серверную инфраструктуру, на которой оно располагалось.


Читать: https://habr.com/ru/companies/beeline_cloud/articles/835498/

#ru

@database_design | Другие наши каналы
MariaDB на IBM Power10: Новая ступень производительности

MariaDB plc и IBM представили MariaDB Enterprise Server на архитектуре IBM Power. Это решение обеспечивает надежность, стабильность и высокую производительность, идеально подходя для ИИ и гибридных облаков. Тесты показали улучшение производительности до 4.22 раз по сравнению с системами на базе Intel x86.

Читать подробнее

#en

@database_design | Другие наши каналы
Тестирование NAND и eMMC

Когда я плотно занимался аппаратным тестированием, в рамках разработки embedded-устройств, часто бывало так, что инженеры-разработчики и я оказывались в условиях жесткого ограничения в выборе возможных компонентов NAND или eMMC. И в этой связи очень часто возникала необходимость дополнительных проверок каждого из компонентов на долговечность и качество работы. Очень часто приходилось проверять чипы-кандидаты на общий ресурс записи/чтения, скорости операций и т. п. И мне пришла идея, почему бы не поделиться своим опытом с другими специалистами, перед которыми стоят аналогичные задачи. Я хотел бы рассказать в данной статье, что такое Flash-память, почему они выходят из строя и как я организовал тестирование, как через тестирование минимизировать риски при выборе устройства хранения для разрабатываемого устройства.

Всем, кому интересна данная тема — приглашаю под кат.


Читать: https://habr.com/ru/companies/timeweb/articles/835154/

#ru

@database_design | Другие наши каналы
Укрощение ClickHouse: почему ДанКо делает Visiology намного быстрее

Привет, Хабр! Сегодня мы поговорим о том, почему BI-платформам нужен движок, какие сложности создает ClickHouse для аналитиков, когда речь действительно заходит о больших данных, зачем нужно оптимизировать SQL и о многих других вещах, которые часто остаются «за горизонтом» в дискуссиях о BI и хранении данных. Говоря другими словами, я хочу рассказать о том, как мы разрабатывали ДанКо — новый движок, который лежит сегодня в основе Visiology 3, а главное — каким образом ДанКо позволяет достичь высокой производительности в аналитических задачах (в некоторых случаях показывая ускорение вплоть до х100)! Эта статья будет полезна тем, кто еще не сталкивался с задачей организации хранения аналитических данных компании, а также интересна тем, кто как раз, наоборот, уже делал это.


Читать: https://habr.com/ru/companies/visiology/articles/835694/

#ru

@database_design | Другие наши каналы
Обратный поиск по федеративному графу Netflix

В Netflix было сделано много нового со времён выхода предыдущих материалов, посвящённых роли тех, кто отвечает за направление Content Engineering, в реализации поиска по нашему федеративному графу (federated graph). А именно, в первой статье мы идентифицировали проблему и рассказали об использовании инфраструктуры индексирования данных, а во второй мы углубились в вопрос о том, как мы пользуемся очередями. Мы дали доступ к Studio Search для всех инженеров компании, а не только для тех, кто занимается направлением Content Engineering, и переименовали этот проект в Graph Search. С Graph Search интегрировано более 100 приложений. В рамках этой системы поддерживается примерно 50 индексов. Мы продолжаем расширять её функционал. Как было обещано в предыдущем материале, здесь мы расскажем о том, как мы, объединив усилия с одной из команд, отвечающих за Studio Engineering, создавали обратный поиск (reverse search). Обратный поиск переворачивает с ног на голову стандартный подход к выполнению запросов: вместо того, чтобы искать документы, которые соответствуют запросу, он направлен на поиск запросов, соответствующих документу.


Читать: https://habr.com/ru/companies/wunderfund/articles/832284/

#ru

@database_design | Другие наши каналы
Три фичи PostgreSQL, которые будут полезны каждому новичку

Думаю, вы знаете, что поиск эффективных решений – это половина успеха. Я сам прошел через все эти тернии, когда работа с данными казалась слишком сложной и запутанной. И именно тогда я открыл для себя потрясающие возможности PostgreSQL, которые значительно мою жизнь.

Сегодня я хочу поговорить о трех фичах PostgreSQL, которые помогут сделать работу более продуктивной и вдохновить на создание более сложных и интересных проектов.

Эти фичи уже не раз выручали меня в сложных проектах, и я уверен, что они станут надежными помощниками и в вашей разработке.


Читать: https://habr.com/ru/companies/otus/articles/834314/

#ru

@database_design | Другие наши каналы
Облачные кластеры для Atlas Search теперь доступны в нескольких регионах

Теперь пользователи могут воспользоваться мульти-региональной доступностью для Search Nodes на всех крупных облачных платформах: AWS, Google Cloud и Microsoft Azure. Это позволяет лучше оптимизировать ресурсы и обеспечивает повышенную надежность и отказоустойчивость в случае сбоев.

Читать подробнее

#en

@database_design | Другие наши каналы
PostgreSQL-сервер упаковали в JavaScript-библиотеку размером 3 МБ

PGlite — компактная JavaScript-библиотека на базе WebAssembly, позволяющая запускать полноценный сервер PostgreSQL прямо в браузере. Весит всего 3 МБ, поддерживает расширения, такие как pgvector, и упрощает разработку и тестирование приложений.

Читать: «PostgreSQL-сервер упаковали в JavaScript-библиотеку размером 3 МБ»

#ru

@database_design | Другие наши каналы
Переезжаем с Oracle на Platform V Pangolin в промышленной эксплуатации

Привет, Хабр! Меня зовут Семен Попов, я отвечаю за разработку хранилища клиентских данных в Сбере. Расскажу, как мы в эксплуатации перешли с одной базы данных на другую — а именно, с Oracle на Platform V Pangolin, разработку СберТеха на основе PostgreSQL, доработанного в области безопасности, надёжности и производительности.


Читать: https://habr.com/ru/companies/sberbank/articles/832220/

#ru

@database_design | Другие наши каналы
Переезжаем с Oracle на Platform V Pangolin в промышленной эксплуатации

Привет, Хабр! Меня зовут Семен Попов, я отвечаю за разработку хранилища клиентских данных в Сбере. Расскажу, как мы в эксплуатации перешли с одной базы данных на другую — а именно, с Oracle на Platform V Pangolin, разработку СберТеха на основе PostgreSQL, доработанного в области безопасности, надёжности и производительности.


Читать: https://habr.com/ru/companies/sberbank/articles/836084/

#ru

@database_design | Другие наши каналы
Демистифицируем парсинг PDF: конвейерная обработка

Преобразование неструктурированных документов, таких как PDF-файлы и отсканированные изображения, в структурированные или полуструктурированные форматы является важной составляющей искусственного интеллекта. Однако из-за замысловатой природы PDF-файлов и сложности задач, связанных с парсингом PDF, этот процесс не кажется на первый взгляд таким уж очевидным.

Этот цикл статей посвящен демистификации парсинга PDF. В предыдущей статье мы описали основную задачу парсинга PDF, классифицировали существующие методы и дали краткое описание каждого из них.

В этой статье мы сосредоточимся на конвейерном подходе. Мы начнем с обзора самого метода, затем продемонстрируем несколько стратегий по его реализации на примере готовых фреймворков, специализирующихся на этой задаче и, наконец, проанализируем полученные результаты.


Читать: https://habr.com/ru/companies/otus/articles/835930/

#ru

@database_design | Другие наши каналы
Новые версии MariaDB Community Server 11.5 и 11.6

Вышел стабильный релиз MariaDB Community Server 11.5, а также кандидат в релизы версии 11.6. Новая версия 11.5 включает опцию ограничения дискового пространства для временных файлов и таблиц. Подробности по ссылке.

Источник: [Announcing MariaDB Server 11.5 GA and 11.6 RC](https://mariadb.com/resources/blog/announcing-mariadb-server-11-5-ga-and-11-6-rc/)

Читать подробнее

#en

@database_design | Другие наши каналы
Раскрыта причина падения GitHub накануне ночью

14 августа GitHub столкнулся с сбоем, который затронул ключевые функции, такие как Actions, Pages и Pull Requests. Причиной стали изменения в инфраструктуре базы данных. Команда GitHub быстро откатила изменения, восстановив работу сервиса к 4:30 по московскому времени.

Читать: «Раскрыта причина падения GitHub накануне ночью»

#ru

@database_design | Другие наши каналы
Запуск Team-GPT за Две Недели с MongoDB Atlas

Компания Team-GPT успешно создала платформу для командного взаимодействия по проектам ИИ всего за две недели благодаря MongoDB Atlas. Платформа позволяет интегрировать различные модели ИИ, поддерживает мультимодальность и объединяет рабочие процессы в одном инструменте. Узнайте больше о том, как MongoDB способствовал быстрому развитию Team-GPT и помог компании усилить свои инновационные возможности. Мультирегиональная доступность Search Nodes теперь доступна!

Теперь вы можете оптимизировать использование ресурсов, независимо от местоположения. Мультирегиональность позволяет избежать простоев из-за технических сбоев или природных катастроф благодаря запасной инфраструктуре. Ознакомьтесь с видеоуроком по активации этой функции.

Читать подробнее

#en

@database_design | Другие наши каналы
Продолжаем выжимать максимум из PostgreSQL

В апреле этого года мы, команда производительности из Postgres Professional, совместно с коллегами из Selectel решили протестировать несколько дистрибутивов PostgreSQL и узнать, как они себя поведут на разных архитектурах. С результатами можно ознакомиться в этой статье, но, как сразу было верно отмечено читателями, там был один важный косяк –  мы не сравнили производительность ванильного PostgreSQL с применением всем известных настроек по улучшению производительности и Postgres Pro Enterprise из коробки as is. Терпеть такое не было решительно никакой возможности, поэтому сегодня будет продолжение истории и ответ на важный для многих вопрос: «А есть ли у нашего форка хоть какое-то преимущество перед бесплатной ваниллой?» Или мы просто накатили общеизвестный конфиг и занимаемся импортозаместительным переклеиванием наклеек?


Читать: https://habr.com/ru/companies/postgrespro/articles/836344/

#ru

@database_design | Другие наши каналы
Key-Value Хранилище на Стероидах

Устали писать методы save/read/reset для каждого key-value хранилища в вашем репозитории, прям как в этом интерфейсе?


Читать: https://habr.com/ru/articles/836690/

#ru

@database_design | Другие наши каналы
Инфраструктура для data engineer Kafka

В этой статье я хочу показать как можно использовать Kafka в дата-инженерии и как её "пощупать".

Рекомендуется всем кто не знает что такое Kafka.


Читать: https://habr.com/ru/articles/836302/

#ru

@database_design | Другие наши каналы
Использование СХД Qsan в среде управления контейнерами Kubernetes

Существуют различные технологии по уплотнению ресурсов физических серверов с целью их более эффективного использования. Наиболее известный вариант – это виртуализация. Именно в данной сфере системы хранения данных (СХД) являются одним из ключевых элементов, поскольку позволяют достаточно легко реализовать кластеры высокой доступности (HA cluster). Однако, помимо виртуализации доступны иные методы повышения эффективности, одним из которых является применение контейнеров.


Читать: https://habr.com/ru/companies/skilline/articles/834556/

#ru

@database_design | Другие наши каналы
Продвинутые структуры Redis

Редис – это кеш? А, может быть, это основная база данных? Так мы и живём в Мойре – опенсорс-системе реалтайм-алёртинга, родом из компании Контур. Расскажу вам про плюсы и минусы такого подхода, про жизнь в Редисе при 3 миллионах RPS, про миграции данных и оптимизацию базы.


Читать: https://habr.com/ru/companies/skbkontur/articles/836944/

#ru

@database_design | Другие наши каналы