DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Инструмент перехвата медленных запросов StarRocks

Практическое руководство по построению сервиса перехвата медленных запросов в StarRocks: правила kill и пороги (full table scan, scan rows/bytes), анализ execution plan, интеграции с Grafana и Feishu, SQL-схемы и YAML-конфигурация для продакшена.


Читать: https://habr.com/ru/articles/983314/

#ru

@database_design | Другие наши каналы
Парсинг тарифов интернета и ТВ: Архитектура БД и бэкенд на SQL

За 5 лет работы в B2B и B2C сегментах у телеком-провайдеров я столкнулся с одной из проблем: абоненты годами сидят на архивных дорогих тарифах или пользуются услугами операторов, которые не идут на уступки, не снижают цены на тарифы, пользователи просто не знают, что в их же доме есть альтернативные провайдеры с тарифами более выгодными для них.

Я решил объединить свой опыт в телекоме с навыками в программировании. Так появилась идея по парсенгу тарифов. Цель — создать инструмент, который автоматически мониторит провайдеров, избавляя пользователей от ручного сравнения и помогая им находить оптимальные условия по тарифу.

Сейчас я работаю аналитиком БД, параллельно изучаю архитектуру, построение данных. Решил начать проект с проектирования структуру на PostgreSQL по схеме "Звезда". Таблицей фактов у меня будет таблица со связью города с провайдером, таблицы измерений – таблица с информацией о тарифах, городами и провайдерами.


Читать: https://habr.com/ru/articles/983324/

#ru

@database_design | Другие наши каналы
Как JOIN изменил наш подход к инфраструктуре данных в NAVER

После миграции с ClickHouse на StarRocks NAVER существенно оптимизировала обработку многотабличных JOIN. StarRocks повысил производительность запросов, обеспечил бесшовное масштабирование и позволил построить единый слой запросов, совместимый с множеством источников данных. Эти улучшения позволили предоставлять инсайты в реальном времени и поддерживать принятие решений на основе данных во всей экосистеме NAVER.


Читать: https://habr.com/ru/articles/983356/

#ru

@database_design | Другие наши каналы
Изнанка бэкапов YDB: что остаётся за кадром

Решил собрать нюансы создания резервных копий и восстановления таблиц в YDB. Это не замена документации, а раскрытие деталей, которые не очевидны для тех, кто начинает работать с этой базой данных.


Читать: https://habr.com/ru/articles/983512/

#ru

@database_design | Другие наши каналы
Очень странные дела или подключаем YDB в AWS NoSQL Workbench

При работе с Yandex Database (YDB) часто возникает потребность в удобном визуальном инструменте для работы с данными. AWS NoSQL Workbench — популярное приложение для моделирования и тестирования NoSQL баз можно использовать и с YDB благодаря DynamoDB-совместимому Document API.


Читать: https://habr.com/ru/articles/983678/

#ru

@database_design | Другие наши каналы
Реляционные шарады: превращаем фильмы в таблицы

Реляционная модель обычно ассоциируется с аккуратными строками и столбцами, но на практике ей регулярно пытаются скормить то, для чего она будто бы не предназначена. В этой статье — эксперимент на грани здравого смысла: разложить фильм на пиксели, превратить кадры в строки и посмотреть, что получится, если к видео применить привычный SQL. Без обещаний пользы и универсальности — зато с честным разбором того, где такой подход неожиданно работает, а где начинает сопротивляться сама природа данных.
Перейти к материалу

Читать: https://habr.com/ru/companies/otus/articles/982114/

#ru

@database_design | Другие наши каналы
Создаем пет-проект по аналитике в связке с GitHub Actions. Часть 2

Привет, Хабр! Продолжаю обозревать GitHub Actions на примере пет проекта для аналитика.

Статья будет полезна начинающим аналитикам в поисках хорошего проекта для своего портфолио. В этой части разбираю подход к выбору проекта и источника данных, к сбору и анализу данных и представлении результатов своей работы.


Читать: https://habr.com/ru/articles/983926/

#ru

@database_design | Другие наши каналы
Объектные хранилища: чем заменить minio?

Как говорят у меня на родине: корпоративная жадность — двигатель миграций. И именно это мы сейчас можем наблюдать на примере MinIO — некогда любимого инструмента DevOps-инженеров для развёртывания S3-совместимого хранилища. В 2021 году они втихушку сменили лицензию на AGPL v3, а в 2025 году и вовсе выпилили веб-интерфейс из бесплатной версии. Ну и, наверное, можно подумать, что за такой удобный инструмент можно и заплатить. Но тогда встаёт вопрос: какова цена коммерческой лицензии? От $96 000 в год)

В этой статье мы разберём, чем можно заменить MinIO, сравним альтернативы в разных сценариях и, конечно же, развернём их руками — потому что теория без практики, как вайбкодер без гпт.


Читать: https://habr.com/ru/companies/ruvds/articles/981790/

#ru

@database_design | Другие наши каналы
Если UPDATE столкнулся с заблокированной строкой

В PostgreSQL и Oracle Database команда UPDATE, столкнувшаяся с заблокированной строкой, ведёт себя по-разному. В статье рассматривается, как выполняется UPDATE в этих базах данных. Это может быть полезно при миграции кода приложения мжду этими базами данных.


Читать: https://habr.com/ru/articles/983998/

#ru

@database_design | Другие наши каналы
Дефрагментация HDD ускоряет скорость работы, но на сколько? Расчет скорости HDD в зависимости от фрагментации

Что такое фрагментация?

Фрагментация — это состояние, при котором файлы физически располагаются на разных участках диска, а не непрерывно друг за другом. Из-за этого магнитная головка вынуждена совершать лишние движения, тратя значительное время на поиск нужных участков. По мере накопления фрагментов файлов снижается общая скорость работы накопителя, ухудшается отклик системы и увеличивается износ самого устройства.

Введение процедуры дефрагментации способно кардинально изменить ситуацию. Суть дефрагментации заключается в объединении отдельных фрагментов файлов в единую область на диске, сокращая путь движения головок и уменьшая среднее время доступа к данным. Этот процесс оказывает непосредственное влияние на повышение общей производительности системы, снижение нагрузки на аппаратуру и продление срока службы HDD.Далее мы подробно изучим механизм воздействия фрагментации и дефрагментации на показатели скорости работы жесткого диска, используя конкретные расчеты и наглядные примеры.

Характеристики HDD

Основные характеристики HDD:

-Объем, Гб;

-Линейная скорость чтения/записи, Mb/s ;

-Количество оборотов диска в минуту, rpm;

-Время перехода track to track, ms.

Возьмем для моделирования HDD со следующими характеристиками

/


Читать: https://habr.com/ru/articles/984100/

#ru

@database_design | Другие наши каналы
Как правильно «готовить» RAG: рецепт умного ассистента для вашего отдела

Уверены, что вы уже слышали об этой технологии, но сегодня поговорим о ней с практической точки зрения. В этой статье наша Команда AI дает советы тем, кто еще не погружен в технические детали — рассказывает о сложностях, которые могут возникать при работе с этой технологией и о том, как их избегать.


Читать: https://habr.com/ru/companies/bitrix/articles/980748/

#ru

@database_design | Другие наши каналы
Как DuckDB обрабатывает 1 ТБ данных менее чем за 30 секунд

Команда Python for Devs подготовила перевод статьи о том, как DuckDB ломает привычные представления о масштабах аналитических данных. Автор на реальных бенчмарках показывает, что 1 ТБ данных можно агрегировать за считанные секунды — без Spark, без распределённых кластеров и без сложной инфраструктуры.


Читать: https://habr.com/ru/articles/984040/

#ru

@database_design | Другие наши каналы
PostgreSQL 19: Часть 1 или Коммитфест 2025-07

Начинаем новый цикл статей с обзором изменений 19 версии. И первая статья о событиях летнего июльского коммитфеста прошлого года.


Читать: https://habr.com/ru/companies/postgrespro/articles/984580/

#ru

@database_design | Другие наши каналы
Ваш IQ в тесте намного меньше чем в жизни

Средний IQ по миру ровно 100, но когда вы проходили тест у вас было 110-120 или больше. Получается, вы умнее чем средний человек на земле? Нет.
В реальности у вас на 10-20 баллов меньше, вы как раз на уровне среднего человека.

Почему средний человек 100 лет назад имел 80 IQ, но не проиграл бы нам по интеллекту?

Почему тесты завышают результаты IQ, и влияют ли эти тесты на интеллект и успех в жизни


Читать: https://habr.com/ru/companies/femida_search/articles/984754/

#ru

@database_design | Другие наши каналы
Проектирование целевой архитектуры: второй шаг к быстрой и безопасной миграции ЦОД

Обследование инфраструктуры мы пережили в первой части — и те, кто знаком с предысторией, понимают, что слово «пережили» здесь выбрано совсем не случайно. Теперь настало время двигаться дальше — к этапу, где уже не просто ищут проблемы, а проектируют мир, в котором эти проблемы не должны появляться вовсе: к целевой архитектуре.

Именно на этом шаге закладывается каркас будущей ИТ-среды: определяются требования к производительности, формируются принципы отказоустойчивости, продумывается структура сетевого взаимодействия и планируется размещение оборудования. Промахнуться здесь — значит допустить трещину в фундаменте: сначала её может быть и не видно, но позже она обязательно даст о себе знать — либо на миграции, либо в самый неподходящий момент эксплуатации. И, как не сложно догадаться, оба варианта одинаково неприятны.


Читать: https://habr.com/ru/companies/icore/articles/984844/

#ru

@database_design | Другие наши каналы
Проектирование целевой архитектуры: второй шаг к быстрой и безопасной миграции ЦОД

Обследование инфраструктуры мы пережили в первой части — и те, кто знаком с предысторией, понимают, что слово «пережили» здесь выбрано совсем не случайно. Теперь настало время двигаться дальше — к этапу, где уже не просто ищут проблемы, а проектируют мир, в котором эти проблемы не должны появляться вовсе: к целевой архитектуре.

Именно на этом шаге закладывается каркас будущей ИТ-среды: определяются требования к производительности, формируются принципы отказоустойчивости, продумывается структура сетевого взаимодействия и планируется размещение оборудования. Промахнуться здесь — значит допустить трещину в фундаменте: сначала её может быть и не видно, но позже она обязательно даст о себе знать — либо на миграции, либо в самый неподходящий момент эксплуатации. И, как не сложно догадаться, оба варианта одинаково неприятны.


Читать: https://habr.com/ru/companies/icore/articles/984844/

#ru

@database_design | Другие наши каналы
CTE (Common Table Expression) / Django CTE

Как только ты начинаешь углубляться в изучение баз данных, так сразу на горизонте возникают такие понятия как подзапросы, CTE, представления и временные таблицы. По опыту работы в университете заметил, что с этими темами у людей часто возникают проблемы и недопонимания. В частности больше всего путаницы вносит именно CTE.

Поэтому в этой статье я расскажу:

1. что такое CTE

2. зачем оно нужно

3. что такое рекурсивные СТЕ

4. чем СТЕ отличается от временных таблиц, представлений и подзапросов

5. как СТЕ может плохо сказаться на производительности

6. как использовать СTE в самом народном фреймворке Django

Использует SELECT со звёздочкой Макс - Lead Backend и автор YouTube-канала PyLounge. Поехали!


Читать: https://habr.com/ru/articles/984962/

#ru

@database_design | Другие наши каналы
Как ускорить SQL-запрос в миллион раз без изменения кода: кейс со STATMULTIPLIER в Postgres

Однажды при мониторинге мы обратили внимание на запрос, который занимал первое место по длительности: 40+ секунд на выполнение при 657 вызовах за день. Причина состояла в том, что из-за неточной статистики распределения данных выбирался неподходящий индекс. В статье расскажем о том, как с помощью параметра STATMULTIPLIER в СУБД Tantor Postgres этот проблемный запрос удалось ускорить примерно в миллион раз — до 0.042 миллисекунды, — просто повысив точность статистики без изменения кода или структуры базы данных.


Читать: https://habr.com/ru/companies/tantor/articles/985130/

#ru

@database_design | Другие наши каналы
Как мы измеряем качество в VK Видео

Привет, Хабр. Меня зовут Павел Муханов. Я руководитель лаборатории качества видеоплатформы VK.

ВКонтакте, ОК, VK Клипы, VK Видео и другие сервисы VK, предоставляющие возможность просмотра видео, используют в качестве core-технологии видеоплатформу VK. Она объединяет видеохостинг, стриминг и облачное хранилище и предоставляет аудитории бесшовный доступ к огромной библиотеке контента. Чтобы гарантировать стабильную работу видеоплатформы — предсказуемое качество видео и корректную работу плеера, — мы в лаборатории качества внимательно следим за метриками.

В статье на примере VK Видео расскажу, как мы оцениваем качество и какие результаты получили, когда ввели регулярный мониторинг качества видео и перформанса.


Читать: https://habr.com/ru/companies/vk/articles/985120/

#ru

@database_design | Другие наши каналы
Библиотека объектов nanoCAD BIM Строительство 25: настройка и использование в проекте

Эта статья – детальный обзор работы с Библиотекой объектов в nanoCAD BIM Строительство 25 – ключевом инструменте для наполнения информационной модели. Рассмотрены принципы работы с параметрическими элементами, структура библиотеки и её интеграция с Диспетчером проекта.

Отдельное внимание уделено настройке библиотек в корпоративной среде с помощью Менеджера библиотек, а также процессу создания пользовательских объектов.

Материал будет полезен архитекторам и конструкторам, оценивающим российские BIM-решения для типовых и сложных проектов, и позволит понять практические аспекты повышения скорости и стандартизации проектирования.


Читать: https://habr.com/ru/companies/nanosoft/articles/985502/

#ru

@database_design | Другие наши каналы