DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Новые версии MariaDB Community Server 11.5 и 11.6

Вышел стабильный релиз MariaDB Community Server 11.5, а также кандидат в релизы версии 11.6. Новая версия 11.5 включает опцию ограничения дискового пространства для временных файлов и таблиц. Подробности по ссылке.

Источник: [Announcing MariaDB Server 11.5 GA and 11.6 RC](https://mariadb.com/resources/blog/announcing-mariadb-server-11-5-ga-and-11-6-rc/)

Читать подробнее

#en

@database_design | Другие наши каналы
Раскрыта причина падения GitHub накануне ночью

14 августа GitHub столкнулся с сбоем, который затронул ключевые функции, такие как Actions, Pages и Pull Requests. Причиной стали изменения в инфраструктуре базы данных. Команда GitHub быстро откатила изменения, восстановив работу сервиса к 4:30 по московскому времени.

Читать: «Раскрыта причина падения GitHub накануне ночью»

#ru

@database_design | Другие наши каналы
Запуск Team-GPT за Две Недели с MongoDB Atlas

Компания Team-GPT успешно создала платформу для командного взаимодействия по проектам ИИ всего за две недели благодаря MongoDB Atlas. Платформа позволяет интегрировать различные модели ИИ, поддерживает мультимодальность и объединяет рабочие процессы в одном инструменте. Узнайте больше о том, как MongoDB способствовал быстрому развитию Team-GPT и помог компании усилить свои инновационные возможности. Мультирегиональная доступность Search Nodes теперь доступна!

Теперь вы можете оптимизировать использование ресурсов, независимо от местоположения. Мультирегиональность позволяет избежать простоев из-за технических сбоев или природных катастроф благодаря запасной инфраструктуре. Ознакомьтесь с видеоуроком по активации этой функции.

Читать подробнее

#en

@database_design | Другие наши каналы
Продолжаем выжимать максимум из PostgreSQL

В апреле этого года мы, команда производительности из Postgres Professional, совместно с коллегами из Selectel решили протестировать несколько дистрибутивов PostgreSQL и узнать, как они себя поведут на разных архитектурах. С результатами можно ознакомиться в этой статье, но, как сразу было верно отмечено читателями, там был один важный косяк –  мы не сравнили производительность ванильного PostgreSQL с применением всем известных настроек по улучшению производительности и Postgres Pro Enterprise из коробки as is. Терпеть такое не было решительно никакой возможности, поэтому сегодня будет продолжение истории и ответ на важный для многих вопрос: «А есть ли у нашего форка хоть какое-то преимущество перед бесплатной ваниллой?» Или мы просто накатили общеизвестный конфиг и занимаемся импортозаместительным переклеиванием наклеек?


Читать: https://habr.com/ru/companies/postgrespro/articles/836344/

#ru

@database_design | Другие наши каналы
Key-Value Хранилище на Стероидах

Устали писать методы save/read/reset для каждого key-value хранилища в вашем репозитории, прям как в этом интерфейсе?


Читать: https://habr.com/ru/articles/836690/

#ru

@database_design | Другие наши каналы
Инфраструктура для data engineer Kafka

В этой статье я хочу показать как можно использовать Kafka в дата-инженерии и как её "пощупать".

Рекомендуется всем кто не знает что такое Kafka.


Читать: https://habr.com/ru/articles/836302/

#ru

@database_design | Другие наши каналы
Использование СХД Qsan в среде управления контейнерами Kubernetes

Существуют различные технологии по уплотнению ресурсов физических серверов с целью их более эффективного использования. Наиболее известный вариант – это виртуализация. Именно в данной сфере системы хранения данных (СХД) являются одним из ключевых элементов, поскольку позволяют достаточно легко реализовать кластеры высокой доступности (HA cluster). Однако, помимо виртуализации доступны иные методы повышения эффективности, одним из которых является применение контейнеров.


Читать: https://habr.com/ru/companies/skilline/articles/834556/

#ru

@database_design | Другие наши каналы
Продвинутые структуры Redis

Редис – это кеш? А, может быть, это основная база данных? Так мы и живём в Мойре – опенсорс-системе реалтайм-алёртинга, родом из компании Контур. Расскажу вам про плюсы и минусы такого подхода, про жизнь в Редисе при 3 миллионах RPS, про миграции данных и оптимизацию базы.


Читать: https://habr.com/ru/companies/skbkontur/articles/836944/

#ru

@database_design | Другие наши каналы
Как мы перенесли архив данных из Teradata в GreenPlum с помощью Hadoop и PXF

Привет, Хабр! Мы продолжаем серию статей о проведённой миграции аналитического хранилища данных с платформы Teradata на GreenPlum. В предыдущей статье мы рассказали о нашем опыте и результатах автоматизированного переписывания SQL-скриптов из диалекта Teradata в диалект GreenPlum с помощью реализованного сервиса миграции кода. В этой статье мы расскажем вам о полученном нами опыте и результатах переноса архива данных объёмом более 400 Тб из Teradata в GreenPlum, а также о трудностях и решениях, связанных с этим процессом.


Читать: https://habr.com/ru/companies/sberbank/articles/836942/

#ru

@database_design | Другие наши каналы
Распределённые блокировки с помощью Tarantool 3

Распределённая блокировка — очень удобный инструмент в кластере, который помогает обеспечивать эксклюзивный доступ к некоторому общему ресурсу. Цель такой блокировки — обеспечить доступ к ресурсу лишь одному сервису или запросу в данный момент времени. Так предотвращается гонка за данными и их неконсистентность. Распределённая (или кластерная) блокировка называется так потому, что она обеспечивается несколькими узлами, и выход из строя одного из них не повлияет на приложение. В этой статье я расскажу, как реализовать этот инструмент с помощью Tarantool 3.


Читать: https://habr.com/ru/companies/vk/articles/835958/

#ru

@database_design | Другие наши каналы
GENERATE_SERIES в SQL Server 2022 и более ранних версиях

Я часто сталкиваюсь с необходимостью генерирования строк на лету. И не только для простого получения последовательности чисел или дат, но и, например, для наполнения базы данных тестовыми данными, создания сводных таблиц (pivot) с произвольным количеством столбцов, экстраполяции данных, заполнения пропусков в диапазонах дат или времени.


Читать: https://habr.com/ru/companies/otus/articles/837048/

#ru

@database_design | Другие наши каналы
Семантическое кластеризование: откройте скрытые инсайты в ваших данных

Векторные базы данных, как предсказывает Forrester, наберут 200% популярности в 2024 году. Они помогают не только в генеративном ИИ, но и в раскрытии скрытых знаний через семантическое кластеризование. Этот метод организует данные по смыслу, улучшая анализ текстов и классификацию знаний. Успех Team-GPT благодаря MongoDB для Startups!

Программа MongoDB для Startups сыграла ключевую роль в росте Team-GPT, предлагая бесплатные кредиты, техподдержку и возможности для маркетинга. Основатели компании активно участвовали в мероприятиях MongoDB, что помогло значительно продвинуться. Впереди релиз Team-GPT 2.0!

Читать подробнее

#en

@database_design | Другие наши каналы
Просто выберите Postgres

Отчасти это действенный совет, отчасти — вопрос к читателям.

Совет: при создании нового приложения, требующего постоянного хранения данных, как это и бывает в случае большинства веб-приложений, по умолчанию следует выбирать Postgres.


Читать: https://habr.com/ru/articles/837098/

#ru

@database_design | Другие наши каналы
К вопросу о стохастическом характере СУБД и проблемах с нагрузочным тестированием в облачной среде

Предпосылка к исследованию

Исследование гипотезы СУБД по природе своей является стохастической, а не детерминированной системой.

С целью проверки утверждения и в связи с началом работ по подготовке методики статистического анализа СУБД в условиях облачной среды, была начата серия экспериментов для определения влияния внешних/случайных факторов инфраструктуры на производительность СУБД .


Читать: https://habr.com/ru/articles/837216/

#ru

@database_design | Другие наши каналы
MongoDB Atlas для Правительства теперь поддерживает GCP Assured Workloads

MongoDB Atlas для Правительства теперь поддерживает регионы Google Cloud Assured Workloads в США, расширяя уже доступную поддержку AWS GovCloud и регионов AWS в США. Теперь пользователи госсектора и независимые разработчики ПО могут более гибко модернизировать приложения и мигрировать данные в облако. Также MongoDB Atlas для Правительства теперь доступен через Google Cloud Marketplace. Семантическое векторное кластерирование — ключ к новым инсайтам

Технология семантического векторного кластерирования позволяет объединять схожие данные и выявлять скрытые связи, что упрощает управление знаниями и ускоряет принятие решений. Компании могут использовать эту методику для обнаружения паттернов в данных о взаимодействии с клиентами, улучшая общий бизнес-процесс.

Читать подробнее

#en

@database_design | Другие наши каналы
Ролевая модель в СХД АЭРОДИСК ENGINE

Хабровчане, привет!

Сегодня будем играть в ролевую игру. Разберём новый функционал СХД АЭРОДИСК — ролевую модель управления доступом.


Читать: https://habr.com/ru/companies/aerodisk/articles/837050/

#ru

@database_design | Другие наши каналы
MongoDB Atlas помогает CTF Life улучшать обслуживание клиентов

CTF Life, страховая компания из Гонконга, использует MongoDB Atlas для модернизации своих систем. Это позволяет быстрее обрабатывать данные и предлагать персонализированные услуги. Благодаря новому клиентскому приложению специалисты CTF Life могут предоставлять клиентам более точные и своевременные рекомендации.

Читать подробнее

#en

@database_design | Другие наши каналы
Нагрузочное тестирование СУБД в облачной среде — часть 2

Начало Нагрузочное тестирование СУБД в облачной среде — часть 1 / Хабр (habr.com)

Следующая серия экспериментов выполняется с использованием периода сглаживания = 1 час.


Читать: https://habr.com/ru/articles/837462/

#ru

@database_design | Другие наши каналы
Улучшение бизнес-кредитования с MongoDB и генеративным ИИ

Кредиты являются основной банковской деятельностью, но их оценка может быть сложной из-за рисков. Генеративный ИИ и MongoDB облегчают анализ бизнес-планов и рисков, предоставляя детализированные и многомерные оценки. Узнайте, как эти технологии помогают банковским специалистам принимать обоснованные решения.

Читать подробнее

#en

@database_design | Другие наши каналы
Перенос Exadata в облако: преимущества и возможности

Exadata уже более десятилетия является эталоном для Oracle Database благодаря высокой производительности, надежности и безопасности. Узнайте, как сохранить эти преимущества при переводе ваших нагрузок Exadata в публичное или гибридное облако и получить дополнительные выгоды.

Читать подробнее

#en

@database_design | Другие наши каналы
Как сократить расходы на резервное копирование данных

В статье рассматривается важность учета затрат на перемещение данных при создании резервной копии критической базы данных для аварийного восстановления. Узнайте, как минимизировать эти расходы и обеспечить надежную защиту данных.

Читать подробнее

#en

@database_design | Другие наши каналы