DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Новый Программа MAAP от MongoDB помогать внедрять ИИ

MongoDB запустила Программу Приложений ИИ (MAAP), которая теперь доступна для всех. MAAP предлагает компаниям ресурсы для интеграции ИИ в их продукты, включая референтные архитектуры и профессиональные услуги. Среди партнеров программы — лидеры индустрии, такие как Google Cloud и Microsoft Azure. Новая бизнес-модель от magicpin: революция в офлайн ритейле

magicpin, крупнейшая гиперлокальная розничная платформа Индии, меняет правила игры! Вместо традиционной оплаты за клик, magicpin внедряет модель оплаты за конверсию, сотрудничая с местными магазинами и увеличивая покупательский трафик. Узнайте, как magicpin и MongoDB помогают бизнесам в Индии расти!

Читать подробнее

#en

@database_design | Другие наши каналы
Запуск MongoDB AI Applications Program (MAAP)

MongoDB объявил о запуске программы MAAP, предназначенной для помощи компаниям в разработке и внедрении KI-решений. MAAP предлагает референсные архитектуры, интеграции с ведущими технологическими партнёрами и единое сервисное сопровождение, ускоряя внедрение инноваций и снижая риски интеграции.

Читать подробнее

#en

@database_design | Другие наши каналы
Некоторые моменты switchover в Patroni. Практические истории из SRE-будней. Часть 8

Однажды нам нужно было уменьшить мастер кластера PostgreSQL по CPU и памяти. План был надёжный: дождаться низкой нагрузки на кластер, сменить мастер на одну из асинхронных реплик, переконфигурировать виртуальную машину с бывшим мастером и сделать switchover обратно. Казалось бы, что могло пойти не так?


Читать: https://habr.com/ru/companies/flant/articles/840568/

#ru

@database_design | Другие наши каналы
Сайзинг многоуровневого КХД (ч.1 Что сайзим)

Приветствую, ищущий методики и подхода, Гость!

Мой многолетний опыт работы в части проектирования и реализации КХД с использованием продуктов иностранных Вендоров, всегда был сопряжен с использованием их обширной инфраструктуры и наработок обеспечивающих и помогающих выполнять вспомогательные задачи быстро и условно качественно. Одной из таких задач всегда являлось выполнение сайзинга разрабатываемого КХД. Вы можете задаться вопросом: "Почему "условно качественно"? - ответ тут прозаичен и банален: "Инструменты сайзинга не могут однозначно ответить на вопрос, какие характеристики заложить и как посчитать сайзинг КХД до того, как полностью сформировано ТЗ и не расставлены все точки над Ё...", ну и конечно, никакой инструмент не в силах справиться с изменениями требований по ходу проекта, криворукостью разработчиков и применением не оптимальных решений. Как оказалось, после ухода поставщиков программного обеспечения с рынка и массового перехода на OpenSource решения, вместе с софтом "ушли" и прикладные решения для выполнения сайзинга КХД.

Методика, которая рассматривается ниже, основывается на следующих послулатах


Читать: https://habr.com/ru/articles/827668/

#ru

@database_design | Другие наши каналы
Сайзинг многоуровневого КХД (ч.2 Как сайзим)

Продолжение разбора задачи сайзинга многоуровневого КХД.
Первая часть: "ч.1 Что сайзим"

ШАГ 0. Перед началом сайзинга специалистами IT выполняется анализ текущих систем (баз данных) и оцениваются отправные критерии сайзинга (годовой объем данных, прирост, объем исторических данных)

ШАГ 1. Общий объем исторических (начальных) данных


Читать: https://habr.com/ru/articles/842730/

#ru

@database_design | Другие наши каналы
А вы забрали свой подарок ко Дню программиста?

Tproger вместе с друзьями собрал целую коробку подарков, чтобы поздравить вас с профессиональным праздником. Скорее забирайте презент: https://tprg.ru/gKel
ClickHouse vs BigQuery: 4 отличия в SQL

Привет, Хабр!
Я Павел Беляев — тимлид дата-аналитиков. Наша компания отвечает за разработку и поддержку витрин данных. Как и многие, мы столкнулись с необходимостью перевести инфраструктуру с иностранного стека на отечественный.

Наша аналитическая база данных несколько лет строилась на базе Google BigQuery. Она содержала сотни представлений на гугл-диалекте SQL, и весь этот технопарк было решено перебазировать на российские платформы. Понятное дело, что ClickHouse и BigQuery — далеко не одно и то же, так что в процессе переезда нам пришлось набить немало шишек. В этой статье я покажу несколько отличий в SQL этих СУБД. Надеюсь, их понимание поможет сэкономить время и нервы тем, кто сталкивается с аналогичной задачей.


Читать: https://habr.com/ru/companies/beeline_cloud/articles/842810/

#ru

@database_design | Другие наши каналы
Новые возможности AI с LangChain и MongoDB

MongoDB объявила о новых возможностях интеграции с LangChain. Теперь разработчики могут создавать агентные AI-приложения, использовать гибридный поиск, объединяя семантический и ключевой поиск, а также эффективно индексировать и синхронизировать документы с помощью LangChain Indexing API.

Читать подробнее

#en

@database_design | Другие наши каналы
10 возможностей современного Tarantool, о которых вы могли не знать

В прошлом году Tarantool исполнилось 15 лет. Он прошел долгий путь от обычного кэша до платформы управления данными с десятками разных внутренних продуктов и расширений. Такое обилие инструментов создает множество возможностей — и в этой статье мы расскажем о десяти, о которых многие забывают или попросту не знают.


Читать: https://habr.com/ru/companies/vk/articles/843068/

#ru

@database_design | Другие наши каналы
Транзакции PostgreSQL, Требования ACID, примеры. Подготовка к собеседованию, изучение

Приветствую тебя читатель, я решил написать про ACID и Транзакции PostgreSQL своим языком, с понятными примерами, эта статья ориентирована на людей готовящихся к собеседованию, кто захотел узнать нюансы транзакций в PostgreSQL или про ACID, а также для людей которые знают теорию, но сами ещё ни разу не писали транзакции. Я не ставил перед собой цели рассмотреть и объяснить работу транзакций на очень глубоком уровне. Была цель привести понятные примеры, дать макет работы с транзакциями, а также пощупать основные возможные проблемы при работе с транзакциями в PostgreSQL.


Читать: https://habr.com/ru/articles/843794/

#ru

@database_design | Другие наши каналы
Транзакции PostgreSQL, Требования ACID, примеры. Подготовка к собеседованию, изучение

Приветствую тебя читатель, я решил написать про ACID и Транзакции PostgreSQL своим языком, с понятными примерами, эта статья ориентирована на людей готовящихся к собеседованию, кто захотел узнать нюансы транзакций в PostgreSQL или про ACID, а также для людей которые знают теорию, но сами ещё ни разу не писали транзакции. Я не ставил перед собой цели рассмотреть и объяснить работу транзакций на очень глубоком уровне. Была цель привести понятные примеры, дать макет работы с транзакциями, а также пощупать основные возможные проблемы при работе с транзакциями в PostgreSQL.


Читать: https://habr.com/ru/articles/843794/

#ru

@database_design | Другие наши каналы
👍1
Революция в Поисковых Технологиях

Как найти нужную информацию в мире, где тексты, векторы и гибридные технологии стали стандартом? Узнайте, когда использовать текстовый, векторный или гибридный поиск, чтобы добиться наилучших результатов. От каталогов продуктов до систем рекомендации — оптимизируйте поиск с MongoDB!

Читать далее на MongoDB Blog. Выводите максимум из данных в MongoDB с новой интеграцией

Metabase, Shakudo и VLM Run анонсировали партнерство с MongoDB для улучшения аналитики и работы с визуальным контентом. Новые решения ускоряют внедрение AI и извлечение ценных бизнес-инсайтов. Узнайте больше о возможностях этих интеграций и ускорьте свой путь к рыночному успеху!

Читать подробнее

#en

@database_design | Другие наши каналы
Мой 71 ТиБ ZFS NAS проработал 10 лет без единой поломки дисков

Моему серверу 4U 71 TiB ZFS, собранному из двадцати четырех 4-терабайтных дисков, уже больше десяти лет и он всё ещё отлично работает. Хотя сейчас у него уже вторая материнская плата и блок питания, система до сих пор не столкнулась ни с одной поломкой дисков (стучу по дереву). Как же мне удалось добиться отсутствия отказов дисков в течение десяти лет?


Читать: https://habr.com/ru/companies/hostkey/articles/843954/

#ru

@database_design | Другие наши каналы
Странное поведение планировщика запросов PostgreSQL

В одной из предыдущих статей я описывал проблемы, которые возникают при работе с временными таблицами. Тогда я вкратце описывал, почему нам приходится их так часто использовать. В частности, одной из причин была неправильная работа планировщика запросов в PostgreSQL. Многие из проблем планировщика запросов (и не только PostgreSQL) были также описаны в статье Почему не SQL. В этой статье я покажу достаточно простой и часто используемый случай, когда планировщик ошибается, что может приводить к значительному росту потребления ресурсов.

Проблема воспроизводится на последней стабильной на данный момент версии PostgreSQL - 16.2. При этом используются стандартные настройки PostgreSQL. Я пробовал менять разные настройки, но мне не удалось добиться правильного плана в общем случае, поскольку в данном случае проблема скорее логическая, а не в определении стоимости вычислений. Однако, каждый может легко воспроизвести эту ситуацию локально и попробовать поиграться с настройками.

Рассмотрим простую доменную логику, в которой есть документы и их строки. Для каждой строки вводится сумма. Строки лежат в отдельной таблице и ссылаются на документ :


Читать: https://habr.com/ru/articles/814155/

#ru

@database_design | Другие наши каналы
Зачем и как выгружать сырые логи в ваше хранилище

Логи в CDN — мощный инструмент для администраторов и разработчиков, который дает доступ к детальной информации о запросах пользователей. Он помогает оптимизировать производительность, улучшить качество обслуживания, обеспечить безопасность онлайн-сервисов и доступность контента для конечных пользователей. Чтобы сделать эту работу эффективнее, мы добавили в панель управления возможность выгружать сырые логи. В этой статье разберемся, что это такое, в каких случаях такая опция может пригодиться и почему обычного просмотра логов иногда недостаточно.

Читать: https://habr.com/ru/companies/selectel/articles/843734/

#ru

@database_design | Другие наши каналы
Open source решения для управления и работы с данными в облаке

Хабр, привет! Сегодня у нас подборка перспективных open source решений, которые могут упростить хранение данных и работу с ними в облаке. Говорим про Garage, LinDB, LitData и Triplit.

Если вам нужно надежное решение для работы со структурированными данными с возможностью практически неограниченного масштабирования, сервисы MWS помогут организовать полный цикл работы с данными. Вы сможете создать собственную DWH-платформу с масштабированием по клику.


Читать: https://habr.com/ru/companies/mws/articles/844028/

#ru

@database_design | Другие наши каналы
Обновление коннекторов MariaDB R2DBC и Node.js

MariaDB объявила о выпуске обновленных коннекторов: Connector/R2DBC версии 1.2.2 и Connector/Node.js версии 3.3.2. Новые версии включают поддержку спецификации R2DBC 0.9.1, опцию skipPostCommands и многочисленные исправления. Подробности и загрузка доступны на сайте MariaDB.

Читать подробнее

#en

@database_design | Другие наши каналы
Легкое добавление графов в приложения на базе RAG с Oracle Database

Oracle Database позволяет с легкостью добавить графовые функции в ваши приложения. Пример с использованием JavaScript и LangChain демонстрирует, как просто интегрировать графы, чтобы улучшить работу вашего приложения. Узнайте больше о возможностях Oracle Database!

Читать подробнее

#en

@database_design | Другие наши каналы
Искусственный интеллект для юридических исследований: Qura и MongoDB

Компания Qura, используя потенциал ИИ и баз данных MongoDB, создала инновационный поисковый инструмент для юристов. Эта система, базирующаяся на LLM, значительно сокращает время поиска и предоставляет самые точные источники информации, избегая генерации недостоверных ответов. Как использовать векторный поиск для повышения качества поиска

Современный векторный поиск помогает находить наиболее релевантные результаты даже при нечетко сформулированных запросах. Это особенно полезно для улучшения рекомендаций и предотвращения аномалий. Узнайте, как компании, такие как Delivery Hero и VISO TRUST, успешно используют эти технологии.

Читать подробнее

#en

@database_design | Другие наши каналы
Аhamove использует ИИ для роста e-commerce вьетнама

Ahamove, крупнейшая компания по доставке вьетнамского рынка, внедряет AI на базе MongoDB Atlas. Благодаря этому Ahamove обеспечивает быструю обработку заказов, GPS-трекинг и чат-ботов для ресторанов, что позволяет справляться с пиковыми нагрузками и улучшать клиентский опыт. Прорыв в юридических поисках: Qura и MongoDB

Стартап Qura из Швеции создал ИИ-поисковик для юристов, который с помощью моделей LLM анализирует миллионы страниц правовых текстов за секунды. Используя MongoDB, Qura значительно сократил время на исследования, повысив точность нахождения релевантных источников.

Читать подробнее

#en

@database_design | Другие наши каналы
Мониторинг напряжения в ЦОД Физтеха: шесть лет, полет нормальный

ЦОД Физтеха ведет историю с суперкомпьютера МФТИ-60, которому удалось попасть в TOP500. Затем к нему добавили стойки и обновили вычислительные компоненты.

Штатно за мониторинг отвечала система Delta, но она не давала полной картины, например энергопотребления стоек. Поэтому в 2018 году ее решили усилить с помощью контроллера Wiren Board и модулей.

В статье мы расскажем о системе мониторинга напряжения в ЦОД, а также подведем итоги шестилетней работы и расскажем, были ли какие-либо проблемы и сбои.


Читать: https://habr.com/ru/companies/wirenboard/articles/844422/

#ru

@database_design | Другие наши каналы