DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Дискеты начинают и выигрывают: флот Германии до сих работает с экзотическими 8-дюймовыми флоппи-дисками

Совсем недавно мы публиковали статью «Япония, наконец, победила дискеты: flawless victory спустя несколько лет борьбы». Но оказывается, до всемирного отказа от флоппи-дисков еще далеко.

Немецкие фрегаты с момента ввода в эксплуатацию работают на 8-дюймовых дискетах. От этих очень экзотичных носителей зависит многое. Корабли не смогут выполнять свои прямые функции, если у команды не окажется подобной дискеты. Как так-то?

Читать: https://habr.com/ru/companies/selectel/articles/812891/

#ru

@database_design | Другие наши каналы
СУБДиариум современного инфраструктурщика

Еще относительно недавно (каких-то лет 10–15 назад) выбор СУБД для приложения в среднестатистической корпоративной среде ограничивался всего тремя вариантами: Microsoft SQL, Oracle и MySQL. При этом каждое решение имело свою нишу. Нужно что-то серьезное под большую нагрузку — вот вам Oracle, что-то попроще — MS SQL, а если какое-то веб-приложение — то MySQL.

Но все чаще в корпоративной инфраструктуре появляются задачи, требующие нового подхода к выбору СУБД. Речь про потребности, которые смогут закрыть СУБД на основе искусственного интеллекта, или такие решения, как Big Data и NoSQL. При подборе новых решений традиционный способ выбора только ограничивает поиск и не дает нужной производительности и гибкости. При этом часто выбор СУБД сводится к «поставим PostgreSQL, на нем точно заработает». Да, в большинстве случаев заработает, так как сама по себе PostgreSQL модульная и из нее, как из конструктора, можно много чего сделать, но какими усилиями и ресурсами? Быть может, уже на этапе выбора платформы стоит задуматься о том, что подойдет лучше?

В этой статье я расскажу, какие сейчас бывают СУБД и как их можно систематизировать под конкретную задачу. Сразу оговорюсь: я не претендую на истину в последней инстанции, и вполне возможно, что кто-то смотрит на структурирование СУБД по-своему.


Читать: https://habr.com/ru/companies/jetinfosystems/articles/830502/

#ru

@database_design | Другие наши каналы
СУБДиариум современного инфраструктурщика

Еще относительно недавно (каких-то лет 10–15 назад) выбор СУБД для приложения в среднестатистической корпоративной среде ограничивался всего тремя вариантами: Microsoft SQL, Oracle и MySQL. При этом каждое решение имело свою нишу. Нужно что-то серьезное под большую нагрузку — вот вам Oracle, что-то попроще — MS SQL, а если какое-то веб-приложение — то MySQL.

Но все чаще в корпоративной инфраструктуре появляются задачи, требующие нового подхода к выбору СУБД. Речь про потребности, которые смогут закрыть СУБД на основе искусственного интеллекта, или такие решения, как Big Data и NoSQL. При подборе новых решений традиционный способ выбора только ограничивает поиск и не дает нужной производительности и гибкости. При этом часто выбор СУБД сводится к «поставим PostgreSQL, на нем точно заработает». Да, в большинстве случаев заработает, так как сама по себе PostgreSQL модульная и из нее, как из конструктора, можно много чего сделать, но какими усилиями и ресурсами? Быть может, уже на этапе выбора платформы стоит задуматься о том, что подойдет лучше?

В этой статье я расскажу, какие сейчас бывают СУБД и как их можно систематизировать под конкретную задачу. Сразу оговорюсь: я не претендую на истину в последней инстанции, и вполне возможно, что кто-то смотрит на структурирование СУБД по-своему.


Читать: https://habr.com/ru/companies/jetinfosystems/articles/830502/

#ru

@database_design | Другие наши каналы
Новая версия Oracle Database 23ai доступна для Exadata

Oracle Database 23ai теперь доступна для Exadata Database Machine, предлагая нашим клиентам преимущества передовых технологий управления данными. Присоединяясь к остальной линейке Exadata, новая версия обещает улучшенные возможности и эффективность работы с данными.

Читать подробнее

#en

@database_design | Другие наши каналы
Повышение эффективности с современными фреймворками и генеративным ИИ

Команда Technical Services Tools в MongoDB использует передовые технологии, такие как генеративный ИИ и стеки MERN и MEAN, чтобы улучшить безопасность и оптимизировать процессы поддержки клиентов. Это позволяет интегрировать инструменты в экосистему MongoDB, обеспечивая высокие стандарты сервисов. Узнайте больше!

Читать подробнее

#en

@database_design | Другие наши каналы
Magicpin создаёт крупнейшую гиперлокальную торговую платформу в Индии

Magicpin, крупнейшая гиперлокальная торговая платформа Индии, использует MongoDB для управления и масштабирования своего бизнеса. Платформа помогает местным розничным магазинам увеличить трафик и продажи без необходимости создания темных магазинов. Узнайте больше о их уникальном подходе и достижениях.
Читать подробнее

#en

@database_design | Другие наши каналы
Быстрая обработка данных в data lake с помощью SQL

Кому пришла в голову идея отправлять SQL запросы в data lake? Оказывается, это позволяет компаниям более гибко и эффективно анализировать свои данные за счёт уменьшения потребности в ETL и снижения нагрузки на корпоративное хранилище. Рассмотрим, какие популярные SQL-движки умеют это делать и как им это удаётся.

Меня зовут Владимир Озеров, я руковожу компанией Querify Labs. Мы уже порядка 10 лет занимаемся распределённым SQL, делаем всевозможные SQL-движки, в частности CedrusData — коммерческий движок на основе опенсорс проекта Trino. Сегодня поговорим про то, каким образом устроен ряд SQL-движков, которые обрабатывают данные от data lake.


Читать: https://habr.com/ru/companies/oleg-bunin/articles/828836/

#ru

@database_design | Другие наши каналы
Новая Программа MAAP от MongoDB Уже Доступна!

MongoDB объявила о запуске MongoDB AI Applications Program (MAAP), которая поможет компаниям внедрять передовые AI-технологии. MAAP предлагает архитектурные решения, интеграции с ведущими технологиями и профессиональные услуги для быстрого развертывания AI-приложений. Узнайте больше на сайте MongoDB! Magicpin трансформирует ритейл в Индии с помощью MongoDB

Компания magicpin создала крупнейшую платформу гиперлокальных ритейлеров в Индии. Сотрудничая с локальными магазинами и используя модель оплаты за конверсию, magicpin увеличивает трафик и экономию для клиентов без использования складов. В основе их успеха — гибкость и масштабируемость MongoDB.

Читать подробнее

#en

@database_design | Другие наши каналы
Автоматизация откатов: повышение приоритетов транзакций

Автоматизация процесса отката низкоприоритетных транзакций при блокировке высокоприоритетных на уровне строк снижает административную нагрузку на администраторов баз данных и помогает поддерживать скорость и SLA более важных транзакций.

Читать подробнее

#en

@database_design | Другие наши каналы
Кто такой Data Engineer | Дата Инженер

В статье вы узнаете кто такой Data Engineer | Дата Инженер. Какие бывают направления и куда можно посмотреть, чтобы развиваться в дата-инженерии


Читать: https://habr.com/ru/articles/830376/

#ru

@database_design | Другие наши каналы
Красота и изящество таблицы ASCII

Если вы программист или хотя бы немного связаны с программированием1, то без сомнения сталкивались с таблицей ASCII.

Таблица ASCII полезна. Но знали ли вы, что она ещё красива и изящна?



Сегодня даже не близкие к программированию люди могут знать об ASCII благодаря книгам и фильмам наподобие «Марсианина»2

ASCII по-прежнему с нами; даже если вы передаёте современный Unicode3, то должны знать, что самый популярный формат кодировки UTF-8 специально спроектирован как обратно совместимый с ASCII! Декодировав эту статью как ASCII, вы в целом поймёте её смысл… если закроете глаза на мусорные символы в конце предложений.

Читать: https://habr.com/ru/companies/ruvds/articles/831138/

#ru

@database_design | Другие наши каналы
Инновации в использовнии ИИ с помощью Iguazio и MongoDB

В статье обсуждается совместное решение Iguazio и MongoDB для создания надёжных и масштабируемых приложений на базе генеративного ИИ. Оно упрощает процесс обработки данных и их хранения, что помогает ускорить выход ИИ-приложений в продакшен, снижает риски и улучшает управление. MAAP: Новая Программа для Быстрого Внедрения ИИ от MongoDB

MongoDB представил MAAP — программу, которая поможет организациям ускорить внедрение ИИ технологий. Программа включает готовые архитектуры, полный стек технологий и интеграции с ведущими компаниями, такими как Google Cloud и Microsoft Azure. Узнайте больше на сайте программы!

Читать подробнее

#en

@database_design | Другие наши каналы
В чем сходство и различия технологий DLP и DAG? Почему один класс систем не заменяет другой?

Дмитрий Богомолов, архитектор отдела проектирования, подготовил материал о ключевых различиям DLP и DAG-решений.

Стремительный рост объемов неструктурированного корпоративного контента стал одной из острейших проблем для ИТ- и ИБ-подразделений. При этом, по оценке международной аналитической компании ITC, суммарный объем данных в ближайшей перспективе достигнет уровня 175 зеттабайт, или 175 миллиардов гигабайт, и существенная доля такой информации будет неструктурированной.

Поэтому управление доступом к неструктурированным данным становится проблемой для большинства крупных компаний. Мы часто слышим, что для решения подобных задач достаточно использовать DLP-системы. Да, нередко подобные продукты закрывают ряд задач по управлению доступом к неструктурированным данным, но в большинстве случаев использование специализированных DAG-платформ более эффективно с точки зрения управления рисками в крупных компаниях.


Читать: https://habr.com/ru/companies/solarsecurity/articles/831416/

#ru

@database_design | Другие наши каналы
Важные заметки по Data Consistency и MicroTx

В статье автор делится своими наработками и замечаниями по теме консистентности данных и MicroTx. Это может быть полезно для тех, кто работает с распределенными системами и ищет способы улучшения надежности своих приложений.

Читать подробнее

#en

@database_design | Другие наши каналы
Эффективность на максимум: как выбрать оптимальное сетевое хранилище (NAS) для корпоративной среды

В современном мире, где объемы данных растут экспоненциально, а требования к их доступности и безопасности становятся все жестче, выбор оптимального сетевого хранилища (Network Attached Storage, NAS) становится критически важной задачей для профессионалов и продвинутых пользователей. Правильно подобранное NAS-решение может стать ключевым фактором эффективности IT-инфраструктуры, обеспечивая не только надежное хранение данных, но и повышая производительность всей системы в целом.

При покупке NAS необходимо учитывать множество факторов, каждый из которых может существенно повлиять на эффективность работы и общую стоимость владения системой. Рассмотрим подробнее основные аспекты, на которые следует обратить внимание при выборе NAS для корпоративного использования.


Читать: https://habr.com/ru/companies/x-com/articles/831714/

#ru

@database_design | Другие наши каналы
Заставляем работать MinIO и Postgresql вместе

Всем привет, в этой статье я хочу рассказать, как у меня получилось интегрировать MinIO и Postgres, а именно, что после каждой загрузки картинки в объектное хранилище у нас появляется запись в БД.


Читать: https://habr.com/ru/articles/831668/

#ru

@database_design | Другие наши каналы
🥇 Соревнования для разработчиков: Добро пожаловать на Tech Olympics!

Представьте, что разработчики соревнуются как атлеты, показывая свои навыки в захватывающих дисциплинах: от эстафетного кодинга до охоты на баги и задач по кибербезопасности. Tech Olympics могли бы объединить лучшие умы в сфере технологий для уникальных состязаний. Узнайте больше в статье на MongoDB Blog! Внедрение генеративного ИИ с MongoDB и Iguazio

Искусственный интеллект открывает новые возможности для бизнеса, от улучшения взаимодействия с клиентами до автоматизации процессов. Решение от MongoDB и Iguazio обеспечивает масштабируемое и надежное внедрение ИИ-приложений, устраняя риски и улучшая производительность. Узнайте больше о возможностях на нашем сайте!

Читать подробнее

#en

@database_design | Другие наши каналы
PostgreSQL 16. Страницы и версии строк. Часть 3

Данная статья является продолжением: PostgreSQL 16. Изоляция транзакций. Часть 2.

В этой части мы рассмотрим, из каких частей состоит страница в PostgreSQL, как выполняются операции CRUD (создание, чтение, обновление, удаление) для строк с сохранением нескольких версий одной и той же строки в таблице и как на это влияют транзакции. Также рассмотрим вложенные транзакции.


Читать: https://habr.com/ru/articles/830924/

#ru

@database_design | Другие наши каналы
Активоцентричность и хранение данных [Оголяемся технологически. MaxPatrol SIEM]

Привет! Меня зовут Иван Прохоров, я руководитель продукта MaxPatrol SIEM. Мы продолжаем наше технологическое погружение в наш SIEM и сегодня расскажем об активоцентричности и хранении данных. А помогать мне в этом будет мой коллега, архитектор продукта MaхPatrol SIEM, Роман Сергеев.

В прошлой статье мы рассказали, как устроен MaхPatrol SIEM, взглянули на его пайплайн и поговорили про нормализацию и обогащение данных об инцидентах. Тогда же мы вскользь затронули тему активов и сегодня обсудим ее более детально. Разберемся, что такое цифровые активы, зачем они нужны, как их используют и защищают.
И вновь под капот!

Читать: https://habr.com/ru/companies/pt/articles/831106/

#ru

@database_design | Другие наши каналы
Базы данных. Основы разработки и работа с индексами в PostgreSQL

Продолжаем делиться полезными инсайтами с наших корпоративных митапов. Сегодняшний спикер, старший бэкенд-разработчик Factory5 Роман Гордиенко рассказывает об основных понятиях реляционных баз данных и о том, как использовать индексы в PostgreSQL. Информация будет полезна всем, кто работает с реляционными базами данных или планирует это делать в будущем.


Читать: https://habr.com/ru/companies/factory5/articles/832174/

#ru

@database_design | Другие наши каналы
Colud Native vs Cloud Agnostic в Data Engineering'е: выбираем подход

Сейчас развертывание дата платформ и решений для аналитки в облаке - явление повсеместное. Кажется, что так было (и будет?) всегда. При этом существует постоянное (но не всегда очевидное) противостояние между подходами Cloud Native и Cloud Agnostic. Cloud Native поддерживает использование специфических сервисов конкретного облачного провайдера, в то время как Cloud Agnostic нацелен на создание приложений, которые могут работать на различных облачных платформах без изменений.

Важно осознавать различия между этими подходами и принимать обоснованные решения при выборе одного из них для своего проекта. Этот выбор может существенно повлиять на архитектуру, масштабируемость вашей дата платформы и стоимость разработки и поддержки.

Однако важно помнить, что не следует впадать в крайности и быть абсолютно приверженным только одному из подходов (вспомним акисому Эскобара). Иногда оптимальным решением может быть комбинация обоих подходов, чтобы достичь оптимального баланса между гибкостью и эффективностью.

В данной статье я попытаюсь описать подход, который в итоге я внедрил в своей команде для построения дата-инфраструктуры.


Читать: https://habr.com/ru/articles/829620/

#ru

@database_design | Другие наши каналы