DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Как найти и удалить 2 Тб ненужных файлов, которые не видит СУБД? Дорабатываем pg_orphaned

PostgreSQL, как и все СУБД, основанные на его открытом коде, устроен так, что всю информацию хранит в большом количестве отдельных файлов. И они при разных обстоятельствах могут потеряться. Например, бывает так, что при заполнении таблицы или обработке транзакции происходит сбой. Процесс, породивший файл, прерывается, не удалив результаты своей работы. СУБД про этот файл ещё ничего не знает, поскольку транзакция, создавшая его, не успела закоммититься. Часть таких файлов удалится при перезапуске СУБД, а часть — нет. Так неиспользуемые файлы копятся и занимают всё больше места. Иногда их объём исчисляется терабайтами.

Меня зовут Роман Дягелев, я инженер в СберТехе, сопровождаю и разрабатываю СУБД Platform V Pangolin. Наш продукт основан на открытых решениях PostgreSQL и включает в себя собственные доработки в области безопасности, отказоустойчивости и удобства эксплуатации. Я расскажу о том, почему нам не хватило готового инструмента PostgreSQL для очистки файлового мусора и как я вместе с коллегами дорабатывал его. Надеюсь, наш опыт станет полезен тем, кто работает с инструментарием PostgreSQL и ищет решения для работы с ненужными файлами.


Читать: https://habr.com/ru/companies/sberbank/articles/825962/

#ru

@database_design | Другие наши каналы
Поздравляем новых 2024 MongoDB Community Champions!

MongoDB объявила новый состав Community Champions — группу увлеченных и преданных своему делу защитников MongoDB, включая клиентов, партнеров и лидеров сообщества. Эти 18 человек демонстрируют выдающееся лидерство в продвижении бренда и технологий MongoDB. Узнайте больше на нашем сайте! Как обучение MongoDB помогает студентам

Преподаватель Университета Иллинойса в Урбана-Шампейн рассказывает о своих курсах по системам управления базами данных и управлению данными в облаке. Особое внимание уделяется MongoDB, которая упрощает обработку данных и обеспечивает масштабируемость. Узнайте больше о том, как это помогает студентам.

Читать подробнее

#en

@database_design | Другие наши каналы
Кибер Инфраструктура 6.0 — Что нового?

Привет Хабр!

Сегодня познакомимся с ключевыми новинками в версии 6.0 нашего продукта «Кибер Инфраструктура». Кибер Инфраструктура — это гиперконвергентное решение, объединяющее виртуализацию и программно‑определяемые хранилища. Наш продукт присутствует на рынке уже достаточно давно, используется заказчиками из различных отраслей, а также служит программной основой для программно‑аппаратных комплексов ведущих отечественных производителей. Подробнее о Кибер Инфраструктуре см. в обзоре новинок в версии 5.5 здесь.


Читать: https://habr.com/ru/companies/cyberprotect/articles/829372/

#ru

@database_design | Другие наши каналы
Эффективная борьба с финансовыми преступлениями: новый подход

Компания MongoDB представила инновационный метод борьбы с мошенничеством и отмыванием денег, объединяя Vector Search и OpenAI. Этот подход позволяет выявлять скрытые угрозы в реальном времени, превосходя традиционные системы. Узнайте, как это работает и какие преимущества дает! Почему стоит учить MongoDB?

MongoDB — одна из самых популярных баз данных в веб-разработке. Обладает уникальными функциями, такими как агрегационные конвейеры и гибкая схема дизайна, упрощающими обработку данных. Узнайте, как эффективно интегрировать MongoDB в учебные курсы и помочь студентам освоить этот мощный инструмент.

Читать подробнее

#en

@database_design | Другие наши каналы
Новый релиз: MariaDB Java Connector 3.4.1

Вышла новая версия MariaDB Connector/Java 3.4.1! Из улучшений — фиксация глобальных транзакций к физическому соединению и расширенное описание хостов. Подробнее в релизных заметках и на странице загрузки. Узнайте больше на mariadb.com.

Читать подробнее

#en

@database_design | Другие наши каналы
Как перейти на многонодовую архитектуру без боли. Или почти без боли

Есть у нас флагманский продукт под названием «Единый клиент», с которым работают десятки энтерпрайз-клиентов, оперирующих в нем сотнями миллионов записей. Продукт массивный, обвешанный аналитикой и различными сложными сервисами. В какой-то момент большая часть клиентов захотела получить общий uptime в 99,9%, чего сложно достичь без резервирования решения. И мы начали погружаться в эту тему практически с нуля.

В этом материале хочу поделиться нашим опытом перехода с одной ноды на 10+, расскажу о технических нюансах и решениях, которые мы использовали, а также про всякие боли в процессе перехода.


Читать: https://habr.com/ru/companies/hflabs/articles/829544/

#ru

@database_design | Другие наши каналы
ИИ и базы данных: революция в страховой отрасли

Новейшие технологии искусственного интеллекта и базы данных меняют подход страховщиков к обработке данных. С MongoDB компании получают гибкость и мощность для обработки огромных объёмов информации, что ускоряет процессы и повышает точность решений. Узнайте больше о будущем страховой индустрии здесь. Повысьте эффективность борьбы с мошенничеством с MongoDB Atlas Vector Search!

MongoDB Atlas Vector Search помогает улучшить методы выявления мошенничества, интегрируя аналитику в реальном времени и векторный поиск. Это позволяет обнаруживать инсайты, недоступные традиционным подходам. Узнайте, как развить свои антифродовые системы с помощью MongoDB!

Читать подробнее

#en

@database_design | Другие наши каналы
Всё что нужно знать про DuckDB

В статье рассказано, как вам может помочь утка при работе с данными, с OLAP-нагрузкой и как она может плавать в вашем Data Lake. Вы узнаете всё самое важное про DuckDB и сможете попрактиковаться в работе с DuckDB.


Читать: https://habr.com/ru/articles/829502/

#ru

@database_design | Другие наши каналы
Huawei выпустила eKitStor Xtreme 200: скоростной SSD для требовательных пользователей

Компания Huawei хорошо известна. В России прекрасно представлены ноутбуки, смартфоны и прочая мобильная электроника, а также  телекоммуникационное оборудование. Но азиатского гиганта, похоже, никто не остановит, ведь компания решила пойти дальше и представила свой первый SSD-накопитель – eKitStor Xtreme 200, предназначенный для профессионалов и продвинутых пользователей. Посмотрим, чем он так хорош.


Читать: https://habr.com/ru/companies/x-com/articles/829964/

#ru

@database_design | Другие наши каналы
Go Tarantool: как построить Key-value-хранилище на сотни тысяч запросов в секунду

С увеличением сложности ИТ-систем все больше становится очевидной ограниченность привычных реализаций с простой архитектурой компонентов. Особенно это заметно в случае систем, которые должны стабильно работать с большими и интенсивными нагрузками.

Чтобы понять это, достаточно рассмотреть механику разворачивания большинства высоконагруженных систем. Например, разобрать построение системы авторизации пользователей для последующей сквозной аналитики авторизации/аутентификации между связанными сервисами компании.

Разбираемся на примере клиентского кейса, как может выглядеть такая система в части хранения данных, почему для таких задач оптимальна комбинация реляционной БД и Tarantool, а также показываем, какие показатели может обеспечить система с Tarantool.


Читать: https://habr.com/ru/companies/vk/articles/829994/

#ru

@database_design | Другие наши каналы
Дискеты начинают и выигрывают: флот Германии до сих работает с экзотическими 8-дюймовыми флоппи-дисками

Совсем недавно мы публиковали статью «Япония, наконец, победила дискеты: flawless victory спустя несколько лет борьбы». Но оказывается, до всемирного отказа от флоппи-дисков еще далеко.

Немецкие фрегаты с момента ввода в эксплуатацию работают на 8-дюймовых дискетах. От этих очень экзотичных носителей зависит многое. Корабли не смогут выполнять свои прямые функции, если у команды не окажется подобной дискеты. Как так-то?

Читать: https://habr.com/ru/companies/selectel/articles/812891/

#ru

@database_design | Другие наши каналы
СУБДиариум современного инфраструктурщика

Еще относительно недавно (каких-то лет 10–15 назад) выбор СУБД для приложения в среднестатистической корпоративной среде ограничивался всего тремя вариантами: Microsoft SQL, Oracle и MySQL. При этом каждое решение имело свою нишу. Нужно что-то серьезное под большую нагрузку — вот вам Oracle, что-то попроще — MS SQL, а если какое-то веб-приложение — то MySQL.

Но все чаще в корпоративной инфраструктуре появляются задачи, требующие нового подхода к выбору СУБД. Речь про потребности, которые смогут закрыть СУБД на основе искусственного интеллекта, или такие решения, как Big Data и NoSQL. При подборе новых решений традиционный способ выбора только ограничивает поиск и не дает нужной производительности и гибкости. При этом часто выбор СУБД сводится к «поставим PostgreSQL, на нем точно заработает». Да, в большинстве случаев заработает, так как сама по себе PostgreSQL модульная и из нее, как из конструктора, можно много чего сделать, но какими усилиями и ресурсами? Быть может, уже на этапе выбора платформы стоит задуматься о том, что подойдет лучше?

В этой статье я расскажу, какие сейчас бывают СУБД и как их можно систематизировать под конкретную задачу. Сразу оговорюсь: я не претендую на истину в последней инстанции, и вполне возможно, что кто-то смотрит на структурирование СУБД по-своему.


Читать: https://habr.com/ru/companies/jetinfosystems/articles/830502/

#ru

@database_design | Другие наши каналы
СУБДиариум современного инфраструктурщика

Еще относительно недавно (каких-то лет 10–15 назад) выбор СУБД для приложения в среднестатистической корпоративной среде ограничивался всего тремя вариантами: Microsoft SQL, Oracle и MySQL. При этом каждое решение имело свою нишу. Нужно что-то серьезное под большую нагрузку — вот вам Oracle, что-то попроще — MS SQL, а если какое-то веб-приложение — то MySQL.

Но все чаще в корпоративной инфраструктуре появляются задачи, требующие нового подхода к выбору СУБД. Речь про потребности, которые смогут закрыть СУБД на основе искусственного интеллекта, или такие решения, как Big Data и NoSQL. При подборе новых решений традиционный способ выбора только ограничивает поиск и не дает нужной производительности и гибкости. При этом часто выбор СУБД сводится к «поставим PostgreSQL, на нем точно заработает». Да, в большинстве случаев заработает, так как сама по себе PostgreSQL модульная и из нее, как из конструктора, можно много чего сделать, но какими усилиями и ресурсами? Быть может, уже на этапе выбора платформы стоит задуматься о том, что подойдет лучше?

В этой статье я расскажу, какие сейчас бывают СУБД и как их можно систематизировать под конкретную задачу. Сразу оговорюсь: я не претендую на истину в последней инстанции, и вполне возможно, что кто-то смотрит на структурирование СУБД по-своему.


Читать: https://habr.com/ru/companies/jetinfosystems/articles/830502/

#ru

@database_design | Другие наши каналы
Новая версия Oracle Database 23ai доступна для Exadata

Oracle Database 23ai теперь доступна для Exadata Database Machine, предлагая нашим клиентам преимущества передовых технологий управления данными. Присоединяясь к остальной линейке Exadata, новая версия обещает улучшенные возможности и эффективность работы с данными.

Читать подробнее

#en

@database_design | Другие наши каналы
Повышение эффективности с современными фреймворками и генеративным ИИ

Команда Technical Services Tools в MongoDB использует передовые технологии, такие как генеративный ИИ и стеки MERN и MEAN, чтобы улучшить безопасность и оптимизировать процессы поддержки клиентов. Это позволяет интегрировать инструменты в экосистему MongoDB, обеспечивая высокие стандарты сервисов. Узнайте больше!

Читать подробнее

#en

@database_design | Другие наши каналы
Magicpin создаёт крупнейшую гиперлокальную торговую платформу в Индии

Magicpin, крупнейшая гиперлокальная торговая платформа Индии, использует MongoDB для управления и масштабирования своего бизнеса. Платформа помогает местным розничным магазинам увеличить трафик и продажи без необходимости создания темных магазинов. Узнайте больше о их уникальном подходе и достижениях.
Читать подробнее

#en

@database_design | Другие наши каналы
Быстрая обработка данных в data lake с помощью SQL

Кому пришла в голову идея отправлять SQL запросы в data lake? Оказывается, это позволяет компаниям более гибко и эффективно анализировать свои данные за счёт уменьшения потребности в ETL и снижения нагрузки на корпоративное хранилище. Рассмотрим, какие популярные SQL-движки умеют это делать и как им это удаётся.

Меня зовут Владимир Озеров, я руковожу компанией Querify Labs. Мы уже порядка 10 лет занимаемся распределённым SQL, делаем всевозможные SQL-движки, в частности CedrusData — коммерческий движок на основе опенсорс проекта Trino. Сегодня поговорим про то, каким образом устроен ряд SQL-движков, которые обрабатывают данные от data lake.


Читать: https://habr.com/ru/companies/oleg-bunin/articles/828836/

#ru

@database_design | Другие наши каналы
Новая Программа MAAP от MongoDB Уже Доступна!

MongoDB объявила о запуске MongoDB AI Applications Program (MAAP), которая поможет компаниям внедрять передовые AI-технологии. MAAP предлагает архитектурные решения, интеграции с ведущими технологиями и профессиональные услуги для быстрого развертывания AI-приложений. Узнайте больше на сайте MongoDB! Magicpin трансформирует ритейл в Индии с помощью MongoDB

Компания magicpin создала крупнейшую платформу гиперлокальных ритейлеров в Индии. Сотрудничая с локальными магазинами и используя модель оплаты за конверсию, magicpin увеличивает трафик и экономию для клиентов без использования складов. В основе их успеха — гибкость и масштабируемость MongoDB.

Читать подробнее

#en

@database_design | Другие наши каналы
Автоматизация откатов: повышение приоритетов транзакций

Автоматизация процесса отката низкоприоритетных транзакций при блокировке высокоприоритетных на уровне строк снижает административную нагрузку на администраторов баз данных и помогает поддерживать скорость и SLA более важных транзакций.

Читать подробнее

#en

@database_design | Другие наши каналы
Кто такой Data Engineer | Дата Инженер

В статье вы узнаете кто такой Data Engineer | Дата Инженер. Какие бывают направления и куда можно посмотреть, чтобы развиваться в дата-инженерии


Читать: https://habr.com/ru/articles/830376/

#ru

@database_design | Другие наши каналы
Красота и изящество таблицы ASCII

Если вы программист или хотя бы немного связаны с программированием1, то без сомнения сталкивались с таблицей ASCII.

Таблица ASCII полезна. Но знали ли вы, что она ещё красива и изящна?



Сегодня даже не близкие к программированию люди могут знать об ASCII благодаря книгам и фильмам наподобие «Марсианина»2

ASCII по-прежнему с нами; даже если вы передаёте современный Unicode3, то должны знать, что самый популярный формат кодировки UTF-8 специально спроектирован как обратно совместимый с ASCII! Декодировав эту статью как ASCII, вы в целом поймёте её смысл… если закроете глаза на мусорные символы в конце предложений.

Читать: https://habr.com/ru/companies/ruvds/articles/831138/

#ru

@database_design | Другие наши каналы