DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Записки оптимизатора (Часть 7). «Нелогичные» блокировки MS SQL для систем 1С предприятия

Продолжаем тему блокировок на сервере СУБД. Сегодня «нелогичные» блокировки. Нелогичные в кавычках, потому что с точки зрения пользователя они выглядят как обычные логические (Записки оптимизатора 1С (часть 6). Логические блокировки MS SQL Server в 1С: Предприятие), но природа их совсем другая.


Читать: https://habr.com/ru/companies/softpoint/articles/823250/

#ru

@database_design | Другие наши каналы
Как Notion проектировал свой data lake, чтобы успевать за быстрым ростом

За последние три года размер данных Notion увеличился в 10 раз из‑за роста количества пользователей и объёмов контента, с которым они работают. Удвоение этого показателя происходило каждые 6–12 месяцев. Нам нужно было справиться со стремительным ростом размеров данных, соответствуя при этом постоянно растущим требованиям, которые выдвигали критически важные сценарии использования наших продуктов и аналитических систем. Особенно это справедливо в применении к новым функциям Notion AI. Для того чтобы решить эти задачи нам нужно было создать озеро данных Notion и обеспечить его масштабирование. Вот как мы это сделали.


Читать: https://habr.com/ru/companies/wunderfund/articles/828906/

#ru

@database_design | Другие наши каналы
Новые релизы Transaction Manager для Microservices от Oracle

Oracle выпустила новые версии Transaction Manager для Microservices (MicroTx). В новой версии Enterprise Edition добавлены новые функции, а также обновлены MicroTx Free и MicroTx Enterprise Edition с поддержкой новых платформ и фреймворков. Узнайте больше в статье.

Читать подробнее

#en

@database_design | Другие наши каналы
Новый релиз Oracle Key Vault 21.9

Компания Oracle анонсировала версию 21.9 Oracle Key Vault. Обновление включает важные улучшения в области безопасности и производительности, а также новые возможности для мультифакторной аутентификации и поддержки HSM. Обновление обещает повысить уровень защиты данных в корпоративных системах.

Читать подробнее

#en

@database_design | Другие наши каналы
Снижение TCO с помощью Oracle Autonomous Database Elastic Pools

Узнайте, как инновационные Elastic Pools от Oracle могут помочь экономить средства за счет консолидации баз данных. В статье рассмотрена экономическая выгода и сравнены различные варианты консолидации.

Читать подробнее

#en

@database_design | Другие наши каналы
Как найти и удалить 2 Тб ненужных файлов, которые не видит СУБД? Дорабатываем pg_orphaned

PostgreSQL, как и все СУБД, основанные на его открытом коде, устроен так, что всю информацию хранит в большом количестве отдельных файлов. И они при разных обстоятельствах могут потеряться. Например, бывает так, что при заполнении таблицы или обработке транзакции происходит сбой. Процесс, породивший файл, прерывается, не удалив результаты своей работы. СУБД про этот файл ещё ничего не знает, поскольку транзакция, создавшая его, не успела закоммититься. Часть таких файлов удалится при перезапуске СУБД, а часть — нет. Так неиспользуемые файлы копятся и занимают всё больше места. Иногда их объём исчисляется терабайтами.

Меня зовут Роман Дягелев, я инженер в СберТехе, сопровождаю и разрабатываю СУБД Platform V Pangolin. Наш продукт основан на открытых решениях PostgreSQL и включает в себя собственные доработки в области безопасности, отказоустойчивости и удобства эксплуатации. Я расскажу о том, почему нам не хватило готового инструмента PostgreSQL для очистки файлового мусора и как я вместе с коллегами дорабатывал его. Надеюсь, наш опыт станет полезен тем, кто работает с инструментарием PostgreSQL и ищет решения для работы с ненужными файлами.


Читать: https://habr.com/ru/companies/sberbank/articles/825962/

#ru

@database_design | Другие наши каналы
Поздравляем новых 2024 MongoDB Community Champions!

MongoDB объявила новый состав Community Champions — группу увлеченных и преданных своему делу защитников MongoDB, включая клиентов, партнеров и лидеров сообщества. Эти 18 человек демонстрируют выдающееся лидерство в продвижении бренда и технологий MongoDB. Узнайте больше на нашем сайте! Как обучение MongoDB помогает студентам

Преподаватель Университета Иллинойса в Урбана-Шампейн рассказывает о своих курсах по системам управления базами данных и управлению данными в облаке. Особое внимание уделяется MongoDB, которая упрощает обработку данных и обеспечивает масштабируемость. Узнайте больше о том, как это помогает студентам.

Читать подробнее

#en

@database_design | Другие наши каналы
Кибер Инфраструктура 6.0 — Что нового?

Привет Хабр!

Сегодня познакомимся с ключевыми новинками в версии 6.0 нашего продукта «Кибер Инфраструктура». Кибер Инфраструктура — это гиперконвергентное решение, объединяющее виртуализацию и программно‑определяемые хранилища. Наш продукт присутствует на рынке уже достаточно давно, используется заказчиками из различных отраслей, а также служит программной основой для программно‑аппаратных комплексов ведущих отечественных производителей. Подробнее о Кибер Инфраструктуре см. в обзоре новинок в версии 5.5 здесь.


Читать: https://habr.com/ru/companies/cyberprotect/articles/829372/

#ru

@database_design | Другие наши каналы
Эффективная борьба с финансовыми преступлениями: новый подход

Компания MongoDB представила инновационный метод борьбы с мошенничеством и отмыванием денег, объединяя Vector Search и OpenAI. Этот подход позволяет выявлять скрытые угрозы в реальном времени, превосходя традиционные системы. Узнайте, как это работает и какие преимущества дает! Почему стоит учить MongoDB?

MongoDB — одна из самых популярных баз данных в веб-разработке. Обладает уникальными функциями, такими как агрегационные конвейеры и гибкая схема дизайна, упрощающими обработку данных. Узнайте, как эффективно интегрировать MongoDB в учебные курсы и помочь студентам освоить этот мощный инструмент.

Читать подробнее

#en

@database_design | Другие наши каналы
Новый релиз: MariaDB Java Connector 3.4.1

Вышла новая версия MariaDB Connector/Java 3.4.1! Из улучшений — фиксация глобальных транзакций к физическому соединению и расширенное описание хостов. Подробнее в релизных заметках и на странице загрузки. Узнайте больше на mariadb.com.

Читать подробнее

#en

@database_design | Другие наши каналы
Как перейти на многонодовую архитектуру без боли. Или почти без боли

Есть у нас флагманский продукт под названием «Единый клиент», с которым работают десятки энтерпрайз-клиентов, оперирующих в нем сотнями миллионов записей. Продукт массивный, обвешанный аналитикой и различными сложными сервисами. В какой-то момент большая часть клиентов захотела получить общий uptime в 99,9%, чего сложно достичь без резервирования решения. И мы начали погружаться в эту тему практически с нуля.

В этом материале хочу поделиться нашим опытом перехода с одной ноды на 10+, расскажу о технических нюансах и решениях, которые мы использовали, а также про всякие боли в процессе перехода.


Читать: https://habr.com/ru/companies/hflabs/articles/829544/

#ru

@database_design | Другие наши каналы
ИИ и базы данных: революция в страховой отрасли

Новейшие технологии искусственного интеллекта и базы данных меняют подход страховщиков к обработке данных. С MongoDB компании получают гибкость и мощность для обработки огромных объёмов информации, что ускоряет процессы и повышает точность решений. Узнайте больше о будущем страховой индустрии здесь. Повысьте эффективность борьбы с мошенничеством с MongoDB Atlas Vector Search!

MongoDB Atlas Vector Search помогает улучшить методы выявления мошенничества, интегрируя аналитику в реальном времени и векторный поиск. Это позволяет обнаруживать инсайты, недоступные традиционным подходам. Узнайте, как развить свои антифродовые системы с помощью MongoDB!

Читать подробнее

#en

@database_design | Другие наши каналы
Всё что нужно знать про DuckDB

В статье рассказано, как вам может помочь утка при работе с данными, с OLAP-нагрузкой и как она может плавать в вашем Data Lake. Вы узнаете всё самое важное про DuckDB и сможете попрактиковаться в работе с DuckDB.


Читать: https://habr.com/ru/articles/829502/

#ru

@database_design | Другие наши каналы
Huawei выпустила eKitStor Xtreme 200: скоростной SSD для требовательных пользователей

Компания Huawei хорошо известна. В России прекрасно представлены ноутбуки, смартфоны и прочая мобильная электроника, а также  телекоммуникационное оборудование. Но азиатского гиганта, похоже, никто не остановит, ведь компания решила пойти дальше и представила свой первый SSD-накопитель – eKitStor Xtreme 200, предназначенный для профессионалов и продвинутых пользователей. Посмотрим, чем он так хорош.


Читать: https://habr.com/ru/companies/x-com/articles/829964/

#ru

@database_design | Другие наши каналы
Go Tarantool: как построить Key-value-хранилище на сотни тысяч запросов в секунду

С увеличением сложности ИТ-систем все больше становится очевидной ограниченность привычных реализаций с простой архитектурой компонентов. Особенно это заметно в случае систем, которые должны стабильно работать с большими и интенсивными нагрузками.

Чтобы понять это, достаточно рассмотреть механику разворачивания большинства высоконагруженных систем. Например, разобрать построение системы авторизации пользователей для последующей сквозной аналитики авторизации/аутентификации между связанными сервисами компании.

Разбираемся на примере клиентского кейса, как может выглядеть такая система в части хранения данных, почему для таких задач оптимальна комбинация реляционной БД и Tarantool, а также показываем, какие показатели может обеспечить система с Tarantool.


Читать: https://habr.com/ru/companies/vk/articles/829994/

#ru

@database_design | Другие наши каналы
Дискеты начинают и выигрывают: флот Германии до сих работает с экзотическими 8-дюймовыми флоппи-дисками

Совсем недавно мы публиковали статью «Япония, наконец, победила дискеты: flawless victory спустя несколько лет борьбы». Но оказывается, до всемирного отказа от флоппи-дисков еще далеко.

Немецкие фрегаты с момента ввода в эксплуатацию работают на 8-дюймовых дискетах. От этих очень экзотичных носителей зависит многое. Корабли не смогут выполнять свои прямые функции, если у команды не окажется подобной дискеты. Как так-то?

Читать: https://habr.com/ru/companies/selectel/articles/812891/

#ru

@database_design | Другие наши каналы
СУБДиариум современного инфраструктурщика

Еще относительно недавно (каких-то лет 10–15 назад) выбор СУБД для приложения в среднестатистической корпоративной среде ограничивался всего тремя вариантами: Microsoft SQL, Oracle и MySQL. При этом каждое решение имело свою нишу. Нужно что-то серьезное под большую нагрузку — вот вам Oracle, что-то попроще — MS SQL, а если какое-то веб-приложение — то MySQL.

Но все чаще в корпоративной инфраструктуре появляются задачи, требующие нового подхода к выбору СУБД. Речь про потребности, которые смогут закрыть СУБД на основе искусственного интеллекта, или такие решения, как Big Data и NoSQL. При подборе новых решений традиционный способ выбора только ограничивает поиск и не дает нужной производительности и гибкости. При этом часто выбор СУБД сводится к «поставим PostgreSQL, на нем точно заработает». Да, в большинстве случаев заработает, так как сама по себе PostgreSQL модульная и из нее, как из конструктора, можно много чего сделать, но какими усилиями и ресурсами? Быть может, уже на этапе выбора платформы стоит задуматься о том, что подойдет лучше?

В этой статье я расскажу, какие сейчас бывают СУБД и как их можно систематизировать под конкретную задачу. Сразу оговорюсь: я не претендую на истину в последней инстанции, и вполне возможно, что кто-то смотрит на структурирование СУБД по-своему.


Читать: https://habr.com/ru/companies/jetinfosystems/articles/830502/

#ru

@database_design | Другие наши каналы
СУБДиариум современного инфраструктурщика

Еще относительно недавно (каких-то лет 10–15 назад) выбор СУБД для приложения в среднестатистической корпоративной среде ограничивался всего тремя вариантами: Microsoft SQL, Oracle и MySQL. При этом каждое решение имело свою нишу. Нужно что-то серьезное под большую нагрузку — вот вам Oracle, что-то попроще — MS SQL, а если какое-то веб-приложение — то MySQL.

Но все чаще в корпоративной инфраструктуре появляются задачи, требующие нового подхода к выбору СУБД. Речь про потребности, которые смогут закрыть СУБД на основе искусственного интеллекта, или такие решения, как Big Data и NoSQL. При подборе новых решений традиционный способ выбора только ограничивает поиск и не дает нужной производительности и гибкости. При этом часто выбор СУБД сводится к «поставим PostgreSQL, на нем точно заработает». Да, в большинстве случаев заработает, так как сама по себе PostgreSQL модульная и из нее, как из конструктора, можно много чего сделать, но какими усилиями и ресурсами? Быть может, уже на этапе выбора платформы стоит задуматься о том, что подойдет лучше?

В этой статье я расскажу, какие сейчас бывают СУБД и как их можно систематизировать под конкретную задачу. Сразу оговорюсь: я не претендую на истину в последней инстанции, и вполне возможно, что кто-то смотрит на структурирование СУБД по-своему.


Читать: https://habr.com/ru/companies/jetinfosystems/articles/830502/

#ru

@database_design | Другие наши каналы
Новая версия Oracle Database 23ai доступна для Exadata

Oracle Database 23ai теперь доступна для Exadata Database Machine, предлагая нашим клиентам преимущества передовых технологий управления данными. Присоединяясь к остальной линейке Exadata, новая версия обещает улучшенные возможности и эффективность работы с данными.

Читать подробнее

#en

@database_design | Другие наши каналы
Повышение эффективности с современными фреймворками и генеративным ИИ

Команда Technical Services Tools в MongoDB использует передовые технологии, такие как генеративный ИИ и стеки MERN и MEAN, чтобы улучшить безопасность и оптимизировать процессы поддержки клиентов. Это позволяет интегрировать инструменты в экосистему MongoDB, обеспечивая высокие стандарты сервисов. Узнайте больше!

Читать подробнее

#en

@database_design | Другие наши каналы
Magicpin создаёт крупнейшую гиперлокальную торговую платформу в Индии

Magicpin, крупнейшая гиперлокальная торговая платформа Индии, использует MongoDB для управления и масштабирования своего бизнеса. Платформа помогает местным розничным магазинам увеличить трафик и продажи без необходимости создания темных магазинов. Узнайте больше о их уникальном подходе и достижениях.
Читать подробнее

#en

@database_design | Другие наши каналы