DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Создание аналога Google Photos на собственном сервере

Создание собственного облачного хранилища с автоматическим менеджером фотографий.

Изучение опенсорс софта, нацеленного на автоматический менеджинг фотографий, сравнение софта между собой, установка на тестовый сервер, просмотр с разных устройств.


Читать: https://habr.com/ru/articles/834374/

#ru

@database_design | Другие наши каналы
Обновление Atlas Stream Processing!

MongoDB расширяет возможности Atlas Stream Processing: теперь поддерживаются новые регионы AWS, VPC peering и расширенные функции для Apache Kafka. В числе нововведений — 8 новых регионов AWS, включение VPC peering для Apache Kafka и обновленный Atlas Admin API. Узнайте больше на блоге MongoDB!

Читать подробнее

#en

@database_design | Другие наши каналы
Как MongoDB помогает CoPilot AI масштабировать персонализированные продажи

CoPilot AI использует искусственный интеллект для автоматизации и персонализации продаж, работая, в основном, через LinkedIn. Для обработки больших объемов данных и масштабируемости они выбрали MongoDB Atlas. Узнайте, как это улучшило их производительность и снизило затраты.

Читать подробнее

#en

@database_design | Другие наши каналы
Новое в мире AI: MongoDB и партнёры

MongoDB расширяет возможности для ИИ-разработчиков с запуском программы MAAP. В июле присоединилось сразу девять новых партнёров, предоставляющих интеграции для MongoDB. Это партнёрство поможет компаниям быстрее и безопаснее разрабатывать генеративные AI-приложения.

Читать подробнее: [ссылка на статью] CoPilot AI и MongoDB помогают персонализировать продажи

CoPilot AI использует MongoDB для автоматизации и персонализации продаж через AI. Решение помогает бизнесам масштабировать взаимодействия и повысить успех кампаний, используя технологии анализа настроений и прогнозирования ответов. Узнайте больше о их подходе и технологии.

Читать подробнее

#en

@database_design | Другие наши каналы
Как правильно использовать большие данные: строим хранилища на MPP-СУБД

Немного контекста.

·       Данные нужны везде — для понимания трендов и рисков, для улучшения клиентского опыта, для технической аналитики.

·       Вместе с цифровизацией и экспоненциальным ростом объема и разнообразия данных растет потребность в надежных, масштабируемых, производительных хранилищах.

·       Чтобы самостоятельно извлекать ценность из данных и оперативно использовать их в работе, нужно построить и поддерживать соответствующую инфраструктуру. Это трудозатратный подход.

Сегодня поделимся нашим опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и Data Warehouse.


Читать: https://habr.com/ru/companies/mws/articles/834246/

#ru

@database_design | Другие наши каналы
Курс AI от MongoDB совместно с Эндрю Нг и DeepLearning.AI

MongoDB объявляет о запуске нового курса "Уплотнение запросов и оптимизация". В сотрудничестве с Эндрю Нг и DeepLearning.AI, курс обучает созданию современных AI-приложений с использованием MongoDB Atlas. Узнайте, как улучшить эффективность и снизить затратность ваших AI-проектов. MongoDB улучшает внедрение ген-ИИ с партнёрскими технологиями

MongoDB расширяет сотрудничество с ключевыми технологическими компаниями для создания революционных решений в области генеративного ИИ. Партнерства с HoneyHive, Iguazio, Netlify и другими помогут ускорить разработку и внедрение RAG-приложений, предоставляя компаниям инструменты для быстрой и надежной работы с ИИ.

Читать подробнее

#en

@database_design | Другие наши каналы
Rust и иммутабельность

Привет, Хабр!

Иммутабельность данных в Rust – это основа для создания систем, устойчивых к ошибкам и сайд-эффектам. В этой статье рассмотрим, как Rust позволяет использовать неизменяемые структуры данных для улучшения производительности и безопасности приложений.

Начнем с синтаксических особенностей.


Читать: https://habr.com/ru/companies/otus/articles/832930/

#ru

@database_design | Другие наши каналы
Какая скорость у MariaDB Vector?

В статье обсуждаются первые результаты производительности MariaDB Vector, нового функционала для векторного поиска. По тестам ann-benchmarks, MariaDB Vector показывает конкурентные результаты, особенно на малых наборах данных. На больших наборах он уступает только RediSearch. MariaDB Vector также быстрее строит индекс по сравнению с другими системами.

Читать подробнее

#en

@database_design | Другие наши каналы
Комплексная защита данных от Oracle

Oracle предлагает стратегию глубокой защиты с интегрированными компонентами безопасности, которые обеспечивают непрерывную защиту данных повсюду. Забудьте о разрозненных технологиях — решайте проблемы безопасности комплексно с помощью лучших решений от Oracle.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые версии MariaDB Community Server уже доступны!

Вышли обновления MariaDB Community Server для версий 11.4.3, 11.2.5, 11.1.6, 10.11.9, 10.6.19 и 10.5.26. Подробности об изменениях можно найти в релиз-заметках и логах на сайте MariaDB. Скачивайте обновления по ссылке: mariadb.com/downloads.

Читать подробнее

#en

@database_design | Другие наши каналы
Репликация: создание кластера, подключение, изменения настроек таблицы в кластере

Привет, я Майк.

Недавно я начал работать в компании Manticore на должности Developer Advocate. Я не совсем далёк от ИТ, но сейчас активно осваиваю современные технологии. В этом блоге я буду делиться своим опытом и тем, что узнаю о Manticore. Я планирую вести дневник, где буду рассказывать, что такое Manticore и как с ним работать. Давайте вместе разбираться, как все устроено, выявлять проблемы и взаимодействовать с разработчиками.

Если вам интересно изучать Manticore вместе со мной, я буду держать вас в курсе в:


Читать: https://habr.com/ru/articles/834980/

#ru

@database_design | Другие наши каналы
По поводу очередного диспута на тему — «где хранить бизнес-логику — в СУБД или backend?»

Вот интересно , а проводились ли сравнительные испытания производительности информационной системы - до и после переноса бизнес логики с уровня СУБД на уровень backend ?

Теоретически наверное можно сделать синтетические тесты . Очень было бы интересно, сравнить производительность. Разница однозначно должна быть .


Читать: https://habr.com/ru/articles/835160/

#ru

@database_design | Другие наши каналы
Визуализация идей: Новый подход к управлению проектами в 3D

Мы рады представить инновационное решение для управления проектами, вдохновленное нейронными сетями и современными концепциями 3D визуализации. Наш новый облачный узел позволяет пользователям взаимодействовать с проектами как с динамичной экосистемой, отображая их в виде 3D карт, что делает процесс управления идеями более интуитивным и привлекательным.
/ In to the future

Читать: https://habr.com/ru/articles/835346/

#ru

@database_design | Другие наши каналы
Как избежать проблем с производительностью S3 в своём приложении

За время работы с объектными хранилищами я встречал немало «подводных рифов» на пути к быстрому и эффективному хранению.

В этой статье я покажу, где чаще всего проседает производительность при работе с S3-совместимым хранилищем, — на примерах из реальных кейсов технической поддержки.


Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/831204/

#ru

@database_design | Другие наши каналы
Как настроить веб-приложение под высокие нагрузки

Привет, меня зовут Александр Ададуров. Я — руководитель проектов ФГБУ «Центр информационно-технического обеспечения». В этой статье я опишу опыт настройки сайта с образовательным контентом под нагрузку в пиках до 15 000 запросов в секунду или до нескольких миллионов пользователей в день.

Образовательный контент сайта представлял собой иллюстрированные HTML-страницы, видеоуроки и различные интерактивные задания, преимущественно на JavaScript, которые проверяли правильность выполнения заданий запросами к бэкенду. Сайт жил спокойной жизнью и вяло развивался до введения локдаунов в связи с распространением COVID-19. Первые месяцы карантина существенно изменили код приложения, его архитектуру и даже серверную инфраструктуру, на которой оно располагалось.


Читать: https://habr.com/ru/companies/beeline_cloud/articles/835498/

#ru

@database_design | Другие наши каналы
MariaDB на IBM Power10: Новая ступень производительности

MariaDB plc и IBM представили MariaDB Enterprise Server на архитектуре IBM Power. Это решение обеспечивает надежность, стабильность и высокую производительность, идеально подходя для ИИ и гибридных облаков. Тесты показали улучшение производительности до 4.22 раз по сравнению с системами на базе Intel x86.

Читать подробнее

#en

@database_design | Другие наши каналы
Тестирование NAND и eMMC

Когда я плотно занимался аппаратным тестированием, в рамках разработки embedded-устройств, часто бывало так, что инженеры-разработчики и я оказывались в условиях жесткого ограничения в выборе возможных компонентов NAND или eMMC. И в этой связи очень часто возникала необходимость дополнительных проверок каждого из компонентов на долговечность и качество работы. Очень часто приходилось проверять чипы-кандидаты на общий ресурс записи/чтения, скорости операций и т. п. И мне пришла идея, почему бы не поделиться своим опытом с другими специалистами, перед которыми стоят аналогичные задачи. Я хотел бы рассказать в данной статье, что такое Flash-память, почему они выходят из строя и как я организовал тестирование, как через тестирование минимизировать риски при выборе устройства хранения для разрабатываемого устройства.

Всем, кому интересна данная тема — приглашаю под кат.


Читать: https://habr.com/ru/companies/timeweb/articles/835154/

#ru

@database_design | Другие наши каналы
Укрощение ClickHouse: почему ДанКо делает Visiology намного быстрее

Привет, Хабр! Сегодня мы поговорим о том, почему BI-платформам нужен движок, какие сложности создает ClickHouse для аналитиков, когда речь действительно заходит о больших данных, зачем нужно оптимизировать SQL и о многих других вещах, которые часто остаются «за горизонтом» в дискуссиях о BI и хранении данных. Говоря другими словами, я хочу рассказать о том, как мы разрабатывали ДанКо — новый движок, который лежит сегодня в основе Visiology 3, а главное — каким образом ДанКо позволяет достичь высокой производительности в аналитических задачах (в некоторых случаях показывая ускорение вплоть до х100)! Эта статья будет полезна тем, кто еще не сталкивался с задачей организации хранения аналитических данных компании, а также интересна тем, кто как раз, наоборот, уже делал это.


Читать: https://habr.com/ru/companies/visiology/articles/835694/

#ru

@database_design | Другие наши каналы
Обратный поиск по федеративному графу Netflix

В Netflix было сделано много нового со времён выхода предыдущих материалов, посвящённых роли тех, кто отвечает за направление Content Engineering, в реализации поиска по нашему федеративному графу (federated graph). А именно, в первой статье мы идентифицировали проблему и рассказали об использовании инфраструктуры индексирования данных, а во второй мы углубились в вопрос о том, как мы пользуемся очередями. Мы дали доступ к Studio Search для всех инженеров компании, а не только для тех, кто занимается направлением Content Engineering, и переименовали этот проект в Graph Search. С Graph Search интегрировано более 100 приложений. В рамках этой системы поддерживается примерно 50 индексов. Мы продолжаем расширять её функционал. Как было обещано в предыдущем материале, здесь мы расскажем о том, как мы, объединив усилия с одной из команд, отвечающих за Studio Engineering, создавали обратный поиск (reverse search). Обратный поиск переворачивает с ног на голову стандартный подход к выполнению запросов: вместо того, чтобы искать документы, которые соответствуют запросу, он направлен на поиск запросов, соответствующих документу.


Читать: https://habr.com/ru/companies/wunderfund/articles/832284/

#ru

@database_design | Другие наши каналы
Три фичи PostgreSQL, которые будут полезны каждому новичку

Думаю, вы знаете, что поиск эффективных решений – это половина успеха. Я сам прошел через все эти тернии, когда работа с данными казалась слишком сложной и запутанной. И именно тогда я открыл для себя потрясающие возможности PostgreSQL, которые значительно мою жизнь.

Сегодня я хочу поговорить о трех фичах PostgreSQL, которые помогут сделать работу более продуктивной и вдохновить на создание более сложных и интересных проектов.

Эти фичи уже не раз выручали меня в сложных проектах, и я уверен, что они станут надежными помощниками и в вашей разработке.


Читать: https://habr.com/ru/companies/otus/articles/834314/

#ru

@database_design | Другие наши каналы
Облачные кластеры для Atlas Search теперь доступны в нескольких регионах

Теперь пользователи могут воспользоваться мульти-региональной доступностью для Search Nodes на всех крупных облачных платформах: AWS, Google Cloud и Microsoft Azure. Это позволяет лучше оптимизировать ресурсы и обеспечивает повышенную надежность и отказоустойчивость в случае сбоев.

Читать подробнее

#en

@database_design | Другие наши каналы