Greenplum: эффективное хранение данных с Hybrid Storage
В 2021 году мы запустили Greenplum в нашем облаке. И очень скоро столкнулись с тем, что эластичность систем расчёта и хранения — это must have в облачных аналитических БД. А Greenplum — совсем не такой.
Чтобы поменять ситуацию, мы научились отгружать часть данных в S3 и назвали получившееся решение Hybrid Storage. В этой статье расскажу о нём подробнее.
Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/831780/
#ru
@database_design | Другие наши каналы
В 2021 году мы запустили Greenplum в нашем облаке. И очень скоро столкнулись с тем, что эластичность систем расчёта и хранения — это must have в облачных аналитических БД. А Greenplum — совсем не такой.
Чтобы поменять ситуацию, мы научились отгружать часть данных в S3 и назвали получившееся решение Hybrid Storage. В этой статье расскажу о нём подробнее.
Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/831780/
#ru
@database_design | Другие наши каналы
Как использовать S3-хранилище в Kubernetes: руководство с примерами
S3 — не самое быстрое хранилище и подходит не для всех задач. Но это отличный вариант, если нужно организовать надежное и масштабируемое пространство для данных большого объема. По этой причине S3 часто используют в качестве хранилища для приложений, развернутых в Kubernetes.
Привет, Хабр! Меня зовут Филипп, я DevOps-инженер в Selectel. В своей обзорной статье хочу разобрать, какие есть решения для работы с объектным хранилищем из K8s. Соберу тестовый стенд из кластера Managed Kubernetes и покажу, как с установить и настроить нужные компоненты через Terraform. Начинаем!
Читать: https://habr.com/ru/companies/selectel/articles/832768/
#ru
@database_design | Другие наши каналы
S3 — не самое быстрое хранилище и подходит не для всех задач. Но это отличный вариант, если нужно организовать надежное и масштабируемое пространство для данных большого объема. По этой причине S3 часто используют в качестве хранилища для приложений, развернутых в Kubernetes.
Привет, Хабр! Меня зовут Филипп, я DevOps-инженер в Selectel. В своей обзорной статье хочу разобрать, какие есть решения для работы с объектным хранилищем из K8s. Соберу тестовый стенд из кластера Managed Kubernetes и покажу, как с установить и настроить нужные компоненты через Terraform. Начинаем!
Читать: https://habr.com/ru/companies/selectel/articles/832768/
#ru
@database_design | Другие наши каналы
Оптимизация производительности баз данных с MongoDB
Во втором посте о возможностях наблюдаемости баз данных MongoDB авторы делятся реальным кейсом, как инструменты MongoDB Atlas помогают устранить проблемы производительности. Узнайте, как 5-шаговый процесс диагностики помогает разработчикам быстро устранять узкие места и восстанавливать работу приложений.
Читать подробнее
#en
@database_design | Другие наши каналы
Во втором посте о возможностях наблюдаемости баз данных MongoDB авторы делятся реальным кейсом, как инструменты MongoDB Atlas помогают устранить проблемы производительности. Узнайте, как 5-шаговый процесс диагностики помогает разработчикам быстро устранять узкие места и восстанавливать работу приложений.
Читать подробнее
#en
@database_design | Другие наши каналы
Новая система пользовательских уведомлений в Data Safe
Data Safe представила новую систему пользовательских уведомлений, позволяющую более точно настраивать события, которые вызывают алерты. Это поможет сократить количество ненужных уведомлений и сосредоточиться на действительно важных событиях. Data Safe доступна во всех OCI базах данных, включая облачные и локальные решения.
Читать подробнее
#en
@database_design | Другие наши каналы
Data Safe представила новую систему пользовательских уведомлений, позволяющую более точно настраивать события, которые вызывают алерты. Это поможет сократить количество ненужных уведомлений и сосредоточиться на действительно важных событиях. Data Safe доступна во всех OCI базах данных, включая облачные и локальные решения.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Introducing custom alert policies in Oracle Data Safe
Data Safe's new custom alert framework lets you more narrowly target which events produce alerts, helping reduce the
MariaDB Vector: превью уже доступно!
MariaDB представила новое превью MariaDB Vector — функции, превращающей сервер в векторную базу данных. Хотите опробовать? Описание хранения, индексации и поиска векторов уже в статье! Векторные индексы пока в стадии тестирования, но основные функции уже работают. Попробуйте и оставьте свой отзыв!
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB представила новое превью MariaDB Vector — функции, превращающей сервер в векторную базу данных. Хотите опробовать? Описание хранения, индексации и поиска векторов уже в статье! Векторные индексы пока в стадии тестирования, но основные функции уже работают. Попробуйте и оставьте свой отзыв!
Читать подробнее
#en
@database_design | Другие наши каналы
Как организовать анализ большого объема данных в реальном времени
С ростом сложности ИТ-систем и задач аналитики изменяются требования и к возможностям инструментов. Для многих сценариев приоритетными становятся решения, которые могут работать как с историческими данными, так и с теми, которые обновляются в реальном времени. То есть аналитикам все чаще нужен инструмент, работающий на стыке возможностей транзакционных и аналитических (OLAP и OLTP) систем.
Меня зовут Николай Карлов. Я директор инновационных проектов в VK Tech. В этой статье я расскажу, что такое HTAP-системы, какие преимущества они предоставляют, и познакомлю с нашей колоночной СУБД Tarantool Column Store, которая реализует HTAP-обработку.
Статья подготовлена по мотивам вебинара «Анализируем данные в Real-time». Его вы можете посмотреть здесь.
Читать: https://habr.com/ru/companies/vk/articles/832584/
#ru
@database_design | Другие наши каналы
С ростом сложности ИТ-систем и задач аналитики изменяются требования и к возможностям инструментов. Для многих сценариев приоритетными становятся решения, которые могут работать как с историческими данными, так и с теми, которые обновляются в реальном времени. То есть аналитикам все чаще нужен инструмент, работающий на стыке возможностей транзакционных и аналитических (OLAP и OLTP) систем.
Меня зовут Николай Карлов. Я директор инновационных проектов в VK Tech. В этой статье я расскажу, что такое HTAP-системы, какие преимущества они предоставляют, и познакомлю с нашей колоночной СУБД Tarantool Column Store, которая реализует HTAP-обработку.
Статья подготовлена по мотивам вебинара «Анализируем данные в Real-time». Его вы можете посмотреть здесь.
Читать: https://habr.com/ru/companies/vk/articles/832584/
#ru
@database_design | Другие наши каналы
Безопасность телекоммуникаций в Великобритании: как MongoDB помогает соблюдать Закон о безопасности телекоммуникаций
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Дискеты в наше время: Япония победила их в 2024, метро Сан-Франциско будет использовать до 2030
В эпоху облачных хранилищ и многотерабайтных жестких дисков использование дискет кажется анахронизмом. Однако несмотря на ограниченную емкость и уязвимость к воздействию внешних факторов, они все еще находят применение.
Например, мы привыкли видеть Японию технологическим лидером во многих отношениях. Так и есть, но это не помогло им избежать проблемы хранения данных на флоппи-дисках. Анастасия Босина, ML-инженер, разобралась, почему Страна восходящего солнца начала борьбу с дискетами и победила, почему по тому же пути не пошел американский Сан-Франциско, и чем это грозит.
Читать: https://habr.com/ru/companies/productstar/articles/833398/
#ru
@database_design | Другие наши каналы
В эпоху облачных хранилищ и многотерабайтных жестких дисков использование дискет кажется анахронизмом. Однако несмотря на ограниченную емкость и уязвимость к воздействию внешних факторов, они все еще находят применение.
Например, мы привыкли видеть Японию технологическим лидером во многих отношениях. Так и есть, но это не помогло им избежать проблемы хранения данных на флоппи-дисках. Анастасия Босина, ML-инженер, разобралась, почему Страна восходящего солнца начала борьбу с дискетами и победила, почему по тому же пути не пошел американский Сан-Франциско, и чем это грозит.
Читать: https://habr.com/ru/companies/productstar/articles/833398/
#ru
@database_design | Другие наши каналы
Тестируем SSD. Чтобы выросли IOPS, нужно всего лишь… сменить версию PCIe?
Привет, Хабр! Сегодня мы снова будем экспериментировать, но уже не с FFmpeg, как до этого, а с твердотельными накопителями. Относительно бенчмарков и их производительности принято считать, что показатель IOPS с разными версиями PCIe интерфейса почти не меняется. Так как в отличие от скорости шины данных этот показатель больше привязан к способности контроллера самого SSD осуществлять определенное количество операций в секунду.
Убеждение это родилось в среде обычных ПК-пользователей. Однако в силу его повсеместности часто встречается, в том числе когда речь заходит о моделях предназначенных для дата-центров. И как в очередной раз оказалось, наиболее частое мнение не всегда является верным.
Читать: https://habr.com/ru/companies/cdnnow/articles/833418/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Сегодня мы снова будем экспериментировать, но уже не с FFmpeg, как до этого, а с твердотельными накопителями. Относительно бенчмарков и их производительности принято считать, что показатель IOPS с разными версиями PCIe интерфейса почти не меняется. Так как в отличие от скорости шины данных этот показатель больше привязан к способности контроллера самого SSD осуществлять определенное количество операций в секунду.
Убеждение это родилось в среде обычных ПК-пользователей. Однако в силу его повсеместности часто встречается, в том числе когда речь заходит о моделях предназначенных для дата-центров. И как в очередной раз оказалось, наиболее частое мнение не всегда является верным.
Читать: https://habr.com/ru/companies/cdnnow/articles/833418/
#ru
@database_design | Другие наши каналы
4 тысячи заметок?! Как я веду личную базу знаний в Obsidian
В моей базе знаний 4 000 заметок.
Да, у меня немного съехала крыша на этой теме. Но решение создать систему для ведения заметок три года назад — пока что лучшая из моих интеллектуальных инвестиций. В этом посте хочу поделиться, зачем я это делаю, в каком формате и какие полезные практические кейсы для себя нашел. Тема бездонная, на самом деле. Можете взять часть идей и развить у себя.
Читать: https://habr.com/ru/articles/833550/
#ru
@database_design | Другие наши каналы
В моей базе знаний 4 000 заметок.
Да, у меня немного съехала крыша на этой теме. Но решение создать систему для ведения заметок три года назад — пока что лучшая из моих интеллектуальных инвестиций. В этом посте хочу поделиться, зачем я это делаю, в каком формате и какие полезные практические кейсы для себя нашел. Тема бездонная, на самом деле. Можете взять часть идей и развить у себя.
Читать: https://habr.com/ru/articles/833550/
#ru
@database_design | Другие наши каналы
Гипотеза о влиянии относительного соотношения ожиданий СУБД на производительность СУБД
О направлении исследований на ближайший месяц.
Итак, имеем - в ходе работы СУБД возникают события ожидания . Известно , что само по себе событие ожидания без конкретного уточнения типа ожидания и контекстной связи с показателем производительности не несёт никакой полезной информации.
Читать: https://habr.com/ru/articles/833808/
#ru
@database_design | Другие наши каналы
О направлении исследований на ближайший месяц.
Итак, имеем - в ходе работы СУБД возникают события ожидания . Известно , что само по себе событие ожидания без конкретного уточнения типа ожидания и контекстной связи с показателем производительности не несёт никакой полезной информации.
Читать: https://habr.com/ru/articles/833808/
#ru
@database_design | Другие наши каналы
Высокопроизводительные вычисления для всех: Agnostiq и MongoDB
Компания Agnostiq облегчает доступ к высокопроизводительным вычислениям (HPC) благодаря платформе Covalent, которая позволяет исследователям запускать масштабные вычислительные задачи без глубоких знаний в области разработки. Covalent использует MongoDB Atlas для обеспечения интероперабельности и масштабируемости в мультиоблачной среде. UK
Читать подробнее
#en
@database_design | Другие наши каналы
Компания Agnostiq облегчает доступ к высокопроизводительным вычислениям (HPC) благодаря платформе Covalent, которая позволяет исследователям запускать масштабные вычислительные задачи без глубоких знаний в области разработки. Covalent использует MongoDB Atlas для обеспечения интероперабельности и масштабируемости в мультиоблачной среде. UK
Читать подробнее
#en
@database_design | Другие наши каналы
Новые возможности Oracle Autonomous Health Framework 24.7
Вышла новая версия Oracle Autonomous Health Framework 24.7. Включены отдельное обновление Java от AHF, улучшенный мониторинг и патчинг Platinum, новые сводки проблем и многое другое. Узнайте подробности!
Читать подробнее
#en
@database_design | Другие наши каналы
Вышла новая версия Oracle Autonomous Health Framework 24.7. Включены отдельное обновление Java от AHF, улучшенный мониторинг и патчинг Platinum, новые сводки проблем и многое другое. Узнайте подробности!
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Autonomous Health Framework (AHF) Version 24.7 Released
Oracle Autonomous Health Framework 24.7 includes the ability to upgrade Java independently of AHF, improved Platinum monitoring and patching, new Problem Summaries and more. - learn more.
Чем накопители промышленного уровня отличаются от бытовых
Всем очевидно, что промышленные системы вычислений и хранения данных требуют особого подхода к обеспечению их надежности, долговечности и производительности. Поэтому и качество применяемого в таких условиях оборудования должно выходить за рамки стандартных потребительских решений. Сегодня мы поговорим подробнее о промышленных решениях Transcend и разберемся, в чем именно заключаются эти отличия.
Читать: https://habr.com/ru/companies/x-com/articles/834116/
#ru
@database_design | Другие наши каналы
Всем очевидно, что промышленные системы вычислений и хранения данных требуют особого подхода к обеспечению их надежности, долговечности и производительности. Поэтому и качество применяемого в таких условиях оборудования должно выходить за рамки стандартных потребительских решений. Сегодня мы поговорим подробнее о промышленных решениях Transcend и разберемся, в чем именно заключаются эти отличия.
Читать: https://habr.com/ru/companies/x-com/articles/834116/
#ru
@database_design | Другие наши каналы
PostgreSQL 16. Снимки данных. Часть 4
Данная статья является продолжением: PostgreSQL 16. Страницы и версии строк. Часть 3.
В этой части мы поговорим о том, как ограничивается видимость транзакций с помощью снимков данных. Рассмотрим процесс создания снимков и их работу в условиях многоверсионности. Также мы обсудим понятие «горизонта транзакции» и процесс экспорта снимка данных.
Читать: https://habr.com/ru/articles/833898/
#ru
@database_design | Другие наши каналы
Данная статья является продолжением: PostgreSQL 16. Страницы и версии строк. Часть 3.
В этой части мы поговорим о том, как ограничивается видимость транзакций с помощью снимков данных. Рассмотрим процесс создания снимков и их работу в условиях многоверсионности. Также мы обсудим понятие «горизонта транзакции» и процесс экспорта снимка данных.
Читать: https://habr.com/ru/articles/833898/
#ru
@database_design | Другие наши каналы
Создание аналога Google Photos на собственном сервере
Создание собственного облачного хранилища с автоматическим менеджером фотографий.
Изучение опенсорс софта, нацеленного на автоматический менеджинг фотографий, сравнение софта между собой, установка на тестовый сервер, просмотр с разных устройств.
Читать: https://habr.com/ru/articles/834374/
#ru
@database_design | Другие наши каналы
Создание собственного облачного хранилища с автоматическим менеджером фотографий.
Изучение опенсорс софта, нацеленного на автоматический менеджинг фотографий, сравнение софта между собой, установка на тестовый сервер, просмотр с разных устройств.
Читать: https://habr.com/ru/articles/834374/
#ru
@database_design | Другие наши каналы
Обновление Atlas Stream Processing!
MongoDB расширяет возможности Atlas Stream Processing: теперь поддерживаются новые регионы AWS, VPC peering и расширенные функции для Apache Kafka. В числе нововведений — 8 новых регионов AWS, включение VPC peering для Apache Kafka и обновленный Atlas Admin API. Узнайте больше на блоге MongoDB!
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB расширяет возможности Atlas Stream Processing: теперь поддерживаются новые регионы AWS, VPC peering и расширенные функции для Apache Kafka. В числе нововведений — 8 новых регионов AWS, включение VPC peering для Apache Kafka и обновленный Atlas Admin API. Узнайте больше на блоге MongoDB!
Читать подробнее
#en
@database_design | Другие наши каналы
Как MongoDB помогает CoPilot AI масштабировать персонализированные продажи
CoPilot AI использует искусственный интеллект для автоматизации и персонализации продаж, работая, в основном, через LinkedIn. Для обработки больших объемов данных и масштабируемости они выбрали MongoDB Atlas. Узнайте, как это улучшило их производительность и снизило затраты.
Читать подробнее
#en
@database_design | Другие наши каналы
CoPilot AI использует искусственный интеллект для автоматизации и персонализации продаж, работая, в основном, через LinkedIn. Для обработки больших объемов данных и масштабируемости они выбрали MongoDB Atlas. Узнайте, как это улучшило их производительность и снизило затраты.
Читать подробнее
#en
@database_design | Другие наши каналы
Новое в мире AI: MongoDB и партнёры
MongoDB расширяет возможности для ИИ-разработчиков с запуском программы MAAP. В июле присоединилось сразу девять новых партнёров, предоставляющих интеграции для MongoDB. Это партнёрство поможет компаниям быстрее и безопаснее разрабатывать генеративные AI-приложения.
Читать подробнее: [ссылка на статью] CoPilot AI и MongoDB помогают персонализировать продажи
CoPilot AI использует MongoDB для автоматизации и персонализации продаж через AI. Решение помогает бизнесам масштабировать взаимодействия и повысить успех кампаний, используя технологии анализа настроений и прогнозирования ответов. Узнайте больше о их подходе и технологии.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB расширяет возможности для ИИ-разработчиков с запуском программы MAAP. В июле присоединилось сразу девять новых партнёров, предоставляющих интеграции для MongoDB. Это партнёрство поможет компаниям быстрее и безопаснее разрабатывать генеративные AI-приложения.
Читать подробнее: [ссылка на статью] CoPilot AI и MongoDB помогают персонализировать продажи
CoPilot AI использует MongoDB для автоматизации и персонализации продаж через AI. Решение помогает бизнесам масштабировать взаимодействия и повысить успех кампаний, используя технологии анализа настроений и прогнозирования ответов. Узнайте больше о их подходе и технологии.
Читать подробнее
#en
@database_design | Другие наши каналы
Как правильно использовать большие данные: строим хранилища на MPP-СУБД
Немного контекста.
· Данные нужны везде — для понимания трендов и рисков, для улучшения клиентского опыта, для технической аналитики.
· Вместе с цифровизацией и экспоненциальным ростом объема и разнообразия данных растет потребность в надежных, масштабируемых, производительных хранилищах.
· Чтобы самостоятельно извлекать ценность из данных и оперативно использовать их в работе, нужно построить и поддерживать соответствующую инфраструктуру. Это трудозатратный подход.
Сегодня поделимся нашим опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и Data Warehouse.
Читать: https://habr.com/ru/companies/mws/articles/834246/
#ru
@database_design | Другие наши каналы
Немного контекста.
· Данные нужны везде — для понимания трендов и рисков, для улучшения клиентского опыта, для технической аналитики.
· Вместе с цифровизацией и экспоненциальным ростом объема и разнообразия данных растет потребность в надежных, масштабируемых, производительных хранилищах.
· Чтобы самостоятельно извлекать ценность из данных и оперативно использовать их в работе, нужно построить и поддерживать соответствующую инфраструктуру. Это трудозатратный подход.
Сегодня поделимся нашим опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и Data Warehouse.
Читать: https://habr.com/ru/companies/mws/articles/834246/
#ru
@database_design | Другие наши каналы
Курс AI от MongoDB совместно с Эндрю Нг и DeepLearning.AI
MongoDB объявляет о запуске нового курса "Уплотнение запросов и оптимизация". В сотрудничестве с Эндрю Нг и DeepLearning.AI, курс обучает созданию современных AI-приложений с использованием MongoDB Atlas. Узнайте, как улучшить эффективность и снизить затратность ваших AI-проектов. MongoDB улучшает внедрение ген-ИИ с партнёрскими технологиями
MongoDB расширяет сотрудничество с ключевыми технологическими компаниями для создания революционных решений в области генеративного ИИ. Партнерства с HoneyHive, Iguazio, Netlify и другими помогут ускорить разработку и внедрение RAG-приложений, предоставляя компаниям инструменты для быстрой и надежной работы с ИИ.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB объявляет о запуске нового курса "Уплотнение запросов и оптимизация". В сотрудничестве с Эндрю Нг и DeepLearning.AI, курс обучает созданию современных AI-приложений с использованием MongoDB Atlas. Узнайте, как улучшить эффективность и снизить затратность ваших AI-проектов. MongoDB улучшает внедрение ген-ИИ с партнёрскими технологиями
MongoDB расширяет сотрудничество с ключевыми технологическими компаниями для создания революционных решений в области генеративного ИИ. Партнерства с HoneyHive, Iguazio, Netlify и другими помогут ускорить разработку и внедрение RAG-приложений, предоставляя компаниям инструменты для быстрой и надежной работы с ИИ.
Читать подробнее
#en
@database_design | Другие наши каналы