Colud Native vs Cloud Agnostic в Data Engineering'е: выбираем подход
Сейчас развертывание дата платформ и решений для аналитки в облаке - явление повсеместное. Кажется, что так было (и будет?) всегда. При этом существует постоянное (но не всегда очевидное) противостояние между подходами Cloud Native и Cloud Agnostic. Cloud Native поддерживает использование специфических сервисов конкретного облачного провайдера, в то время как Cloud Agnostic нацелен на создание приложений, которые могут работать на различных облачных платформах без изменений.
Важно осознавать различия между этими подходами и принимать обоснованные решения при выборе одного из них для своего проекта. Этот выбор может существенно повлиять на архитектуру, масштабируемость вашей дата платформы и стоимость разработки и поддержки.
Однако важно помнить, что не следует впадать в крайности и быть абсолютно приверженным только одному из подходов (вспомним акисому Эскобара). Иногда оптимальным решением может быть комбинация обоих подходов, чтобы достичь оптимального баланса между гибкостью и эффективностью.
В данной статье я попытаюсь описать подход, который в итоге я внедрил в своей команде для построения дата-инфраструктуры.
Читать: https://habr.com/ru/articles/829620/
#ru
@database_design | Другие наши каналы
Сейчас развертывание дата платформ и решений для аналитки в облаке - явление повсеместное. Кажется, что так было (и будет?) всегда. При этом существует постоянное (но не всегда очевидное) противостояние между подходами Cloud Native и Cloud Agnostic. Cloud Native поддерживает использование специфических сервисов конкретного облачного провайдера, в то время как Cloud Agnostic нацелен на создание приложений, которые могут работать на различных облачных платформах без изменений.
Важно осознавать различия между этими подходами и принимать обоснованные решения при выборе одного из них для своего проекта. Этот выбор может существенно повлиять на архитектуру, масштабируемость вашей дата платформы и стоимость разработки и поддержки.
Однако важно помнить, что не следует впадать в крайности и быть абсолютно приверженным только одному из подходов (вспомним акисому Эскобара). Иногда оптимальным решением может быть комбинация обоих подходов, чтобы достичь оптимального баланса между гибкостью и эффективностью.
В данной статье я попытаюсь описать подход, который в итоге я внедрил в своей команде для построения дата-инфраструктуры.
Читать: https://habr.com/ru/articles/829620/
#ru
@database_design | Другие наши каналы
Ранняя доступность в MongoDB: инновации изнутри
Хотите получить ранний доступ к новым функциям MongoDB и влиять на их разработку? Узнайте, что такое ранние доступы и превью функции. Они позволяют пользователям тестировать продукты до официального релиза, помогая улучшить их качество. Присоединяйтесь к программе раннего доступа MongoDB сегодня!
Читать подробнее
#en
@database_design | Другие наши каналы
Хотите получить ранний доступ к новым функциям MongoDB и влиять на их разработку? Узнайте, что такое ранние доступы и превью функции. Они позволяют пользователям тестировать продукты до официального релиза, помогая улучшить их качество. Присоединяйтесь к программе раннего доступа MongoDB сегодня!
Читать подробнее
#en
@database_design | Другие наши каналы
Новый контейнер образ для ORDS от Oracle
Oracle представила новый контейнерный образ для Oracle REST Data Service (ORDS). Теперь бинарное содержимое ORDS вынесено наружу, что значительно упрощает процесс изменения конфигурации. Узнайте больше о новых возможностях и их преимуществах.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle представила новый контейнерный образ для Oracle REST Data Service (ORDS). Теперь бинарное содержимое ORDS вынесено наружу, что значительно упрощает процесс изменения конфигурации. Узнайте больше о новых возможностях и их преимуществах.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Enabling the MongoDB API for ORDS containers just got a lot easier
Oracle recently published a new container image for running Oracle REST Data Service (ORDS). The new image externalises the ords binary, therefore greatly simplifying the process of making changes to the configuration
Новая функция естественного языка в Atlas Charts
MongoDB анонсировала доступность режима естественного языка в Atlas Charts. Эта функция позволяет разработчикам создавать визуализации данных, просто задавая вопросы на английском. Теперь разработка станет быстрее и проще, даже без глубоких знаний BI-инструментов. Попробуйте уже сегодня!
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB анонсировала доступность режима естественного языка в Atlas Charts. Эта функция позволяет разработчикам создавать визуализации данных, просто задавая вопросы на английском. Теперь разработка станет быстрее и проще, даже без глубоких знаний BI-инструментов. Попробуйте уже сегодня!
Читать подробнее
#en
@database_design | Другие наши каналы
Миграция неизбежна: сравниваем российские СУБД и open source, чтобы подготовиться
Привет, Хабр! На связи Роман Севрук, менеджер по развитию решений СУБД в К2Тех. Работая с крупными компаниями, я заметил тенденцию: многие до сих пор используют бесплатную PostgreSQL. Однако технологии Postgre стремительно коммерциализируются при участии российских разработчиков. Они берут мировой open source и успешно его дорабатывают.
Сейчас рынок находится в подвешенном состоянии. Бизнес понимает преимущества перехода на коммерческие решения, но привычный open source пока вроде бы справляется с задачами не хуже. Зачем менять то, что работает? Дьявол кроется в деталях, и с учетом обстоятельств, в которых мы оказались, открытые решения становятся невыгодными и даже где-то опасными. Почему лучше переходить на коммерческие СУБД вместо использования базовой PostgreSQL? Давайте разберемся в этом вопросе, рассмотрим тренды рынка и планы развития СУБД.
Мы обсудим несколько российских систем и определим, каким компаниям они подойдут. А бонусом будет детальная сравнительная таблица.
Читать: https://habr.com/ru/companies/k2tech/articles/832458/
#ru
@database_design | Другие наши каналы
Привет, Хабр! На связи Роман Севрук, менеджер по развитию решений СУБД в К2Тех. Работая с крупными компаниями, я заметил тенденцию: многие до сих пор используют бесплатную PostgreSQL. Однако технологии Postgre стремительно коммерциализируются при участии российских разработчиков. Они берут мировой open source и успешно его дорабатывают.
Сейчас рынок находится в подвешенном состоянии. Бизнес понимает преимущества перехода на коммерческие решения, но привычный open source пока вроде бы справляется с задачами не хуже. Зачем менять то, что работает? Дьявол кроется в деталях, и с учетом обстоятельств, в которых мы оказались, открытые решения становятся невыгодными и даже где-то опасными. Почему лучше переходить на коммерческие СУБД вместо использования базовой PostgreSQL? Давайте разберемся в этом вопросе, рассмотрим тренды рынка и планы развития СУБД.
Мы обсудим несколько российских систем и определим, каким компаниям они подойдут. А бонусом будет детальная сравнительная таблица.
Читать: https://habr.com/ru/companies/k2tech/articles/832458/
#ru
@database_design | Другие наши каналы
🔥1
Пайплайны, разметка и версионирование — открытые решения для работы с неструктурированными данными
Подготовили подборку решений для анализа и обработки неструктурированных данных. Инструменты помогут с разметкой текста, построением соответствующих пайплайнов и версионированием масштабных сводов информации для машинного обучения и не только. Поговорим про Sycamore, Surya, OmniParse, Unstract и Oxen — каждый из этих инструментов имеет открытый исходный код.
Кроме того, организации могут значительно сэкономить на управлении и эксплуатации неструктурированных данных за счет объектного облачного хранилища. Запустили тест-драйв, проверяйте.
Читать: https://habr.com/ru/companies/mws/articles/832504/
#ru
@database_design | Другие наши каналы
Подготовили подборку решений для анализа и обработки неструктурированных данных. Инструменты помогут с разметкой текста, построением соответствующих пайплайнов и версионированием масштабных сводов информации для машинного обучения и не только. Поговорим про Sycamore, Surya, OmniParse, Unstract и Oxen — каждый из этих инструментов имеет открытый исходный код.
Кроме того, организации могут значительно сэкономить на управлении и эксплуатации неструктурированных данных за счет объектного облачного хранилища. Запустили тест-драйв, проверяйте.
Читать: https://habr.com/ru/companies/mws/articles/832504/
#ru
@database_design | Другие наши каналы
Революция в ритейле с RAG
Исследование показало, что генеративный ИИ может увеличить прибыли в сфере моды и роскоши до $275 млрд к 2028 году. Технология Retrieval-Augmented Generation (RAG) позволяет ретейлерам улучшать персонализацию, эффективность и потребительский опыт за счет интеграции разнообразных источников данных и работы с большими объемами информации.
Для более детальной информации посетите статью!
Читать подробнее
#en
@database_design | Другие наши каналы
Исследование показало, что генеративный ИИ может увеличить прибыли в сфере моды и роскоши до $275 млрд к 2028 году. Технология Retrieval-Augmented Generation (RAG) позволяет ретейлерам улучшать персонализацию, эффективность и потребительский опыт за счет интеграции разнообразных источников данных и работы с большими объемами информации.
Для более детальной информации посетите статью!
Читать подробнее
#en
@database_design | Другие наши каналы
С заботой о CPU: как найти узкое горлышко и сконфигурировать Postgres Pro
СУБД Postgres Pro – сложный механизм, который можно гибко настраивать под конкретный тип нагрузки. Для этого в нём имеется множество параметров и инструментов. Например, одним из главных потребителей ресурсов CPU является оптимизатор/планировщик запросов, который отвечает за построение оптимального плана выполнения. Существует большое количество параметров, которые прямо или косвенно влияют на работу планировщика, но к их изменению надо подходить очень осторожно, т. к. возможен обратный эффект. Например, параметры _collapse_limit могут и помочь оптимизатору рассмотреть большее количество вариантов планов, и негативно повлиять на время планирования.
Сегодня я расскажу, как мы решали реальную проблему производительности и высокой (> 90%) утилизации ресурсов CPU на промышленном «боевом» сервере с СУБД Postgres Pro Enterprise 15, обслуживающем запросы бизнес-приложения, какие для этого использовали инструменты и что мы изменили в настройках СУБД.
Читать: https://habr.com/ru/companies/postgrespro/articles/830790/
#ru
@database_design | Другие наши каналы
СУБД Postgres Pro – сложный механизм, который можно гибко настраивать под конкретный тип нагрузки. Для этого в нём имеется множество параметров и инструментов. Например, одним из главных потребителей ресурсов CPU является оптимизатор/планировщик запросов, который отвечает за построение оптимального плана выполнения. Существует большое количество параметров, которые прямо или косвенно влияют на работу планировщика, но к их изменению надо подходить очень осторожно, т. к. возможен обратный эффект. Например, параметры _collapse_limit могут и помочь оптимизатору рассмотреть большее количество вариантов планов, и негативно повлиять на время планирования.
Сегодня я расскажу, как мы решали реальную проблему производительности и высокой (> 90%) утилизации ресурсов CPU на промышленном «боевом» сервере с СУБД Postgres Pro Enterprise 15, обслуживающем запросы бизнес-приложения, какие для этого использовали инструменты и что мы изменили в настройках СУБД.
Читать: https://habr.com/ru/companies/postgrespro/articles/830790/
#ru
@database_design | Другие наши каналы
Greenplum: эффективное хранение данных с Hybrid Storage
В 2021 году мы запустили Greenplum в нашем облаке. И очень скоро столкнулись с тем, что эластичность систем расчёта и хранения — это must have в облачных аналитических БД. А Greenplum — совсем не такой.
Чтобы поменять ситуацию, мы научились отгружать часть данных в S3 и назвали получившееся решение Hybrid Storage. В этой статье расскажу о нём подробнее.
Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/831780/
#ru
@database_design | Другие наши каналы
В 2021 году мы запустили Greenplum в нашем облаке. И очень скоро столкнулись с тем, что эластичность систем расчёта и хранения — это must have в облачных аналитических БД. А Greenplum — совсем не такой.
Чтобы поменять ситуацию, мы научились отгружать часть данных в S3 и назвали получившееся решение Hybrid Storage. В этой статье расскажу о нём подробнее.
Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/831780/
#ru
@database_design | Другие наши каналы
Как использовать S3-хранилище в Kubernetes: руководство с примерами
S3 — не самое быстрое хранилище и подходит не для всех задач. Но это отличный вариант, если нужно организовать надежное и масштабируемое пространство для данных большого объема. По этой причине S3 часто используют в качестве хранилища для приложений, развернутых в Kubernetes.
Привет, Хабр! Меня зовут Филипп, я DevOps-инженер в Selectel. В своей обзорной статье хочу разобрать, какие есть решения для работы с объектным хранилищем из K8s. Соберу тестовый стенд из кластера Managed Kubernetes и покажу, как с установить и настроить нужные компоненты через Terraform. Начинаем!
Читать: https://habr.com/ru/companies/selectel/articles/832768/
#ru
@database_design | Другие наши каналы
S3 — не самое быстрое хранилище и подходит не для всех задач. Но это отличный вариант, если нужно организовать надежное и масштабируемое пространство для данных большого объема. По этой причине S3 часто используют в качестве хранилища для приложений, развернутых в Kubernetes.
Привет, Хабр! Меня зовут Филипп, я DevOps-инженер в Selectel. В своей обзорной статье хочу разобрать, какие есть решения для работы с объектным хранилищем из K8s. Соберу тестовый стенд из кластера Managed Kubernetes и покажу, как с установить и настроить нужные компоненты через Terraform. Начинаем!
Читать: https://habr.com/ru/companies/selectel/articles/832768/
#ru
@database_design | Другие наши каналы
Оптимизация производительности баз данных с MongoDB
Во втором посте о возможностях наблюдаемости баз данных MongoDB авторы делятся реальным кейсом, как инструменты MongoDB Atlas помогают устранить проблемы производительности. Узнайте, как 5-шаговый процесс диагностики помогает разработчикам быстро устранять узкие места и восстанавливать работу приложений.
Читать подробнее
#en
@database_design | Другие наши каналы
Во втором посте о возможностях наблюдаемости баз данных MongoDB авторы делятся реальным кейсом, как инструменты MongoDB Atlas помогают устранить проблемы производительности. Узнайте, как 5-шаговый процесс диагностики помогает разработчикам быстро устранять узкие места и восстанавливать работу приложений.
Читать подробнее
#en
@database_design | Другие наши каналы
Новая система пользовательских уведомлений в Data Safe
Data Safe представила новую систему пользовательских уведомлений, позволяющую более точно настраивать события, которые вызывают алерты. Это поможет сократить количество ненужных уведомлений и сосредоточиться на действительно важных событиях. Data Safe доступна во всех OCI базах данных, включая облачные и локальные решения.
Читать подробнее
#en
@database_design | Другие наши каналы
Data Safe представила новую систему пользовательских уведомлений, позволяющую более точно настраивать события, которые вызывают алерты. Это поможет сократить количество ненужных уведомлений и сосредоточиться на действительно важных событиях. Data Safe доступна во всех OCI базах данных, включая облачные и локальные решения.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Introducing custom alert policies in Oracle Data Safe
Data Safe's new custom alert framework lets you more narrowly target which events produce alerts, helping reduce the
MariaDB Vector: превью уже доступно!
MariaDB представила новое превью MariaDB Vector — функции, превращающей сервер в векторную базу данных. Хотите опробовать? Описание хранения, индексации и поиска векторов уже в статье! Векторные индексы пока в стадии тестирования, но основные функции уже работают. Попробуйте и оставьте свой отзыв!
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB представила новое превью MariaDB Vector — функции, превращающей сервер в векторную базу данных. Хотите опробовать? Описание хранения, индексации и поиска векторов уже в статье! Векторные индексы пока в стадии тестирования, но основные функции уже работают. Попробуйте и оставьте свой отзыв!
Читать подробнее
#en
@database_design | Другие наши каналы
Как организовать анализ большого объема данных в реальном времени
С ростом сложности ИТ-систем и задач аналитики изменяются требования и к возможностям инструментов. Для многих сценариев приоритетными становятся решения, которые могут работать как с историческими данными, так и с теми, которые обновляются в реальном времени. То есть аналитикам все чаще нужен инструмент, работающий на стыке возможностей транзакционных и аналитических (OLAP и OLTP) систем.
Меня зовут Николай Карлов. Я директор инновационных проектов в VK Tech. В этой статье я расскажу, что такое HTAP-системы, какие преимущества они предоставляют, и познакомлю с нашей колоночной СУБД Tarantool Column Store, которая реализует HTAP-обработку.
Статья подготовлена по мотивам вебинара «Анализируем данные в Real-time». Его вы можете посмотреть здесь.
Читать: https://habr.com/ru/companies/vk/articles/832584/
#ru
@database_design | Другие наши каналы
С ростом сложности ИТ-систем и задач аналитики изменяются требования и к возможностям инструментов. Для многих сценариев приоритетными становятся решения, которые могут работать как с историческими данными, так и с теми, которые обновляются в реальном времени. То есть аналитикам все чаще нужен инструмент, работающий на стыке возможностей транзакционных и аналитических (OLAP и OLTP) систем.
Меня зовут Николай Карлов. Я директор инновационных проектов в VK Tech. В этой статье я расскажу, что такое HTAP-системы, какие преимущества они предоставляют, и познакомлю с нашей колоночной СУБД Tarantool Column Store, которая реализует HTAP-обработку.
Статья подготовлена по мотивам вебинара «Анализируем данные в Real-time». Его вы можете посмотреть здесь.
Читать: https://habr.com/ru/companies/vk/articles/832584/
#ru
@database_design | Другие наши каналы
Безопасность телекоммуникаций в Великобритании: как MongoDB помогает соблюдать Закон о безопасности телекоммуникаций
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Дискеты в наше время: Япония победила их в 2024, метро Сан-Франциско будет использовать до 2030
В эпоху облачных хранилищ и многотерабайтных жестких дисков использование дискет кажется анахронизмом. Однако несмотря на ограниченную емкость и уязвимость к воздействию внешних факторов, они все еще находят применение.
Например, мы привыкли видеть Японию технологическим лидером во многих отношениях. Так и есть, но это не помогло им избежать проблемы хранения данных на флоппи-дисках. Анастасия Босина, ML-инженер, разобралась, почему Страна восходящего солнца начала борьбу с дискетами и победила, почему по тому же пути не пошел американский Сан-Франциско, и чем это грозит.
Читать: https://habr.com/ru/companies/productstar/articles/833398/
#ru
@database_design | Другие наши каналы
В эпоху облачных хранилищ и многотерабайтных жестких дисков использование дискет кажется анахронизмом. Однако несмотря на ограниченную емкость и уязвимость к воздействию внешних факторов, они все еще находят применение.
Например, мы привыкли видеть Японию технологическим лидером во многих отношениях. Так и есть, но это не помогло им избежать проблемы хранения данных на флоппи-дисках. Анастасия Босина, ML-инженер, разобралась, почему Страна восходящего солнца начала борьбу с дискетами и победила, почему по тому же пути не пошел американский Сан-Франциско, и чем это грозит.
Читать: https://habr.com/ru/companies/productstar/articles/833398/
#ru
@database_design | Другие наши каналы
Тестируем SSD. Чтобы выросли IOPS, нужно всего лишь… сменить версию PCIe?
Привет, Хабр! Сегодня мы снова будем экспериментировать, но уже не с FFmpeg, как до этого, а с твердотельными накопителями. Относительно бенчмарков и их производительности принято считать, что показатель IOPS с разными версиями PCIe интерфейса почти не меняется. Так как в отличие от скорости шины данных этот показатель больше привязан к способности контроллера самого SSD осуществлять определенное количество операций в секунду.
Убеждение это родилось в среде обычных ПК-пользователей. Однако в силу его повсеместности часто встречается, в том числе когда речь заходит о моделях предназначенных для дата-центров. И как в очередной раз оказалось, наиболее частое мнение не всегда является верным.
Читать: https://habr.com/ru/companies/cdnnow/articles/833418/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Сегодня мы снова будем экспериментировать, но уже не с FFmpeg, как до этого, а с твердотельными накопителями. Относительно бенчмарков и их производительности принято считать, что показатель IOPS с разными версиями PCIe интерфейса почти не меняется. Так как в отличие от скорости шины данных этот показатель больше привязан к способности контроллера самого SSD осуществлять определенное количество операций в секунду.
Убеждение это родилось в среде обычных ПК-пользователей. Однако в силу его повсеместности часто встречается, в том числе когда речь заходит о моделях предназначенных для дата-центров. И как в очередной раз оказалось, наиболее частое мнение не всегда является верным.
Читать: https://habr.com/ru/companies/cdnnow/articles/833418/
#ru
@database_design | Другие наши каналы
4 тысячи заметок?! Как я веду личную базу знаний в Obsidian
В моей базе знаний 4 000 заметок.
Да, у меня немного съехала крыша на этой теме. Но решение создать систему для ведения заметок три года назад — пока что лучшая из моих интеллектуальных инвестиций. В этом посте хочу поделиться, зачем я это делаю, в каком формате и какие полезные практические кейсы для себя нашел. Тема бездонная, на самом деле. Можете взять часть идей и развить у себя.
Читать: https://habr.com/ru/articles/833550/
#ru
@database_design | Другие наши каналы
В моей базе знаний 4 000 заметок.
Да, у меня немного съехала крыша на этой теме. Но решение создать систему для ведения заметок три года назад — пока что лучшая из моих интеллектуальных инвестиций. В этом посте хочу поделиться, зачем я это делаю, в каком формате и какие полезные практические кейсы для себя нашел. Тема бездонная, на самом деле. Можете взять часть идей и развить у себя.
Читать: https://habr.com/ru/articles/833550/
#ru
@database_design | Другие наши каналы
Гипотеза о влиянии относительного соотношения ожиданий СУБД на производительность СУБД
О направлении исследований на ближайший месяц.
Итак, имеем - в ходе работы СУБД возникают события ожидания . Известно , что само по себе событие ожидания без конкретного уточнения типа ожидания и контекстной связи с показателем производительности не несёт никакой полезной информации.
Читать: https://habr.com/ru/articles/833808/
#ru
@database_design | Другие наши каналы
О направлении исследований на ближайший месяц.
Итак, имеем - в ходе работы СУБД возникают события ожидания . Известно , что само по себе событие ожидания без конкретного уточнения типа ожидания и контекстной связи с показателем производительности не несёт никакой полезной информации.
Читать: https://habr.com/ru/articles/833808/
#ru
@database_design | Другие наши каналы
Высокопроизводительные вычисления для всех: Agnostiq и MongoDB
Компания Agnostiq облегчает доступ к высокопроизводительным вычислениям (HPC) благодаря платформе Covalent, которая позволяет исследователям запускать масштабные вычислительные задачи без глубоких знаний в области разработки. Covalent использует MongoDB Atlas для обеспечения интероперабельности и масштабируемости в мультиоблачной среде. UK
Читать подробнее
#en
@database_design | Другие наши каналы
Компания Agnostiq облегчает доступ к высокопроизводительным вычислениям (HPC) благодаря платформе Covalent, которая позволяет исследователям запускать масштабные вычислительные задачи без глубоких знаний в области разработки. Covalent использует MongoDB Atlas для обеспечения интероперабельности и масштабируемости в мультиоблачной среде. UK
Читать подробнее
#en
@database_design | Другие наши каналы
Новые возможности Oracle Autonomous Health Framework 24.7
Вышла новая версия Oracle Autonomous Health Framework 24.7. Включены отдельное обновление Java от AHF, улучшенный мониторинг и патчинг Platinum, новые сводки проблем и многое другое. Узнайте подробности!
Читать подробнее
#en
@database_design | Другие наши каналы
Вышла новая версия Oracle Autonomous Health Framework 24.7. Включены отдельное обновление Java от AHF, улучшенный мониторинг и патчинг Platinum, новые сводки проблем и многое другое. Узнайте подробности!
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Autonomous Health Framework (AHF) Version 24.7 Released
Oracle Autonomous Health Framework 24.7 includes the ability to upgrade Java independently of AHF, improved Platinum monitoring and patching, new Problem Summaries and more. - learn more.