Как организовать анализ большого объема данных в реальном времени
С ростом сложности ИТ-систем и задач аналитики изменяются требования и к возможностям инструментов. Для многих сценариев приоритетными становятся решения, которые могут работать как с историческими данными, так и с теми, которые обновляются в реальном времени. То есть аналитикам все чаще нужен инструмент, работающий на стыке возможностей транзакционных и аналитических (OLAP и OLTP) систем.
Меня зовут Николай Карлов. Я директор инновационных проектов в VK Tech. В этой статье я расскажу, что такое HTAP-системы, какие преимущества они предоставляют, и познакомлю с нашей колоночной СУБД Tarantool Column Store, которая реализует HTAP-обработку.
Статья подготовлена по мотивам вебинара «Анализируем данные в Real-time». Его вы можете посмотреть здесь.
Читать: https://habr.com/ru/companies/vk/articles/832584/
#ru
@database_design | Другие наши каналы
С ростом сложности ИТ-систем и задач аналитики изменяются требования и к возможностям инструментов. Для многих сценариев приоритетными становятся решения, которые могут работать как с историческими данными, так и с теми, которые обновляются в реальном времени. То есть аналитикам все чаще нужен инструмент, работающий на стыке возможностей транзакционных и аналитических (OLAP и OLTP) систем.
Меня зовут Николай Карлов. Я директор инновационных проектов в VK Tech. В этой статье я расскажу, что такое HTAP-системы, какие преимущества они предоставляют, и познакомлю с нашей колоночной СУБД Tarantool Column Store, которая реализует HTAP-обработку.
Статья подготовлена по мотивам вебинара «Анализируем данные в Real-time». Его вы можете посмотреть здесь.
Читать: https://habr.com/ru/companies/vk/articles/832584/
#ru
@database_design | Другие наши каналы
Безопасность телекоммуникаций в Великобритании: как MongoDB помогает соблюдать Закон о безопасности телекоммуникаций
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Дискеты в наше время: Япония победила их в 2024, метро Сан-Франциско будет использовать до 2030
В эпоху облачных хранилищ и многотерабайтных жестких дисков использование дискет кажется анахронизмом. Однако несмотря на ограниченную емкость и уязвимость к воздействию внешних факторов, они все еще находят применение.
Например, мы привыкли видеть Японию технологическим лидером во многих отношениях. Так и есть, но это не помогло им избежать проблемы хранения данных на флоппи-дисках. Анастасия Босина, ML-инженер, разобралась, почему Страна восходящего солнца начала борьбу с дискетами и победила, почему по тому же пути не пошел американский Сан-Франциско, и чем это грозит.
Читать: https://habr.com/ru/companies/productstar/articles/833398/
#ru
@database_design | Другие наши каналы
В эпоху облачных хранилищ и многотерабайтных жестких дисков использование дискет кажется анахронизмом. Однако несмотря на ограниченную емкость и уязвимость к воздействию внешних факторов, они все еще находят применение.
Например, мы привыкли видеть Японию технологическим лидером во многих отношениях. Так и есть, но это не помогло им избежать проблемы хранения данных на флоппи-дисках. Анастасия Босина, ML-инженер, разобралась, почему Страна восходящего солнца начала борьбу с дискетами и победила, почему по тому же пути не пошел американский Сан-Франциско, и чем это грозит.
Читать: https://habr.com/ru/companies/productstar/articles/833398/
#ru
@database_design | Другие наши каналы
Тестируем SSD. Чтобы выросли IOPS, нужно всего лишь… сменить версию PCIe?
Привет, Хабр! Сегодня мы снова будем экспериментировать, но уже не с FFmpeg, как до этого, а с твердотельными накопителями. Относительно бенчмарков и их производительности принято считать, что показатель IOPS с разными версиями PCIe интерфейса почти не меняется. Так как в отличие от скорости шины данных этот показатель больше привязан к способности контроллера самого SSD осуществлять определенное количество операций в секунду.
Убеждение это родилось в среде обычных ПК-пользователей. Однако в силу его повсеместности часто встречается, в том числе когда речь заходит о моделях предназначенных для дата-центров. И как в очередной раз оказалось, наиболее частое мнение не всегда является верным.
Читать: https://habr.com/ru/companies/cdnnow/articles/833418/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Сегодня мы снова будем экспериментировать, но уже не с FFmpeg, как до этого, а с твердотельными накопителями. Относительно бенчмарков и их производительности принято считать, что показатель IOPS с разными версиями PCIe интерфейса почти не меняется. Так как в отличие от скорости шины данных этот показатель больше привязан к способности контроллера самого SSD осуществлять определенное количество операций в секунду.
Убеждение это родилось в среде обычных ПК-пользователей. Однако в силу его повсеместности часто встречается, в том числе когда речь заходит о моделях предназначенных для дата-центров. И как в очередной раз оказалось, наиболее частое мнение не всегда является верным.
Читать: https://habr.com/ru/companies/cdnnow/articles/833418/
#ru
@database_design | Другие наши каналы
4 тысячи заметок?! Как я веду личную базу знаний в Obsidian
В моей базе знаний 4 000 заметок.
Да, у меня немного съехала крыша на этой теме. Но решение создать систему для ведения заметок три года назад — пока что лучшая из моих интеллектуальных инвестиций. В этом посте хочу поделиться, зачем я это делаю, в каком формате и какие полезные практические кейсы для себя нашел. Тема бездонная, на самом деле. Можете взять часть идей и развить у себя.
Читать: https://habr.com/ru/articles/833550/
#ru
@database_design | Другие наши каналы
В моей базе знаний 4 000 заметок.
Да, у меня немного съехала крыша на этой теме. Но решение создать систему для ведения заметок три года назад — пока что лучшая из моих интеллектуальных инвестиций. В этом посте хочу поделиться, зачем я это делаю, в каком формате и какие полезные практические кейсы для себя нашел. Тема бездонная, на самом деле. Можете взять часть идей и развить у себя.
Читать: https://habr.com/ru/articles/833550/
#ru
@database_design | Другие наши каналы
Гипотеза о влиянии относительного соотношения ожиданий СУБД на производительность СУБД
О направлении исследований на ближайший месяц.
Итак, имеем - в ходе работы СУБД возникают события ожидания . Известно , что само по себе событие ожидания без конкретного уточнения типа ожидания и контекстной связи с показателем производительности не несёт никакой полезной информации.
Читать: https://habr.com/ru/articles/833808/
#ru
@database_design | Другие наши каналы
О направлении исследований на ближайший месяц.
Итак, имеем - в ходе работы СУБД возникают события ожидания . Известно , что само по себе событие ожидания без конкретного уточнения типа ожидания и контекстной связи с показателем производительности не несёт никакой полезной информации.
Читать: https://habr.com/ru/articles/833808/
#ru
@database_design | Другие наши каналы
Высокопроизводительные вычисления для всех: Agnostiq и MongoDB
Компания Agnostiq облегчает доступ к высокопроизводительным вычислениям (HPC) благодаря платформе Covalent, которая позволяет исследователям запускать масштабные вычислительные задачи без глубоких знаний в области разработки. Covalent использует MongoDB Atlas для обеспечения интероперабельности и масштабируемости в мультиоблачной среде. UK
Читать подробнее
#en
@database_design | Другие наши каналы
Компания Agnostiq облегчает доступ к высокопроизводительным вычислениям (HPC) благодаря платформе Covalent, которая позволяет исследователям запускать масштабные вычислительные задачи без глубоких знаний в области разработки. Covalent использует MongoDB Atlas для обеспечения интероперабельности и масштабируемости в мультиоблачной среде. UK
Читать подробнее
#en
@database_design | Другие наши каналы
Новые возможности Oracle Autonomous Health Framework 24.7
Вышла новая версия Oracle Autonomous Health Framework 24.7. Включены отдельное обновление Java от AHF, улучшенный мониторинг и патчинг Platinum, новые сводки проблем и многое другое. Узнайте подробности!
Читать подробнее
#en
@database_design | Другие наши каналы
Вышла новая версия Oracle Autonomous Health Framework 24.7. Включены отдельное обновление Java от AHF, улучшенный мониторинг и патчинг Platinum, новые сводки проблем и многое другое. Узнайте подробности!
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Autonomous Health Framework (AHF) Version 24.7 Released
Oracle Autonomous Health Framework 24.7 includes the ability to upgrade Java independently of AHF, improved Platinum monitoring and patching, new Problem Summaries and more. - learn more.
Чем накопители промышленного уровня отличаются от бытовых
Всем очевидно, что промышленные системы вычислений и хранения данных требуют особого подхода к обеспечению их надежности, долговечности и производительности. Поэтому и качество применяемого в таких условиях оборудования должно выходить за рамки стандартных потребительских решений. Сегодня мы поговорим подробнее о промышленных решениях Transcend и разберемся, в чем именно заключаются эти отличия.
Читать: https://habr.com/ru/companies/x-com/articles/834116/
#ru
@database_design | Другие наши каналы
Всем очевидно, что промышленные системы вычислений и хранения данных требуют особого подхода к обеспечению их надежности, долговечности и производительности. Поэтому и качество применяемого в таких условиях оборудования должно выходить за рамки стандартных потребительских решений. Сегодня мы поговорим подробнее о промышленных решениях Transcend и разберемся, в чем именно заключаются эти отличия.
Читать: https://habr.com/ru/companies/x-com/articles/834116/
#ru
@database_design | Другие наши каналы
PostgreSQL 16. Снимки данных. Часть 4
Данная статья является продолжением: PostgreSQL 16. Страницы и версии строк. Часть 3.
В этой части мы поговорим о том, как ограничивается видимость транзакций с помощью снимков данных. Рассмотрим процесс создания снимков и их работу в условиях многоверсионности. Также мы обсудим понятие «горизонта транзакции» и процесс экспорта снимка данных.
Читать: https://habr.com/ru/articles/833898/
#ru
@database_design | Другие наши каналы
Данная статья является продолжением: PostgreSQL 16. Страницы и версии строк. Часть 3.
В этой части мы поговорим о том, как ограничивается видимость транзакций с помощью снимков данных. Рассмотрим процесс создания снимков и их работу в условиях многоверсионности. Также мы обсудим понятие «горизонта транзакции» и процесс экспорта снимка данных.
Читать: https://habr.com/ru/articles/833898/
#ru
@database_design | Другие наши каналы
Создание аналога Google Photos на собственном сервере
Создание собственного облачного хранилища с автоматическим менеджером фотографий.
Изучение опенсорс софта, нацеленного на автоматический менеджинг фотографий, сравнение софта между собой, установка на тестовый сервер, просмотр с разных устройств.
Читать: https://habr.com/ru/articles/834374/
#ru
@database_design | Другие наши каналы
Создание собственного облачного хранилища с автоматическим менеджером фотографий.
Изучение опенсорс софта, нацеленного на автоматический менеджинг фотографий, сравнение софта между собой, установка на тестовый сервер, просмотр с разных устройств.
Читать: https://habr.com/ru/articles/834374/
#ru
@database_design | Другие наши каналы
Обновление Atlas Stream Processing!
MongoDB расширяет возможности Atlas Stream Processing: теперь поддерживаются новые регионы AWS, VPC peering и расширенные функции для Apache Kafka. В числе нововведений — 8 новых регионов AWS, включение VPC peering для Apache Kafka и обновленный Atlas Admin API. Узнайте больше на блоге MongoDB!
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB расширяет возможности Atlas Stream Processing: теперь поддерживаются новые регионы AWS, VPC peering и расширенные функции для Apache Kafka. В числе нововведений — 8 новых регионов AWS, включение VPC peering для Apache Kafka и обновленный Atlas Admin API. Узнайте больше на блоге MongoDB!
Читать подробнее
#en
@database_design | Другие наши каналы
Как MongoDB помогает CoPilot AI масштабировать персонализированные продажи
CoPilot AI использует искусственный интеллект для автоматизации и персонализации продаж, работая, в основном, через LinkedIn. Для обработки больших объемов данных и масштабируемости они выбрали MongoDB Atlas. Узнайте, как это улучшило их производительность и снизило затраты.
Читать подробнее
#en
@database_design | Другие наши каналы
CoPilot AI использует искусственный интеллект для автоматизации и персонализации продаж, работая, в основном, через LinkedIn. Для обработки больших объемов данных и масштабируемости они выбрали MongoDB Atlas. Узнайте, как это улучшило их производительность и снизило затраты.
Читать подробнее
#en
@database_design | Другие наши каналы
Новое в мире AI: MongoDB и партнёры
MongoDB расширяет возможности для ИИ-разработчиков с запуском программы MAAP. В июле присоединилось сразу девять новых партнёров, предоставляющих интеграции для MongoDB. Это партнёрство поможет компаниям быстрее и безопаснее разрабатывать генеративные AI-приложения.
Читать подробнее: [ссылка на статью] CoPilot AI и MongoDB помогают персонализировать продажи
CoPilot AI использует MongoDB для автоматизации и персонализации продаж через AI. Решение помогает бизнесам масштабировать взаимодействия и повысить успех кампаний, используя технологии анализа настроений и прогнозирования ответов. Узнайте больше о их подходе и технологии.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB расширяет возможности для ИИ-разработчиков с запуском программы MAAP. В июле присоединилось сразу девять новых партнёров, предоставляющих интеграции для MongoDB. Это партнёрство поможет компаниям быстрее и безопаснее разрабатывать генеративные AI-приложения.
Читать подробнее: [ссылка на статью] CoPilot AI и MongoDB помогают персонализировать продажи
CoPilot AI использует MongoDB для автоматизации и персонализации продаж через AI. Решение помогает бизнесам масштабировать взаимодействия и повысить успех кампаний, используя технологии анализа настроений и прогнозирования ответов. Узнайте больше о их подходе и технологии.
Читать подробнее
#en
@database_design | Другие наши каналы
Как правильно использовать большие данные: строим хранилища на MPP-СУБД
Немного контекста.
· Данные нужны везде — для понимания трендов и рисков, для улучшения клиентского опыта, для технической аналитики.
· Вместе с цифровизацией и экспоненциальным ростом объема и разнообразия данных растет потребность в надежных, масштабируемых, производительных хранилищах.
· Чтобы самостоятельно извлекать ценность из данных и оперативно использовать их в работе, нужно построить и поддерживать соответствующую инфраструктуру. Это трудозатратный подход.
Сегодня поделимся нашим опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и Data Warehouse.
Читать: https://habr.com/ru/companies/mws/articles/834246/
#ru
@database_design | Другие наши каналы
Немного контекста.
· Данные нужны везде — для понимания трендов и рисков, для улучшения клиентского опыта, для технической аналитики.
· Вместе с цифровизацией и экспоненциальным ростом объема и разнообразия данных растет потребность в надежных, масштабируемых, производительных хранилищах.
· Чтобы самостоятельно извлекать ценность из данных и оперативно использовать их в работе, нужно построить и поддерживать соответствующую инфраструктуру. Это трудозатратный подход.
Сегодня поделимся нашим опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и Data Warehouse.
Читать: https://habr.com/ru/companies/mws/articles/834246/
#ru
@database_design | Другие наши каналы
Курс AI от MongoDB совместно с Эндрю Нг и DeepLearning.AI
MongoDB объявляет о запуске нового курса "Уплотнение запросов и оптимизация". В сотрудничестве с Эндрю Нг и DeepLearning.AI, курс обучает созданию современных AI-приложений с использованием MongoDB Atlas. Узнайте, как улучшить эффективность и снизить затратность ваших AI-проектов. MongoDB улучшает внедрение ген-ИИ с партнёрскими технологиями
MongoDB расширяет сотрудничество с ключевыми технологическими компаниями для создания революционных решений в области генеративного ИИ. Партнерства с HoneyHive, Iguazio, Netlify и другими помогут ускорить разработку и внедрение RAG-приложений, предоставляя компаниям инструменты для быстрой и надежной работы с ИИ.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB объявляет о запуске нового курса "Уплотнение запросов и оптимизация". В сотрудничестве с Эндрю Нг и DeepLearning.AI, курс обучает созданию современных AI-приложений с использованием MongoDB Atlas. Узнайте, как улучшить эффективность и снизить затратность ваших AI-проектов. MongoDB улучшает внедрение ген-ИИ с партнёрскими технологиями
MongoDB расширяет сотрудничество с ключевыми технологическими компаниями для создания революционных решений в области генеративного ИИ. Партнерства с HoneyHive, Iguazio, Netlify и другими помогут ускорить разработку и внедрение RAG-приложений, предоставляя компаниям инструменты для быстрой и надежной работы с ИИ.
Читать подробнее
#en
@database_design | Другие наши каналы
Rust и иммутабельность
Привет, Хабр!
Иммутабельность данных в Rust – это основа для создания систем, устойчивых к ошибкам и сайд-эффектам. В этой статье рассмотрим, как Rust позволяет использовать неизменяемые структуры данных для улучшения производительности и безопасности приложений.
Начнем с синтаксических особенностей.
Читать: https://habr.com/ru/companies/otus/articles/832930/
#ru
@database_design | Другие наши каналы
Привет, Хабр!
Иммутабельность данных в Rust – это основа для создания систем, устойчивых к ошибкам и сайд-эффектам. В этой статье рассмотрим, как Rust позволяет использовать неизменяемые структуры данных для улучшения производительности и безопасности приложений.
Начнем с синтаксических особенностей.
Читать: https://habr.com/ru/companies/otus/articles/832930/
#ru
@database_design | Другие наши каналы
Какая скорость у MariaDB Vector?
В статье обсуждаются первые результаты производительности MariaDB Vector, нового функционала для векторного поиска. По тестам ann-benchmarks, MariaDB Vector показывает конкурентные результаты, особенно на малых наборах данных. На больших наборах он уступает только RediSearch. MariaDB Vector также быстрее строит индекс по сравнению с другими системами.
Читать подробнее
#en
@database_design | Другие наши каналы
В статье обсуждаются первые результаты производительности MariaDB Vector, нового функционала для векторного поиска. По тестам ann-benchmarks, MariaDB Vector показывает конкурентные результаты, особенно на малых наборах данных. На больших наборах он уступает только RediSearch. MariaDB Vector также быстрее строит индекс по сравнению с другими системами.
Читать подробнее
#en
@database_design | Другие наши каналы
Комплексная защита данных от Oracle
Oracle предлагает стратегию глубокой защиты с интегрированными компонентами безопасности, которые обеспечивают непрерывную защиту данных повсюду. Забудьте о разрозненных технологиях — решайте проблемы безопасности комплексно с помощью лучших решений от Oracle.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle предлагает стратегию глубокой защиты с интегрированными компонентами безопасности, которые обеспечивают непрерывную защиту данных повсюду. Забудьте о разрозненных технологиях — решайте проблемы безопасности комплексно с помощью лучших решений от Oracle.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
The Achilles Heel of Cybersecurity: Lessons from a Recent Data Breach
Unlike providers that leave gaps and require you to piece together disparate security technologies, Oracle offers a defense-in-depth strategy with a suite of best-in-class, integrated security components that seamlessly protect your data everywhere.
Новые версии MariaDB Community Server уже доступны!
Вышли обновления MariaDB Community Server для версий 11.4.3, 11.2.5, 11.1.6, 10.11.9, 10.6.19 и 10.5.26. Подробности об изменениях можно найти в релиз-заметках и логах на сайте MariaDB. Скачивайте обновления по ссылке: mariadb.com/downloads.
Читать подробнее
#en
@database_design | Другие наши каналы
Вышли обновления MariaDB Community Server для версий 11.4.3, 11.2.5, 11.1.6, 10.11.9, 10.6.19 и 10.5.26. Подробности об изменениях можно найти в релиз-заметках и логах на сайте MariaDB. Скачивайте обновления по ссылке: mariadb.com/downloads.
Читать подробнее
#en
@database_design | Другие наши каналы
Репликация: создание кластера, подключение, изменения настроек таблицы в кластере
Привет, я Майк.
Недавно я начал работать в компании Manticore на должности Developer Advocate. Я не совсем далёк от ИТ, но сейчас активно осваиваю современные технологии. В этом блоге я буду делиться своим опытом и тем, что узнаю о Manticore. Я планирую вести дневник, где буду рассказывать, что такое Manticore и как с ним работать. Давайте вместе разбираться, как все устроено, выявлять проблемы и взаимодействовать с разработчиками.
Если вам интересно изучать Manticore вместе со мной, я буду держать вас в курсе в:
Читать: https://habr.com/ru/articles/834980/
#ru
@database_design | Другие наши каналы
Привет, я Майк.
Недавно я начал работать в компании Manticore на должности Developer Advocate. Я не совсем далёк от ИТ, но сейчас активно осваиваю современные технологии. В этом блоге я буду делиться своим опытом и тем, что узнаю о Manticore. Я планирую вести дневник, где буду рассказывать, что такое Manticore и как с ним работать. Давайте вместе разбираться, как все устроено, выявлять проблемы и взаимодействовать с разработчиками.
Если вам интересно изучать Manticore вместе со мной, я буду держать вас в курсе в:
Читать: https://habr.com/ru/articles/834980/
#ru
@database_design | Другие наши каналы