Кратко про NewSQL
NewSQL - это класс систем управления реляционными БД, представляет собой слияние преимуществ SQL-бд с инновациями, направленными на решение проблем масштабируемости и производительности.
В основе NewSQL лежит стремление сохранить полную совместимость с SQL, т.е разработчики, уже знакомые с SQL, могут легко адаптироваться к использованию NewSQL систем без необходимости изучения чего-либо другого.
Помимо базового SQL синтаксиса, многие NewSQL системы вводят дополнительные расширения, направленные на улучшение производительности Эти расширения могут включать в себя новые функции, процедуры и методы оптимизации запросов, которые традиционные SQL-системы не поддерживают.
В сегодяшней статье рассмотрим в общем виде то, что из себя представляет NewSQL
Читать: https://habr.com/ru/companies/otus/articles/792722/
NewSQL - это класс систем управления реляционными БД, представляет собой слияние преимуществ SQL-бд с инновациями, направленными на решение проблем масштабируемости и производительности.
В основе NewSQL лежит стремление сохранить полную совместимость с SQL, т.е разработчики, уже знакомые с SQL, могут легко адаптироваться к использованию NewSQL систем без необходимости изучения чего-либо другого.
Помимо базового SQL синтаксиса, многие NewSQL системы вводят дополнительные расширения, направленные на улучшение производительности Эти расширения могут включать в себя новые функции, процедуры и методы оптимизации запросов, которые традиционные SQL-системы не поддерживают.
В сегодяшней статье рассмотрим в общем виде то, что из себя представляет NewSQL
Читать: https://habr.com/ru/companies/otus/articles/792722/
Maximizing Growth: The Power of AI Unleashed in Payments
Read: https://www.mongodb.com/blog/post/maximizing-growth-power-ai-unleashed-payments
Read: https://www.mongodb.com/blog/post/maximizing-growth-power-ai-unleashed-payments
Accelerate your Informed Decision-Making: Enable Path Analytics on Knowledge Graphs
With zero lines of code and just a few clicks you can create a property graph view from an RDF knowledge graph. This enables you to run path analysis on a knowledge graph. Find out why is that interesting.
Read: https://blogs.oracle.com/database/post/accelerate-your-informed-decisionmaking-enable-path-analytics-on-knowledge-graphs
With zero lines of code and just a few clicks you can create a property graph view from an RDF knowledge graph. This enables you to run path analysis on a knowledge graph. Find out why is that interesting.
Read: https://blogs.oracle.com/database/post/accelerate-your-informed-decisionmaking-enable-path-analytics-on-knowledge-graphs
Make better Machine Learning predictions with spatial algorithms
Location is an important factor in the outcomes that machine learning predicts, and Machine Learning in Oracle Autonomous Database will soon be adding features to leverage spatial data. The enhancements apply specifically to Machine Learning for Python. In the first phase of this enhancement, the ability to detect patterns and predict values using point/line/polygon data will be enhanced by the introduction of ML algorithms for clustering, regression, classification, and anomaly detection.
Read: https://blogs.oracle.com/database/post/make-better-machine-learning-predictions-with-spatial-algorithms
Location is an important factor in the outcomes that machine learning predicts, and Machine Learning in Oracle Autonomous Database will soon be adding features to leverage spatial data. The enhancements apply specifically to Machine Learning for Python. In the first phase of this enhancement, the ability to detect patterns and predict values using point/line/polygon data will be enhanced by the introduction of ML algorithms for clustering, regression, classification, and anomaly detection.
Read: https://blogs.oracle.com/database/post/make-better-machine-learning-predictions-with-spatial-algorithms
Бэкапы исторических масштабов — как человечество сохраняет большие объемы данных?
Корпоративные решения для синхронизации, резервного копирования и безопасного обмена файлами легко позволяют отправлять большие данные в облако. Но что, если нам необходимо собрать и сохранить грандиозный объем данных — например, записать историю человеческой цивилизации? Как это сделать, насколько надежны цифровые носители, есть ли конкурентноспособные альтернативы?
Сегодня поговорим о проектах, посвященных созданию массивных архивов и бэкапов, и роли систем ИИ в подобных задачах.
Читать: https://habr.com/ru/companies/cloud_mts/articles/793428/
Корпоративные решения для синхронизации, резервного копирования и безопасного обмена файлами легко позволяют отправлять большие данные в облако. Но что, если нам необходимо собрать и сохранить грандиозный объем данных — например, записать историю человеческой цивилизации? Как это сделать, насколько надежны цифровые носители, есть ли конкурентноспособные альтернативы?
Сегодня поговорим о проектах, посвященных созданию массивных архивов и бэкапов, и роли систем ИИ в подобных задачах.
Читать: https://habr.com/ru/companies/cloud_mts/articles/793428/
Книга «Kali Linux в действии. Аудит безопасности информационных систем. 2-е издание»
Привет, Хаброжители!
В этой книге рассматриваются методы обхода систем безопасности сетевых сервисов и проникновения в открытые информационные системы. Информационная безопасность, как и многое в нашем мире, представляет собой медаль с двумя сторонами. С одной стороны, мы проводим аудит, ищем способы проникновения и даже применяем их на практике, а с другой — работаем над защитой. Тесты на проникновение являются частью нормального жизненного цикла любой ИТ-инфраструктуры, позволяя по-настоящему оценить возможные риски и выявить скрытые проблемы.
Может ли взлом быть законным? Конечно, может! Но только в двух случаях — когда вы взламываете принадлежащие вам ИС или когда вы взламываете сеть организации, с которой у вас заключено письменное соглашение о проведении аудита или тестов на проникновение. Мы надеемся, что вы будете использовать информацию из данной книги только в целях законного взлома ИС. Пожалуйста, помните о неотвратимости наказания — любые незаконные действия влекут за собой административную или уголовную ответственность.
Вы последовательно пройдете все шаги, необходимые для проведения аудита безопасности информационных систем и тестов на проникновение: от общих понятий, рассмотрения стандартов и необходимых действий перед проведением аудита до методов проникновения в информационную систему и закрепления в ней. Каждая глава книги подкреплена реальными примерами и содержит практическую информацию по применению тех или иных методов.
Читать: https://habr.com/ru/companies/piter/articles/793436/
Привет, Хаброжители!
В этой книге рассматриваются методы обхода систем безопасности сетевых сервисов и проникновения в открытые информационные системы. Информационная безопасность, как и многое в нашем мире, представляет собой медаль с двумя сторонами. С одной стороны, мы проводим аудит, ищем способы проникновения и даже применяем их на практике, а с другой — работаем над защитой. Тесты на проникновение являются частью нормального жизненного цикла любой ИТ-инфраструктуры, позволяя по-настоящему оценить возможные риски и выявить скрытые проблемы.
Может ли взлом быть законным? Конечно, может! Но только в двух случаях — когда вы взламываете принадлежащие вам ИС или когда вы взламываете сеть организации, с которой у вас заключено письменное соглашение о проведении аудита или тестов на проникновение. Мы надеемся, что вы будете использовать информацию из данной книги только в целях законного взлома ИС. Пожалуйста, помните о неотвратимости наказания — любые незаконные действия влекут за собой административную или уголовную ответственность.
Вы последовательно пройдете все шаги, необходимые для проведения аудита безопасности информационных систем и тестов на проникновение: от общих понятий, рассмотрения стандартов и необходимых действий перед проведением аудита до методов проникновения в информационную систему и закрепления в ней. Каждая глава книги подкреплена реальными примерами и содержит практическую информацию по применению тех или иных методов.
Читать: https://habr.com/ru/companies/piter/articles/793436/
Atlas Stream Processing is Now in Public Preview
Read: https://www.mongodb.com/blog/post/atlas-stream-processing-now-in-public-preview
Read: https://www.mongodb.com/blog/post/atlas-stream-processing-now-in-public-preview
Building AI with MongoDB: Putting Jina AI’s Breakthrough Open Source Embedding Model To Work
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-putting-jina-ais-breakthrough-open-source-embedding-model-to-work
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-putting-jina-ais-breakthrough-open-source-embedding-model-to-work
Building AI with MongoDB: Navigating the Path From Predictive to Generative AI
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-navigating-path-from-predictive-to-generative-ai
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-navigating-path-from-predictive-to-generative-ai
Conversations are the next generation in natural language queries
Autonomous Database Select AI has introduced an incredibly powerful new capability that lets you have conversations with your data. What’s the difference between a simple natural language query and a conversation? A lot! Conversations provide a natural way to analyze your data. Ask a question, review the result, and then follow up with a clarifying question. It’s so simple because we all have been doing this since we learned to speak.
Read: https://blogs.oracle.com/datawarehousing/post/conversations-are-the-next-generation-in-natural-language-queries
Autonomous Database Select AI has introduced an incredibly powerful new capability that lets you have conversations with your data. What’s the difference between a simple natural language query and a conversation? A lot! Conversations provide a natural way to analyze your data. Ask a question, review the result, and then follow up with a clarifying question. It’s so simple because we all have been doing this since we learned to speak.
Read: https://blogs.oracle.com/datawarehousing/post/conversations-are-the-next-generation-in-natural-language-queries
👍1
Autonomous Database brings AI to your data
Continuing to enrich Oracle’s full-stack AI, we are introducing several enhancements to Autonomous Database including cutting-edge innovations for easily integrating AI and advanced machine learning into applications and solutions.
Read: https://blogs.oracle.com/datawarehousing/post/now-is-the-time-to-innovate-with-ai-ml
Continuing to enrich Oracle’s full-stack AI, we are introducing several enhancements to Autonomous Database including cutting-edge innovations for easily integrating AI and advanced machine learning into applications and solutions.
Read: https://blogs.oracle.com/datawarehousing/post/now-is-the-time-to-innovate-with-ai-ml
Oracle
Autonomous Database brings AI to your data
Oracle is introducing several enhancements to Autonomous Database including cutting-edge innovations for integrating AI and advanced machine learning into your applications.
Leading Industry Analysts Comment on the Latest AI and Machine Learning Innovations to Autonomous Database
Oracle has just announced a number of enhancements to Autonomous Database, introducing cutting-edge innovations that simplify and accelerate the integration of AI and advanced machine learning into your applications and analytics. Read reactions from leading industry analysts.
Read: https://blogs.oracle.com/database/post/leading-industry-analysts-comment-adb-ai-ml-announcement-feb2024
Oracle has just announced a number of enhancements to Autonomous Database, introducing cutting-edge innovations that simplify and accelerate the integration of AI and advanced machine learning into your applications and analytics. Read reactions from leading industry analysts.
Read: https://blogs.oracle.com/database/post/leading-industry-analysts-comment-adb-ai-ml-announcement-feb2024
Oracle
Leading Industry Analysts Comment on the Latest AI and Machine Learning Innovations to Autonomous Database
Oracle has just announced a number of enhancements to Autonomous Database, introducing cutting-edge innovations that simplify and accelerate the integration of AI and advanced machine learning into your applications and analytics. Autonomous Database Select…
В поисках ПАК: импортозамещаем немецкое «железо» в российском ЦОД
Привет, Хабр! Меня зовут Артем Золотарев, я инженер по виртуализации в Oxygen Data Centres & Clouds. Любой облачный провайдер и оператор ЦОД может столкнуться с задачей проброса USB-портов виртуальным машинам, которым нужен доступ к определенным устройствам. И чем серьезнее требования к безопасности этих флешек – тем сложнее реализовать такое решение на практике. Сегодня я расскажу о нашем пути к выбору ПАК (программно-аппаратного комплекса) для решения задач с флешками и чем нас обрадовало найденное российское решение, когда немцы решили больше не поставлять свою технику.
Читать: https://habr.com/ru/companies/oxygendc/articles/793582/
Привет, Хабр! Меня зовут Артем Золотарев, я инженер по виртуализации в Oxygen Data Centres & Clouds. Любой облачный провайдер и оператор ЦОД может столкнуться с задачей проброса USB-портов виртуальным машинам, которым нужен доступ к определенным устройствам. И чем серьезнее требования к безопасности этих флешек – тем сложнее реализовать такое решение на практике. Сегодня я расскажу о нашем пути к выбору ПАК (программно-аппаратного комплекса) для решения задач с флешками и чем нас обрадовало найденное российское решение, когда немцы решили больше не поставлять свою технику.
Читать: https://habr.com/ru/companies/oxygendc/articles/793582/
Как я искал ПДн в 300 базах данных [и сохранил рассудок]
Пришли как-то ко мне парни из службы безопасности и говорят: «Надо обойти все БД и собрать с них персональные данные». Потому что в России изменилось законодательство и теперь их нужно хранить в особо защищённых хранилищах.
Если этого не сделать, то рано или поздно данные могут утечь и ещё можно нарваться на высокие штрафы при утечке. Задача безопасников (и основная выгода от их наличия в компании) — минимизация таких рисков.
Вот только у нас несколько сотен баз данных, где-то около трёхсот. Даже если просто заглянуть в них и попытаться сделать выборку — это займёт весьма продолжительное время. И никто не имеет полной картины, где что хранится.
Скорее всего, вам скоро предстоит такое же, поэтому сейчас покажу артефакты, которые я нашёл в процессе.
Читать: https://habr.com/ru/companies/skyeng/articles/792494/
Пришли как-то ко мне парни из службы безопасности и говорят: «Надо обойти все БД и собрать с них персональные данные». Потому что в России изменилось законодательство и теперь их нужно хранить в особо защищённых хранилищах.
Если этого не сделать, то рано или поздно данные могут утечь и ещё можно нарваться на высокие штрафы при утечке. Задача безопасников (и основная выгода от их наличия в компании) — минимизация таких рисков.
Вот только у нас несколько сотен баз данных, где-то около трёхсот. Даже если просто заглянуть в них и попытаться сделать выборку — это займёт весьма продолжительное время. И никто не имеет полной картины, где что хранится.
Скорее всего, вам скоро предстоит такое же, поэтому сейчас покажу артефакты, которые я нашёл в процессе.
Читать: https://habr.com/ru/companies/skyeng/articles/792494/
CPM vs. BI: о чем не расскажут продавцы
Более восьми лет я специализируюсь на внедрении CPM и BI-систем различных вендоров. Несмотря на то, что во многом их функционал пересекается, мне хорошо понятно, какие задачи решаются лучше, а какие решаются только одним из этих двух классов систем.
Написать данную статью меня сподвигли несколько повторяющихся случаев путаницы при выборе системы для определенного пула задач. В моей практике произошло меньшей мере 4 случая, когда финансовые службы различных компаний на полном серьезе рассматривали внедрение BI-системы в качестве основной системы планирования и прогнозирования. Также, вспоминается случай во время моей работы в Большой четверке, когда партнер попросил меня провести встречу с заказчиком, чтобы объяснить, зачем им нужны наши услуги по внедрению CPM, когда у них уже есть работающая BI-система.
Кстати, встречаются и обратные ситуации. Не так давно один из CIO интересовался о возможности и целесообразности построения BI системы для всей компании на базе встроенного функционала визуализации одного из известных CPM решений.
Допускаю, моим коллегам, профессионалам в этой области, подобные идеи могут показаться нонсенсом. И во многом я с ними соглашусь. Но, во-первых, мне известен ряд неплохих решений, которые, после применения несколько довольно существенных настроек над BI, позиционируют себя как системы планирования (стесняясь, однако, называть себя как CPM). Во-вторых, я видел работающие (хоть и с ограничениями) решения на базе CPM платформ, собирающих множественные наборы данных из других ИТ-систем компании, и представляющих их далее в виде аналитических BI-отчетов для пользователей.
Читать: https://habr.com/ru/companies/ade_solutions/articles/793920/
Более восьми лет я специализируюсь на внедрении CPM и BI-систем различных вендоров. Несмотря на то, что во многом их функционал пересекается, мне хорошо понятно, какие задачи решаются лучше, а какие решаются только одним из этих двух классов систем.
Написать данную статью меня сподвигли несколько повторяющихся случаев путаницы при выборе системы для определенного пула задач. В моей практике произошло меньшей мере 4 случая, когда финансовые службы различных компаний на полном серьезе рассматривали внедрение BI-системы в качестве основной системы планирования и прогнозирования. Также, вспоминается случай во время моей работы в Большой четверке, когда партнер попросил меня провести встречу с заказчиком, чтобы объяснить, зачем им нужны наши услуги по внедрению CPM, когда у них уже есть работающая BI-система.
Кстати, встречаются и обратные ситуации. Не так давно один из CIO интересовался о возможности и целесообразности построения BI системы для всей компании на базе встроенного функционала визуализации одного из известных CPM решений.
Допускаю, моим коллегам, профессионалам в этой области, подобные идеи могут показаться нонсенсом. И во многом я с ними соглашусь. Но, во-первых, мне известен ряд неплохих решений, которые, после применения несколько довольно существенных настроек над BI, позиционируют себя как системы планирования (стесняясь, однако, называть себя как CPM). Во-вторых, я видел работающие (хоть и с ограничениями) решения на базе CPM платформ, собирающих множественные наборы данных из других ИТ-систем компании, и представляющих их далее в виде аналитических BI-отчетов для пользователей.
Читать: https://habr.com/ru/companies/ade_solutions/articles/793920/
Enhanced Atlas Functionality: Introducing Resource Tagging for Projects
Read: https://www.mongodb.com/blog/post/enhanced-atlas-functionality-introducing-resource-tagging-for-projects
Read: https://www.mongodb.com/blog/post/enhanced-atlas-functionality-introducing-resource-tagging-for-projects
Побит новый рекорд емкости HDD. 30 ТБ и 400 градусов Цельсия внутри
Многие задаются вопросом, как хранить данные дома или на работе. Надо же не только установить систему на жесткий диск, но еще куда-то сложить несколько сезонов любимого сериала, фотографии друзей и родных, видео с котиками, да и для игр тоже нужно много места. А если вы работаете с большими объемами информации, то проблем становится еще больше. Но еще более требовательными являются центры обработки данных. И всем нужны большие накопители. Seagate представила самый большой жесткий диск, и его характеристики действительно впечатляют.
Читать: https://habr.com/ru/companies/x-com/articles/794130/
Многие задаются вопросом, как хранить данные дома или на работе. Надо же не только установить систему на жесткий диск, но еще куда-то сложить несколько сезонов любимого сериала, фотографии друзей и родных, видео с котиками, да и для игр тоже нужно много места. А если вы работаете с большими объемами информации, то проблем становится еще больше. Но еще более требовательными являются центры обработки данных. И всем нужны большие накопители. Seagate представила самый большой жесткий диск, и его характеристики действительно впечатляют.
Читать: https://habr.com/ru/companies/x-com/articles/794130/
7 направлений оптимизации ClickHouse, которые помогают в BI
Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации.
А что там с оптимизацией ClickHouse?
Читать: https://habr.com/ru/articles/794456/
Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации.
А что там с оптимизацией ClickHouse?
Читать: https://habr.com/ru/articles/794456/
❤1
Кратко про Raft и Paxos: путь к надежным распределенным базам данных
Привет, Хабр!
Консенсус позволяет нескольким узлам или процессам согласовать некоторое значение или последовательность действий, даже если часть системы выходит из строя или ведет себя непредсказуемо.
Среди множества подходов к решению проблемы достижения консенсуса в распределенных системах, Paxos и Raft являются самыми эффективными. Рассмотрим их подробней.
Читать: https://habr.com/ru/companies/otus/articles/793198/
Привет, Хабр!
Консенсус позволяет нескольким узлам или процессам согласовать некоторое значение или последовательность действий, даже если часть системы выходит из строя или ведет себя непредсказуемо.
Среди множества подходов к решению проблемы достижения консенсуса в распределенных системах, Paxos и Raft являются самыми эффективными. Рассмотрим их подробней.
Читать: https://habr.com/ru/companies/otus/articles/793198/
👍1
7 направлений оптимизации ClickHouse, которые помогают в BI
Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации.
А что там с оптимизацией ClickHouse?
Читать: https://habr.com/ru/companies/visiology/articles/794456/
Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации.
А что там с оптимизацией ClickHouse?
Читать: https://habr.com/ru/companies/visiology/articles/794456/
❤1