Evolve Your Data Models as You Modernize with Hackolade and Relational Migrator
The text discusses two main topics:
1. The use of Hackolade and Relational Migrator in modernizing data models for MongoDB.
- Many developers and database administrators are finding that their legacy relational databases are no longer effective for emerging use cases.
- MongoDB Relational Migrator simplifies the migration process from relational databases to MongoDB.
- Hackolade Studio allows teams to design and document MongoDB data models and collaborate with other teams.
- Hackolade Studio can import Relational Migrator files, allowing for a seamless transition between the two tools.
2. The integration of OPC UA with MongoDB for Industry 4.0 and industrial IoT applications.
- OPC UA is a communication standard for interoperability in industrial settings.
- MongoDB's document model is well-suited for storing OPC UA information models.
- The text discusses the architecture and data flow of connecting OPC UA servers to MongoDB.
- Various technical details are provided, including the use of a message broker and the MongoDB Kafka connector.
- MongoDB's aggregation framework and Atlas Charts can be used for querying and visualization of OPC UA data. The text discusses the use of Vector Search in the context of a Q&A system for security documents. The system allows clients to ask questions and receive answers with evidence without needing to manually search through the documents. The system relies on three main collections: paragraphs, sentences, and table rows. Sparse and dense retrieval methods are used to filter and rank the sentences based on similarity to the question. The results are merged and passed through additional models for scoring and ranking. MongoDB's Atlas Search is used to store and query the data for the AI-based results. The text also mentions the scalability and performance benefits of using MongoDB.
Read: https://www.mongodb.com/blog/post/evolve-your-data-models-as-you-modernize-with-hackolade-relational-migrator
The text discusses two main topics:
1. The use of Hackolade and Relational Migrator in modernizing data models for MongoDB.
- Many developers and database administrators are finding that their legacy relational databases are no longer effective for emerging use cases.
- MongoDB Relational Migrator simplifies the migration process from relational databases to MongoDB.
- Hackolade Studio allows teams to design and document MongoDB data models and collaborate with other teams.
- Hackolade Studio can import Relational Migrator files, allowing for a seamless transition between the two tools.
2. The integration of OPC UA with MongoDB for Industry 4.0 and industrial IoT applications.
- OPC UA is a communication standard for interoperability in industrial settings.
- MongoDB's document model is well-suited for storing OPC UA information models.
- The text discusses the architecture and data flow of connecting OPC UA servers to MongoDB.
- Various technical details are provided, including the use of a message broker and the MongoDB Kafka connector.
- MongoDB's aggregation framework and Atlas Charts can be used for querying and visualization of OPC UA data. The text discusses the use of Vector Search in the context of a Q&A system for security documents. The system allows clients to ask questions and receive answers with evidence without needing to manually search through the documents. The system relies on three main collections: paragraphs, sentences, and table rows. Sparse and dense retrieval methods are used to filter and rank the sentences based on similarity to the question. The results are merged and passed through additional models for scoring and ranking. MongoDB's Atlas Search is used to store and query the data for the AI-based results. The text also mentions the scalability and performance benefits of using MongoDB.
Read: https://www.mongodb.com/blog/post/evolve-your-data-models-as-you-modernize-with-hackolade-relational-migrator
Audit Active Data Guard with Data Safe in Oracle Cloud
Data Safe can now audit Active Data Guard, including cross-region Data Guard peers, in the Oracle Cloud. Data Safe collects audit records from all Active Data Guard peers (including read-only peers) in addition to assessing configuration and user risk.
Read: https://blogs.oracle.com/database/post/audit-active-dataguard-with-data-safe-in-oracle-cloud
Data Safe can now audit Active Data Guard, including cross-region Data Guard peers, in the Oracle Cloud. Data Safe collects audit records from all Active Data Guard peers (including read-only peers) in addition to assessing configuration and user risk.
Read: https://blogs.oracle.com/database/post/audit-active-dataguard-with-data-safe-in-oracle-cloud
Oracle
Audit Active Dataguard with Data Safe in Oracle Cloud
Data Safe can now audit Active Data Guard, including cross-region Data Guard peers, in the Oracle Cloud. Data Safe collects audit records from all Active Data Guard peers (including read-only peers) in addition to assessing configuration and user risk.
Как содержать пароли. Мой сетап
Я долго собирал информацию о том, как организовать свои аккаунты. Как сделать доступ к ним достаточно надёжным и стойким к утере девайсов.
Меня интересовало, как я могу залогиниться туда, где многофакторная авторизация через телефон, в случае потери телефона.
Или, как обезопасить себя от забывания мастер пароля от менеджера паролей? На моей практике я несколько раз забывал пин-код от банковской карты, состоящий из 4-ёх цифр, после ежедневного использования на протяжении многих месяцев. Мозг - странная штука.
В итоге, спустя месяцы изучения темы, я пришёл к следующему сетапу, который решил описать в виде мануала.
Читать: https://habr.com/ru/articles/787158/
Я долго собирал информацию о том, как организовать свои аккаунты. Как сделать доступ к ним достаточно надёжным и стойким к утере девайсов.
Меня интересовало, как я могу залогиниться туда, где многофакторная авторизация через телефон, в случае потери телефона.
Или, как обезопасить себя от забывания мастер пароля от менеджера паролей? На моей практике я несколько раз забывал пин-код от банковской карты, состоящий из 4-ёх цифр, после ежедневного использования на протяжении многих месяцев. Мозг - странная штука.
В итоге, спустя месяцы изучения темы, я пришёл к следующему сетапу, который решил описать в виде мануала.
Читать: https://habr.com/ru/articles/787158/
Улучшаем динамические таблицы YTsaurus с помощью алгоритмов
Динамические таблицы в YTsaurus занимают заметное место во внутренней инфраструктуре Яндекса. В них можно хранить огромные массивы данных, и читать их можно настолько быстро, что многие сервисы Яндекса используют YTsaurus при построении ответа внешним пользователям.
Всё это звучит здорово, но стоять на месте никак нельзя. Поэтому мы постоянно работаем над всякого рода улучшениями и оптимизациями. Зачастую новые фичи хранят под капотом не самую тривиальную идею. И сегодня я хочу рассказать о нескольких таких улучшениях, которые мы затащили в виде новых фич в последнем релизе.
В этой статье разберёмся, как работает xor-фильтр, в чём особенность чанкового хеш-индекса и как overload controller повышает стабильность работы. Все примеры разберём на примере YTsaurus, но они будут полезны любому разработчику СУБД.
Читать: https://habr.com/ru/companies/yandex/articles/785994/
Динамические таблицы в YTsaurus занимают заметное место во внутренней инфраструктуре Яндекса. В них можно хранить огромные массивы данных, и читать их можно настолько быстро, что многие сервисы Яндекса используют YTsaurus при построении ответа внешним пользователям.
Всё это звучит здорово, но стоять на месте никак нельзя. Поэтому мы постоянно работаем над всякого рода улучшениями и оптимизациями. Зачастую новые фичи хранят под капотом не самую тривиальную идею. И сегодня я хочу рассказать о нескольких таких улучшениях, которые мы затащили в виде новых фич в последнем релизе.
В этой статье разберёмся, как работает xor-фильтр, в чём особенность чанкового хеш-индекса и как overload controller повышает стабильность работы. Все примеры разберём на примере YTsaurus, но они будут полезны любому разработчику СУБД.
Читать: https://habr.com/ru/companies/yandex/articles/785994/
17 мгновений миграции DWH X5 Group
Каждый человек по мере взросления встречает множество вызовов на своём жизненном пути. Ответы на эти вызовы формируют его личность. То же самое происходит и с командой.
Для нас, офиса CDO X5, пожалуй, определяющим был 2022 год. В том году мы выполнили проект такого масштаба и уровня сложности, какими мало кто может похвастаться. В него была вовлечена вся команда. А главное, что он не просто завершился успешным внедрением, но и дал нам вместе больше, чем каждому из нас по отдельности. За 9 месяцев мы выполнили миграцию аналитики и данных из SAP BW на ClickHouse и GreenPlum.
В серии статей, которую мы открываем этой публикацией, мы расскажем о 17-ти эпизодах, имевших место по ходу этого проекта. Поделимся своим опытом в том, как реализуются масштабные проекты в крупных компаниях, какие технологические решения используются для аналитики, как принимаются ключевые управленческие решения, как на деле выглядит гибкая антикризисная стратегия. В этой статье представлены первые пять эпизодов.
Читать: https://habr.com/ru/companies/X5Tech/articles/787334/
Каждый человек по мере взросления встречает множество вызовов на своём жизненном пути. Ответы на эти вызовы формируют его личность. То же самое происходит и с командой.
Для нас, офиса CDO X5, пожалуй, определяющим был 2022 год. В том году мы выполнили проект такого масштаба и уровня сложности, какими мало кто может похвастаться. В него была вовлечена вся команда. А главное, что он не просто завершился успешным внедрением, но и дал нам вместе больше, чем каждому из нас по отдельности. За 9 месяцев мы выполнили миграцию аналитики и данных из SAP BW на ClickHouse и GreenPlum.
В серии статей, которую мы открываем этой публикацией, мы расскажем о 17-ти эпизодах, имевших место по ходу этого проекта. Поделимся своим опытом в том, как реализуются масштабные проекты в крупных компаниях, какие технологические решения используются для аналитики, как принимаются ключевые управленческие решения, как на деле выглядит гибкая антикризисная стратегия. В этой статье представлены первые пять эпизодов.
Читать: https://habr.com/ru/companies/X5Tech/articles/787334/
Как сэкономить время на старте этапа макетирования отчетности или прочь «чистый лист»
Как правило, аналитики на этапе макетирования сталкиваются с одной и той же проблемой – нехваткой времени. Делюсь шаблоном для создания макетов отчетности, который поможет сэкономить время и силы!
В основе этого инструмента макетирования отчетности лежит сформированный в нашей компании принцип конструирования дашборда, исходя из решаемой бизнесом задачи, или «сценарный подход».
Читать: https://habr.com/ru/articles/787384/
Как правило, аналитики на этапе макетирования сталкиваются с одной и той же проблемой – нехваткой времени. Делюсь шаблоном для создания макетов отчетности, который поможет сэкономить время и силы!
В основе этого инструмента макетирования отчетности лежит сформированный в нашей компании принцип конструирования дашборда, исходя из решаемой бизнесом задачи, или «сценарный подход».
Читать: https://habr.com/ru/articles/787384/
Как сэкономить время на старте этапа макетирования отчетности или прочь «чистый лист»
Как правило, аналитики на этапе макетирования сталкиваются с одной и той же проблемой – нехваткой времени. Делюсь шаблоном для создания макетов отчетности, который поможет сэкономить время и силы!
В основе этого инструмента макетирования отчетности лежит сформированный в нашей компании принцип конструирования дашборда, исходя из решаемой бизнесом задачи, или «сценарный подход».
Читать: https://habr.com/ru/articles/787384/
Как правило, аналитики на этапе макетирования сталкиваются с одной и той же проблемой – нехваткой времени. Делюсь шаблоном для создания макетов отчетности, который поможет сэкономить время и силы!
В основе этого инструмента макетирования отчетности лежит сформированный в нашей компании принцип конструирования дашборда, исходя из решаемой бизнесом задачи, или «сценарный подход».
Читать: https://habr.com/ru/articles/787384/
Navigating the Landscape of Artificial Intelligence: How Can The Financial Sector Make Use of Generative AI
Read: https://www.mongodb.com/blog/post/navigating-landscape-artificial-intelligence-financial-sector-make-use-generative-ai
Read: https://www.mongodb.com/blog/post/navigating-landscape-artificial-intelligence-financial-sector-make-use-generative-ai
Collaboration for Breakfast: MongoDB and Partners Share AI Insights at AWS re:Invent
Read: https://www.mongodb.com/blog/post/collaboration-breakfast-mongodb-partners-share-ai-insights-aws-reinvent
Read: https://www.mongodb.com/blog/post/collaboration-breakfast-mongodb-partners-share-ai-insights-aws-reinvent
10,000 SI Certifications and Counting: MongoDB and System Integrator Partners Reach Major Milestone Supporting GenAI Initiatives
Read: https://www.mongodb.com/blog/post/10-000-certifications-counting-major-milestone-mongodb-system-integrator-partners
Read: https://www.mongodb.com/blog/post/10-000-certifications-counting-major-milestone-mongodb-system-integrator-partners
Customizing risk assessment in Oracle Data Safe
We are pleased to announce that you can now “defer risk” or “change risk” level to match your specific environment and deployment. “Defer Risk” allows you to indicate that you have reviewed the finding and will work on it later (or, eventually, never) so that it doesn’t show up again as a finding in subsequent reports. “Change Risk,” allows you to raise or lower the severity of a finding to suit your requirements.
Read: https://blogs.oracle.com/database/post/customize-data-safe-assessment
We are pleased to announce that you can now “defer risk” or “change risk” level to match your specific environment and deployment. “Defer Risk” allows you to indicate that you have reviewed the finding and will work on it later (or, eventually, never) so that it doesn’t show up again as a finding in subsequent reports. “Change Risk,” allows you to raise or lower the severity of a finding to suit your requirements.
Read: https://blogs.oracle.com/database/post/customize-data-safe-assessment
Oracle
Customizing risk assessment in Oracle Data Safe
We are pleased to announce that you can now “defer risk” or “change risk” level to match your specific environment and deployment. “Defer Risk” allows you to indicate that you have reviewed the finding and will work on it later (or, eventually, never) so…
Seagate выпустит HDD с лазерным подогревом емкостью от 30 ТБ уже в этом квартале. Что это за диски?
Корпорация Seagate уже достаточно давно анонсировала свои жесткие диски нового типа с очень высокой плотностью хранения информации. Речь идет о HDD с необычной технологией прогрева «блинов» дисков при помощи лазера. Это нужно для повышения плотности записи данных, в результате чего производителю и удалось достичь весьма высокой емкости диска — от 30 терабайт. Подробности — под катом.
Читать: https://habr.com/ru/companies/selectel/articles/787450/
Корпорация Seagate уже достаточно давно анонсировала свои жесткие диски нового типа с очень высокой плотностью хранения информации. Речь идет о HDD с необычной технологией прогрева «блинов» дисков при помощи лазера. Это нужно для повышения плотности записи данных, в результате чего производителю и удалось достичь весьма высокой емкости диска — от 30 терабайт. Подробности — под катом.
Читать: https://habr.com/ru/companies/selectel/articles/787450/
Почему текст в нижнем регистре сжимается лучше
Буквы в нижнем и верхнем регистре содержат одинаковое количество данных — по
Поэтому удивительно, что замена заглавных букв на строчные снижает объём данных.
Пример: я взял главную страницу Hacker News и переписал заголовок каждой статьи, капитализировав только первые буквы в предложениях (sentence case) вместо первых букв во всех словах (title case). Это позволило мне снизить размер на
Sentence case: The cat sat on the mat
Title case: The Cat Sat on the Mat
Как может замена нескольких заглавных букв на строчные снижать объём? Всё дело в сжатии.
Это непривычно, но если понять, как работает сжатие текста, то начинает казаться логичным.
Читать: https://habr.com/ru/articles/787722/
Буквы в нижнем и верхнем регистре содержат одинаковое количество данных — по
1 байту каждая.Поэтому удивительно, что замена заглавных букв на строчные снижает объём данных.
Пример: я взял главную страницу Hacker News и переписал заголовок каждой статьи, капитализировав только первые буквы в предложениях (sentence case) вместо первых букв во всех словах (title case). Это позволило мне снизить размер на
31 байт.Sentence case: The cat sat on the mat
Title case: The Cat Sat on the Mat
Как может замена нескольких заглавных букв на строчные снижать объём? Всё дело в сжатии.
Это непривычно, но если понять, как работает сжатие текста, то начинает казаться логичным.
Читать: https://habr.com/ru/articles/787722/
Exception Handling: сквозь мультивселенные интероперабельности
В любой программе периодически возникают исключительные ситуации, которые необходимо обрабатывать. В большинстве случаев обработка ошибок не вызывает вопросов, но ситуация становится сложнее, когда среда вашего исполнения представляет собой сэндвич из интерпретируемого и нативно исполняемого кода на разных языках.
Меня зовут Максим Кокряшкин, я занимаюсь поддержкой и расширением функциональности форка LuaJIT, интегрированного в Tarantool. В этой статье мы обсудим, как интероперабельность исключений помогает упростить обработку ошибок на стыках разных языковых рантаймов, а также посмотрим, как можно реализовать интероперабельность стандартными механизмами обработки исключений.
Читать: https://habr.com/ru/companies/vk/articles/785270/
В любой программе периодически возникают исключительные ситуации, которые необходимо обрабатывать. В большинстве случаев обработка ошибок не вызывает вопросов, но ситуация становится сложнее, когда среда вашего исполнения представляет собой сэндвич из интерпретируемого и нативно исполняемого кода на разных языках.
Меня зовут Максим Кокряшкин, я занимаюсь поддержкой и расширением функциональности форка LuaJIT, интегрированного в Tarantool. В этой статье мы обсудим, как интероперабельность исключений помогает упростить обработку ошибок на стыках разных языковых рантаймов, а также посмотрим, как можно реализовать интероперабельность стандартными механизмами обработки исключений.
Читать: https://habr.com/ru/companies/vk/articles/785270/
Как в СУБД реализовать администратора без прав доступа к данным
В СУБД-строении есть не новая, но не теряющая актуальности задача. Сформулировать её можно примерно так: как убрать возможность суперпользователя взаимодействовать с данными, но оставить ему все возможности по управлению СУБД? Эта функция затребована не только большими компаниями с жёсткими требованиями к информационной безопасности, но и крайне нужна всем, кто попадает под различного вида государственные регуляции, вроде приказа ФСТЭК №64 или страшного GDPR.
Всё это необходимо, чтобы закрыть риски, связанные с доверием как к самому DBA, так и обезопасить себя на случай угона учётной записи злоумышленником.
В этой статье мы хотим поговорить о том, какие есть подходы к решению этой проблемы, какие можно найти реализации на рынке, и что решили сделать мы в Postgres Professional.
Читать: https://habr.com/ru/companies/postgrespro/articles/788268/
В СУБД-строении есть не новая, но не теряющая актуальности задача. Сформулировать её можно примерно так: как убрать возможность суперпользователя взаимодействовать с данными, но оставить ему все возможности по управлению СУБД? Эта функция затребована не только большими компаниями с жёсткими требованиями к информационной безопасности, но и крайне нужна всем, кто попадает под различного вида государственные регуляции, вроде приказа ФСТЭК №64 или страшного GDPR.
Всё это необходимо, чтобы закрыть риски, связанные с доверием как к самому DBA, так и обезопасить себя на случай угона учётной записи злоумышленником.
В этой статье мы хотим поговорить о том, какие есть подходы к решению этой проблемы, какие можно найти реализации на рынке, и что решили сделать мы в Postgres Professional.
Читать: https://habr.com/ru/companies/postgrespro/articles/788268/
👍1
Аудит производительности 1С-систем: на что обращаем внимание
Эта статья немного философская. В начале года хочется порассуждать о причинах, которые подвигают компании заняться более глубоким анализом проблем производительности своих ИТ-систем.
Если у вас был опыт привлечения внешних подрядчиков для этой задачи, то предлагаю порассуждать в комментариях о его результатах. Интересует, конечно, в первую очередь, чего не хватило по итогам и чего ожидали на старте.
Читать: https://habr.com/ru/companies/softpoint/articles/788264/
Эта статья немного философская. В начале года хочется порассуждать о причинах, которые подвигают компании заняться более глубоким анализом проблем производительности своих ИТ-систем.
Если у вас был опыт привлечения внешних подрядчиков для этой задачи, то предлагаю порассуждать в комментариях о его результатах. Интересует, конечно, в первую очередь, чего не хватило по итогам и чего ожидали на старте.
Читать: https://habr.com/ru/companies/softpoint/articles/788264/
Между буквой и духом законов: как международной компании защитить ПДн клиентов и избежать санкций
Большинство международных компаний ходит по тонкому льду — когда твои сотрудники и пользователи разбросаны по всему миру, хранение и обработка их персональных данных становится сложной юридической проблемой. Если пытаться досконально вникнуть в законы сразу всех стран, можно превратиться в юридическую контору. С другой стороны, повсюду есть надзорные органы, которые грозят санкциями за любые нарушения.
Чтобы избежать претензий, не навредить пользователям и обеспечить стабильное развитие бизнеса, недостаточно изучать нормативную базу. Желательно также знакомиться с реальным опытом разных компаний, особенно из числа тех, для кого работа с ПДн имеет первостепенное значение.
Мы побеседовали с экспертами из соцсети ReLife, пользователи которой проживают в более 70 странах мира. Они рассказали, на что в первую очередь обращают внимание, на какие законы ориентируются, с какими рисками и «подводными камнями» сталкиваются и как их обходят. Вместе мы сравнили американское, европейское и российское законодательство по охране ПДн и делимся практическими рекомендациями по его соблюдению.
Читать: https://habr.com/ru/companies/bastion/articles/788114/
Большинство международных компаний ходит по тонкому льду — когда твои сотрудники и пользователи разбросаны по всему миру, хранение и обработка их персональных данных становится сложной юридической проблемой. Если пытаться досконально вникнуть в законы сразу всех стран, можно превратиться в юридическую контору. С другой стороны, повсюду есть надзорные органы, которые грозят санкциями за любые нарушения.
Чтобы избежать претензий, не навредить пользователям и обеспечить стабильное развитие бизнеса, недостаточно изучать нормативную базу. Желательно также знакомиться с реальным опытом разных компаний, особенно из числа тех, для кого работа с ПДн имеет первостепенное значение.
Мы побеседовали с экспертами из соцсети ReLife, пользователи которой проживают в более 70 странах мира. Они рассказали, на что в первую очередь обращают внимание, на какие законы ориентируются, с какими рисками и «подводными камнями» сталкиваются и как их обходят. Вместе мы сравнили американское, европейское и российское законодательство по охране ПДн и делимся практическими рекомендациями по его соблюдению.
Читать: https://habr.com/ru/companies/bastion/articles/788114/
Samsung SmartHome Team Makes Work-Life Balance a Reality for Engineers with MongoDB Atlas
Read: https://www.mongodb.com/blog/post/samsung-electronics-smart-home-engineer-life-atlas
Read: https://www.mongodb.com/blog/post/samsung-electronics-smart-home-engineer-life-atlas
Pledging Ourselves to the Future
Read: https://www.mongodb.com/blog/post/pledging-ourselves-to-the-future
Read: https://www.mongodb.com/blog/post/pledging-ourselves-to-the-future
Building AI with MongoDB: How Devnagri Brings the Internet to 1.3 Billion People with Machine Translations
Read: https://www.mongodb.com/blog/post/how-devnagri-brings-internet-1-3-billion-people-machine-translations
Read: https://www.mongodb.com/blog/post/how-devnagri-brings-internet-1-3-billion-people-machine-translations