Обратная нормализация (денормализация)
Привет, Хабр!
Нормализация — это процесс организации данных в базе для минимизации избыточности и зависимостей. Она помогает нам избежать аномалий при вставке, обновлении или удалении данных и, конечно, упрощает схему базы данных.
Но, как и все в этом мире, нормализация не идеальна. Иногда она может привести к чрезмерной комплексности и снижению производительности запросов. И здесь бывает полеза обратная нормализация. Если нормализация - это упорядочивание, то обратная нормализация - это некоторое "ослабление" правил для достижения определенных целей. В БД это означает объединение таблиц, добавление избыточных данных и так далее, чтобы ускорить чтение данных и упростить запросы, даже если это идет в ущерб некоторой "чистоте" схемы.
Читать: https://habr.com/ru/companies/mvideo/articles/783386/
Привет, Хабр!
Нормализация — это процесс организации данных в базе для минимизации избыточности и зависимостей. Она помогает нам избежать аномалий при вставке, обновлении или удалении данных и, конечно, упрощает схему базы данных.
Но, как и все в этом мире, нормализация не идеальна. Иногда она может привести к чрезмерной комплексности и снижению производительности запросов. И здесь бывает полеза обратная нормализация. Если нормализация - это упорядочивание, то обратная нормализация - это некоторое "ослабление" правил для достижения определенных целей. В БД это означает объединение таблиц, добавление избыточных данных и так далее, чтобы ускорить чтение данных и упростить запросы, даже если это идет в ущерб некоторой "чистоте" схемы.
Читать: https://habr.com/ru/companies/mvideo/articles/783386/
❤1👍1
Building AI With MongoDB: Boosting Productivity and Efficiency with Assistants and Agents
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-boosting-productivity-efficiency-with-assistants-agents
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-boosting-productivity-efficiency-with-assistants-agents
Harness the Power of Generative AI by Training Your LLM on Custom Data
Read: https://mariadb.com/?p=38493
Read: https://mariadb.com/?p=38493
25 баз данных, которые актуальны в 2024 году
Современный мир производит огромное количество данных каждую секунду, создавая огромный объем информации, который требуется хранить, управлять и анализировать. В этой статье мы кратко рассмотрим 25 из самых популярных баз данных, которые играют важную роль в обработке и хранении данных в различных сферах, от корпоративного управления до интернет-технологий. Каждая из этих баз данных обладает своими особенностями и применением, внося вклад в разнообразные сферы бизнеса и науки.
От классических фаворитов до малоизвестных новичков, приготовьтесь к дикой поездке по стране баз данных!
Читать: https://habr.com/ru/articles/785366/
Современный мир производит огромное количество данных каждую секунду, создавая огромный объем информации, который требуется хранить, управлять и анализировать. В этой статье мы кратко рассмотрим 25 из самых популярных баз данных, которые играют важную роль в обработке и хранении данных в различных сферах, от корпоративного управления до интернет-технологий. Каждая из этих баз данных обладает своими особенностями и применением, внося вклад в разнообразные сферы бизнеса и науки.
От классических фаворитов до малоизвестных новичков, приготовьтесь к дикой поездке по стране баз данных!
Читать: https://habr.com/ru/articles/785366/
❤1👍1
Введение в поддержку JavaScript в MySQL
MySQL продолжает наращивать инновации и теперь включает в себя богатые возможности процедурного программирования внутри базы данных. Отныне разработчики могут писать хранимые программы на языке JavaScript (функции и процедуры) в сервере баз данных MySQL. Хранимые программы будут выполняться с помощью GraalVM. Эта версия доступна в качестве "Preview" в MySQL Enterprise Edition и может быть загружена через Oracle Technology Network (OTN). MySQL-JavaScript также доступен в облачном сервисе MySQL Heatware на OCI, AWS и Azure.
Читать: https://habr.com/ru/articles/785402/
MySQL продолжает наращивать инновации и теперь включает в себя богатые возможности процедурного программирования внутри базы данных. Отныне разработчики могут писать хранимые программы на языке JavaScript (функции и процедуры) в сервере баз данных MySQL. Хранимые программы будут выполняться с помощью GraalVM. Эта версия доступна в качестве "Preview" в MySQL Enterprise Edition и может быть загружена через Oracle Technology Network (OTN). MySQL-JavaScript также доступен в облачном сервисе MySQL Heatware на OCI, AWS и Azure.
Читать: https://habr.com/ru/articles/785402/
👍1🔥1
Пишем Ansible-модули для управления разными системами хранения данных через Swordfish
Большинство современных систем хранения данных (СХД) предоставляют REST API для управления ими, включая настройку, конфигурирование, выполнение различных команд, получение логов, работу с пользователями и т.д. В зависимости от производителя СХД REST API могут отличаться друг от друга. Если вы используете несколько разных систем, их одновременная поддержка становится проблемой: нужно учитывать многообразие протоколов, интерфейсов, команд и способов взаимодействия с API.
Меня зовут Александр Пономарев, вместе с группой студентов СПбПУ им. Петра Великого на базе Лаборатории YADRO мы изучали способы сделать управление разными СХД менее трудоемким. Вариант, на котором мы остановились, — использовать системы, которые удовлетворяют спецификации Swordfish, в связке с Ansible. Подробнее о проекте, который мы выполняли с инженерами компании и преподавателями университета, рассказываю под катом.
Читать: https://habr.com/ru/companies/yadro/articles/784070/
Большинство современных систем хранения данных (СХД) предоставляют REST API для управления ими, включая настройку, конфигурирование, выполнение различных команд, получение логов, работу с пользователями и т.д. В зависимости от производителя СХД REST API могут отличаться друг от друга. Если вы используете несколько разных систем, их одновременная поддержка становится проблемой: нужно учитывать многообразие протоколов, интерфейсов, команд и способов взаимодействия с API.
Меня зовут Александр Пономарев, вместе с группой студентов СПбПУ им. Петра Великого на базе Лаборатории YADRO мы изучали способы сделать управление разными СХД менее трудоемким. Вариант, на котором мы остановились, — использовать системы, которые удовлетворяют спецификации Swordfish, в связке с Ansible. Подробнее о проекте, который мы выполняли с инженерами компании и преподавателями университета, рассказываю под катом.
Читать: https://habr.com/ru/companies/yadro/articles/784070/
Геоданные без регистрации и СМС
Здравствуй, дорогой читатель.
Спешу поделиться тем, как на самом деле найти геоданные без регистрации и СМС. По чесноку. Без всяких-яких. И даже “подписывайтесь на телеграмм канал” - не будет, у меня его и нет…
И речь пойдёт про инструмент Osmosis.
Никому не сообщайте код из СМС
Читать: https://habr.com/ru/articles/785254/
Здравствуй, дорогой читатель.
Спешу поделиться тем, как на самом деле найти геоданные без регистрации и СМС. По чесноку. Без всяких-яких. И даже “подписывайтесь на телеграмм канал” - не будет, у меня его и нет…
И речь пойдёт про инструмент Osmosis.
Никому не сообщайте код из СМС
Читать: https://habr.com/ru/articles/785254/
Курс «PostgreSQL для начинающих»: #3 — Сложные SELECT
Продолжаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика".
В этой лекции углубимся в расширенные возможности команды
Как обычно, для предпочитающих смотреть и слушать, а не читать - доступна видеозапись.
Читать: https://habr.com/ru/companies/tensor/articles/785144/
Продолжаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика".
В этой лекции углубимся в расширенные возможности команды
SELECT : как можно "сложить" и "вычесть" выборки (UNION/INTERSECT/EXCEPT), или запомнить и использовать в рекурсивных запросах (CTE), что дают оконные функции (WINDOW) и соединения (JOIN).Как обычно, для предпочитающих смотреть и слушать, а не читать - доступна видеозапись.
Читать: https://habr.com/ru/companies/tensor/articles/785144/
Единое хранилище данных и плюсы, которые оно несёт. Опыт НМГ
Привет! В одном из прошлых постов мы поговорили о том, как в целом верхнеуровнево устроен наш бизнес, как мы планируем нашу потребность в контенте, который будем показывать, и о множестве других вещей. Вкратце — как мы раскидываем перспективные сетки вещания на несколько лет вперёд, благодаря навыкам программных директоров.
Сегодня же обсудим, как именно мы помогаем этим директорам принимать решения. Потому что вопросов в их работе возникает множество — как они видят нашу ЦА, как мы можем её заинтересовать (и почему именно так), что полезного мы несём в нашу ЦА, как дела с нашей социальной ответственностью, что у нас в разрезе разных видов контента, сколько мы можем заработать и многое, многое другое.
В этом (спойлер — и не только в этом) нам сильно помогает единое хранилище данных, далее просто ЕХД.
Читать: https://habr.com/ru/companies/nmg/articles/780850/
Привет! В одном из прошлых постов мы поговорили о том, как в целом верхнеуровнево устроен наш бизнес, как мы планируем нашу потребность в контенте, который будем показывать, и о множестве других вещей. Вкратце — как мы раскидываем перспективные сетки вещания на несколько лет вперёд, благодаря навыкам программных директоров.
Сегодня же обсудим, как именно мы помогаем этим директорам принимать решения. Потому что вопросов в их работе возникает множество — как они видят нашу ЦА, как мы можем её заинтересовать (и почему именно так), что полезного мы несём в нашу ЦА, как дела с нашей социальной ответственностью, что у нас в разрезе разных видов контента, сколько мы можем заработать и многое, многое другое.
В этом (спойлер — и не только в этом) нам сильно помогает единое хранилище данных, далее просто ЕХД.
Читать: https://habr.com/ru/companies/nmg/articles/780850/
Introducing the Full Stack FastAPI App Generator for Python Developers
Read: https://www.mongodb.com/blog/post/introducing-full-stack-fast-api-app-generator-for-python-developers
Read: https://www.mongodb.com/blog/post/introducing-full-stack-fast-api-app-generator-for-python-developers
Уровни изолированности транзакций для самых маленьких
В этой статье обсудим уровни изолированности транзакций и как их можно использовать на своих проектах. Среди прочего эту тему часто поднимают на собеседованиях, поэтому в том или ином виде с ней знакомы многие. Но здесь мы разберем некоторые нюансы.
Если у вас есть собственные кейсы, которыми вы бы хотели поделиться, пишите в комментариях.
Читать: https://habr.com/ru/companies/maxilect/articles/785960/
В этой статье обсудим уровни изолированности транзакций и как их можно использовать на своих проектах. Среди прочего эту тему часто поднимают на собеседованиях, поэтому в том или ином виде с ней знакомы многие. Но здесь мы разберем некоторые нюансы.
Если у вас есть собственные кейсы, которыми вы бы хотели поделиться, пишите в комментариях.
Читать: https://habr.com/ru/companies/maxilect/articles/785960/
2023 in Review - Exadata Database Service and Base Database Service key announcements you might have missed
2023 was an amazing year for Oracle Database services in the cloud. We continued to build upon over a decade of innovation with a new generation of Oracle Exadata that continues to be the best performing, highest available, and most secure platform for deploying Oracle databases in the cloud.
Read: https://blogs.oracle.com/database/post/2023-exadb-and-basedb-key-announcements
2023 was an amazing year for Oracle Database services in the cloud. We continued to build upon over a decade of innovation with a new generation of Oracle Exadata that continues to be the best performing, highest available, and most secure platform for deploying Oracle databases in the cloud.
Read: https://blogs.oracle.com/database/post/2023-exadb-and-basedb-key-announcements
Oracle
2023 in Review - Exadata Database Service and Base Database Service key announcements you might have missed
2023 was an amazing year for Oracle Database services in the cloud. We continued to build upon over a decade of innovation with a new generation of Oracle Exadata that continues to be the best performing, highest available, and most secure platform for deploying…
Какую базу данных выбрать для Home Assistant
На случай, если ещё не встречались с HA (Home Assistant) - это opensource веб сервис для умного дома, доступный как на облаке, так и в виде self hosted, который позволяет подключить к себе кучу всяких устройств и настроить для них любые желаемые автоматизации. Например, открывать ворота при вашем приближении или кормить кошку по праздничным дням календаря.
Сегодня мы поговорим о том, какую СУБД (Систему Управления Базы Данными) для него лучше выбрать. Потому что очень часто в чат по HA приходят новички, и спрашивают, что им делать с MySQL, а им в ответ говорят, что они наркоманы и нанюхались одного известного видео с ютуба. А почему такая реакция, и что делать - начинающему автоматизатору понять довольно сложно без довольно специфического багажа знаний в айти. Так что надеюсь, что эта статья кому-то поможет.
Читать: https://habr.com/ru/articles/786116/
На случай, если ещё не встречались с HA (Home Assistant) - это opensource веб сервис для умного дома, доступный как на облаке, так и в виде self hosted, который позволяет подключить к себе кучу всяких устройств и настроить для них любые желаемые автоматизации. Например, открывать ворота при вашем приближении или кормить кошку по праздничным дням календаря.
Сегодня мы поговорим о том, какую СУБД (Систему Управления Базы Данными) для него лучше выбрать. Потому что очень часто в чат по HA приходят новички, и спрашивают, что им делать с MySQL, а им в ответ говорят, что они наркоманы и нанюхались одного известного видео с ютуба. А почему такая реакция, и что делать - начинающему автоматизатору понять довольно сложно без довольно специфического багажа знаний в айти. Так что надеюсь, что эта статья кому-то поможет.
Читать: https://habr.com/ru/articles/786116/
Oracle Globally Distributed Database supports RAFT Replication in Oracle Database 23c
Oracle Globally Distributed Database provides built-in fault tolerance with Raft replication, a capability that integrates data replication with transaction execution.
Read: https://blogs.oracle.com/database/post/raft-replication-in-distributed-23c
Oracle Globally Distributed Database provides built-in fault tolerance with Raft replication, a capability that integrates data replication with transaction execution.
Read: https://blogs.oracle.com/database/post/raft-replication-in-distributed-23c
Oracle
RAFT Replication in DB 23ai
Oracle Globally Distributed Database provides built-in fault tolerance with Raft replication, a capability that integrates data replication with transaction execution in a sharded database.
Высокопроизводительное кэширование с помощью Redis и Go
Go – отличный язык для создания высокопроизводительных веб-приложений, а высокопроизводительные веб-приложения часто требуют централизованного кэширования.
Стандартом де-факто для централизованного кэширования является Redis, но, популярные сегодня библиотеки Go не поддерживают потоковую передачу данных, эффективных с точки зрения памяти.
Вместо этого они предлагают []byte API, с которыми вы взаимодействуете следующим образом:
Читать: https://habr.com/ru/articles/786296/
Go – отличный язык для создания высокопроизводительных веб-приложений, а высокопроизводительные веб-приложения часто требуют централизованного кэширования.
Стандартом де-факто для централизованного кэширования является Redis, но, популярные сегодня библиотеки Go не поддерживают потоковую передачу данных, эффективных с точки зрения памяти.
Вместо этого они предлагают []byte API, с которыми вы взаимодействуете следующим образом:
Читать: https://habr.com/ru/articles/786296/
Организация SQL скриптов крупного проекта
Если проект использует реляционную СУБД обязательно возникнет вопрос - как организовать скрипты для сохранения гибкости и уменьшения трудозатрат.
Погружаемся
Читать: https://habr.com/ru/companies/otus/articles/763648/
Если проект использует реляционную СУБД обязательно возникнет вопрос - как организовать скрипты для сохранения гибкости и уменьшения трудозатрат.
Погружаемся
Читать: https://habr.com/ru/companies/otus/articles/763648/
Announcing Database Security Assessment Tool (DBSAT) 3.1
In this newest release, DBSAT 3.1, we focused on updating DBSAT to close the gap towards Center for Internet Security (CIS) Benchmark v1.2 for Oracle Database 19c. This update expands DBSAT's security assessment capabilities, allowing it to report on 132 checks along with remarks that help you mitigate identified risks.
Read: https://blogs.oracle.com/database/post/announcing-dbsat31
In this newest release, DBSAT 3.1, we focused on updating DBSAT to close the gap towards Center for Internet Security (CIS) Benchmark v1.2 for Oracle Database 19c. This update expands DBSAT's security assessment capabilities, allowing it to report on 132 checks along with remarks that help you mitigate identified risks.
Read: https://blogs.oracle.com/database/post/announcing-dbsat31
👍1
Снежинка, Data Vault, Anchor Modeling. Какая методология проектирования DWH подойдет для вашего бизнеса?
Зачем тратить время на выбор методологии построения DWH? Крайне важно правильно выбрать методологию моделирования данных для хранилища еще на этапе проектирования, это поможет обеспечить необходимый уровень гибкости и масштабируемости, а также позволит синхронизоваться с поставленными бизнес-задачами.
Сравниваем Снежинку, Data Vault и Anchor Modeling и предлагаем алгоритм выбора методологии построения DWH.
Читать: https://habr.com/ru/articles/786822/
Зачем тратить время на выбор методологии построения DWH? Крайне важно правильно выбрать методологию моделирования данных для хранилища еще на этапе проектирования, это поможет обеспечить необходимый уровень гибкости и масштабируемости, а также позволит синхронизоваться с поставленными бизнес-задачами.
Сравниваем Снежинку, Data Vault и Anchor Modeling и предлагаем алгоритм выбора методологии построения DWH.
Читать: https://habr.com/ru/articles/786822/
MongoDB Named a Leader in the 2023 Gartner® Magic Quadrant™ for Cloud Database Management Systems
Read: https://www.mongodb.com/blog/post/mongodb-named-leader-2023-gartner-magic-quadrant-cloud-database-management-systems
Read: https://www.mongodb.com/blog/post/mongodb-named-leader-2023-gartner-magic-quadrant-cloud-database-management-systems
Полиграф: проблемы найма и информационной безопасности
Хочу поделиться своим опытом прохождения полиграфа в качестве кандидата, а так же тем какие проблемы я увидел в этом процессе, какие есть пути решения, а так же почему вам оно точно не нужно.
Началось все как обычно: перед Новым годом очередной сорсер написал мне в телеграм, что есть интересная позиция руководителя небольшой бекенд команды на новый проект. Так как в данный момент я открыт для потенциально интересных предложений мы быстро назначили первое техническое собеседование.
Само собеседование мне скорее понравилось, оно было 1 на 1 сразу с CTO, стандартные вопросы по java в стиле чему равно Integer.valueOf(10) == Integer.valueOf(10). Такие модно было спрашивать в 2008 году. Немного задач на ревью кода, немного на sql. Но собеседование затянулось на 2 часа, о чем меня конечно не предупредили, и из-за этого я пропустил рабочую встречу, мелочь, а неприятно. Так же на этом же собеседовании мне заявили, что необходимо пройти комплекс тестов на интеллект и психологию онлайн и полиграф. Тут бы уже стоило прекратить общение, но в силу того что времени поразмыслить обо всем этом у меня не было, а так же в силу природного любопытства - я согласился.
Читать: https://habr.com/ru/articles/786502/
Хочу поделиться своим опытом прохождения полиграфа в качестве кандидата, а так же тем какие проблемы я увидел в этом процессе, какие есть пути решения, а так же почему вам оно точно не нужно.
Началось все как обычно: перед Новым годом очередной сорсер написал мне в телеграм, что есть интересная позиция руководителя небольшой бекенд команды на новый проект. Так как в данный момент я открыт для потенциально интересных предложений мы быстро назначили первое техническое собеседование.
Само собеседование мне скорее понравилось, оно было 1 на 1 сразу с CTO, стандартные вопросы по java в стиле чему равно Integer.valueOf(10) == Integer.valueOf(10). Такие модно было спрашивать в 2008 году. Немного задач на ревью кода, немного на sql. Но собеседование затянулось на 2 часа, о чем меня конечно не предупредили, и из-за этого я пропустил рабочую встречу, мелочь, а неприятно. Так же на этом же собеседовании мне заявили, что необходимо пройти комплекс тестов на интеллект и психологию онлайн и полиграф. Тут бы уже стоило прекратить общение, но в силу того что времени поразмыслить обо всем этом у меня не было, а так же в силу природного любопытства - я согласился.
Читать: https://habr.com/ru/articles/786502/
Integrate OPC UA With MongoDB - A Feasibility Study With Codelitt
Read: https://www.mongodb.com/blog/post/integrate-opc-ua-mongodb-feasibility-study-codelitt
Read: https://www.mongodb.com/blog/post/integrate-opc-ua-mongodb-feasibility-study-codelitt