Почему Starburst Icehouse подходит не всем
Недавно CEO Starburst опубликовал манифест о будущем открытого озера данных. В манифесте он говорит об Icehouse, архитектуре озера данных нового поколения на базе Trino и Iceberg. Глядя на нее, многие разработчики недоумевали: «А чем она отличается от любой другой архитектуры Data Lakehouse?». Команда VK Cloud перевела статью о концепции Icehouse. Вы поймете, почему в ней нет необходимости и почему она подходит далеко не всем, кто работает с открытыми архитектурами озера данных.
Читать: https://habr.com/ru/companies/vk/articles/824258/
@database_design
___
Другие наши проекты
Недавно CEO Starburst опубликовал манифест о будущем открытого озера данных. В манифесте он говорит об Icehouse, архитектуре озера данных нового поколения на базе Trino и Iceberg. Глядя на нее, многие разработчики недоумевали: «А чем она отличается от любой другой архитектуры Data Lakehouse?». Команда VK Cloud перевела статью о концепции Icehouse. Вы поймете, почему в ней нет необходимости и почему она подходит далеко не всем, кто работает с открытыми архитектурами озера данных.
Читать: https://habr.com/ru/companies/vk/articles/824258/
@database_design
___
Другие наши проекты
Auditing access to your sensitive data is now simpler and more precise
Oracle Database 23ai expands the unified audit framework with new, easier to use, column-level auditing capabilities
Read: https://blogs.oracle.com/database/post/auditing-access-to-your-sensitive-data-is-now-simpler-and-more-precise
@database_design
___
Другие наши проекты
Oracle Database 23ai expands the unified audit framework with new, easier to use, column-level auditing capabilities
Read: https://blogs.oracle.com/database/post/auditing-access-to-your-sensitive-data-is-now-simpler-and-more-precise
@database_design
___
Другие наши проекты
Новые возможности Audit Vault и Database Firewall
В последнем релизе Audit Vault и Database Firewall появилась функция сканирования сети для поиска баз данных и быстрого добавления новых обнаруженных баз данных в качестве целевых объектов AVDF. Узнайте, как это может повысить безопасность ваших данных.
Читать подробнее
___
Другие наши проекты
В последнем релизе Audit Vault и Database Firewall появилась функция сканирования сети для поиска баз данных и быстрого добавления новых обнаруженных баз данных в качестве целевых объектов AVDF. Узнайте, как это может повысить безопасность ваших данных.
Читать подробнее
___
Другие наши проекты
Oracle
Discover unmonitored databases with Oracle Audit Vault and Database Firewall (AVDF) 20.12
The latest release of Audit Vault and Database Firewall adds the capability to scan your network for databases and quickly add newly discovered databases as AVDF targets
Секретные материалы: удобство (без)опасности
Выбор метода хранения и передачи секретной информации и его настройки могут серьёзно сказаться на общей безопасности инфраструктуры. Наши аналитики Нина Степовик и Виктор Кузнецов рассказали об этом со сцены Positive Hack Days Fest 2, а мы выкладываем видеозапись и дополненную текстовую версию доклада.
Из этого материала вы узнаете о некоторых аспектах управления секретными данными и основных видах атак на хранилища секретов. Наши специалисты сравнили популярные хранилища, поделились рекомендациями и лучшими практиками для их настройки, а также разобрали типичные ошибки в интеграции хранилищ секретов в инфраструктуру.
Читать: https://habr.com/ru/companies/bastion/articles/824748/
@database_design
___
Другие наши проекты
Выбор метода хранения и передачи секретной информации и его настройки могут серьёзно сказаться на общей безопасности инфраструктуры. Наши аналитики Нина Степовик и Виктор Кузнецов рассказали об этом со сцены Positive Hack Days Fest 2, а мы выкладываем видеозапись и дополненную текстовую версию доклада.
Из этого материала вы узнаете о некоторых аспектах управления секретными данными и основных видах атак на хранилища секретов. Наши специалисты сравнили популярные хранилища, поделились рекомендациями и лучшими практиками для их настройки, а также разобрали типичные ошибки в интеграции хранилищ секретов в инфраструктуру.
Читать: https://habr.com/ru/companies/bastion/articles/824748/
@database_design
___
Другие наши проекты
Как мы повышали производительность очереди сообщений
Работа в Яндексе ставит огромное количество технических вызовов, которые интересно решать. И один из них — это производительность основной очереди сообщений YDB Topics. Посмотрим, может ли опенсорсный продукт от Яндекса конкурировать с Apache Kafka по производительности.
Меня зовут Зевайкин Александр. Я уже практически 20 лет в IT. Начинал с преподавания в вузе, запускал множество стартапов, руководил командами разработки. В текущий момент я работаю в Яндексе в отделе, занимающимся одной из высоконагруженных систем. Это разработка распределённой базы YDB, в частности, функциональности YDB Topic.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/824826/
@database_design
___
Другие наши проекты
Работа в Яндексе ставит огромное количество технических вызовов, которые интересно решать. И один из них — это производительность основной очереди сообщений YDB Topics. Посмотрим, может ли опенсорсный продукт от Яндекса конкурировать с Apache Kafka по производительности.
Меня зовут Зевайкин Александр. Я уже практически 20 лет в IT. Начинал с преподавания в вузе, запускал множество стартапов, руководил командами разработки. В текущий момент я работаю в Яндексе в отделе, занимающимся одной из высоконагруженных систем. Это разработка распределённой базы YDB, в частности, функциональности YDB Topic.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/824826/
@database_design
___
Другие наши проекты
Революция в техобслуживании с помощью MongoDB и генеративного ИИ
Предсказательное техобслуживание с генеративным ИИ меняет правила игры в промышленности. MongoDB Atlas обеспечивает интеграцию AI-приложений для анализа данных и оптимизации графиков обслуживания. Исследуйте, как повысить эффективность и снизить издержки с помощью этой передовой технологии! Инновационное решение для страховых компаний: RAG-приложения
Страховые компании могут значительно сократить время на обработку данных благодаря RAG-приложениям. Система на основе MongoDB и SuperDuperDB позволяет искать информацию в PDF-документах, отвечать на вопросы и точно указывать источник данных. Узнайте, как это работает на практике!
Читать подробнее
___
Другие наши проекты
Предсказательное техобслуживание с генеративным ИИ меняет правила игры в промышленности. MongoDB Atlas обеспечивает интеграцию AI-приложений для анализа данных и оптимизации графиков обслуживания. Исследуйте, как повысить эффективность и снизить издержки с помощью этой передовой технологии! Инновационное решение для страховых компаний: RAG-приложения
Страховые компании могут значительно сократить время на обработку данных благодаря RAG-приложениям. Система на основе MongoDB и SuperDuperDB позволяет искать информацию в PDF-документах, отвечать на вопросы и точно указывать источник данных. Узнайте, как это работает на практике!
Читать подробнее
___
Другие наши проекты
Работа с базами данных в Rust с помощью Diesel
Привет, Хабр!
Сегодня мы поговорим о Diesel ORM — инструменте, который превращает работу с базами данных в Rust в настоящее удовольствие. Diesel ORM — это расширяемый и безопасный объектно-реляционный маппер и конструктор запросов для Rust. Он имеет высокоуровневый API для взаимодействия с различными СУБД: PostgreSQL, MySQL и SQLite.
Начнем с установки и настройки!
Читать: https://habr.com/ru/companies/otus/articles/817777/
@database_design
___
Другие наши проекты
Привет, Хабр!
Сегодня мы поговорим о Diesel ORM — инструменте, который превращает работу с базами данных в Rust в настоящее удовольствие. Diesel ORM — это расширяемый и безопасный объектно-реляционный маппер и конструктор запросов для Rust. Он имеет высокоуровневый API для взаимодействия с различными СУБД: PostgreSQL, MySQL и SQLite.
Начнем с установки и настройки!
Читать: https://habr.com/ru/companies/otus/articles/817777/
@database_design
___
Другие наши проекты
Суммируем и не только. Агрегатные функции в SQL - это просто.
Рассмотрим базовые агрегатные функции COUNT, SUM, MIN, MAX и AVG в SQL и как ими пользоваться в написании запросов.
Читать: «Суммируем и не только. Агрегатные функции в SQL - это просто.»
@database_design
___
Другие наши проекты
Рассмотрим базовые агрегатные функции COUNT, SUM, MIN, MAX и AVG в SQL и как ими пользоваться в написании запросов.
Читать: «Суммируем и не только. Агрегатные функции в SQL - это просто.»
@database_design
___
Другие наши проекты
Tproger
Суммируем и не только. Агрегатные функции в SQL - это просто.
Рассмотрим базовые агрегатные функции COUNT, SUM, MIN, MAX и AVG в SQL и как ими пользоваться в написании запросов.
Качество данных в М.Видео-Эльдорадо
Привет, Хабр! С середины 2023 года у нас в компании было принято решение открыть новое направление в области управления данными - «Качество данных». Вот почти уже год мы активно в нем развиваемся и хотели бы поделиться накопленным опытом. Надеемся, что данный материал будет вам полезен.
Читать: https://habr.com/ru/companies/mvideo/articles/825314/
@database_design
___
Другие наши проекты
Привет, Хабр! С середины 2023 года у нас в компании было принято решение открыть новое направление в области управления данными - «Качество данных». Вот почти уже год мы активно в нем развиваемся и хотели бы поделиться накопленным опытом. Надеемся, что данный материал будет вам полезен.
Читать: https://habr.com/ru/companies/mvideo/articles/825314/
@database_design
___
Другие наши проекты
Качество данных в М.Видео-Эльдорадо
Привет, Хабр! С середины 2023 года у нас в компании было принято решение открыть новое направление в области управления данными - «Качество данных». Вот почти уже год мы активно в нем развиваемся и хотели бы поделиться накопленным опытом. Надеемся, что данный материал будет вам полезен.
Читать: https://habr.com/ru/companies/mvideo/articles/825314/
@database_design
___
Другие наши проекты
Привет, Хабр! С середины 2023 года у нас в компании было принято решение открыть новое направление в области управления данными - «Качество данных». Вот почти уже год мы активно в нем развиваемся и хотели бы поделиться накопленным опытом. Надеемся, что данный материал будет вам полезен.
Читать: https://habr.com/ru/companies/mvideo/articles/825314/
@database_design
___
Другие наши проекты
Как нормализовывать телефонные номера
Замечали когда-нибудь, что все записывают телефонные номера по-разному? Некоторые пишут их через пробелы, другие через дефис, а кто-то использует скобки. Разные люди по-разному группируют цифры номеров в числа.
И это становится реальной проблемой, когда вам нужно сохранить телефонные номера в базе данных и затем извлекать из неё записи по ним.
Читать: https://habr.com/ru/companies/ruvds/articles/824708/
@database_design
___
Другие наши проекты
Замечали когда-нибудь, что все записывают телефонные номера по-разному? Некоторые пишут их через пробелы, другие через дефис, а кто-то использует скобки. Разные люди по-разному группируют цифры номеров в числа.
И это становится реальной проблемой, когда вам нужно сохранить телефонные номера в базе данных и затем извлекать из неё записи по ним.
Читать: https://habr.com/ru/companies/ruvds/articles/824708/
@database_design
___
Другие наши проекты
❤2
Как нормализовывать телефонные номера
Замечали когда-нибудь, что все записывают телефонные номера по-разному? Некоторые пишут их через пробелы, другие через дефис, а кто-то использует скобки. Разные люди по-разному группируют цифры номеров в числа.
И это становится реальной проблемой, когда вам нужно сохранить телефонные номера в базе данных и затем извлекать из неё записи по ним.
Читать: https://habr.com/ru/companies/ruvds/articles/824708/
@database_design
___
Другие наши проекты
Замечали когда-нибудь, что все записывают телефонные номера по-разному? Некоторые пишут их через пробелы, другие через дефис, а кто-то использует скобки. Разные люди по-разному группируют цифры номеров в числа.
И это становится реальной проблемой, когда вам нужно сохранить телефонные номера в базе данных и затем извлекать из неё записи по ним.
Читать: https://habr.com/ru/companies/ruvds/articles/824708/
@database_design
___
Другие наши проекты
👍1
Что нового в документации YDB во втором квартале 2024 года
Документация YDB продолжает развиваться, отвечая на растущие потребности своей разнообразной аудитории. Наша цель остаётся прежней — улучшение ясности, доступности и глубины предоставляемой информации. В этом квартале мы ввели значительные обновления и новые разделы.
Читать: https://habr.com/ru/companies/ydb/articles/825416/
@database_design
___
Другие наши проекты
Документация YDB продолжает развиваться, отвечая на растущие потребности своей разнообразной аудитории. Наша цель остаётся прежней — улучшение ясности, доступности и глубины предоставляемой информации. В этом квартале мы ввели значительные обновления и новые разделы.
Читать: https://habr.com/ru/companies/ydb/articles/825416/
@database_design
___
Другие наши проекты
Новые возможности с AMD E5 для Oracle Base Database Service
Oracle объявила о выпуске VM.Standard.E5.Flex. Эта новая генерация AMD E5 форм предлагает оптимизированные ресурсы для обслуживания ваших баз данных Oracle. Узнайте, как улучшить свои рабочие нагрузки с помощью предельно гибких решений.
Читать подробнее
___
Другие наши проекты
Oracle объявила о выпуске VM.Standard.E5.Flex. Эта новая генерация AMD E5 форм предлагает оптимизированные ресурсы для обслуживания ваших баз данных Oracle. Узнайте, как улучшить свои рабочие нагрузки с помощью предельно гибких решений.
Читать подробнее
___
Другие наши проекты
Oracle
Oracle Base Database Service Adds AMD VM Standard E5 Flex Shapes
We are pleased to announce the general availability of AMD E5 flexible shapes, VM.Standard.E5.Flex, for Oracle Base Database Service, providing you the next generation of AMD shapes with right-sized resources for your Oracle Database workloads.
Решаем задачу уровня «Невозможно». Сжатие хаотического бинарного кода. Суперпозиционные системы счисления
Для наилучшего восприятия выделим основные пункты изложенного материала:
1. Для чего необходимо сжатие информации и увеличение плотности записи.
2. Проблемы в покорение хаоса, нерешенные математиками и ими же созданные.
3. Простое решение проблемы сжатия абсолютно любого бинарного кода.
4. Пути и методы дальнейшего развития сжатия бинарного кода.
Читать: https://habr.com/ru/articles/825536/
@database_design
___
Другие наши проекты
Для наилучшего восприятия выделим основные пункты изложенного материала:
1. Для чего необходимо сжатие информации и увеличение плотности записи.
2. Проблемы в покорение хаоса, нерешенные математиками и ими же созданные.
3. Простое решение проблемы сжатия абсолютно любого бинарного кода.
4. Пути и методы дальнейшего развития сжатия бинарного кода.
Читать: https://habr.com/ru/articles/825536/
@database_design
___
Другие наши проекты
👍1
Стоит ли бояться serializable-транзакций больше, чем труднонаходимых багов?
В базах данных транзакции обладают свойствами ACID, где «I» означает изоляцию транзакций при одновременном (concurrent) выполнении.
Наличие (serializable) изоляции гарантирует, что результат транзакций, выполненных параллельно, будет таким же, как если бы они были выполнены в некотором последовательном порядке.
Сериализация выполнения транзакций не бесплатна с точки зрения производительности.
Многие СУБД поддерживают более слабые уровни изоляции, оставляя за разработчиком выбор подходящего. В монолитных СУБД более слабый уровень изоляции часто используется по умолчанию. Так, в PostgreSQL и MySQL это «read committed». В распределённых СУБД чаще по умолчанию более строгие уровни: «repeatable read» в YugabyteDB и TiDB, «serializable» в CockroachDB и YDB.
Слабые уровни изоляции могут быть причиной очень труднонаходимых багов. Причём эти баги могут вызвать уязвимости в безопасности.
Из-за подобных багов уже были украдены миллионы долларов, в частности с биткоин-бирж. Мы расскажем о подобных случаях более детально в следующих разделах.
Читать: https://habr.com/ru/companies/ydb/articles/825768/
@database_design
___
Другие наши проекты
В базах данных транзакции обладают свойствами ACID, где «I» означает изоляцию транзакций при одновременном (concurrent) выполнении.
Наличие (serializable) изоляции гарантирует, что результат транзакций, выполненных параллельно, будет таким же, как если бы они были выполнены в некотором последовательном порядке.
Сериализация выполнения транзакций не бесплатна с точки зрения производительности.
Многие СУБД поддерживают более слабые уровни изоляции, оставляя за разработчиком выбор подходящего. В монолитных СУБД более слабый уровень изоляции часто используется по умолчанию. Так, в PostgreSQL и MySQL это «read committed». В распределённых СУБД чаще по умолчанию более строгие уровни: «repeatable read» в YugabyteDB и TiDB, «serializable» в CockroachDB и YDB.
Слабые уровни изоляции могут быть причиной очень труднонаходимых багов. Причём эти баги могут вызвать уязвимости в безопасности.
Из-за подобных багов уже были украдены миллионы долларов, в частности с биткоин-бирж. Мы расскажем о подобных случаях более детально в следующих разделах.
Читать: https://habr.com/ru/companies/ydb/articles/825768/
@database_design
___
Другие наши проекты
AI-приложения: как видят их пользователи vs. разработчики
Пользователь видит, как AI-приложение помогает найти дом по фото в другом городе за секунды. Но для разработчиков важно объединить операционные и векторные данные, использовать их инструменты и обеспечивать безопасность. MongoDB упрощает эту работу и поддерживает разработчиков, ведущих новую AI-революцию. Узнайте больше на mongodb.com/LoveYourDevelopers. Генеративный ИИ и предиктивное обслуживание с MongoDB Atlas
Статья рассказывает, как с помощью MongoDB Atlas и генеративного ИИ можно предсказывать поломки оборудования, создавая оптимальные графики обслуживания. Такие технологии позволяют объединять структурированные и неструктурированные данные для точного анализа и повышения эффективности производства.
Читать подробнее
___
Другие наши проекты
Пользователь видит, как AI-приложение помогает найти дом по фото в другом городе за секунды. Но для разработчиков важно объединить операционные и векторные данные, использовать их инструменты и обеспечивать безопасность. MongoDB упрощает эту работу и поддерживает разработчиков, ведущих новую AI-революцию. Узнайте больше на mongodb.com/LoveYourDevelopers. Генеративный ИИ и предиктивное обслуживание с MongoDB Atlas
Статья рассказывает, как с помощью MongoDB Atlas и генеративного ИИ можно предсказывать поломки оборудования, создавая оптимальные графики обслуживания. Такие технологии позволяют объединять структурированные и неструктурированные данные для точного анализа и повышения эффективности производства.
Читать подробнее
___
Другие наши проекты
Как я положил продакшен базу на выходных
Вчера произошла эпическая история. После планового деплоя в субботу вечером (так было нужно), мне прилетело сообщение “кирилл, у нас почему-то не показываются заявки”. Наверное фильтры слетели, подумал я и пошел проверять. Фильтры не слетели. Я слегка напрягся и пошел в яндекс клауд посмотреть что там в базе. Как я и боялся, таблицы были пустыми. Причем не все, но многие. Самое интересное, что они были не просто пустыми, но у них сбросились счетчики.
Увидел я это не сразу после деплоя, поэтому было не до конца понятно, это деплой привел к удалению данных или что-то другое. Я быстро восстановил снепшот на новом кластере, благо это делается одним кликом и выполнил туда деплой заново. Какого было мое удивление, когда после деплоя база очистилась. Какого хрена подумал я, прикидывая, что могло быть причиной. В этот момент ко мне присоединился второй разработчик проекта, с которым мы весело провели 3 часа за дебагом.
Сам деплой был необычным, потому что мы выкатывали большое изменение для обработки заявок основного договора (до этого работало только раннее бронирование). Туда входило и много кода и около 40 миграций и обновления зависимостей и новая конфигурация. Но мы точно не добавляли код, который бы грохал половину базы (как нам тогда казалось, хаха).
Дальше мы полезли изучать код на предмет подозрительных вещей:
Читать: https://habr.com/ru/articles/825944/
@database_design
___
Другие наши проекты
Вчера произошла эпическая история. После планового деплоя в субботу вечером (так было нужно), мне прилетело сообщение “кирилл, у нас почему-то не показываются заявки”. Наверное фильтры слетели, подумал я и пошел проверять. Фильтры не слетели. Я слегка напрягся и пошел в яндекс клауд посмотреть что там в базе. Как я и боялся, таблицы были пустыми. Причем не все, но многие. Самое интересное, что они были не просто пустыми, но у них сбросились счетчики.
Увидел я это не сразу после деплоя, поэтому было не до конца понятно, это деплой привел к удалению данных или что-то другое. Я быстро восстановил снепшот на новом кластере, благо это делается одним кликом и выполнил туда деплой заново. Какого было мое удивление, когда после деплоя база очистилась. Какого хрена подумал я, прикидывая, что могло быть причиной. В этот момент ко мне присоединился второй разработчик проекта, с которым мы весело провели 3 часа за дебагом.
Сам деплой был необычным, потому что мы выкатывали большое изменение для обработки заявок основного договора (до этого работало только раннее бронирование). Туда входило и много кода и около 40 миграций и обновления зависимостей и новая конфигурация. Но мы точно не добавляли код, который бы грохал половину базы (как нам тогда казалось, хаха).
Дальше мы полезли изучать код на предмет подозрительных вещей:
Читать: https://habr.com/ru/articles/825944/
@database_design
___
Другие наши проекты
Решение Nokia Corteca на базе MongoDB Atlas: новые горизонты Wi-Fi
Платформа Nokia Corteca Home Controller, запущенная в 2019 году, за последние пять лет благодаря MongoDB Atlas масштабировалась с 500,000 до 4,5 миллионов устройств по всему миру. Решение выполняет управление девайсами, Wi-Fi и приложениями, обеспечивая стабильную работу и улучшенное обслуживание клиентов. Как разработчики меняют мир ИИ
Хотите найти дом своей мечты, просто сделав снимок? Современные ИИ-приложения уже стремятся к этому! Разработчики объединяют данные и используют передовые модели, чтобы создать новые, невероятные возможности. Узнайте, как MongoDB поддерживает их на пути к инновациям: www.mongodb.com/LoveYourDevelopers
Читать подробнее
___
Другие наши проекты
Платформа Nokia Corteca Home Controller, запущенная в 2019 году, за последние пять лет благодаря MongoDB Atlas масштабировалась с 500,000 до 4,5 миллионов устройств по всему миру. Решение выполняет управление девайсами, Wi-Fi и приложениями, обеспечивая стабильную работу и улучшенное обслуживание клиентов. Как разработчики меняют мир ИИ
Хотите найти дом своей мечты, просто сделав снимок? Современные ИИ-приложения уже стремятся к этому! Разработчики объединяют данные и используют передовые модели, чтобы создать новые, невероятные возможности. Узнайте, как MongoDB поддерживает их на пути к инновациям: www.mongodb.com/LoveYourDevelopers
Читать подробнее
___
Другие наши проекты
30 самых полезных библиотек Python для веб-разработки в 2024 году
Узнайте о лучших библиотеках Python, которые помогут вам в 2024 году. От анализа данных до веб-разработки — все, что нужно для эффективного программирования на Python.
Читать: «30 самых полезных библиотек Python для веб-разработки в 2024 году»
@database_design
___
Другие наши проекты
Узнайте о лучших библиотеках Python, которые помогут вам в 2024 году. От анализа данных до веб-разработки — все, что нужно для эффективного программирования на Python.
Читать: «30 самых полезных библиотек Python для веб-разработки в 2024 году»
@database_design
___
Другие наши проекты
❤1
Что делать российским пользователям Greenplum?
Недавнее приобретение Broadcom компании VMware и последующее закрытие публичного доступа к исходным кодам Greenplum вызвало беспокойство среди пользователей. Рассказываем, что делать российским компаниям
Читать: «Что делать российским пользователям Greenplum?»
@database_design
___
Другие наши проекты
Недавнее приобретение Broadcom компании VMware и последующее закрытие публичного доступа к исходным кодам Greenplum вызвало беспокойство среди пользователей. Рассказываем, что делать российским компаниям
Читать: «Что делать российским пользователям Greenplum?»
@database_design
___
Другие наши проекты