Вредные советы по работе с данными. Если вы сломать решили всю отчетность у коллег
Привет, Хабр! Меня зовут Леонид Калядин, я Cluster Data lead в МТС Диджитал, занимаюсь развитием практики Data Governance и Data Quality в 25+ продукта кластера. Мне довелось долго работать в консалтинге и разбираться с проблемами в других системах. Вот смотришь со стороны на ИТ-продукт: все классно и продумано, должно работать как часы. А потом спускаешься на уровень данных и хватаешься за голову: как же допустили такую ошибку? Ее можно было избежать, если задать пару вопросов на стадии проектирования. Зато теперь переделывать все чуть ли не с нуля и ждать возможности вписать изменения в какой-нибудь релиз. Красота!
В этом посте я на основе своего (да, каюсь, было дело) и чужого опыта собрал несколько вредных советов, как не надо хранить историю, объединять данные из разных источников и отслеживать их качество.
В общем,
Если вы сломать решили всю отчетность у коллег,
Обязательно зайдите в этой записи под кат!
Читать: https://habr.com/ru/companies/ru_mts/articles/841014/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Меня зовут Леонид Калядин, я Cluster Data lead в МТС Диджитал, занимаюсь развитием практики Data Governance и Data Quality в 25+ продукта кластера. Мне довелось долго работать в консалтинге и разбираться с проблемами в других системах. Вот смотришь со стороны на ИТ-продукт: все классно и продумано, должно работать как часы. А потом спускаешься на уровень данных и хватаешься за голову: как же допустили такую ошибку? Ее можно было избежать, если задать пару вопросов на стадии проектирования. Зато теперь переделывать все чуть ли не с нуля и ждать возможности вписать изменения в какой-нибудь релиз. Красота!
В этом посте я на основе своего (да, каюсь, было дело) и чужого опыта собрал несколько вредных советов, как не надо хранить историю, объединять данные из разных источников и отслеживать их качество.
В общем,
Если вы сломать решили всю отчетность у коллег,
Обязательно зайдите в этой записи под кат!
Читать: https://habr.com/ru/companies/ru_mts/articles/841014/
#ru
@database_design | Другие наши каналы
База на дискете: про работу с ИТ-инфраструктурой, которую строили четверть века
В начале двухтысячных я работал программистом и системным администратором в компании, в которой к настоящему моменту уже 14 лет тружусь простым директором. Интересный это опыт — смотреть спустя много лет на инфраструктуру, которую собирал своими руками, и которую теперь перестраивают другие люди под твоим руководством.
Читать: https://habr.com/ru/articles/841638/
#ru
@database_design | Другие наши каналы
В начале двухтысячных я работал программистом и системным администратором в компании, в которой к настоящему моменту уже 14 лет тружусь простым директором. Интересный это опыт — смотреть спустя много лет на инфраструктуру, которую собирал своими руками, и которую теперь перестраивают другие люди под твоим руководством.
Читать: https://habr.com/ru/articles/841638/
#ru
@database_design | Другие наши каналы
Хранение данных в Postgresql
В этом тексте хочется подробнее рассмотреть хранение данных в PostgreSQL на физическом уровне.
Для начала определимся с общеизвестными вещами. Данные хранятся в таблицах, таблицы находятся в схемах, схемы, в свою очередь, в базах данных. Под данными я тут подразумеваю одну или несколько строк. В качестве примера будем рассматривать эталон критики, по моему личному мнению, цитаты Линуса Торвальдса.
Подробнее под катом
Читать: https://habr.com/ru/articles/841674/
#ru
@database_design | Другие наши каналы
В этом тексте хочется подробнее рассмотреть хранение данных в PostgreSQL на физическом уровне.
Для начала определимся с общеизвестными вещами. Данные хранятся в таблицах, таблицы находятся в схемах, схемы, в свою очередь, в базах данных. Под данными я тут подразумеваю одну или несколько строк. В качестве примера будем рассматривать эталон критики, по моему личному мнению, цитаты Линуса Торвальдса.
Подробнее под катом
Читать: https://habr.com/ru/articles/841674/
#ru
@database_design | Другие наши каналы
Выгодное решение для интеграции Kafka и MongoDB
Новое решение Atlas Stream Processing в MongoDB Atlas упрощает интеграцию с Apache Kafka, предлагая удобный интерфейс, экономию затрат и повышенную производительность. Оно заменяет Kafka Connector, обеспечивая простую обработку данных и поддерживая более сложные сценарии потоковой обработки. Узнайте больше о его преимуществах. Новые возможности в Atlas Charts: безопасность и кастомизация
MongoDB представил обновления для Atlas Charts, включая защищенные паролем публичные дашборды и улучшенную видимость расходов. Теперь пользователи могут скрывать колонки в таблицах и форматировать их как гиперссылки для удобной работы с данными. Узнайте больше на сайте MongoDB.
Читать подробнее
#en
@database_design | Другие наши каналы
Новое решение Atlas Stream Processing в MongoDB Atlas упрощает интеграцию с Apache Kafka, предлагая удобный интерфейс, экономию затрат и повышенную производительность. Оно заменяет Kafka Connector, обеспечивая простую обработку данных и поддерживая более сложные сценарии потоковой обработки. Узнайте больше о его преимуществах. Новые возможности в Atlas Charts: безопасность и кастомизация
MongoDB представил обновления для Atlas Charts, включая защищенные паролем публичные дашборды и улучшенную видимость расходов. Теперь пользователи могут скрывать колонки в таблицах и форматировать их как гиперссылки для удобной работы с данными. Узнайте больше на сайте MongoDB.
Читать подробнее
#en
@database_design | Другие наши каналы
Новые обновления для MariaDB Enterprise Server
MariaDB объявила о выпуске новых сборок серверов с версиями 10.6.19-15 и 10.5.26-20. В них включены новые возможности, обратно перенесенные из Community Server, такие как улучшенная работа с JSON и расширенные функции таблиц InnoDB. Подробнее по ссылке.
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB объявила о выпуске новых сборок серверов с версиями 10.6.19-15 и 10.5.26-20. В них включены новые возможности, обратно перенесенные из Community Server, такие как улучшенная работа с JSON и расширенные функции таблиц InnoDB. Подробнее по ссылке.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle и Google: Новый уровень интеграции
Oracle Database теперь доступна на Google Cloud! Это позволяет приложениям, работающим в регионах Google Cloud, использовать сервисы Oracle Exadata Database и Oracle Autonomous Database совместно с ресурсами Oracle Cloud Infrastructure (OCI) в тех же регионах. Узнайте больше!
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle Database теперь доступна на Google Cloud! Это позволяет приложениям, работающим в регионах Google Cloud, использовать сервисы Oracle Exadata Database и Oracle Autonomous Database совместно с ресурсами Oracle Cloud Infrastructure (OCI) в тех же регионах. Узнайте больше!
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Getting Started with Exadata Database Service on Oracle Database@Google Cloud
Oracle Exadata is the choice of many leading companies around the world for Oracle Database workloads that require the fastest performance, highest availability, and most robust security. More recently, Exadata has become a key pillar in Oracle’s multicloud…
Oracle Database теперь доступна в Google Cloud
Пост: Oracle и Google объявили о доступности Oracle Database в Google Cloud. Это позволит компаниям использовать сервисы Oracle Database вместе с услугами Google Cloud для инноваций в области ИИ, миграции важных задач и упрощения мультиоблачных операций.
Читать подробнее
#en
@database_design | Другие наши каналы
Пост: Oracle и Google объявили о доступности Oracle Database в Google Cloud. Это позволит компаниям использовать сервисы Oracle Database вместе с услугами Google Cloud для инноваций в области ИИ, миграции важных задач и упрощения мультиоблачных операций.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Global Industry Analyst Views on the General Availability of Oracle Database@Google Cloud
Oracle and Google today announced the general availability of Oracle Database@Google Cloud, enabling organizations to use Oracle Database services from OCI in Google Cloud and combine them with Google Cloud services to innovate with AI, migrate mission-critical…
Присоединяйтесь к Oracle CloudWorld 2024
Oracle приглашает вас на CloudWorld 2024! Исследуйте мировые базы данных и технологии кэширования вместе с командами Globally Distributed Database и True Cache. Узнайте о последних инновациях и расширьте свои знания в области облачных решений.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle приглашает вас на CloudWorld 2024! Исследуйте мировые базы данных и технологии кэширования вместе с командами Globally Distributed Database и True Cache. Узнайте о последних инновациях и расширьте свои знания в области облачных решений.
Читать подробнее
#en
@database_design | Другие наши каналы
Как Agmeta.AI и MongoDB повышают ценность клиентов
Agmeta.AI использует машинное обучение и генерирующий ИИ с поддержкой MongoDB для улучшения работы контакт-центров. Это помогает бизнесам снизить отток клиентов, выявить возможности для дополнительных продаж и улучшить обслуживание. MongoDB Atlas обеспечивает гибкость работы с различными данными и упрощает администрирование. Гиперссылки и скрытые колонки в таблицах Atlas Charts
Теперь в Atlas Charts можно форматировать данные как гиперссылки и скрывать колонки. Эти функции полезны для создания интерактивных таблиц. Например, вы можете превратить названия фильмов в ссылки на их страницы IMDB и скрыть колонку с ID. Подробности в документации!
Читать подробнее
#en
@database_design | Другие наши каналы
Agmeta.AI использует машинное обучение и генерирующий ИИ с поддержкой MongoDB для улучшения работы контакт-центров. Это помогает бизнесам снизить отток клиентов, выявить возможности для дополнительных продаж и улучшить обслуживание. MongoDB Atlas обеспечивает гибкость работы с различными данными и упрощает администрирование. Гиперссылки и скрытые колонки в таблицах Atlas Charts
Теперь в Atlas Charts можно форматировать данные как гиперссылки и скрывать колонки. Эти функции полезны для создания интерактивных таблиц. Например, вы можете превратить названия фильмов в ссылки на их страницы IMDB и скрыть колонку с ID. Подробности в документации!
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle Database теперь доступна на Google Cloud
Oracle Database теперь доступна на Google Cloud, предлагая сервисы Exadata и Autonomous Database от Oracle Cloud Infrastructure. Это решение обеспечивает мощные возможности для работы с данными прямо в облачной среде Google. Узнайте больше о новых преимуществах!
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle Database теперь доступна на Google Cloud, предлагая сервисы Exadata и Autonomous Database от Oracle Cloud Infrastructure. Это решение обеспечивает мощные возможности для работы с данными прямо в облачной среде Google. Узнайте больше о новых преимуществах!
Читать подробнее
#en
@database_design | Другие наши каналы
Генеративный ИИ и новые возможности с Graph RAG
Использование генеративного ИИ на данных, которые не были включены в модели обучения, таких как данные вашего бизнеса, стало проще благодаря Graph RAG от Oracle. Узнайте, как Oracle облегчает доступ к этим технологиям и расширяет их применение.
Читать подробнее
#en
@database_design | Другие наши каналы
Использование генеративного ИИ на данных, которые не были включены в модели обучения, таких как данные вашего бизнеса, стало проще благодаря Graph RAG от Oracle. Узнайте, как Oracle облегчает доступ к этим технологиям и расширяет их применение.
Читать подробнее
#en
@database_design | Другие наши каналы
Будущее разработки корпоративных приложений с GenDev
Пост: Генеративная инфраструктура GenDev с автономными базами данных и новейшими инновациями позволяет быстрее и проще создавать приложения с ИИ-управляемыми языковыми интерфейсами. Откройте для себя будущее разработки корпоративных приложений уже сегодня.
Читать подробнее
#en
@database_design | Другие наши каналы
Пост: Генеративная инфраструктура GenDev с автономными базами данных и новейшими инновациями позволяет быстрее и проще создавать приложения с ИИ-управляемыми языковыми интерфейсами. Откройте для себя будущее разработки корпоративных приложений уже сегодня.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle Database и мощь GPU
Oracle Database давно поддерживает разнообразные типы данных и рабочие нагрузки, включая JSON, графы и блокчейн, активно используя передовые аппаратные технологии. Узнайте, как Oracle интегрирует возможности GPU для повышения производительности своих систем.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle Database давно поддерживает разнообразные типы данных и рабочие нагрузки, включая JSON, графы и блокчейн, активно используя передовые аппаратные технологии. Узнайте, как Oracle интегрирует возможности GPU для повышения производительности своих систем.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Using NVIDIA GPUs to Accelerate AI Vector Search in Oracle Database 23ai
Over many years, Oracle Database has proven its versatility by not only supporting many of the latest data types and workloads including JSON, graph, spatial, in-memory, blockchain, and vector, but also by leveraging the best, state-of-the-art hardware. Today…
Новые возможности для разработчиков от Oracle
Oracle представил два новых варианта для разработчиков: Autonomous Database for Developers и Autonomous Database for Developers - Container Image. Эти решения делают разработку и тестирование приложений на платформе Autonomous Database проще и доступнее.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle представил два новых варианта для разработчиков: Autonomous Database for Developers и Autonomous Database for Developers - Container Image. Эти решения делают разработку и тестирование приложений на платформе Autonomous Database проще и доступнее.
Читать подробнее
#en
@database_design | Другие наши каналы
Telegram
DATABASE DESIGN
Лучшие материалы по работе с хранилищами данных на русском и английском языке
Разместить рекламу: @tproger_sales_bot
Правила общения: https://tprg.ru/rules
Другие каналы: @tproger_channels
Другие наши проекты: https://tprg.ru/media
Разместить рекламу: @tproger_sales_bot
Правила общения: https://tprg.ru/rules
Другие каналы: @tproger_channels
Другие наши проекты: https://tprg.ru/media
Анонс нового инструмента для генерации синтетических данных!
Компания представила Select AI Synthetic Data Generation (SDG), который значительно упрощает использование больших языковых моделей (LLMs) для создания данных, соответствующих вашей схеме. Это открывает новые возможности для тестирования решений и внедрения концептов.
Читать подробнее
#en
@database_design | Другие наши каналы
Компания представила Select AI Synthetic Data Generation (SDG), который значительно упрощает использование больших языковых моделей (LLMs) для создания данных, соответствующих вашей схеме. Это открывает новые возможности для тестирования решений и внедрения концептов.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Announcing Select AI for Synthetic Data Generation
In support of generating synthetic data, we’re excited to announce Select AI Synthetic Data Generation (SDG) – making it easy to use LLMs to generate data conforming to your schema for solution testing, proofs of concept, and other uses.
Новые AI-решения в Autonomous Database Data Studio
В Autonomous Database Data Studio появились новые AI-функции, которые помогут улучшить интеграцию данных, их обработку и анализ. Эти обновления сделают работу с данными еще эффективнее и проще. Узнайте больше о нововведениях и их преимуществах.
Читать подробнее
#en
@database_design | Другие наши каналы
В Autonomous Database Data Studio появились новые AI-функции, которые помогут улучшить интеграцию данных, их обработку и анализ. Эти обновления сделают работу с данными еще эффективнее и проще. Узнайте больше о нововведениях и их преимуществах.
Читать подробнее
#en
@database_design | Другие наши каналы
Новый инструмент Select AI с поддержкой RAG
Теперь Select AI поддерживает Retrieval Augmented Generation (RAG), что позволяет легко использовать модели машинного обучения для получения информации или создания нового контента на основе ваших приватных данных с помощью естественных языковых запросов.
Читать подробнее
#en
@database_design | Другие наши каналы
Теперь Select AI поддерживает Retrieval Augmented Generation (RAG), что позволяет легко использовать модели машинного обучения для получения информации или создания нового контента на основе ваших приватных данных с помощью естественных языковых запросов.
Читать подробнее
#en
@database_design | Другие наши каналы
Диаграммы классов UML из PostgreSQL. Часть первая
Статья продолжает знакомить с функциями для документирования баз данных PostgreSQL. Но на этот раз речь пойдет о специальных функциях, подготавливающих описания диаграмм классов на языке PlantUML.
В качестве основного средства документирования выбрана система управления проектами TRAC с подключенным плагином plantuml.
Читать: https://habr.com/ru/articles/841776/
#ru
@database_design | Другие наши каналы
Статья продолжает знакомить с функциями для документирования баз данных PostgreSQL. Но на этот раз речь пойдет о специальных функциях, подготавливающих описания диаграмм классов на языке PlantUML.
В качестве основного средства документирования выбрана система управления проектами TRAC с подключенным плагином plantuml.
Читать: https://habr.com/ru/articles/841776/
#ru
@database_design | Другие наши каналы
Использование учетных данных MS SQL Server для повышения привилегий
Эта публикация - перевод статьи Scott Sutherland - Hijacking SQL Server Credentials using Agent Jobs for Domain Privilege Escalation. В публикации описано, как объекты учетных данных SQL Server могут быть использованы злоумышленниками для выполнения кода от имени пользователя SQL Server, локального пользователя Windows или доменного пользователя. Также, в публикации будет информация о том, как настроить логирование для обнаружения соответствующего поведения.
Читать: https://habr.com/ru/articles/842374/
#ru
@database_design | Другие наши каналы
Эта публикация - перевод статьи Scott Sutherland - Hijacking SQL Server Credentials using Agent Jobs for Domain Privilege Escalation. В публикации описано, как объекты учетных данных SQL Server могут быть использованы злоумышленниками для выполнения кода от имени пользователя SQL Server, локального пользователя Windows или доменного пользователя. Также, в публикации будет информация о том, как настроить логирование для обнаружения соответствующего поведения.
Читать: https://habr.com/ru/articles/842374/
#ru
@database_design | Другие наши каналы
Диаграммы классов UML из PostgreSQL. Окончание
Это вторая часть статьи, в которой обсуждаются вспомогательные функции, использующиеся функциями предназначенными для непосредственного формирования PlantUML-скриптов. Основные процедур и функции обсуждались в первой части статьи. Здесь же присутствует контрольный пример с таблицами, которые использовались для демонстрации функций.
Читать: https://habr.com/ru/articles/841926/
#ru
@database_design | Другие наши каналы
Это вторая часть статьи, в которой обсуждаются вспомогательные функции, использующиеся функциями предназначенными для непосредственного формирования PlantUML-скриптов. Основные процедур и функции обсуждались в первой части статьи. Здесь же присутствует контрольный пример с таблицами, которые использовались для демонстрации функций.
Читать: https://habr.com/ru/articles/841926/
#ru
@database_design | Другие наши каналы