Качество данных и роботы: как мы высвободили 5 рабочих часов в день сотрудника DQ

Привет, меня зовут Катя Моисеева, я руководитель направления качества данных в Data Office Tele2. Мы уже рассказывали о том, как с нуля строили процессы качества данных на различных площадках (выступления можно посмотреть по ссылке).

Сейчас для нас остро встал вопрос о ресурсах нашей команды, а точнее их «резиновости» - поток входящих инцидентов растет по мере подключения новых систем к проверкам качества, а команда остается в составе 3 сотрудников. Возникает вопрос – а какая она, идеальная команда качества данных, которая сможет создать процессы с нуля, внедрить и привить культуру внутренним заказчикам, свести к минимуму риски возникновения инцидентов, а еще минимизировать затраты компании?

Под катом поделились своим опытом борьбы с хаосом из потока входящих задач и запросов от бизнеса и о маленьком роботе-спасителе, который экономит нам ежедневно 5 часов сотрудника DQ и внедрить которого по силам каждому.


Читать: https://habr.com/ru/companies/tele2/articles/820991/

@database_design
___
Другие наши проекты

MariaDB Enterprise Server Q2 2024 maintenance releases

Read: https://mariadb.com/?p=39348

@database_design
___
Другие наши проекты

Announcing Oracle Database Migration Assistant for Unicode Release 23.1

Announcement for Oracle Database Migration Assistant for Unicode (DMU) release 23.1

Read: https://blogs.oracle.com/database/post/announcing-oracle-database-migration-assistant-for-unicode-release-231

@database_design
___
Другие наши проекты

Helping MongoDB Customers Unlock Potential with Industry Solutions



Read: https://www.mongodb.com/blog/post/helping-mongodb-customers-unlock-potential-industry-solutions

@database_design
___
Другие наши проекты

Как хеширование поможет вам оптимизировать хранение данных?

Хеширование – это мощный инструмент, широко используемый в различных областях IT: от защиты паролей до создания быстрых структур данных. В этой статье мы подробно рассмотрим, как хеширование помогает оптимизировать хранение данных, исключить дубликаты и улучшить работу с файлами.


Читать: https://habr.com/ru/articles/821337/

@database_design
___
Другие наши проекты

Разработка многопоточной Базы Данных: Ключевые аспекты и примеры реализации ( C++ )

Эта статья посвящена разработке многопоточной базы данных. Мы рассмотрим основные компоненты, такие как хранилище данных, транзакционные системы, многопоточность, журналирование и восстановление, а также создание API для взаимодействия с базой данных. Примеры кода на языке C++ помогут лучше понять реализацию различных аспектов многопоточной базы данных.


Читать: https://habr.com/ru/articles/821381/

@database_design
___
Другие наши проекты

Простая документация с dbt: Упрощение документирования хранилищ данных

Когда вы в последний раз впервые смотрели на хранилище данных? Помните то чувство фрустрации, когда вы не знали, что содержат таблицы orders_final_v1? Или как отличить user_uuid от user_id? Любой специалист по данным может понять эти ощущения.

К счастью, dbt (Data Build Tool) значительно упростил задачу документирования хранилищ данных. Все, что нужно сделать, это включить описание наших таблиц и колонок в YAML-файл схемы. Затем вся информация собирается в аккуратный HTML-файл.

Данная статья это перевод с английского с некоторыми адаптациями. Перевод сделан НЕшколой для инженеров Inzhenerka.Tech совместно с автором симулятора по DWH на dbt Павлом Рословцом. Больше материала в нашем сообществе


Читать: https://habr.com/ru/articles/821503/

@database_design
___
Другие наши проекты

Алгоритм формирования дробных индексов

В данной статье я постараюсь объяснить процесс разработки и оптимизации алгоритма построения дробных индексов, используя простые логические рассуждения. По ходу статьи мы углубимся в тонкости алгоритма и возможные применения, коснемся темы оптимизации размера индекса в крайних случаях, а также рассмотрим, как изменить алгоритм для поддержки одновременного использования многими пользователями.


Читать: https://habr.com/ru/articles/821187/

@database_design
___
Другие наши проекты

AI-Powered Media Personalization: MongoDB and Vector Search



Read: https://www.mongodb.com/blog/post/ai-powered-media-personalization-mongodb-vector-search

@database_design
___
Другие наши проекты

Announcing Oracle Database 23ai support on Autonomous Database on dedicated infrastructure

23ai support on Autonomous Database Dedicated

Read: https://blogs.oracle.com/database/post/announcing-23ai-support-on-autonomous-database-on-dedicated-exadata-infrastructure

@database_design
___
Другие наши проекты

Как снизить нагрузку на CRM-систему

Рассказали, как справляемся с нагрузкой внутренней CRM-системы: какие технологии и практики используем и почему.

Читать: «Как снизить нагрузку на CRM-систему»

@database_design
___
Другие наши проекты

Настройка iScsi в L3-сети для эффективной утилизации возможностей канала и СХД

После тестирования NVME over TCP, описанной тут https://habr.com/ru/companies/beeline_tech/articles/770174/, решили проверить, насколько хорошо iScsi в L3-сети работает по сравнение со специализированным решение на FC.

Настройки iScsi

TL/DR

Машина в Bios переведена на профиль HPC (был пустой).

На уровне OS и iscsid сделаны такие изменения


Читать: https://habr.com/ru/companies/beeline_tech/articles/821855/

@database_design
___
Другие наши проекты

Хранение данных на ДНК/РНК: возможности и перспективы

Приветствую всех айтишников и технарей. Выпустив очередную часть саги про ЯМР, я словил катарсис и почувствовал за собой моральное право опять пографоманить на отвлеченные темы. И сегодня мы с двух ног ворвемся в тему хранения данных на ДНК/РНК. Тема интересная, и намного ближе к айтишечке, чем все предыдущие опусы, поэтому погнали!
Добро пожаловать под кат

Читать: https://habr.com/ru/articles/818081/

@database_design
___
Другие наши проекты

Дедупликация данных в Windows 10 и Windows 11 средствами Microsoft

Сегодня я кратко расскажу вам как включить дедупликацию данных в клиентских ОС - Windows 10 и Windows 11, добавив функционал из Windows Server, причем не какие-то сторонние бинарники, а оригинальные, подписанные файлы Microsoft, которые к тому же будут обновляться через Windows Update.

В этой статье не будет описания дедупликации данных, - разве что совсем кратко что это такое, и не будет сравнения решений разных вендоров. Я дам ниже ссылки на достойные, на мой взгляд, статьи других авторов и готов буду отвечать на вопросы, если их зададут ниже в виде комментария или в ПМ.

Начать знакомство рекомендую с базовой теории Введение в дедупликацию данных / Хабр (habr.com) от компании Veeam, затем почитать о том, что такое дедупликация Microsoft - Обзор и настройка средств дедупликации в Windows Server 2012 / Хабр (habr.com) - статья моего бывшего коллеги по Microsoft Георгия говорит о том, как настраивается дедупликация NTFS в Windows Server 2012. В последующих изданиях Windows Server 2012R2, 2016, 2019, 2022 и 2025 функционал развивался, появилась поддержка ReFS, стало возможно (неочевидным способом) дедуплицировать системный том, расширились компоненты управления, - но для конечного пользователя все остается там же. Установили одним кликом, включили для диска, забыли. В заключение подготовительной информации - тем кого действительно интересует кроссплатформенные решения и их сравнения, предложу ознакомиться со статьей Илии Карина - Dedup Windows vs Linux, MS снова “удивит”? / Хабр (habr.com) - его не должны заподозрить в рекламе Microsoft, его сравнение подходов, и результат меня самого удивил. У меня на такую большую исследовательскую работу сил и возможностей нет, - почитайте. И имейте в виду, что если вы используете последний Windows 11, то и компоненты дедупликации в нем будут последние, от Windows Server 2025, то есть с еще более впечатляющим результатом.


Читать: https://habr.com/ru/articles/822117/

@database_design
___
Другие наши проекты

Обзор нового поколения блочных СХД Qsan XCubeSAN. Укрепляем свои позиции на рынке

Прошло уже немало времени с момента нашей публикации обзора СХД Qsan серии XCubeSAN. Некоторое время назад QSAN обновил эту линейку, и на текущий момент эти системы хранения данных являются самыми востребованными среди наших заказчиков. Поэтому мы хотим, пусть и с некоторым опозданием, поделиться своим мнением относительно данного продукта.


Читать: https://habr.com/ru/companies/skilline/articles/820845/

@database_design
___
Другие наши проекты

От платформы к коробочным продуктам: анализ архитектуры Tarantool

Даже если вы никогда не слышали о Tarantool, вы наверняка им пользовались: видели баннеры, которые берут профили рекламы из Tarantool, заказывали еду, доставка которой обрабатывается Tarantool, заходили в онлайн-банк и видели историю трат, которую показывает Tarantool. Решение активно задействуют во многих отраслях и сценариях, а количество кейсов его успешного применения постоянно растет.

Но так было не всегда: за 15 лет Tarantool прошел большой путь, на котором были как успехи, так и подводные камни.


Читать: https://habr.com/ru/companies/vk/articles/819059/

@database_design
___
Другие наши проекты

Краеугольные камни ClickHouse

Привет, Хабр! Меня зовут Артемий Кравцов, я работаю инженером в Wildberries. Сегодня расскажу про то, что люблю – про ClickHouse. Моя цель – осветить некоторые ключевые особенности в архитектуре ClickHouse и в том, как он хранит данные.

Что такое куски и слияния? Как быть с частыми вставками? Как обновлять значения в строках? Что не так с точечными чтениями? Как сделать тяжёлый JOIN?

Статья рассчитана на тех, кто только знакомится с ClickHouse.


Читать: https://habr.com/ru/companies/wildberries/articles/821865/

@database_design
___
Другие наши проекты

Announcing MongoDB Server 8.0 Platform Support Improvements



Read: https://www.mongodb.com/blog/post/announcing-mongodb-server-8-0-platform-support-improvements

@database_design
___
Другие наши проекты

Leading Industry Analysts Comment on the Release of Oracle APEX 24.1

With the recent announcement of Oracle APEX 24.1 featuring Mike Hichwa, SVP of Software Development (the creator of the Oracle APEX low-code platform) and Andy Mendelsohn, EVP, Oracle Database Server Technologies, APEX makes it easier for developers to integrate AI into new or existing applications, allowing them to build enterprise-ready applications, and give users a better and richer experience.

Read: https://blogs.oracle.com/database/post/leading-industry-analysts-comment-on-the-release-of-oracle-apex-241

@database_design
___
Другие наши проекты

Announcing Oracle APEX 24.1 General Availability

Announcing Oracle APEX 24.1 General Availability

Read: https://blogs.oracle.com/apex/post/announcing-oracle-apex-241

@database_design
___
Другие наши проекты

Oracle Spatial Studio 24.1 Available Now

We’re pleased to announce the release of Oracle Spatial Studio 24.1, a no-code web tool for working with the spatial features of Oracle Database. This blog post will explore some of the enhancements available in this release, including enhanced embedding, including 3D Tile support for Cesium, and incremental geocoding.

Read: https://blogs.oracle.com/database/post/oracle-spatial-studio-241-now-available

@database_design
___
Другие наши проекты