Что такое аналитическая витрина данных

Представь, тебя попросили создать аналитический отчет для отслеживания необходимых метрик: количество успешно закрытых сделок отделом продаж и количество новых привлеченных клиентов на каждый день, а также конверсию в продажу.

Результатом может быть дашборд, обновляющаяся Google-таблица или даже ежедневное сообщение от бота с рассчитанными метриками.

Для реализации отчета тебе скорее всего понадобиться создать таблицу, но изначально данные могут быть разрознены и храниться в разных местах, иметь необработанный вид и непроверенное качество.

Ты как аналитик сделал 2 шага

1️⃣ Собрал данные с помощью SQL в одну таблицу. очистил, обогатил, посчитал метрики.
2️⃣ Сделал автоматизацию, чтобы данные в этой таблице обновлялись по нужному для анализа расписанию

Такая таблица для твоей задачи и будет являться витриной данных 👇

Витрина данных (Data Mart) - таблица с достаточным, очищенным, преобразованным набором данных для решения конкретной аналитической задачи или набора подобных задач.

Если хочешь правильно работать с данными и делать качественный и полезный бизнесу анализ - ты это просто обязаны знать. Не зря на всех схемах хранилищ данных указывается слой Data Marts. На картинке это слой между данными в аналитическом хранилище (или может быть обычная база данных) и конечными отчетами для пользователей.

Про процесс создания витрин и преимущества их для аналитики распишу в отдельном посте. Это сильно упрощает и оптимизирует аналитику данных и сокращает время сборки дашбордов и других отчетов. Ставь реакции 👍 если хочешь узнать про аналитические витрины больше

Какие преимущества дает витрина при анализе данных

1️⃣ выше скорость обработки данных. это одна физическая таблица, где уже хранятся все нужные и подготовленные данные для анализа. а значит не тратятся повторно ресурсы на выполнение сложных запросов для очистки, подготовки и преобразования данных. это очень важно, когда например данные используются в BI отчетах, где нужна быстрая скорость отклика дашборда на запрос пользователей

🔡 автоматизация. стоит один раз написать логику обработки данных и поставить ее на обновление с нужным расписанием. и у тебя всегда под рукой готовые данные для анализа без сотен строк запросов и десяток открытых вкладок скриптов

3️⃣переиспользование другими аналитиками. другим аналитикам и тебе не нужно погружаться повторно во все детали обработки и очистки данных каждый раз. достаточно использовать витрину с уже готовыми в ней данными

Процесс создания витрины можно разбить на несколько этапов

➡️ Понять для какой задачи тебе нужны данные. 
Витрина данных может быть построена для одной задачи, но как правило ее делают наиболее универсальной, чтобы можно было закрывать несколько задач. Например, для задач Клиентской аналитики можно собрать витрину с целевыми действиями клиента в продукте, туда же вывести косты или выручку по этим целевым действиям, добавить базовую информацию о клиенте. Тогда по одной витрине можно сразу рассчитать продуктовую воронку, конверсии из этапа в этап, посчитать retention, RFM-анализ или даже LTV (Lifetime value).

➡️ Написать логику сборки и преобразования данных. 
Если все данные уже есть в одной базе данных или хранилище, логику можно писать на SQL. Если требуется собирать данные из разных источников, можно подключить Python. В любом случае именно на этом шаге определяется то, как данные будут выглядеть в таблице - на каком уровне детализации, какие данные отфильтровать вовсе, чем обогатить через join, какие поля добавить расчетные, как агрегировать показатели и многое другое.

➡️ Определить логику обновления данных.
В зависимости от задачи и от самих данных можно следовать разной логики обновления. И для этого стоит определить несколько ключевых факторов
- частота обновления данных (раз в час, 2 раза в день и т.п.)
- объем данных
- инкрементальное обновление или полная перезагрузка
- хранить ли исторические данные. какой SCD-тип обновления выбрать

➡️ Автоматизировать логику обновления.
Здесь нам понадобятся навыки junior+ или middle инженера данных, чтобы использовать Python и доступные нам ETL инструменты. В зависимости от логики обновления данных можно будет использовать разные инструменты: Apache Airflow, Apache Kafka, Apache NiFi, Cloud Functions, PySpark и другие. Главное - сделать так, чтобы данные в нашу витрину попадали в нужном формате (логикой преобразований) и в нужном расписании (логика обновления).

Сейчас этот процесс проходят на практике мои ученики, выполняя 2-й спринт по созданию витрин данных. Туда входят витрины для маркетингового отчета на базе данных Яндекс Метрики, а также витрина для исследования целевых продуктовых действий CJM (клиентского пути). Совсем скоро объявлю набор в следующую практическую группу

Почему аналитику важно иметь инженерные навыки работы с данными

Расскажу из своего опыта те основные моменты, которые мне помогли дорасти до текущих результатов с помощью сильных hard-навыков

1️⃣Не бояться сложных задач и их реализации
Как следствие приобретенные навыки помогали мне всегда брать задачи более сложные и выходящие часто за мою основную зону ответственности. Навыки разбираться в технических мелочах, инфраструктуре, логах ошибок и пробовать новые инструменты дает мне преимущество перед другими аналитиками, которые не выходят из своей зоны привычных инструментов. Реализация таких задач показывает компании насколько ты ценный сотрудник и дает тебе возможность расти внутри по грейду и в заработке.

🔡Дополнительные проекты
В свободное от основной работы время я или меня находят находят проекты, в которых как правило нужно сделать всю работу под ключ. От подключения к источникам данных, выгрузки в аналитическую базу, определение модели хранения данных, настройка ETL процессов и построение отчетов для бизнеса. Сейчас это еще все ускоряет AI, но без фундаментальных знаний как строится правильная работа с платформой данных не получится сделать качественное решение, которое будет приносить пользу заказчику в аналитике и его операционной отчетности. Небольшие компании не располагают бюджетом держать свою команду инженеров данных + аналитиков, поэтому они находятся в поиске "швейцарского ножа" или оутсорс-компании, которая по контракту сделает им нужный объем работы под ключ.

3️⃣Быстрый switch между профессиональными ролями
Для себя я понимаю, что могу проще и гораздо быстрей перейти на позицию data engineer полноценно с моими навыками аналитика-инженера. И если мне такой карьерный трек покажется привлекательным, то для меня не составит труда пойти по нему.

Поэтому кросс-функциональные технические навыки на стыке аналитики и инженерии данных я считаю максимально полезными.

➡️26 октября приглашаю всех в группу, кто хочет также на практике получить эти навыки с моей поддержкой в рамках практического обучения на рабочих задачах

Завтра открою доступ в группу, где проведем мини-интенсив и чуть более глубокое погружение в процесс обучения.

По плану на следующей неделе провести 2-х или даже 3-х дневный практический интенсив по разработке аналитического решения от начала и до конца

От поставленной бизнес-задачи ➡️ До готового аналитического отчета

Покажу как совмещаю аналитические и инженерные навыки для этого и буду консультировать по поводу практического обучения. Оно не каждому подойдет, поэтому интенсив это хороший формат попробовать себя в роли аналитика-инженера и понять надо оно вам или нет.

Уже готовлю песочницу и инфраструктуру, где сможете сами повторять действия за мной.

Материалы будут в группе ➡️Вступить

Как выглядит мой рабочий день (удалёнщика аналитика-инженера)

🕘 9:00 - просыпаюсь, умываюсь, завтракаю. никакой йоги, бассейна, утреннего зала, покупки раф-кофе 😁 или других полезностей нет)

🕙 10:00 - открываю ноут, начинаю читать чаты и составлять план работы на день

До 18 или 19:00 идет рабочий день
🔹2-3 часа в день в среднем уходит на созвоны
🔹5-6 часов на задачи и остальную коммуникацию в чатах

Перерыв на обед обычно плавающий, зависит от расписания созвонов и моего чувства голода)

Сделал диаграмму, которая показывает какой % от всего рабочего времени в среднем в день я трачу на тот или иной тип задач и соответствующие инструменты 📊

бОльшая часть задач включает в себя написание SQL-запросов для создания витрин данных, adhoc-задач или запросов для автоматизации выгрузок. Также достаточно много времени уходит на коммуникацию, уточнение задач, приоритеты и разные тим-лид активности по планированию работы команды.

Здесь следует уточнить, что разделение рабочего времени на задачи и активности может сильно отличаться от
- роли аналитика (продуктовый, data, BI, аналитик-инженер...)
- типа и формата команды (у нас core команда клиентской аналитики, не привязанная к конкретному продукту)
- грейда аналитика (чем выше грейд, тем больше задач нужно делегировать и включаться в задачи команды)
- текущего планирования и приоритетов задач в рамках года/квартала/спринта

Я дал лично свою картину, часто на консультациях спрашивают чем именно я занимаюсь и как распределяется между этим рабочее время, вот расписал 😉