Как хранить исторические данные и отличать их от актуальных данных

В аналитике всегда есть потребность работать с историческим объемом данных, чтобы уметь отвечать на вопросы бизнеса на всем интервале времени, а не только знать ситуацию в текущий момент.

Есть разные варианты хранения и обновления исторических данных, которые описываются типами SCD.
🔎 SCD или Slowly Changing Dimensions - медленно меняющиеся измерения, когда некоторые атрибуты в данных могут меняться со временем, тем самым возникает необходимость добавлять новую версию записи данных.

🔵 SCD type 0
Данные попадают в таблицу только один раз и становятся статичными, нет версионности и изменения данных. Подходит для хранения конкретных справочников, например названия и ISO коды стран

🔵 SCD type 1
Данные перезаписываются новым значением, что также не позволяет хранить версионность. Механизм простой, вместо старых значений в ту же строку перезаписываются новые значения измененных атрибутов, это позволяет не "раздувать" объем таблицы, но не дает доступа к историчности данных.

🔵 SCD type 2
Данный тип заключается в том, что в таблицу добавляется новая запись по измененным данным. Это реализовано с помощью специальных атрибутов, которые позволяют управлять версионностью. Обычно эти атрибуты выглядят так:
- Дата Начала версии
- Дата Конца версии
- Актуальность записи

🔵 SCD type 3
Реализация выглядит таким образом, что в таблице добавляется атрибут со старым значением.
- Историческое значение
- Новое значение
Есть большой недостаток, что невозможно добавлять много новых столбцов для хранения всех версий данных, поэтому история обычно ограничивается только предыдущей версией.

🔵 SCD type 4
Для хранения исторических данных создается отдельная таблица, чтобы хранить предыдущие версии. Основная таблица будет отображать только актуальную запись по данным. Большой плюс, что можем обращаться всегда к таблице основной версии, но при этом нужно создавать и поддерживать отдельную таблицу с историческими данными.

🔵 SCD type 5
Это некий гибрид типов 1 и 4. Если таблица имеет много атрибутов, то ее могут разбить на более мелкие таблицы справочники, которые будут статичны. Но если в этом маленьком справочнике будет перезапись значений по типу 1, то также необходимо будет перезаписать данные в связанной с этим справочнике более большой таблице измерений с помощью перезаписи ключа

🔵 SCD type 6
Гибрид типов 1,2,3. Здесь используется комбинация вышеперечисленных методов, где хранится полная историчность данных с доступом к актуальной версии и всем историческим значениям. Будут добавлены следующие столбцы для управления историчностью:
- Дата Начала версии
- Дата Конца версии
- Актуальность записи
- Историческое значение
- Новое значение

Примеры SCD смотри в картинках

Если пост полезен, ставь реакции и делись им с другими 👨‍💻

Мой путь от стажера до лида аналитики

Мне 26 лет, сейчас я лид клиентской аналитики в компании Сравни. Какой путь я прошел, для того, чтобы достигнуть этой точки рассказываю в этом посте 👇

Учеба на инженера
🔹 Учился я в бакалавриате на инженера. Должен был по сути микропроцессоры разрабатывать или настройкой инфоком. сетей заниматься, фотку с одной из лекций нашел.
🔹На 3-м курсе оформил свое первое резюме на HH и начал искать работу, до этого фокус был на учебу, также успел съездить поучиться по обмену в Греции.

Первая работа электриком-программистом
🔹Резюме сначала составил как инженер-электрик, вообще не понимая что могу делать кроме как в научных центрах работать.
🔹Со мной связался начинающий предприниматель, который создавал светящиеся led-костюмы для выступлений. Моя задача была делать как раз схему проводки для костюмов и запрограммировать чипы для определенных режимов подсветки, т.е. 2 задачи
- паять led-лампы к микросхеме arduino
- программировать этот arduino
Я даже нашел фото и видео пример как это выглядело)
🔹Этот предприниматель через пару недель уехал на Кипр по своей основной работе, а я понял что хочу искать что-то другое. Т.к. пару недель занимался программированием схем, вот здесь появилась мысль искать работу разработчиком.

О существовании профессии аналитика я даже не догадывался на тот момент.

Стажировка и первая работа в IT
🔹Оформил резюме на разработчика и начал откликаться
🔹В процессе поиска мне стали попадаться вакансии аналитика. Задачи в вакансиях аналитика меня заинтересовали больше чем разработчика. Отредактировал резюме и теперь стал откликаться на позиции аналитика.
🔹Спустя пару недель в итоге попал на отборочный путь стажировки в Леруа Мерлен. Даже фото тестового задания нашел)
🔹3 месяца стажировки успешно провел на должности Системного аналитика, занимался задачами развития систем Jira и Confluence

Рост до Senior позиции и переход в Data аналитику
🔹2 года проработал в Леруа, выполняя множество задач на стыке анализа данных и системного анализа (интеграции систем, продумывание потоков данных, разработка дашбордов и много чего еще)
🔹Понял что хочу расти по зарплате быстрее чем предлагалось и принимаю решение выйти на рынок

Работа в международном консалтинге и погружение в проекты DWH
🔹Получаю желанный оффер в EPAM на позицию Senior BI Analyst, на тот момент у меня было 2 года опыта в аналитике
🔹Консалтинг построен так, что внутри самой компании тебе еще нужно проходить собеседования на проекты заказчиков. Попал на первый предложенный международный проект Nike. Честно скажу что по началу было сложно, часть вещей на тот момент нужно было быстро изучить, т.к. стек используемых технологий сильно отличался от привычного мне.
🔹Спустя полгода события в мире пошли по одному месту, начались релокации (от которой я отказался), уходы зарубежных заказчиков, а потом и совсем выход EPAM из РФ. Но проекты и умные люди остались, поэтому мы пошли строить DWH в компании Казахстана) После всех качаний и разделений оставшейся после EPAM компании RNT Group в РФ стали задерживать годовое ревью с пересмотром зарплаты, а сам пересмотр оставил желать лучшего. Очередной выход на рынок труда)

От аналитика-инженера в Сравни до лида клиентской аналитики
🔹1.5 года назад пришел в Сравни на должность Analytics Engineer (аналитик-инженер), где решаю до сих пор смежные задачи по аналитике и инжинирингу данных.
🔹В компании уже прошел через 2 этапа ревью, на последнем из них моя зона ответственности и набор задач вырос до позиции лида. Во-первых, у нас сформировалась команда аналитиков благодаря внутренним переходам и проведенной летней стажировки, команду нужно лидировать. Во-вторых, клиентская аналитика быстро развивается и должна помогать бизнесу достигать поставленных целей - это важное направление.

В общем итоге я уже более 5 лет работаю аналитиком на разных позициях в разных направлениях, 3 года назад появился этот канал и образовательный проект. А сейчас я весь свой опыт и знания даю ученикам на курсах Data Study, не упусти свой шанс 😉

🔥 Реальные примеры рабочих проектов - бери, учись и реализовывай

Например, рассказывал про проект Анастасии по разработке отчета CRM, сейчас Анастасия уже развивает свою собственную компанию, находит клиентов и разрабатывает для них аналитическую отчетность (скрины переписки с ней прикреплены к посту). Здесь можно найти открытый кусочек ее проекта

Еще один пост о проекте Алены про генерацию и автопостинг постов в телеграм-канал на основе полного текста статей

🔥 А в этом репозитории собраны все открытые проекты учеников, полноценно описывающие каждый этап работы с данными от источника до сделанных инсайтов и проверенных гипотез

Еще раз повторюсь, проекты вам дают:
🔹 набитую руку по работе с реальными инструментами аналитика
🔹понимание всего проектного цикла работы аналитика (от постановки гипотез, сбора данных, до результатов анализа и инсайтов для бизнеса)
🔹такие проекты можно и нужно использовать в резюме и своем портфолио в качестве опыта (это не миф, это проверено реальными людьми при трудоустройстве)

Дерзайте и у вас тоже все получится! 😉

#кейс