На этой неделе провели 3 технических интервью для кандидатов в компанию. Ещё раз убеждаюсь, что для аналитика, работающего с данными важны как hard навыки работы с данными, так и знания классического бизнес-анализа по работе со стейкхолдерами, требованиями и понимание всех фаз SDLC цикла.

Если готовитесь к собесам на позицию аналитика данных/BI, углубляйтесь как минимум в 2 направления:

1. Бизнес-анализ
- работа со стейкхолдерами
- проведение интервью, воркшопов, оценка требований
- формирование и декомпозиция требований

2. Работа с данными
- понимание ценности применения баз данных и хранилищ данных для бизнеса, где, когда и что лучше применять, зачем использовать
- Модели данных, нормализация, SCD
- SQL
- Python
- ETL инструментарий и в принципе понимание шагов обработки данных по слоям (от сырых данных к витринам)
- Метрики качества данных
- Написание интеграционной документации и описание потоков данных
- BI и визуализация данных

+ про мат часть, статистику, теор. вероятности и ML не забывать, если на проекты с ML именно есть желание попасть

Если я вам когда-нибудь скажу как же замечательно работать дома - не верьте!

Сбежал из дома в кофейню из-за ремонта соседей. Живем в новостройке вроде как бизнес-класса, но такое чувство, что про шумоизоляцию при строительстве новых домов вообще не задумываются вне зависимости от класса жилья. Ремонт делают соседи на этаже вообще в другом крыле за лифтом, это даже не соседняя квартира, но слышно как будто в соседней комнате перфоратор работает.

В итоге убежал в кофейню, где частенько в последнее время спасаюсь от ремонтных будней, но и здесь раз на раз не приходится) Сегодня сюда пришла девушка с 2-мя маленькими девочками возраста начальной школы, которые не ладят между собой. В итоге их крики, ссоры и разборки кто кого достал слушают все посетители кофейни. При этом девушка сама пытается работать в ноутбуке и не отвлекаться на детей, которые ее дергают вопросами типа "кто лучше умеет заворачивать язык в трубочку"

В такие моменты хочется реально поехать в офис с тихими коворкингами и изолированными переговорками для проведения встреч. Ну или уехать в загородный дом с камином работать, а вечером жарить шашлык и залипать на природу на берегу реки 😍

Чем занимается DWH аналитик

Вы наверно видели на сайтах вакансии с названием "DWH аналитик". Однако не всегда понятно чем вообще предстоит заниматься в компании на такой позиции. Давайте разберемся, какие основные задачи обычно закладываются в такую позицию и какие навыки для этого нужны.

🔎 DWH (Data Warehouse) - аналитическое хранилище данных. Т.е. это комплексная система (или ряд систем), которые обеспечивают хранение, сбор, преобразование и подготовку данных для анализа.

Аналитики в этом процессе МНОГО, ее можно разбить по задачам (или направлениям задач)

1. Поиск и определение источников данных

Источниками данных выступают базы данных систем, которые используются в компании. А также в качестве источника могут быть простые файлы от бизнеса, которые в каком-то (скорее табличном) виде нужно положить в хранилище.
К примеру, может понадобиться найти систему источник с данными о логистических запасах компании. При этом отдел логистики может использовать несколько разных систем. Аналитику DWH нужно будет выяснить в какой базе данных какой системы хранятся нужные нам данные. А также нужно будет зафиксировать и описать способ сбора этих данных.

2. Описание требований для сбора, преобразования данных

Помимо того что аналитик должен узнать и раскопать где лежат нужные данные, необходимо ещё продумать логику как эти данные забирать:
- забирать все или только часть данных
- забирать по какому-то триггеру или по расписанию
- как часто забирать (раз в час, 2 раза в день, раз в сутки…)
- в какое время забирать данные, чтобы не нагружать систему, но чтобы данные попали к бизнес-пользователю и отчеты вовремя

Все это необходимо обсудить с командой бизнеса, командой разработки и задокументировать в технической спецификации

Это только часть работы, которой может заниматься аналитик на проектах с DWH. В отдельном посте распишу другие задачи, которые встречаются на проектах, а также обозначу навыки, которые для это позиции нужны.

В понедельник провел последнее занятие - защиту проектов по модулю SQL как приглашенный преподаватель в одной из онлайн-школ. Обратная связь от учеников положительная, много классных проектов для портфолио было сделано. Фотка так себе по качеству, но хотелось в очередной раз зафиксировать момент)

А самое главное - сейчас ребята умеют работать с SQL и решать с помощью него различные задачи. За 6 занятий прошли

1. Моделирование данных, ER-диаграммы
2. SELECT запросы, условия фильтрации, логические/арифметические функции, функции работы с датами, временем и строками
3. JOINs
4. Подзапросы и табличные выражения
5. Оконные функции, фреймы оконных функций
6. Работа с индексами, оптимизация запросов и работа с планом выполнения запроса

Лет 5 назад не думал, что буду преподавать другим 😁 Но сейчас видны результаты учеников и я этому очень рад, скорее всего с кем-то в будущем будем на одних проектах работать)

Когда недооценил трудозатраты на задачу 😅

😂😂😂
кстати ученики 35+ очень ответственно относятся к обучению и очень много материала сами пытаются раскопать 👍

Чем занимается DWH аналитик (часть 2)

В предыдущем посте про DWH аналитика я расписал 2 задачи, которые выполняют такие специалисты:
1. Поиск и определение источников данных
2. Описание требований для сбора, преобразования данных


Сегодня расскажу про еще 2 задачи ⤵️

1️⃣ Моделирование структуры данных в хранилище

Хранилища данных имеют обычно несколько слоев хранения. Если обобщить, то можно выделить 3 слоя:
- слой сырых данных (поступают почти без изменений из источника данных)
- слой очищенных, предподготовленных данных (это основной, core слой хранения, где все таблицы с данными приведены к нужному согласно требованиям виду и эти данные могут быть переиспользованы для разных задач аналитики)
- слой витрин данных (это собранные из разных таблиц данные в одной или нескольких широких таблицах, часто уже включающие агрегацию, частичный расчет метрик). О витринах поговорим еще в следующем пункте

Каждый слой хранения должен быть правильно смоделирован, описан, чтобы каждый пользователь хранилища понимал где и какие данные он может найти. Также важно описывать правила, какие преобразования данных на каждом слое могут быть доступны: делупликация, обогащения, преобразование типов данных, агрегация и т.д.

2️⃣ Подготовка витрин данных для разных бизнес-задач

Витрина данных включает в себя всю необходимую для анализа и решения конкретной бизнес-задачи информацию. Например, в одной таблице и у нас есть данные о клиентах, во второй - продукты компании, в третьей - покупки клиентов продуктов компании, т.е. некие транзакции. Витрина данных может объединить всю эту информацию в одной таблице, какую транзакции какой клиент совершил и какой продукт приобрел.
Витрины чаще всего собираются с помощью SQL-запросов.
😃 Честно, это моя самая любимая часть работы, поэтому люблю эту тему подробно раскрывать в курсе «Основы анализа данных»

Какие hard-навыки необходимы DWH аналитикам:

1. SQL (без него вообще никак, даже пытаться не стоит)
2. Умение моделировать ER-диаграммы, знание связей между таблицами
3. Знание концепций хранилищ данных, знание схем звезда и снежинка
4. Сбор требований, описание документации для потоков данных. Сюда можно включить Data flow диаграммы, S2T, словари данных

Все эти навыки мы проходим на курсе Data Study

Ставьте реакции 🔥 если хотите узнать подробней про каждый из навыков

привет!

вернулся из отпуска с полной перезагрузкой в горах, надеюсь этого заряда энергии хватит надолго)
сейчас голова не забита свадьбой и написанием диплома, поэтому сейчас буду сосредоточен на 3 направлениях

1. Повышение активности этого канала
В последнее время посты не с завидной частотой пишу. В ближайшее время буду поднимать активность и наращивать новую аудиторию 🔝

2. Переупаковка материалов курса и набор нового потока "Основы анализа данных"
12 сентября будет старт обучения нового потока, набор уже идет и уже есть оплатившие и ждущие начало обучения студенты 🔥
Я постоянно на основе обратной связи от студентов дополняю материалы, практику в уроки. Часть материалов предзаписываю в виде видео-инструкций. Сейчас нужно обновить дизайн конспектов, презентаций, прошерстить каждый слайд чтобы все смотрелось еще более лаконично и понятно
Кто желает начать обучение в Data Study на моем курсе ➡️ Описание курса

3. Поиск новой работы
Текущая компания RNT Group (ex EPAM) мне нравится. За год полного переформатирования всех внутренних процессов работа осталась комфортной, есть варианты развития дальше в качестве специалиста. Но все же чувствую внутреннюю потребность идти дальше. Может быть потому что сейчас работаю не совсем на data проекте, а по большей части выполняю работу тех. лида с командой стюардов по работе с MDM и часть задач веду по системному анализу, а варианты ротации (переход на другой проект) сейчас отсутствуют. Поэтому возникает внутренняя потребность искать что-то поближе к DWH, BI и разработки платформ данных.
С выбором не тороплюсь, но очередной процесс обновления резюме уже пошёл) Если у кого-то есть интересные задачи и Senior позиции, буду рад пообщаться 😉 @daniildzheparov

отличная книга, которая собрала в себе теорию по управлению данными (Data Governance) в компаниях. Практических кейсов не расписано, но методология изложена детально, международная практика ориентируется во многом на этот свод знаний. для диплома кстати часть материала цитировал из этой книги, а также отдельные главы всегда говорю читать студентам на курсе, например про метрики качества данных

DAMA-DMBOK / Свод знаний по управлению данными (второе издание)

"Главная задача книги — определить набор руководящих принципов и описать их применение в функциональных областях управления данными. Издание всесторонне описывает проблемы, возникающие в процессе управления данными, и предлагает способы их решения. В нем подробно описаны широко принятые практики, методы и приемы, функции, роли, результаты и метрики.

«DAMA-DMBOK: Свод знаний по управлению данными. Второе издание» предоставляет
специалистам по управлению данными, ИТ-специалистам, руководителям, преподавателям и исследователям обширный материал для совершенствования работы с информационными активами и корпоративными данными."

Скачать книгу

сегодня внес последние доработки в дашборд перед сдачей проекта (который вел на фрилансе)

с небольшими перерывами с апреля 2023 мы с заказчиком:
1. реализовали парсинг иностранного сайта с доской объявлений недвижимости в Испании
2. сделали хранение данных в базе, расчет необходимых метрик и сбор витрины
3. настроили всю инфраструктуру проекта в облаке (виртуалка для парсера, ETL-скрипт крутится там же, база данных, дашборд)
4. разработали дашборд по анализу рынка недвижимости
5. брались за задачи по внедрению модели прогнозирования цены с применением NLP для анализа описания объявления, но чуть позже решили приостановить активность, т.к. заказчику стали интересны не только объявления Испании, но и Польши.

для работы с Польшей заказчик решил обратиться в другую компанию (некий дорогой стартап со своей командой аналитики). в итоге план проекта, который они прислали всех шокировал 😬, фотки будут ниже. в итоге просто заказчик отказался с ними работать с таким подходом к оформлению их работы. проектный план должен быть проработанным, аккуратным и понятным, а не составленным на коленках с таким почерком 😄

SQL для аналитики — рейтинг прикладных задач с решениями

“В этой публикации я собрал топ прикладных задач и мои подходы к их решению в терминах SQL. Каждая задача снабжена кусочком данных и кодом”

https://habr.com/ru/companies/otus/articles/541882/

Навыки Аналитика DWH

Привет!
В двух прошлых постах писал про основные направления задач Аналитика DWH на проектах.
Чем занимается DWH аналитик
Чем занимается DWH аналитик (часть 2)

Давайте здесь суммируем необходимые навыки для выполнения этих задач:

1️⃣ SQL
Язык, на котором пишутся запросы к данным в базах и хранилищах. Что из операторов и нужно знать
- DDL команды на создание/редактирование таблиц и их свойств
- SELECT запросы и все что в них включается ⤵️
- операторы фильтрации WHERE, HAVING после агрегации
- сами функции агрегации и оператор GROUP BY
- JOIN для объединения таблиц
- функции работы со строками, датой и временем
- логические и арифметические операторы
- Подзапросы и табличные выражения
- Оконные функции
- Индексы и оптимизация запросов

+ Составление моделей данных и ER-диаграмм

2️⃣ Подходы к построению хранилищ данных
- Сюда можно включить знание основополагающих подходов к построению хранилищ от (Кимбалл, Инмон)
- Понимание чем отличаются DWH от Data Lake, что такое объектное хранилище и какие есть гибриды (например, Lake House)
- Другие модели построения хранилищ (Data Vault, Anchor Modelling)
- Понимание моделей звезда ⭐️ и снежинка ❄️, чем отличаются таблицы фактов от таблиц измерений
- Понимание различий между OLTP и OLAP системами
- Понимание почему в хранилищах обычно несколько различных слоев хранения данных

3️⃣ Навык составления документации и сбор требований
- Тут вообще важно сначала понимать роль аналитика на проекте, почему важно общаться и коммуницировать с бизнес-заказчиками и что IT - это цифровой помощник бизнеса.
- Сбор требований (бизнес, пользовательские, функциональные, нефункциональные)
вот в этих постах (пост 1, пост 2) есть много материалов про требования, да и просто по поиску в канале можете много чего найти по этой теме
- составление словарей данных, source to target (S2T) документов

Это основные навыки (ну либо скорее темы и направления для прокачки навыков), которые нужны аналитикам DWH.
Кроме этого сюда можно добавить ETL/ELT инструменты, знание Python будет хорошим плюсом, а также из этого вытекают знания по возможным способам интеграции и передачи данных между системами, ну и конечно никто никогда не отменяет soft-навыков 😉

Приобрести эти навыки на курсе ➡️ "Основы анализа данных"

Пятничный юмор 😅
Ссылочка на источник

Всем хороших выходных 😉