Привет!

Я знаю что много кто из вас проходил курсы в онлайн-школах. У меня для вас новость ⤵️

Выпускница вышки сейчас пишет диплом про образовательные онлайн-платформы. Диплом по направлению "реклама и связи с общественностью", поэтому для хорошего и качественного исследования нужны респонденты

Если
- вы старше 18 лет
- проходили курсы на любой из платформ: Skillbox, Skillfactory, Нетология, Geekbrains, Яндекс. Практикум

Пройдите опрос по ссылке
Я прошел, он у меня занял буквально 5 минут 😉

Сейчас пройдете опрос, а я потом попрошу выпускницу сделать краткие выводы по исследованию и поделюсь ими здесь. Интересно посмотреть, что в итоге получится)

Пройти опрос

Сравнение Data Scientist, Data Engineer, ML Engineer, Data Analyst

В целом по визуализации понятно, кто из специалистов в каком направлении больше работает. Правда на таких диаграммах сложно оценить какие более детальные навыки нужны и на каком уровне их нужно освоить, чтобы например из Data Analyst перейти в Data Scientist

На этой неделе защитил магистерский диплом 🎉🎉🎉
Теперь можно сказать, что 6 лет обучения и 2 ступени образования пройдены)

Бакалавриат - Инфокоммуникационные системы и сети
Магистратура - Бизнес-аналитика и системы больших данных
Все это в замечательном НИУ ВШЭ

По ощущениям учебы в магистратуре могу сказать что это довольно сложно совмещать полноценное обучение с работой, разработкой/ведением курсов. Магистратура была на международной программе, поэтому все обучение проходило на английском, это позволяло поддерживать язык в активном использовании. Учеба была вечерняя, т.е. с 18:00 до 21:00, вроде удобно совмещать с работой, но обычно сил на учебу уже и не оставалось.

В целом, по форме образования могу сказать, что курсы от академических преподавателей сильно далеко находятся от реальных знаний и практики на работе. Теории много, а что и как применить - не всегда становится понятно. Также было много курсов от преподавателей - приглашенных практиков, обычно это Senior/Lead/Head of department уровень специалисты, которые часто раскрывали прикладные вещи, которые можно применять у себя на работе. Формат курсов от практиков мне прям понравился.

Дальше выбор: почувствовать в этом году первый раз, что сентябрь - это всего лишь начало осени, а не начало учебного года 😂, либо идти в аспирантуру)

На этой неделе провели 3 технических интервью для кандидатов в компанию. Ещё раз убеждаюсь, что для аналитика, работающего с данными важны как hard навыки работы с данными, так и знания классического бизнес-анализа по работе со стейкхолдерами, требованиями и понимание всех фаз SDLC цикла.

Если готовитесь к собесам на позицию аналитика данных/BI, углубляйтесь как минимум в 2 направления:

1. Бизнес-анализ
- работа со стейкхолдерами
- проведение интервью, воркшопов, оценка требований
- формирование и декомпозиция требований

2. Работа с данными
- понимание ценности применения баз данных и хранилищ данных для бизнеса, где, когда и что лучше применять, зачем использовать
- Модели данных, нормализация, SCD
- SQL
- Python
- ETL инструментарий и в принципе понимание шагов обработки данных по слоям (от сырых данных к витринам)
- Метрики качества данных
- Написание интеграционной документации и описание потоков данных
- BI и визуализация данных

+ про мат часть, статистику, теор. вероятности и ML не забывать, если на проекты с ML именно есть желание попасть

Если я вам когда-нибудь скажу как же замечательно работать дома - не верьте!

Сбежал из дома в кофейню из-за ремонта соседей. Живем в новостройке вроде как бизнес-класса, но такое чувство, что про шумоизоляцию при строительстве новых домов вообще не задумываются вне зависимости от класса жилья. Ремонт делают соседи на этаже вообще в другом крыле за лифтом, это даже не соседняя квартира, но слышно как будто в соседней комнате перфоратор работает.

В итоге убежал в кофейню, где частенько в последнее время спасаюсь от ремонтных будней, но и здесь раз на раз не приходится) Сегодня сюда пришла девушка с 2-мя маленькими девочками возраста начальной школы, которые не ладят между собой. В итоге их крики, ссоры и разборки кто кого достал слушают все посетители кофейни. При этом девушка сама пытается работать в ноутбуке и не отвлекаться на детей, которые ее дергают вопросами типа "кто лучше умеет заворачивать язык в трубочку"

В такие моменты хочется реально поехать в офис с тихими коворкингами и изолированными переговорками для проведения встреч. Ну или уехать в загородный дом с камином работать, а вечером жарить шашлык и залипать на природу на берегу реки 😍

Чем занимается DWH аналитик

Вы наверно видели на сайтах вакансии с названием "DWH аналитик". Однако не всегда понятно чем вообще предстоит заниматься в компании на такой позиции. Давайте разберемся, какие основные задачи обычно закладываются в такую позицию и какие навыки для этого нужны.

🔎 DWH (Data Warehouse) - аналитическое хранилище данных. Т.е. это комплексная система (или ряд систем), которые обеспечивают хранение, сбор, преобразование и подготовку данных для анализа.

Аналитики в этом процессе МНОГО, ее можно разбить по задачам (или направлениям задач)

1. Поиск и определение источников данных

Источниками данных выступают базы данных систем, которые используются в компании. А также в качестве источника могут быть простые файлы от бизнеса, которые в каком-то (скорее табличном) виде нужно положить в хранилище.
К примеру, может понадобиться найти систему источник с данными о логистических запасах компании. При этом отдел логистики может использовать несколько разных систем. Аналитику DWH нужно будет выяснить в какой базе данных какой системы хранятся нужные нам данные. А также нужно будет зафиксировать и описать способ сбора этих данных.

2. Описание требований для сбора, преобразования данных

Помимо того что аналитик должен узнать и раскопать где лежат нужные данные, необходимо ещё продумать логику как эти данные забирать:
- забирать все или только часть данных
- забирать по какому-то триггеру или по расписанию
- как часто забирать (раз в час, 2 раза в день, раз в сутки…)
- в какое время забирать данные, чтобы не нагружать систему, но чтобы данные попали к бизнес-пользователю и отчеты вовремя

Все это необходимо обсудить с командой бизнеса, командой разработки и задокументировать в технической спецификации

Это только часть работы, которой может заниматься аналитик на проектах с DWH. В отдельном посте распишу другие задачи, которые встречаются на проектах, а также обозначу навыки, которые для это позиции нужны.

В понедельник провел последнее занятие - защиту проектов по модулю SQL как приглашенный преподаватель в одной из онлайн-школ. Обратная связь от учеников положительная, много классных проектов для портфолио было сделано. Фотка так себе по качеству, но хотелось в очередной раз зафиксировать момент)

А самое главное - сейчас ребята умеют работать с SQL и решать с помощью него различные задачи. За 6 занятий прошли

1. Моделирование данных, ER-диаграммы
2. SELECT запросы, условия фильтрации, логические/арифметические функции, функции работы с датами, временем и строками
3. JOINs
4. Подзапросы и табличные выражения
5. Оконные функции, фреймы оконных функций
6. Работа с индексами, оптимизация запросов и работа с планом выполнения запроса

Лет 5 назад не думал, что буду преподавать другим 😁 Но сейчас видны результаты учеников и я этому очень рад, скорее всего с кем-то в будущем будем на одних проектах работать)

Когда недооценил трудозатраты на задачу 😅

😂😂😂
кстати ученики 35+ очень ответственно относятся к обучению и очень много материала сами пытаются раскопать 👍

Чем занимается DWH аналитик (часть 2)

В предыдущем посте про DWH аналитика я расписал 2 задачи, которые выполняют такие специалисты:
1. Поиск и определение источников данных
2. Описание требований для сбора, преобразования данных


Сегодня расскажу про еще 2 задачи ⤵️

1️⃣ Моделирование структуры данных в хранилище

Хранилища данных имеют обычно несколько слоев хранения. Если обобщить, то можно выделить 3 слоя:
- слой сырых данных (поступают почти без изменений из источника данных)
- слой очищенных, предподготовленных данных (это основной, core слой хранения, где все таблицы с данными приведены к нужному согласно требованиям виду и эти данные могут быть переиспользованы для разных задач аналитики)
- слой витрин данных (это собранные из разных таблиц данные в одной или нескольких широких таблицах, часто уже включающие агрегацию, частичный расчет метрик). О витринах поговорим еще в следующем пункте

Каждый слой хранения должен быть правильно смоделирован, описан, чтобы каждый пользователь хранилища понимал где и какие данные он может найти. Также важно описывать правила, какие преобразования данных на каждом слое могут быть доступны: делупликация, обогащения, преобразование типов данных, агрегация и т.д.

2️⃣ Подготовка витрин данных для разных бизнес-задач

Витрина данных включает в себя всю необходимую для анализа и решения конкретной бизнес-задачи информацию. Например, в одной таблице и у нас есть данные о клиентах, во второй - продукты компании, в третьей - покупки клиентов продуктов компании, т.е. некие транзакции. Витрина данных может объединить всю эту информацию в одной таблице, какую транзакции какой клиент совершил и какой продукт приобрел.
Витрины чаще всего собираются с помощью SQL-запросов.
😃 Честно, это моя самая любимая часть работы, поэтому люблю эту тему подробно раскрывать в курсе «Основы анализа данных»

Какие hard-навыки необходимы DWH аналитикам:

1. SQL (без него вообще никак, даже пытаться не стоит)
2. Умение моделировать ER-диаграммы, знание связей между таблицами
3. Знание концепций хранилищ данных, знание схем звезда и снежинка
4. Сбор требований, описание документации для потоков данных. Сюда можно включить Data flow диаграммы, S2T, словари данных

Все эти навыки мы проходим на курсе Data Study

Ставьте реакции 🔥 если хотите узнать подробней про каждый из навыков

привет!

вернулся из отпуска с полной перезагрузкой в горах, надеюсь этого заряда энергии хватит надолго)
сейчас голова не забита свадьбой и написанием диплома, поэтому сейчас буду сосредоточен на 3 направлениях

1. Повышение активности этого канала
В последнее время посты не с завидной частотой пишу. В ближайшее время буду поднимать активность и наращивать новую аудиторию 🔝

2. Переупаковка материалов курса и набор нового потока "Основы анализа данных"
12 сентября будет старт обучения нового потока, набор уже идет и уже есть оплатившие и ждущие начало обучения студенты 🔥
Я постоянно на основе обратной связи от студентов дополняю материалы, практику в уроки. Часть материалов предзаписываю в виде видео-инструкций. Сейчас нужно обновить дизайн конспектов, презентаций, прошерстить каждый слайд чтобы все смотрелось еще более лаконично и понятно
Кто желает начать обучение в Data Study на моем курсе ➡️ Описание курса

3. Поиск новой работы
Текущая компания RNT Group (ex EPAM) мне нравится. За год полного переформатирования всех внутренних процессов работа осталась комфортной, есть варианты развития дальше в качестве специалиста. Но все же чувствую внутреннюю потребность идти дальше. Может быть потому что сейчас работаю не совсем на data проекте, а по большей части выполняю работу тех. лида с командой стюардов по работе с MDM и часть задач веду по системному анализу, а варианты ротации (переход на другой проект) сейчас отсутствуют. Поэтому возникает внутренняя потребность искать что-то поближе к DWH, BI и разработки платформ данных.
С выбором не тороплюсь, но очередной процесс обновления резюме уже пошёл) Если у кого-то есть интересные задачи и Senior позиции, буду рад пообщаться 😉 @daniildzheparov

отличная книга, которая собрала в себе теорию по управлению данными (Data Governance) в компаниях. Практических кейсов не расписано, но методология изложена детально, международная практика ориентируется во многом на этот свод знаний. для диплома кстати часть материала цитировал из этой книги, а также отдельные главы всегда говорю читать студентам на курсе, например про метрики качества данных

DAMA-DMBOK / Свод знаний по управлению данными (второе издание)

"Главная задача книги — определить набор руководящих принципов и описать их применение в функциональных областях управления данными. Издание всесторонне описывает проблемы, возникающие в процессе управления данными, и предлагает способы их решения. В нем подробно описаны широко принятые практики, методы и приемы, функции, роли, результаты и метрики.

«DAMA-DMBOK: Свод знаний по управлению данными. Второе издание» предоставляет
специалистам по управлению данными, ИТ-специалистам, руководителям, преподавателям и исследователям обширный материал для совершенствования работы с информационными активами и корпоративными данными."

Скачать книгу

сегодня внес последние доработки в дашборд перед сдачей проекта (который вел на фрилансе)

с небольшими перерывами с апреля 2023 мы с заказчиком:
1. реализовали парсинг иностранного сайта с доской объявлений недвижимости в Испании
2. сделали хранение данных в базе, расчет необходимых метрик и сбор витрины
3. настроили всю инфраструктуру проекта в облаке (виртуалка для парсера, ETL-скрипт крутится там же, база данных, дашборд)
4. разработали дашборд по анализу рынка недвижимости
5. брались за задачи по внедрению модели прогнозирования цены с применением NLP для анализа описания объявления, но чуть позже решили приостановить активность, т.к. заказчику стали интересны не только объявления Испании, но и Польши.

для работы с Польшей заказчик решил обратиться в другую компанию (некий дорогой стартап со своей командой аналитики). в итоге план проекта, который они прислали всех шокировал 😬, фотки будут ниже. в итоге просто заказчик отказался с ними работать с таким подходом к оформлению их работы. проектный план должен быть проработанным, аккуратным и понятным, а не составленным на коленках с таким почерком 😄