Начал проходить курс по dbt на их же сайте, знакомлюсь с dbt Cloud.

🔎 dbt - инструмент, применяемый для трансформации данных в ETL/ELT процессах.

Есть 2 версии:
1. dbt Cloud с пользовательским интерфейсом и довольно простым принципом работы по построению потоков трансформации над данными.
2. dbt Core - устанавливается как Python модуль, после инициализации вам грубо говоря доступен скелет проекта, куда можно прописывать правила трансформации данных с помощью sql-запросов и yml файлов конфигурации

На проектах не сталкивался с этим инструментом, но самому очень хочется освоить и применять в консалтинге/фрилансе 👨‍💻

Хочешь начать изучать hard/soft навыки аналитика данных?

Мне важно чтобы ученики после курса чувствовали себя уверенно на собесах/работе и умели пользоваться прикладными инструментами. Поэтому после теоретических занятий есть обязательная практика для закрепления знаний.

Судя по обратной связи это схема обучения отлично работает 👍

12 сентября стартует обучение, в группе осталось 5 мест (4 места) для набора

Подробнее по курс "Основы анализа данных"

Обратная связь от коллег, просто делюсь для воспоминаний)

Сегодня отработал последний день в RNT (ex EPAM)

Эмоции смешанные. С одной стороны рад новому шагу, на следующей неделе выхожу на новое место, где ждут интересные задачи 🔝
С другой стороны немного грустно, был окружен очень сильными коллегами-профессионалами в своей сфере.

Получил сегодня в рабочий чатик очень теплую и приятную обратную связь от коллег 😍🔥
Приятно осознавать, что ты ценен на проекте и приносишь своей работой видимую пользу. Это также можно осознать, когда тебя пытаются удержать и предлагают жирный 💰контр-оффер.
Это нормальная практика в компаниях, соглашаться на такой оффер или нет решаете вы :)

Понимаю, что мне важно осознавать, что я делаю действительно ценные вещи, а не трачу время впустую.

1️⃣ Работаю на проектах и делаю аналитическую работу
2️⃣ Обучаю людей и даю им то, зачем они ко мне приходят на обучение
3️⃣ Пишу статьи/посты, чтобы делиться своими мыслями и знаниями

И еще одна мысль:
Ценность не бывает бесплатной. Бесплатные вещи или знания люди ценят меньше, чем те, за которые приходится платить. Увы, даже по себе это замечаю, что бесплатные ресурсы постоянно откладываются на "потом", а за платный ресурс хочется держаться и выбить из него всю полезность за заплаченные деньги

Наверно поэтому в IT хорошо платят и много требуют) 😁

Собрал простую и наглядную информацию по профилю учеников, приходящих на курсы Data Study

Визуализация помогает очень быстро ответить на вопросы:
1️⃣ В каком возрасте приходят люди учиться. Мое мнение, что учиться новому нужно всегда, вне зависимости от возраста, иначе можно отстать от рынка
2️⃣ Какое образование имеют ученики за плечами. И это совсем не показатель, что если ты гуманитарий/технарь по образованию, то нельзя заниматься другим направлением дальше в жизни
3️⃣ С каким запросом приходят ученики на курс. Это лично мне помогает понять группу и давать нужный материал на уроках. А также потом отслеживать, удалось ли дойти до целей, которые ставили перед собой ученики в запросе.

Классный подкаст про Big Data с участием академического руководителя моей программы магистратуры "Бизнес-аналитика и системы больших данных"
Интересно послушать будет студентам и новичкам в этой теме 😉

Очередная статья про зарплаты в IT

Общий вывод, который делают авторы: зарплаты растут, спрос есть на кандидатов разного уровня

Читать статью

Проектирование БД и почему важен SQL для системного аналитика: гайд по улучшению качества требований

Автор рассказывает
1. Как в разработке систем возникают ситуации "костыли" или "переделываем", и почему обычно это связано с непродуманной структурой БД.
2. Как проектирование БД на ранних стадиях работы с проектом влияет на качество требований.
3. Дам пошаговый план проектирования БД.
4. SQL-запросы: почему нужно уметь читать.

Читать статью

Data Vault

Data Vault - один из подходом моделирования хранилища данных. Методология не новая, появилась еще в 2000 году, позже появилась версия 2.0

Структура DV состоит из следующих компонентов:

1. Хаб (Hub) — единичная бизнес-сущность
2. Связь (Link) — связь между сущностями (Хабами)
3. Сателлит (Satellite) — описательные атрибуты сущностей (хабов) и связей

Полезные ресурсы про Data Vault:

📍Введение в Data Vault
📍Обзор Data Vault от Yandex Cloud
📍When should I use Data Vault

2 недели прошло с момента выхода на новое место работы

Мне нравится спектр задачи, которыми занимаюсь и предстоит заниматься. Каждый день пишу запросы на SQL, делаю витрины и проверяю качество данных. Кстати, сейчас нет огромного кол-ва daily встреч (лишь бы не сглазить 😁). Это конечно объясняется другой спецификой работы, коммуникации и размером команды.
Работаю также на удаленке 👨‍💻, но есть всегда возможность поехать в офис, почти все коллеги частенько туда ходят)
Кстати было приятно, когда в первый день после сообщения о моем присоединении к компании, начали писать коллеги и говорить что читают мой канал, привет вам 🤚

Накидайте реакций, если вам интересно узнать больше про мои текущие задачи, проект и компанию

Всем привет! Прошлый пост набрал много реакций 😍, поэтому спешу поделиться обещанными новостями.
2 недели назад я пришел устраиваться на новое место. Но сначала расскажу про процесс отбора на позицию ⤵️

Мое резюме нашли на HH, написали в телегу. Все по стандарту: 1-й шаг - скрининг с HR. Приятно пообщались, я рассказал о себе и своем опыте, мне рассказали про позицию и компанию в целом. Договорились на следующий шаг.

Следующим шагом в компании шло тестовое задание по SQL. Вот здесь настроение подпортилось, ибо я отвык решать тестовые и вообще их не особо люблю, если честно) HR бережно спросила, не против ли я решения тестового, но при этом добавила, что это обязательный этап, т.к. компания обжигалась много раз с кандидатами на интервью и поэтому добавили шаг отсева кандидатов в виде тестового по SQL.
"Ну что поделать, раз надо значит буду решать" - подумал я, договорились что отправлю решение в ближайшие дни.
Помню как решал задачки, сидя в кофейне в пятницу с кипящей головой после рабочей недели 🤯 Благо задачи интересные были, отправил решение на следующий день после скрининга.

После недолгого перерыва на проверку моего решения вернулась с HR с положительной обратной связью и приглашением на следующий этап - техническое интервью.
Тех. интервью состояло из 2-х частей:
1. теоретические и практические вопросы про хранение данных, проверку качества, документацию
2. live-coding по SQL

В первой части интервью чувствовал себя уверенно + обстановка сразу дружеская была, а вот по live-coding в некоторых задачках казалось что туплю. Все таки это всегда непривычная атмосфера для решения задач, да и задачки были непростые - интервью вел SQL-разработчик с большим опытом.
Практически через 5 минут после завершения интервью мне написала HR и позвала на короткий созвон, где сказала, что я произвел классное впечатление и меня готовы пригласить на следующий этап)

3-й этап заключался в еще одном интервью, где общались с лидами Data и DWH направлений в компании. Проходило в формате case-интервью, опять же поговорили про мои дальнейшие планы развития. Все прошло на позитиве и в этот же день ко мне вернулись с оффером 😃

С момента получения письма от HR (9 августа) до получения оффера (22 августа) прошло чуть меньше 2-х недель. Ребята всей командой очень быстро вели меня по процессу отбора, за что хочется передать им огромный респект 👍

Работаю я сейчас в компании Сравни.ру на позиции Analytics Engineer.
Работа идет в связке с системным аналитиком, а коммуникацию со многими другими командами компании, которые поставляют данные. Если говорить про список задач, то в него входит:
📍сбор витрин данных на уровне DWH по клиентам и их взаимодействия с продуктами компании
📍написание ETL-скриптов для загрузки данных из DWH в сервис клиентских данных (некая MDM система по клиентам)
📍оценка качества данных
📍помощь по внедрению данных из MDM в продуктовые команды и их сервисы

P.S.: компания сейчас ищет толковых аналитиков (DA, SA) и инженеров в команду DWH, там идёт поток очень интересных задач. Если вы желаете присоединится к классной команде и совместно работать, велкам) Можете прислать свое резюме мне (@daniildzheparov), я поделюсь вашим контактом с HR для дальнейшей коммуникации 😉

Сравнение Yandex Datalens с Apache Superset

Ссылка на статью

Полезное для начинающего Системного аналитика

Статья как хороший сборник тезисов для работы системным аналитиком

Ссылка на статью

Polars: библиотека для работы с данными

Автор статьи сравнивает популярную библиотеку pandas, применяемую в data мире для работы с данными в структуре dataframe, с библиотекой Polars, которая показывает себя лучше при работе с более тяжелыми по объему датасетами

Ссылка на статью

После проведения множества консультаций и проработки планов развития в сфере аналитики решил собрать общую дорожную карту аналитика данных с перечисленными компетенциями и полезными ссылками на бесплатные учебные ресурсы.
Каждому на личных консультациях я готовлю дорожные карты каждому отдельно в зависимости от запроса и входных данных ученика (его навыках, опыта работы в сфере).
Сейчас выцепил общий вектор и собрал направления обучения в одном месте.
В зависимости от ваших целей развития вы можете брать из нее отдельные блоки, а можете идти поэтапно, закрывая прописанные навыки в каждом блоке.

Дорожная карта аналитика данных

Давно в голове сидит идея собрать проект, в котором можно проанализировать навыки, которые требуют и указывают в вакансиях работодатели для аналитиков данных.

В свободное время (которого не так много) начал реализовывать свою идею. Поставил на поток получение данных по новым опубликованным вакансиям каждый день. Правда поставил сначала регион загрузки Питер, поэтому на скрине можете увидеть, что кол-во вакансий там больше чем в Москве. Нужно подсобрать базу вакансий по разным городам/регионам, чтобы было интересней анализировать и была более широкая выборка.

Большая работа будет заключаться в стандартизации названий навыков, хотя первоначально думал что навыки в headhunter более менее уже стандартизированы, но нет(

Хочется сделать рабочий открытый инструмент для вас, чтобы вы могли зайти в него посмотреть актуальные вакансии, оценить какие навыки в них требуются, посмотреть вакансии в вашем регионе под ваш опыт и желаемую ЗП.

Ставьте 🔥 если вам нравится идея и вы хотели бы получить доступ к инструменту после окончания работы над ним

Apache Kafka

Apache Kafka - open-source система, которая выполняет роль брокера сообщений по передаче потоков данных на data проектах.

Смотреть видео про основы Kafka