💬 Кто такие Дата-инженеры (DE) и чем они занимаются?

Анализ данных - это работа аналитика, про которую я вам постоянно рассказываю. Но также я часто пишу про такие темы как ETL, батч и стриминг обработка данных, которые относятся уже к работе инженеров данных. Давайте обозначим кто и и чем занимается на проектах:

Аналитик данных
📍 оценка качества данных и подготовка данных для анализа (например, создание витрин данных)
📍 написание гипотез и непосредственно анализ данных (расчет метрик, проведение статистических экспериментов, описательный или прогнозный анализ данных)
📍 интерпретация результатов анализа для бизнеса, создание отчетов, дашбордов

Инженер данных
📍разработка потоков данных (ETL/ELT) и их автоматизация (чтобы данные из одного места автоматически попадали в другое место: например из CRM-системы в корпоративное хранилище)
📍настройка мониторинга работоспособности потоков данных (мало сделать сам поток, нужно чтобы он работал стабильно и качественно, а в этом может помочь мониторинг сбоев)
📍 оценка качества данных и подготовка данных для анализа (да, этим также как и аналитики могут заниматься инженеры данных)
Различие компетенций аналитика и инженера наглядно показано на картинке в посте

Упрощенную, но очень наглядную схему взаимодействия аналитика и инженера можно описать так:
1️⃣ Аналитик узнал у бизнеса какую задачу анализа требуется выполнить, перевел запрос бизнеса на техническое описание задачи (ТЗ - какие данные и где взять, в каком виде положить и как часто обновлять)
2️⃣ Инженер данных получил ТЗ от аналитика и выполнил его
3️⃣ ТЗ выполнено, аналитик получил данные, проанализировал, отдал результаты анализа бизнесу. Все счастливы и сделали свои куски работы

Рекомендую подписаться на канала Евгения "Я - Дата Инженер", если вы хотите еще больше узнать про работу инженера данных и какие навыки для этого нужны. Он кстати тоже работает в Сравни 😎

У него на канале есть огромное количество полезного материала:
🔗 Roadmap для Data Engineer
🔗 Видео про Hadoop HDFS
🔗 Канал на Youtube с подробными техническими видео про инструменты DE

Привет!
Меня зову Даниил, работаю Analytics Engineer в Сравни. Немного основной информации о себе и своем канале ⤵️

🏙 Родом из Соликамска, живу в Москве уже 7 лет с момента поступления в ВУЗ

🎓 Закончил бакалавриат и магистратуру в НИУ ВШЭ, из интересного успел съездить по обмену в Грецию "учиться" 😁
📚Инфокоммуникационные технологии и системы связи (бакалавр)
📚 Business Analytics and Big Data systems (магистратура на английском)

👨‍💻 В общем имею 5 лет опыта в аналитике, за это время сменил 3 компании
📍Леруа (System Analyst) ➡️ 📍EPAM (BI/DWH Analyst) ➡️ 📍Сравни (Analytics Engineer)

💼 На данный момент работаю на Lead позиции на проекте клиентской аналитики

✏️ Являюсь основателем образовательного проекта Data Study и автором курсов по аналитике данных, также автор данного канала и 2-х других
🔗 Data Вакансии - @data_vacancy
🔗 Книги по аналитике - @analyst_books

Также веду проектную активность в свое свободное время:
▪️ менторство и консультации
▪️ митапы и образовательные встречи для аналитиков компаний
▪️ консалтинговые проекты

В этом канале делюсь большим количеством полезного и бесплатного материала, как например эти посты:
🟣Дорожная карта аналитика данных
🟣Статьи по оконным функциям (часть 1 и часть 2)
🟣Исследование требуемых навыков в вакансиях data-специализаций
🟣Мок собесы на аналитиков
🟣Учебный проект по реализации платформы данных с нуля (часть 1, часть 2, часть 3)