📱 Друзья, я создал репозиторий на GitHub для быстрого доступа ко всем материалам, опубликованным на моем Telegram-канале. Упоминал об этом в посте.

Теперь вы сможете легко находить нужные посты без необходимости утомительно пролистывать ленту вверх.

Изначально я рассматривал вариант с Notion, но, учитывая слухи о возможной блокировке сервиса в России с 9 сентября, решил перейти на более надежный вариант. GitHub доступен и удобен для всех, кто хочет иметь под рукой всю информацию.

В репозитории я собрал все ссылки на посты, рассортировал их по категориям, так что вам будет проще ориентироваться. 📚✨

Репозиторий постепенно буду наполнять полезным контентом.

Переходите по ссылке, добавляйте в закладки и пользуйтесь: https://github.com/dim4eg91/DataEngineering/tree/main

Спасибо, что остаетесь со мной!

#база_знаний
#путь_de

🛤️ Хочу вам рассказать про несколько направлений работы Data engineer, каждое из которых требует специфических навыков и инструментов. В зависимости от задач и целей компании, обязанности инженера данных могут варьироваться.

Общая картина примерно такая:

1️⃣Проектирование и разработка ETL/ELT процессов

* Основные задачи:

Сбор данных из различных источников: базы данных, API, файлы, сторонние сервисы и т.д.
Трансформация данных в нужный формат для последующего анализа.
Загрузка данных в хранилища данных или аналитические системы.
Рабочие инструменты:

* ETL/ELT платформы:

Apache NiFi, Talend, Apache Airflow, AWS Glue.
Языки программирования: Python, SQL, Java.
Системы хранения данных: Amazon S3, Google Cloud Storage, Hadoop.

* Подготовка:

Знание SQL и одного из языков программирования (например, Python).
Опыт работы с базами данных и понимание принципов ETL/ELT процессов.
Курсы и тренинги по основам работы с данными и использованием ETL инструментов.

2️⃣Управление данными и их качеством

* Основные задачи:

Проверка качества данных: валидация и очистка данных от ошибок, дубликатов и некорректных значений.
Организация хранения данных: создание схем и моделей данных для эффективного хранения.
Мониторинг данных: настройка алертов и автоматизированных проверок для выявления проблем с качеством данных.
Рабочие инструменты:

* Системы мониторинга данных:

Great Expectations, dbt (data build tool), Apache Atlas.
Инструменты работы с базами данных: PostgreSQL, MySQL, Oracle, Microsoft SQL Server.

* Подготовка:

Понимание принципов нормализации данных и реляционных баз данных.
Опыт работы с SQL для написания сложных запросов и выполнения операций с данными.
Курсы по Data Governance и Data Quality Management.

3️⃣Работа с большими данными (Big Data)

* Основные задачи:

Обработка больших объемов данных в распределенных системах.
Оптимизация производительности при работе с большими данными.
Обеспечение надежности и отказоустойчивости систем обработки данных.

* Рабочие инструменты:

Big Data платформы: Apache Hadoop, Apache Spark, Google BigQuery.
Инструменты распределенного хранения данных: Apache HBase, Cassandra, Amazon Redshift.
Языки программирования: Scala, Java, Python.

* Подготовка:

Знание принципов распределенных вычислений и архитектуры Big Data.
Опыт работы с инструментами для обработки больших данных (например, Apache Spark).
Специализированные курсы по Big Data и Hadoop/Spark.

4️⃣Создание и управление хранилищами данных

* Основные задачи:

Проектирование архитектуры хранилища данных (Data Warehouse) для организации хранения данных из разных источников.
Интеграция данных из множества систем в единую модель данных.
Оптимизация запросов и поддержка аналитической нагрузки.
Рабочие инструменты:

* Платформы для хранилищ данных:

Snowflake, Amazon Redshift, Google BigQuery, Microsoft Azure Synapse, Greenplum
Языки запросов и скриптов: SQL, PL/SQL, T-SQL.

* Подготовка:

Понимание архитектуры хранилищ данных и методов их проектирования.
Опыт работы с системами управления базами данных (СУБД) и написания SQL запросов.
Курсы по Data Warehousing и Advanced SQL.

5️⃣Работа с потоками данных (Streaming Data)

* Основные задачи:

Организация и управление потоками данных в реальном времени.
Обработка событий в потоках данных с минимальными задержками.
Интеграция потоковых данных с различными аналитическими и операционными системами.

Рабочие инструменты:

* Платформы для потоковой обработки данных:
Apache Kafka, Apache Flink, Apache Pulsar, AWS Kinesis.
Языки программирования и фреймворки: Python, Java, Kafka Streams, Apache Beam.

* Подготовка:

Знание принципов потоковой обработки данных и работы с платформами, такими как Apache Kafka.
Опыт написания программ для обработки данных в реальном времени.
Курсы по Stream Processing и Data Engineering.

*️⃣"Что конкретно учить" зависит от того:
- что лично вам интересно
- что требуется на той вакансии, на которую вы хотите устроиться.

Дополняйте список в комметах 😉

🎉 Коллеги, не могу не поздравить вас с днем программиста) поэтому с профессиональным праздником, даже если вы только начинаете этот путь!

🎙 Вчера был на конференции Arch.Meetup по архитектуре данных. Очень понравился доклад ребят из Сбера. Чуть позже поделюсь с вами тезисами темы их выступления.

#путь_de

❓ Интересно, у кого-нибудь есть опыт разработки аналитического хранилища с нуля, в виде пет-проектов? От архитектуры до инструментов.

Возможные компоненты:
* оркестратор для джобов
* БД или озеро для хранения таргетов
* витрины, как лицо dwh
* BI для визуализации

Разворачивание в облаке / на отдельном сервере.
Загрузка таргетов может быть сразу в витрины или бд / озеро.

Объем данных небольшой - возможно, инкрементальная загрузка с сайтов или иное.

▶️ Поделитесь пожалуйста опытом, думаю, многим будет интересно.

#база_знаний

Когда я только начинал изучать базы данных, слово "партиции" настораживало меня. Этот термин звучал сложно, но со временем я понял, что это ключ к оптимизации работы с данными, особенно в больших системах.

✔️ Партиции в SQL

Партиции в SQL — это не что иное, как разбиение большой таблицы на более мелкие части. В крупных таблицах, где миллионы строк, запросы могут выполняться очень долго. Партиции помогают это исправить: они позволяют системе работать только с нужной частью данных, что значительно ускоряет запросы.

➕ Например, можно разбить таблицу заказов по месяцам или по регионам.

CREATE TABLE orders (
order_id INT,
order_date DATE,
customer_id INT
) PARTITION BY RANGE(order_date);

Так, система будет обрабатывать только данные за нужный период, а не всю таблицу целиком.

✔️ Партиции в Apache Spark

В мире больших данных, когда я стал работать с Apache Spark, понятие партиций приобрело для меня ещё больший смысл.
Spark — это распределённая система, и партиции здесь играют ключевую роль. Spark разбивает данные на части, чтобы обрабатывать их параллельно на разных узлах кластера, что позволяет справляться с огромными объёмами данных очень быстро.

Один из ключевых моментов работы в Spark — это запись данных в формате Parquet. При этом указание полей партиционирования является критичным для оптимальной работы с данными. Например, вы можете партиционировать данные по году и месяцу, чтобы ускорить последующую выборку.

➕ Пример 1: Партиционирование при записи данных в Parquet

df = spark.read.csv("sales_data.csv")

# Запись в Parquet с партиционированием по году и месяцу

df
.write
.partitionBy("year", "month")
.parquet("s3://bucket/sales_data")

Теперь, когда мы будем запрашивать данные только за определённый год и месяц, Spark будет обрабатывать только соответствующие партиции, что значительно уменьшит время выполнения запросов.


➕ Пример 2: Оптимизация числа партиций для обработки

Когда данные загружаются в Spark DataFrame, они автоматически разбиваются на партиции. Однако для более эффективной работы с большими данными иногда требуется вручную настроить количество партиций. Например, при работе с большими ETL-пайплайнами на кластере Spark с большим количеством узлов можно настроить более тонкую балансировку нагрузки.

df = spark.read.parquet("s3://bucket/sales_data").repartition(200)

# Теперь данные будут разбиты на 200 партиций для параллельной обработки

➕ Пример 3: Партиционирование для агрегаций

Допустим, вы работаете с большими наборами данных о продажах, которые вам нужно агрегировать по нескольким измерениям, таким как год, месяц и регион. Для ускорения таких операций можно использовать партиционирование:

sales_df = spark.read.parquet("s3://bucket/sales_data")

aggregated_df = sales_df
.groupBy("year", "month", "region")
.agg({"sales_amount": "sum"})
.repartition("year", "month")

⚠️ Сейчас, при работе в Spark, практически ни одна запись в Parquet не обходится без указания поля партиционирования.

Партиции позволяют уменьшить объём данных, которые необходимо читать и обрабатывать, что особенно важно при работе с огромными объёмами информации в ETL-процессах. К слову, есть задачи, в которых данных на несколько десятков млрд!

Партиционирование в Spark стало для меня понятным и обязательным инструментом, когда я начал решать задачи ETL на практике.

Если вам не знаком термин, обязательно с ним познакомьтесь!

#кейсы

⚙️ Друзья, хочу поделиться с вами обзором моего первого ETL пет проекта. Делал его из собственного интереса и практической необходимости.

✉️ Кейс описывает подключение к почтовому серверу, поиск и извлечение данных от магазинов, преобразование данных и их загрузку в БД для хранения и визуализации.

P.S. Анимация под заголовком статьи погружается не сразу.

Навигация по другим материалам группы.

🔥Задача по формированию матрицы feature x date

Предположим, есть таблица в Hive (~300 МБ, справочник).

root
|— feature
|— col1
|— col2
|— date

Данные есть за 2024 год, но не для всех дат 2024:

feature col1 col2 date
feature1 1 1 2024-01-04
feature2 2 1 2024-01-06

Данные обогащены в Spark и записаны в формате Parquet. Затем они читаются через DBeaver external table, на основе которых создается view как слой абстракции для дальнейшего использования в BI-инструменте, например, в Qlik Sense для построения дашборда.

Задача — построить матрицу feature x date, где для каждого значения поля feature отображается соответствующее значение поля date и значения остальных полей. Если данные для сочетания отсутствуют, соответствующая ячейка заполняется null.

🤔 Вопросы для размышления:

1️⃣Как можно реализовать такую матрицу? Какие инструменты и подходы стоит использовать?

2️⃣Имеет ли значение, где именно производить преобразования: в Spark, Greenplum или BI-инструменте? Какие плюсы и минусы у каждого варианта?

3️⃣Если объем справочника значительно возрастет, как можно реализовать инкрементальную загрузку данных вместо пересчета всей таблицы?

Интересно услышать ваши идеи и мнения! 👇