🧐 HDFS | Что это такое и как оно работает? [Hadoop HDFS]

Deep Dive по HDFS.
Рассказываю базу про HDFS. О том, что это такое, как хранятся блоки, репликация, топология сети, что внутри и какие есть с этим проблемы.

Подписывайся на telegram канал про Дата Инжиниринг!
https://t.iss.one/halltape_data

🤨 Мой обновленный ETL проект на GitHub!

https://github.com/halltape/HalltapeETL
Это полноценный инструмент собранный на базе Docker-Compose.
С ним можно запустить ETL процесс от загрузки данных до их визуализации!

Вот, что я добавил и исправил:
⚫️Добавил Jupyter Lab (Spark + Pandas) - Теперь можно отлаживать код в Jupyter Lab
⚫️Установил Spark в Apache Airflow - Теперь можно собирать витрины данных еще и на Spark (до этого был только Pandas)
⚫️Подключил Data Lake к Clickhouse - Теперь Clickhouse может читать данные напрямую из Data Lake
⚫️Добавил Apache Superset - Можно подключиться, как к Clickhouse, так и к PostgreSQL
⚫️Синтетические данные - Залил готовые данные, на которых можно тренироваться
⚫️Написанные и подготовленные DAG в Airflow - Написал скрипты для сборки витрины на PySpark
⚫️DAG для мониторинга загрузки данных - Написал скрипты для мониторинга загрузки данных на дашборде!

Крайне рекомендую дойти до этого проекта и собрать его самостоятельно. Попробуйте там собрать свою первую витрину на Spark. И обязательно доведите всё до визуализации. В процессе отладки вы очень сильно прокачаетесь, а если еще и разберетесь, как этот проект собирается и работает, то у вас будет сильное преимущество перед теми, кто просто проходит курсы на степике.

Считайте, что это бесплатное повышение вашей квалификации. Более того, вы можете использовать это либо на работе или для своего пет проекта. Реальное отличие этого проекта от коммерческого будет в объеме данных и доступных ресурсах. А так, python он и в Африке python!

🤘 Выражаю огромную благодарность тем, кто помогал и делал pull request в мой проект:
https://github.com/ATAGAEV95
https://github.com/kirill505
https://github.com/RiskofStorm

P.S Сейчас Data Lake – это просто папка, к которой примонтировано несколько контейнеров. В планах сделать из нее либо HDFS, либо S3. Либо S3 добавить в качестве источника. Расширяться здесь можно бесконечно, главное, чтобы памяти на все хватило. Кстати вы всегда можете контрибьютить в мой проект и кидать pull request, если нашли ошибку или хотите добавить функционала!

Спасибо!

🗺 Есть кто сейчас в Алании? Turkey.

Наверное тут минимальная вероятность, но вдруг) могли бы пересечься!

Я до 29 августа в отпуске, поэтому в канале отвечаю редко.

Кстати если есть места или кафе, которые порекомендуете, welcome в комменты!

✈️Ну че, миллионеры!

Я вернулся с отпуска и забыл, что такое дата инжиниринг. Поэтому давайте вспомним здесь для чего вы тут сидите.

🔔 Осенью запущу менторство и также подготовлю базированную базу про то, как вам залетать в IT! У меня накопилось много годного контента. В канале посты расписаны до декабря. А материал с бусти я упакую в супер пакеты, которые вам дадут исключительную выжимку, чтобы вы не тратили время на лишнее. Самое главное - это время. Вы не купите возраст и не остановите время, поэтому сэкономленные сейчас часы - это заработанные деньги потом!

❔ Самый главный вопрос. На каком сейчас этапе и поставили ли себе дедлайн?

‼️ Не дай бог, если кто-то из вас ленится и ничего не делает. Я вам в этом канале даю пушечную инфу. В период золотой лихорадки у вас уже есть золото! Вам осталось только его продать!

🗣 Если вам не хватает мотивации, то это только на мое менторство, либо на стримы. Там я вправлю вам энергию в нужное русло!

🥇 Я придумал велосипед!

пост писал еще будучи в Сбере в мае. Вариантов на самом деле намного больше. Вопрос какие инструменты у вас под рукой.

Постараюсь кратко. У меня есть витрина, в которую летят данные по кредитам, картам, ипотекам и куче других продуктов. Источники для каждого продукта разные, поэтому если я буду каждый день грузить данные всегда за вчера, а источник по картам еще не обновился или вообще умер, то у меня какие-то продукты загрузятся, а какие-то нет. Очевидно, что завтра и послезавтра данные по картам за позавчера, даже если они появились, уже никогда не прогрузятся.

Если конкретно, то пусть по кредитам у меня прилетело 500 000 строк, а по картам прилетело 0 строк (пустой датафрейм). Мне надо запомнить, что по картам в этот день было пусто, но ошибки не было. Скрипт успешно отработал. Или прилетело по картам всего 2 строки, а ожидается 10 000. Мне по-любому надо запомнить, что в эти даты был сбой!

Брать просто максимальную дату загруженных данных из витрины тоже нельзя. Ну он покажет, что данные актуальны. Но они ведь актуальны только по кредитам. А считать максимальнуюю дату по каждому продукту, учитывая, что таблица растет стремительно, будет все сложнее и сложнее.

Поэтому я подумал сделать маленьку таблицу, куда будут писать логи, типа
date, product_name, total_rows

Т.е. при каждом вычислении я пишу туда тип продукта, кол-во строк в датафрейме и дату загрузки. Тем самым у меня будет табличка из 2000-4000 строк ЗА ГОД! И это если у меня около 10 продуктов. Такое можно и в Excel открыть!

И при каждой загрузке мой спарк будет ходить в эту маленькую таблицу и просто забирать даты, по которым либо прилетело 0 строк, либо высчитывать разницу дат между сегодня и максимальной датой по каждому продукту в этой таблице. По ресурсам это просто смехотворно! Очень быстро.

Здесь можно конечно сделать историю с партиционированием в самой витрине по типу продукта и дате, тем самым объединить данные в рамках продуктов. Но тогда мы не сможем контроллировать кол-во строк. Нам придется вычислять отсутствующие даты в метаданных партиций со списком сгенерированных дат. Короче это сложно и не наглядно.

Тем более моя таблица с логами прекрасно может быть визуализирована в BI. Все метрики уже посчитаны, остается лишь написать очень простые запросы и при том очень легкие по отношению к СУБД. Т.е. мы буквально сможем контроллировать загрузку и актуальность данных по стольким продуктам, сколько сами пожелаем!

Кстати эта маленькая табличка должна иметь свойство обновляться. Если за 2024-06-01 у нас было 0 строк и мы сделали загрузку на 4 000 строк, то очевидно, что логи с нулем надо удалить. Здесь можно внедрить SCD, но мне историчность пока не нужна и я просто делаю group by и оставляю max(date).

Насколько понятно, что я написал?))

🔴 СТРИМ уже в ЭТУ СУББОТУ! 12:00!

21 сентября в 12:00

Мощнейший стрим, где я отвечу на часто задаваемые вопросы про то, как сейчас на рынке DE, с какими проектами залетать в IT и не поздно ли?

Плюс вы накинули мне в комментах кучу дополнительных тем, которые могут даже не уместиться и в ДВА СТРИМА!

Постараюсь ответить на бОльшую часть, а также зарядить вас мотивацией и пушечной энергией, чтобы вы уже в этом году или край ВЕСНОЙ следующего года залетели в профессию!

Также анонсирую менторство и в целом расскажу, кому оно может быть нужно, а кому и бесполезно!

Стрим будет под запись, поэтому не страшно, если пропустишь. Сможешь вернуться позже и посмотреть в записи!

P.S. Вы также сможете задать свой вопрос на стриме, если хотите!

🗑 Полгода работы в мусорку!

Когда я пришел на свою первую работу в качестве Data Engineer, то первое время я ВООБЩЕ НИЧЕГО НЕ ПОНИМАЛ!

📉 Например есть таблица для аналитиков, которая содержит данные по кредитам. Там номер кредита, user_id, статус кредита, дата заявки и еще парочка полей с данными. Но как собирается эта витрина я вообще не понимал и, смотря первое время на код, мне становилось плохо и я умирал.

Т.е. эта витрина очевидно собиралась из каких-то сырых данных (таблиц), потом соединялась с другими по своей сложной логике, потом обновляла данные из другой таблицы и черти что еще! Я, пришел, такой зеленый, смотрел на код на Spark и не понимал даже откуда начать копать, чтобы разобраться...

🏗 При этом сборка витрины – это же ведь просто написанный код. И он часто меняется, дополняется. В некоторых источниках могло измениться поле (столбец), поэтому надо переписывать часть блока кода. А иногда могла замениться и вся таблица источник!

Как вы понимаете, документация не может так быстро корректироваться. Это надо еще отследить, передать в задачи системному аналитику! Я за то, чтобы документация писалась хотя бы на полгода жизни. Иначе в ней смысла абсолютно нет.

☠️ Представили ситуацию? Это кстати ждет каждого из вас, когда вы придете на новое рабочее место. Если у вас нет, как минимум, схемы в документации, как собирается витрина, то вас ждет АД!

Но не везде так сложно. Умные люди придумали решение этой проблемы. Одно из решений – это DataHub. Оно open source, поэтому можете поставить у себя локально. Визуально это просто интерфейс, в котором вы можете проследить, как собирается табличка и из каких источников. Более того, можно увидить имена пользователей, типы полей, их наименование и разную статистику. Короче максимально удобная вещь, особенно при онбординге на новом месте!

Будете на собесе, можете спросить, есть ли у команды что-то похожее на DataHub! Кстати, из тех компаний, которые используют DataHub – это компания Сравни (кстати можете подписаться на их TG канал). Они даже статью отдельно об этом написали на Хабре! Да и в целом рекомендую на них подписаться. Довольно прогрессивные ребята в плане data стека.

🔴 Уже ЗАВТРА стрим!

В 12:00 стрим по московскому времени. Отвечу на ваши вопросы, расскажу про рынок DE, стек, а также анонсирую менторство!

Будет запись, поэтому сможете посмотреть потом в записи.

По времени не дольше двух часов.

Кстати, вы еще можете накинуть сюда дополнительных вопросов в комменты, пока есть возможность!

🟢 Стрим ➡️ https://t.iss.one/halltape_data?livestream=9c77fb4861cc7957d6

🔴 Спасибо всем, кто был на стриме!

Запись СТРИМА ⬇️

😘 Стрим на Youtube!

Это субботний стрим с лучшей картинкой + лучше звук!

➡️ Смотреть здесь

У меня Youtube работает нормально только через YOTA. Т.е. когда я раздаю интернет с телефона, то ютуб работает нормально. А вот с домашнего провайдера все печально. Но пока ютуб остается лучшей площадкой для распространения и просмотра контента. Я конечно гружу параллелльно на альтернативные площадки, но это в целом не имеет смысла. Только, как хранилище видео. Просмотров и трафика там нет.

Я на ютубе с июня 2008 года и помню все его интерфейсы. И просто взять и заменить его не получится. Там уже загружено невероятное кол-во контента + система рекомендаций.

Ну все равно подписывайтесь на ютуб канал!
https://www.youtube.com/@halltape/videos