Мы построили своё DWH!

▶️ Запись недавнего стрима теперь на YOUTUBE!

Спасибо всем, кто был на стриме, нас было более 150 человек!

Особенно спасибо тем ребятам, кто дискутировал, когда мы начали разговаривать про Trino и Spark.

Думаю, будет хорошей практикой собираться всем вместе и базарить на дата инженерские темы. Да и вообще я люблю стримы , можно выпустить пар после работы)

Бот для просмотра YouTube
@NamelessNetwork_bot

Промокод: DE
(FREE 2 недели)

Кстати интересно, что видос я нигде не шерил, но он все равно достаточно бодро начал собирать просмотры на ютубе.. прикол конечно

1 АПРЕЛЯ 20:00 МСК СТРИМ!

Стрим будет на TWITCH
🔴 ССЫЛКА НА МОЙ ТВИЧ

О чем будем говорить?
- Кризис на рынке
- Накрутка опыта
- Как найти работу зарубежом за $$$?

Также будет приглашенный спикер, который залетел в IT просто с ноги и уже получает доллары. От него будет мощнейшая презентация, которая готовилась наверное месяец ПЯТЬ!
Мы с ним кстати учились в Школе21 и то, как он залетел в ITишку – это просто что-то с чем-то!

Короче 1 апреля в 20:00 ГО поговорим о жизни.

Задать вопрос анонимно

▶️ Надо ли крутить опыт в IT? [Подкаст За пределами Кода]

Гость: Анна, Дата Аналитик в М2

⚫️Как понять, что годен к IT?
⚫️Стоит ли крутить опыт?
⚫️Как быть джунам?

СМОТРЕТЬ НА YOUTUBE

ДВЕ недели бесплатного VPN для просмотра Youtube - @NamelessNetwork_bot

Подписывайтесь на наши каналы:
Евгений Виндюков
😀 Telegram канал
📺 Youtube канал

Анна Балицкая
💬 Telegram канал
💬 Бот для подготовки к собеседованиям

Полезные ссылки:
➡️ ROADMAP

▶️ Курс по Hello, World | PYTHON!

Я решил записать по приколу небольшой видос по python. Выводим Hello, World! разными способами: от самого простого до самого сложного и странного!

СМОТРЕТЬ НА YOUTUBE

Бот для просмотра YouTube
@NamelessNetwork_bot

Промокод: DE
(FREE 2 недели)

Стрим для НОВИЧКОВ!

27 апреля (ВС) 20:00 МСК

Зачем я это делаю?
Чтобы помочь новичкам разобраться с огромным кол-вом технологий

Что будет на стриме?
🔵Покажу, для чего нужны все эти Airflow, Clickhouse, Hadoop и так далее
🔵Подскажу, на каком уровне нужно владеть ими
🔵Поотвечаю на ваши вопросы

Стрим реально только для тех, кто сейчас учится, либо только начал ходить на первые собесы. Опытным на стриме делать будет нечего.

📅 Дата: 27 апреля 2025
⏰ Время: 20:00 МСК
📍 Где: https://www.twitch.tv/halltape

Задать вопрос анонимно

Сегодня СТРИМ в 20:00 МСК!

Стрим только для новичков.

Когда я только учился на ДЕ, я не понимал вот это:

🔵Зачем нужно так много программ?
🔵Почему нельзя обойтись ОДНОЙ?
🔵И если их так много, надо ли учить их все?
🔵А в чем вообще разница?

На все эти вопросы я хочу ответить сегодня на СТРИМЕ!
Я сделал класный конструктор по инструментам для Дата Инженеров.
После стрима вы научитесь собирать свои первые варианты DWH и наконец выйдете на НОВЫЙ УРОВЕНЬ СОЗНАНИЯ!

P.S. Кстати летом я планирую запустить закрытый платный буткемп, где я буду лично вас контроллировать и пинать, чтобы вы занимались. Плюс там будет разработка пет-проекта, чат с такими же новичками, разбор резюме. Короче я организовываю для вас среду для обучения с моим личным контролем, а вы учитесь. Я заработаю денег, а вы устроитесь на работу!

Подпишись на Twitch!

🟢 Обновление по Apache Spark!

Я расширил Roadmap для Data Engineer — теперь там есть материалы как для начинающих, так и для продвинутых DE по Spark!

📘 Для новичков:
• Папка SPARK/BASE содержит основы Spark. Что это такое, как он работает и т.д.

🚀 Для продвинутых:
• Папка SPARK/ARCHITECTURE - устройство Spark внутри
• Папка SPARK/ADVANCED охватывает темы оптимизации, join, shuffle, data skew, хинты и прочее.

Если ты только начинаешь или уже готовишься к реальным проектам — заходи, изучай, применяй! Буду рад обратной связи и предложениям по улучшению материала. 🚀

Если хочешь стать автором одного из разделов, делай fork репозитория и кидай PR!
Инструкция для новых авторов

⚡️Анализируем продажи на Wildberries с помощью Python

С каждым днем все больше бизнесов выходят на маркетплейсы, а значит еще более ценными становятся аналитики, которые умеют с ними работать. Хотите за несколько часов собрать интересный кейс для своего портфолио?

Андрон Алексанян - эксперт по аналитике с 8 летним опытом и по совместительству CEO Simulative в прямом эфире проанализирует продажи на Wildberries с помощью Python.

Что будет на вебинаре:

🟠Напишем скрипт на Python, который каждый час собирает статистику о ранжировании карточки на WB по ключевым запросам;
🟠Построим наглядные визуализации для отслеживания динамики ранжирования.

Важно досмотреть вебинар до конца, чтобы узнать как упаковать этот кейс в портфолио своих проектов.

😶Зарегистрироваться на бесплатный вебинар

👍 Обновляю Пет Проект!

Неплохо так пересобрал свой ETL pipeline и теперь там есть Streaming + Batch. Это я собираю новую архитектуру с этого стрима и скорее всего она и будет в БУТКЕМПЕ в итоге!

На какой стадии сейчас:
🔵 В postgres автоматически наполняются таблицы + сами обновляют строки. Debezium считывает все изменения и закидывает в Kafka. Оттуда уже Spark Streaming льет в S3 бакет и раскладывает по партициям. Настроены heartbeat + signal таблицы.
🔵Почти тоже самое со второй таблицей, но уже настроен просто забор данных батчом.
🔵Появились prometheus и grafana для отслеживание метрик (но пока еще не настроил)
🔵Автоматизировал создание БД и табличек на стадии docker-compose (чтобы все ставилось с одной кнопки)
🔵Хранилище в реальном MinioS3 (раньше просто сохранялось в файловую систему)

Хочу сделать:
🔵 Добавить слои clean и mart в S3(сейчас только raw слой)
🔵 Написать spark джобы для построения витрин и складывания их в Clickhouse
🔵 Переписать старые airflow dags на новую архитектуру
🔵 Добавить Trino от CedrusData (у них есть free docker image)
🔵 Добавить Iceberg, либо продумать иной вариант обновления строк

Эта версия пока доступна в соседней ветке
✅ Кто хочет, может внести свои правки и идеи, если есть желание. Более менее финальную версию дропну позже.