▶️ Курс по Hello, World | PYTHON!

Я решил записать по приколу небольшой видос по python. Выводим Hello, World! разными способами: от самого простого до самого сложного и странного!

СМОТРЕТЬ НА YOUTUBE

Бот для просмотра YouTube
@NamelessNetwork_bot

Промокод: DE
(FREE 2 недели)

Стрим для НОВИЧКОВ!

27 апреля (ВС) 20:00 МСК

Зачем я это делаю?
Чтобы помочь новичкам разобраться с огромным кол-вом технологий

Что будет на стриме?
🔵Покажу, для чего нужны все эти Airflow, Clickhouse, Hadoop и так далее
🔵Подскажу, на каком уровне нужно владеть ими
🔵Поотвечаю на ваши вопросы

Стрим реально только для тех, кто сейчас учится, либо только начал ходить на первые собесы. Опытным на стриме делать будет нечего.

📅 Дата: 27 апреля 2025
⏰ Время: 20:00 МСК
📍 Где: https://www.twitch.tv/halltape

Задать вопрос анонимно

Сегодня СТРИМ в 20:00 МСК!

Стрим только для новичков.

Когда я только учился на ДЕ, я не понимал вот это:

🔵Зачем нужно так много программ?
🔵Почему нельзя обойтись ОДНОЙ?
🔵И если их так много, надо ли учить их все?
🔵А в чем вообще разница?

На все эти вопросы я хочу ответить сегодня на СТРИМЕ!
Я сделал класный конструктор по инструментам для Дата Инженеров.
После стрима вы научитесь собирать свои первые варианты DWH и наконец выйдете на НОВЫЙ УРОВЕНЬ СОЗНАНИЯ!

P.S. Кстати летом я планирую запустить закрытый платный буткемп, где я буду лично вас контроллировать и пинать, чтобы вы занимались. Плюс там будет разработка пет-проекта, чат с такими же новичками, разбор резюме. Короче я организовываю для вас среду для обучения с моим личным контролем, а вы учитесь. Я заработаю денег, а вы устроитесь на работу!

Подпишись на Twitch!

🟢 Обновление по Apache Spark!

Я расширил Roadmap для Data Engineer — теперь там есть материалы как для начинающих, так и для продвинутых DE по Spark!

📘 Для новичков:
• Папка SPARK/BASE содержит основы Spark. Что это такое, как он работает и т.д.

🚀 Для продвинутых:
• Папка SPARK/ARCHITECTURE - устройство Spark внутри
• Папка SPARK/ADVANCED охватывает темы оптимизации, join, shuffle, data skew, хинты и прочее.

Если ты только начинаешь или уже готовишься к реальным проектам — заходи, изучай, применяй! Буду рад обратной связи и предложениям по улучшению материала. 🚀

Если хочешь стать автором одного из разделов, делай fork репозитория и кидай PR!
Инструкция для новых авторов

⚡️Анализируем продажи на Wildberries с помощью Python

С каждым днем все больше бизнесов выходят на маркетплейсы, а значит еще более ценными становятся аналитики, которые умеют с ними работать. Хотите за несколько часов собрать интересный кейс для своего портфолио?

Андрон Алексанян - эксперт по аналитике с 8 летним опытом и по совместительству CEO Simulative в прямом эфире проанализирует продажи на Wildberries с помощью Python.

Что будет на вебинаре:

🟠Напишем скрипт на Python, который каждый час собирает статистику о ранжировании карточки на WB по ключевым запросам;
🟠Построим наглядные визуализации для отслеживания динамики ранжирования.

Важно досмотреть вебинар до конца, чтобы узнать как упаковать этот кейс в портфолио своих проектов.

😶Зарегистрироваться на бесплатный вебинар

👍 Обновляю Пет Проект!

Неплохо так пересобрал свой ETL pipeline и теперь там есть Streaming + Batch. Это я собираю новую архитектуру с этого стрима и скорее всего она и будет в БУТКЕМПЕ в итоге!

На какой стадии сейчас:
🔵 В postgres автоматически наполняются таблицы + сами обновляют строки. Debezium считывает все изменения и закидывает в Kafka. Оттуда уже Spark Streaming льет в S3 бакет и раскладывает по партициям. Настроены heartbeat + signal таблицы.
🔵Почти тоже самое со второй таблицей, но уже настроен просто забор данных батчом.
🔵Появились prometheus и grafana для отслеживание метрик (но пока еще не настроил)
🔵Автоматизировал создание БД и табличек на стадии docker-compose (чтобы все ставилось с одной кнопки)
🔵Хранилище в реальном MinioS3 (раньше просто сохранялось в файловую систему)

Хочу сделать:
🔵 Добавить слои clean и mart в S3(сейчас только raw слой)
🔵 Написать spark джобы для построения витрин и складывания их в Clickhouse
🔵 Переписать старые airflow dags на новую архитектуру
🔵 Добавить Trino от CedrusData (у них есть free docker image)
🔵 Добавить Iceberg, либо продумать иной вариант обновления строк

Эта версия пока доступна в соседней ветке
✅ Кто хочет, может внести свои правки и идеи, если есть желание. Более менее финальную версию дропну позже.

Запуск буткемпа!

Вообще, основная цель буткемпа — оффер через 3 месяца

И для этого совсем не нужно учить весь Python или проходить тонну теории, как на курсах. Мы специально вырезаем весь лишний и ненужный материал, который не пригодится ни на собесах, ни на работе.

Что нужно для оффера?
🔵Резюме, которое проходит фильтры HR
🔵Пет-проект с нормальным ETL-пайплайном: батч, стриминг, API
🔵Понимание, как выстроить процесс от начала до конца: от источника до витрины
🔵Умение работать с Airflow, Spark, Greenplum, ClickHouse, Python, SQL (базово!)
🔵Навыки работы с Docker и командной строкой
🔵Умение отвечать на типичные вопросы с собесов

Все.
Остальное — избыточный багаж. Например, зачем учить MapReduce, если ты никогда не будешь это писать? Это легаси, которое давно уже закрыто фреймворками.

Мы смотрим на буткемп, как на симуляцию первой работы.
Представь, что ты уже устроился, и у тебя есть тимлиды. Мы и есть эти тимлиды. Мы даём задачи, показываем, как их решать, помогаем, если что-то не работает. Ты не учишься — ты работаешь.

Это важный момент: на первой работе от тебя никто не будет ждать глубоких теоретических знаний. Все, что нужно — это писать базовый код, запускать пайплайны и уметь решать реальные задачи. Вот этому мы и учим.

У всех Data Engineers задачи примерно одинаковые. Мы всё равно тянем данные, обрабатываем, кладем в хранилище. Отличия — только в стекe и мощности серверов.

🔴 В скором времени скину ссылку на чат ДЛЯ ВСЕХ, где можно будет посмотреть на ПЛАН БУТКЕМПА, задать вопросы, накидать идей, если у вас есть конкретная боль.