🟢 Обновление по Apache Spark!

Я расширил Roadmap для Data Engineer — теперь там есть материалы как для начинающих, так и для продвинутых DE по Spark!

📘 Для новичков:
• Папка SPARK/BASE содержит основы Spark. Что это такое, как он работает и т.д.

🚀 Для продвинутых:
• Папка SPARK/ARCHITECTURE - устройство Spark внутри
• Папка SPARK/ADVANCED охватывает темы оптимизации, join, shuffle, data skew, хинты и прочее.

Если ты только начинаешь или уже готовишься к реальным проектам — заходи, изучай, применяй! Буду рад обратной связи и предложениям по улучшению материала. 🚀

Если хочешь стать автором одного из разделов, делай fork репозитория и кидай PR!
Инструкция для новых авторов

⚡️Анализируем продажи на Wildberries с помощью Python

С каждым днем все больше бизнесов выходят на маркетплейсы, а значит еще более ценными становятся аналитики, которые умеют с ними работать. Хотите за несколько часов собрать интересный кейс для своего портфолио?

Андрон Алексанян - эксперт по аналитике с 8 летним опытом и по совместительству CEO Simulative в прямом эфире проанализирует продажи на Wildberries с помощью Python.

Что будет на вебинаре:

🟠Напишем скрипт на Python, который каждый час собирает статистику о ранжировании карточки на WB по ключевым запросам;
🟠Построим наглядные визуализации для отслеживания динамики ранжирования.

Важно досмотреть вебинар до конца, чтобы узнать как упаковать этот кейс в портфолио своих проектов.

😶Зарегистрироваться на бесплатный вебинар

👍 Обновляю Пет Проект!

Неплохо так пересобрал свой ETL pipeline и теперь там есть Streaming + Batch. Это я собираю новую архитектуру с этого стрима и скорее всего она и будет в БУТКЕМПЕ в итоге!

На какой стадии сейчас:
🔵 В postgres автоматически наполняются таблицы + сами обновляют строки. Debezium считывает все изменения и закидывает в Kafka. Оттуда уже Spark Streaming льет в S3 бакет и раскладывает по партициям. Настроены heartbeat + signal таблицы.
🔵Почти тоже самое со второй таблицей, но уже настроен просто забор данных батчом.
🔵Появились prometheus и grafana для отслеживание метрик (но пока еще не настроил)
🔵Автоматизировал создание БД и табличек на стадии docker-compose (чтобы все ставилось с одной кнопки)
🔵Хранилище в реальном MinioS3 (раньше просто сохранялось в файловую систему)

Хочу сделать:
🔵 Добавить слои clean и mart в S3(сейчас только raw слой)
🔵 Написать spark джобы для построения витрин и складывания их в Clickhouse
🔵 Переписать старые airflow dags на новую архитектуру
🔵 Добавить Trino от CedrusData (у них есть free docker image)
🔵 Добавить Iceberg, либо продумать иной вариант обновления строк

Эта версия пока доступна в соседней ветке
✅ Кто хочет, может внести свои правки и идеи, если есть желание. Более менее финальную версию дропну позже.

Запуск буткемпа!

Вообще, основная цель буткемпа — оффер через 3 месяца

И для этого совсем не нужно учить весь Python или проходить тонну теории, как на курсах. Мы специально вырезаем весь лишний и ненужный материал, который не пригодится ни на собесах, ни на работе.

Что нужно для оффера?
🔵Резюме, которое проходит фильтры HR
🔵Пет-проект с нормальным ETL-пайплайном: батч, стриминг, API
🔵Понимание, как выстроить процесс от начала до конца: от источника до витрины
🔵Умение работать с Airflow, Spark, Greenplum, ClickHouse, Python, SQL (базово!)
🔵Навыки работы с Docker и командной строкой
🔵Умение отвечать на типичные вопросы с собесов

Все.
Остальное — избыточный багаж. Например, зачем учить MapReduce, если ты никогда не будешь это писать? Это легаси, которое давно уже закрыто фреймворками.

Мы смотрим на буткемп, как на симуляцию первой работы.
Представь, что ты уже устроился, и у тебя есть тимлиды. Мы и есть эти тимлиды. Мы даём задачи, показываем, как их решать, помогаем, если что-то не работает. Ты не учишься — ты работаешь.

Это важный момент: на первой работе от тебя никто не будет ждать глубоких теоретических знаний. Все, что нужно — это писать базовый код, запускать пайплайны и уметь решать реальные задачи. Вот этому мы и учим.

У всех Data Engineers задачи примерно одинаковые. Мы всё равно тянем данные, обрабатываем, кладем в хранилище. Отличия — только в стекe и мощности серверов.

🔴 В скором времени скину ссылку на чат ДЛЯ ВСЕХ, где можно будет посмотреть на ПЛАН БУТКЕМПА, задать вопросы, накидать идей, если у вас есть конкретная боль.

⚡️Пошаговый план: как стать аналитиком данных в 2025

Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если мне 30/40/50+ лет?

Андрон Алексанян — эксперт по аналитике с 8-летним опытом и по совместительству CEO Simulative — покажет рабочие схемы и чёткий план, как устроиться в аналитику быстрее, даже если у вас нет опыта

Что будет на вебинаре?

🟠 Разберёте полный роадмап: что учить, в каком порядке, до какого уровня;
🟠 Лайфхаки трудоустройства:
— покажут реальные примеры, как оформить резюме и портфолио, чтобы привлекать внимание;
— обсудите, какие отклики работают, а какие сразу отправляют в корзину;
— изнанка найма: инсайдерский взгляд на процессы отбора
🟠 Практические техники для новичков: разберёте, как компенсировать недостаток опыта и быстро закрывать пробелы в знаниях

🕗 Важно досмотреть вебинар до конца, чтобы получить бонус от Simulative, который поможет бустануть карьеру

😶Зарегистрироваться на бесплатный вебинар

В IT только по призванию!

Итак, наваливаю вам базы! Мы, люди, живем слишком короткую жизнь и если вам какой-то умник затирает про призвание в жизни, разворачивайтесь и уходите. Значит, спускаемся с небес на землю. Речь не идет о становлении математиком, чтобы доказать теорему Пуанкаре. Вы тупо можете освоить базовые профессии, где можно лутать норм бабки. Для этого не надо быть гением. Для этого надо вовремя и правильно поставить цель и ежедневно заниматься, осваивая только ТО, ЧТО ТРЕБУЕТ РЫНОК.

Когда IT схлопнется и SkyNet наконец-то заменит программистов, я переучусь на СВАРЩИКА ИЛИ ТОКАРЯ и также заведу канал Я – Токарь или Я – Фермер (как в Интерстелларе). Но, к сожалению, AI еще настолько тупой, что походу не скоро я еще смогу начать выращивать кукурузу!

Ближе к делу. В видосе можете услышать главную идею: Стать можно кем угодно в этой жизни, если вы раскачаете нужные навыки. Здесь нет ни слова про генетику или божий дар. Мы говорим с вами про профессию наемного сотрудника... Это просто БАЗА.

▶️ ссылка на видос

Бот для просмотра YouTube
@NamelessNetwork_bot