❗️ Кто хочет на BootCamp?

Кому интересн наш мощнейший BootCamp, пройдите опрос!

ПРОЙТИ ОПРОС

Прикинем сколько людей действительно хотят попасть.

Для тех, кто еще не знает, у нас есть уже отдельный чат на 700 человек!

А вот про сам BootCamp

Как первым попасть на BootCamp?

Собери лучший и понятный дашборд по CSV файлу и мы запишем тебя без очереди сразу на первый поток BootCamp для Дата Инженеров!

Этот файл был сформирован ИМЕННО ВАМИ, когда мы делали опрос "Кто хочет на BootCamp", поэтому самое время потренировать свои навыки SQL.

Дашборд может быть в формате PDF, JPEG или ссылкой, чтобы можно было его оценить.

В дашборде желательно отразить следующие запросы + можно добавить свои:

-- Средний возраст
-- Разбивка по полу и кол-ву респондентов
-- Распределение по полу и степени желания попасть на буткемп
-- Средний возраст респондентов по уровню владения Python | SQL
-- Сколько человек с каждым уровнем знаний хотят на Bootcamp?

➡️ Ссылка на GoogleSheet

🔴 24 ЧАСА Халявы!

Мы откроем инфру BootCamp всего на 24 часа абсолютно для всех! Разрешено буквально ВСЕ! Да, можно сделать DROP DATABASE на проде!

Обязательно заходите на наш VSCode и запускайте pipelines любого масштаба! Закидывайте в PG или в S3 че хотите. Логины и пароли для всех будут одинаковы. Наш сервак – это ваша GTA 6

Если уроните сервак, мы поймем на каком этапе это происходит и будем готовы к ПРЯМОМУ ПОПАДАНИЮ ИЗ ГРАНАТОМЕТА!

Можете по полной отрываться на нашем сервере. Мы проводим НАГРУЗОЧНОЕ ТЕСТИРОВАНИЕ!

🔴Когда залетать?

21 ИЮНЯ (СУББОТА)
20:00 МСК - стрим, где покажу, как пользоваться BootCamp
21:00 МСК - открытие доступов
22 июня 21:00 МСК - закрытие доступов. Инфра превратится в тыкву

➡️ Чат, где будем в реальном времени общаться - ТУТ

Короче, мне кажется, мы одни такие угараем в этой жизни среди всех DE. Нет бы, чтобы просто сидеть и читать ТаненБаума... но нет... они, как дети!

Да, мы просто мощно на суете двигаемся!

⭕️ Открываем доступ к BootCamp!

Старутем стрим через 10 минут!
Можете пока туда заходить и прогреваться!

📍 Где: https://www.twitch.tv/halltape

Что будет на стриме?
Открываю доступ к BootCamp для всех на 24 часа!

Запись стрима будет!

Задать вопрос анонимно

Архитектура BootCamp для бабушек | Часть 1

Значит, идея возникла давно. Где-то еще при Сталине. Очень бесит, что люди говорят, что на рынке нет релевантных спецов, при этом сами ничего для этого не делают. Спрашивается, откуда возьмутся сеньоры, если мы сейчас не выучим и не вкатим джунов.

Буткемп это мини-копия реальной работы. Т.е. у вас есть Airflow, S3, Spark, Kafka, PG, VSCode, CH, Github, CICD и так далее. И все это взаимосвязано и развернуто на сервере (удаленно). С самого первого дня можно залогиниться, понажимать кнопки, закинуть свой код на сервер через Deploy и посмотреть, как оно работает. И потом на реальном собесе можно смело говорить, что у вас есть ОПЫТ. Да, он не связан с Тб данных, но и не на всех работах у вас будут Тб если что.. И кстати лучше меньше данных, чем много -- они тупо быстрее считаются и с ними меньше проблем по ресурсам.

Итак. Как оно работает оч коротко. Сервер это линукс машина. На ней установлен docker. Докер позволяет запускать ваши программы изолировано от всего мира (их еще называют контейнеры). Ну т.е. можно настроить версии библиотек, языков и так далее в рамках каждого контейнера. И каждый инструмент (airflow, s3, ...) запускается, как отдельный контейнер.

Вот например есть PG (постгрес), S3 и VSCode. Это три контейнера. И пусть мы установим внутри VSCode библиотеку pyspark (именно как библиотеку). Мы хотим например взять наш Spark и прочитать им данные из PG и сохранить в S3. Спарк тут может еще и трансформировать, очистить, преобразовать данные. И вот чтобы это работало четко, надо сделать так, чтобы все три контейнера могли видеть друг друга. Я же писал, что они изолированно запускаются от внешнего мира. Поэтому можно прокинуть общую сеть (типа как у компов в компьютерном зале). Тогда контейнеры могут видеть порты друг друга и уже можно наладить переправку данных.

Но есть еще момент. Весь бекенд Airflow лежит в PG. И для него надо поднимать свой контейнер. Но и мы хотим в PG хранить например синтетические данные. Как быть? Ну можно создать рядом схемы или БД внутри постгреса и прекрасно жить. Можно! И это сильно экономит ресурсы сервера. У нас же всего один контейнер! Но этот вариант хороший только для пет проекта. Если вы хотите разворачивать для нескольких людей - там начинаются нюансы.

▶️ Для тех, кто пропустил
СТРИМ, где показываю BootCamp

Бот для просмотра YouTube
@NamelessNetwork_bot

Промокод: DE
(FREE 2 недели)

Так же в боте можно приобрести роутер со встроенным "ускорителем" YouTube на всех домашних устройствах по единой подписке.

О нюансах расскажу во ВТОРОЙ ЧАСТИ!

История успеха!

На самом деле нам много, кто пишет с благодарностями по поводу Roadmap. И мы все тупили и никуда не выкладывали.

Если у вас есть отзыв по поводу Roadmap или возможно вы словили лютейшую мотивацию от нашего контента, то смело присылайте сюда:

➡️ Отправить АНОНИМНО

Нам нужны отзывы и истории успеха!

🔥 Обновление Roadmap для дата-инженеров!

Если кто еще не видел ➡️РОАДМАП

Добавили сразу несколько новых разделов:

🔵Индексы и партиции — must-know для любого DE
🔵Greenplum и Apache Spark — теперь с пометками по уровню:
🧩 Junior
🚀 Junior+ и выше

И не забудьте заглянуть в наш раздел по Kafka!

Это ультимативный гайд по Data Engineering:
🔹 лучшие материалы
🔹 по уровням
🔹 абсолютно бесплатно

Пользуйтесь, пересылайте друзьям, делитесь с коллегами!

📬 Кстати!
Если Roadmap вам помог, напишите отзыв — это супер важно:
можно анонимно или с ником
👉 https://t.iss.one/anonim_mail_bot?start=310679195

⸻

👥 А если не хотите учиться в одиночку, у нас для вас новости:

📦 BootCamp — настоящий симулятор дата-инженера.
Уже стартовал первый поток! Заходи в наш чат

🤝 Роадмаперы — место, где можно проходить Roadmap вместе с другими: обсуждать, делиться прогрессом, не сдаваться. Плюс каждую неделю созвоны. Отличная возомжность задать вопросы или поделиться болью)

В Роадмаперы можно будет залететь уже на следующей неделе. Следите за новостями!

🔨 Ребят, вопрос!

Удобно ли вам пользоваться Roadmap?
Например заходите на гитхаб, листаете вниз, а чтобы вернуться в оглавление, надо опять листать, но уже наверх. Может удобнее было бы иметь меню слева?

Например, как у Аренадаты сделано

Т.е. сделать конкретный сайт с одной ссылкой, где будет наш Roadmap + ссылки на BootCamp + отзывы о нас + ссылки на вакансии (мы хотим заколабиться с HR).
Короче, сейчас наш Роадмап на github это единая точка.

И мы просто сделаем это красИвее и удобнее.
Роадмап это уже не один или два автора – это агрегатор нескольких авторов и он уже вышел за пределы джунов. Серебряная пуля!

Работу ДЕ почти не найти? 🤔
Да, если ты не понимаешь запросы компаний

В этой статье разбор рынка от Техлида, который активно нанимает дата инженеров 📊

Он простым и понятным языком ответил на вопросы:

- Что происходит с наймом?
- Какие сейчас вилки у ДЕ? 💸
- Что изучать, чтобы через 3 месяца получить оффер?
Все основано на фактах и личном опыте автора

Она доступна в закрепе его канала "Данные не врут"

👇 Если хочешь найти работу за ближайшие 3 месяца...

—> ЧИТАТЬ <—

⚡️ Слив всех наших собесов!

Вот мы с Володей много раз ходили и ходим на собесы и часто их записываем на видео. Их накапливается достаточное кол-во, поэтому теперь их можно посмотреть в нашем Bossty Роадмаперы!

Это вообще отличная возможность посмотреть, как например я жестко туплю в задачах. На мой взгляд у меня слабый python. Можно половить испанский стыд и понять, как делать НЕ НАДО!
Но по части самопрезентации, я считаю, что у меня все оч даже неплохо. Плюс есть запись собеса по System Design. Очень рекомендую посмотреть на досуге. Некоторые фишки я брал у Валерия Бабушкина - ПРИГОДИЛИСЬ!

Короче контент реально клевый, честный и настоящий. По деньгам там везде написано к каждой вакансии, поэтому можете прикинуть на какой оффер можете претендовать. И еще. Я бы на вашем месте запоминал некоторые паттерны рассказа о себе и применял их У СЕБЯ.

Что вообще дает подписка:
🔵Каждую неделю созвон, где отвечаем индивидуально на вопрос каждого
🔵Примеры наших собеседований и резюме
🔵Быстрые правки вашего резюме и консультация, что поменять
🔵Общий чат для совместной учебы

Стоимость подписки до 10 июля будет 500 рублей. Кто успеет подписаться, тот останется на этой сумме навсегда.
После 10 июля станет 1000 рублей.

Bossty Роадмаперы!

Надо знать более 30 инструментов для DE!

Я тут решил посчитать кол-во инструментов, которыми пользуется ДЕшник и вышло более 30 штук. Очевидно, что туда входили и Hive и Clickhouse и какой-нибудь Bash или Spark. Очень под большим сомнением я бы выбрал это направление, если бы мне сказали на старте, ЧТО НАДО ЗНАТЬ ВСЕ!

Поэтому я бы расставил для себя и других такие приоритеты. Например PostgreSQL, Python, Airflow, Git, Bash. Вот реально на этих инструментах уже можно написать простенький pipeline, который и хранит и обрабатывает ваши данные. Конечно не BigData, но и она не всегда требуется.

Но остается еще одна проблема. Вот мы отфильтровали из 30 инструментов только 5. Супер, понятно, что требуется рынку, но откуда нам знать, как их теперь использовать, для чего они вообще нужны?

В далёком 2022 я очень много пересматривал видосов англоязычных авторов, но у них там было много Amazon, Google и так далее. А мне хотелось что-то доступное и локальное! Ну вот кто такой Дата Инженер, в чем его смысл?

Кстати, имейте в виду, что информация даже двухлетней давности уже сейчас начинает устаревать и пересматривать более свежие выпуски "Кто такой Дата Инженер" вполне разумный поступок! Особенно в эпоху развития ChatGPT...

Если вы спросите, а где же тогда посмотреть самый свежий выпуск?
Например, я бы порекомендовал ребят из karpovꓸcourses

У них как раз 15 июля в 19:00 МСК будет бесплатный вебинар на эту тему

вот кстати ссылка, приходите➡️ https://clc.to/erid_2W5zFHKo51a

Спикеры:
📌 Евгений Ермаков — PhD, руководитель платформы данных, ex-Yandex, ex-Mailꓸru, ex-Glowbyte
📌 Дина Сафина — руководитель платформы данных, ex-Ozon.Fintech, ex-Mailꓸru

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFHKo51a