🔴 ROADMAP V2.0 для Data Engineer!

Наш BootCamp 2 месяца и выходишь на работу!
➡️ roadmappers.ru

Как стать Дата Инженером?
Мы создали БЕСПЛАТНЫЙ ROADMAP для Data Engineer!

➡️ ROADMAP для Data Engineer!

Что внутри?
0. Деньги
1. Кто такой Дата Инженер?
2. Python/SQL
3. Github/Git
4. Linux/Terminal
5. DWH
6. Нормальные формы
7. Модели данных
8. Data Vault
9. Индексы и партиции
10. Docker
11. Hadoop
12. Airflow
13. Greenplum
14. Clickhouse
15. Spark
16. dbt
17. Kafka
18. Pet Project
19. Вопросы с собесов
20. Резюме и Работа
21. Рабочие кейсы
22. Полезные ссылки

🖥 Наш чат для общения

📺 Кто я и как попал в IT?
СМОТРИ интервью со мной!

📺 Смотри подкаст про IT "За Пределами Кода"

Авторы Roadmap:
Евгений Виндюков
😀 Telegram канал
📺 Youtube канал

Владимир Шустиков
💬 Telegram канал
📺 Youtube канал

Алексей Разводов
💬 Telegram канал
📺 Youtube канал

🔴 Ссылка на СТРИМ

➡https://www.twitch.tv/halltape

Вопросы и все остальное пишите в на Twitch!

ВОПРОСЫ И ОБСУЖДЕНИЕ рекомендую на TWITCH!
https://www.twitch.tv/halltape

😂 100 метровое название у таблицы!

Рассказываю простой, но интересный кейс на работе, а самое главное понятный для всех!

Читаю данные из хранилища S3 при помощи Spark и складываю таблички в Greenplum. Все работает четко и быстро. Но вдруг на двух таблицах код начинает падать. Захожу в логи – там пишут:
"Мы не можем создать таблицу в Гринплам с названием

schema.do_you_speak_british_english_or

потому что в Spark у вас

schema.do_you_speak_british_english_or_american_english

Короче, я смотрю и не понимаю. Почему он обрезал часть названия. Все же было нормально, АЛЕ! Справедливо сказать, что названия были конечно намного длиннее и адекватнее. Просто показываю картину, которую я увидел.
Оказалось, что Гринплам не может записывать к себе названия таблиц/колонок, длина которых более 63 символов. Надо резать хвост.

А как, если у меня таких 100 таблиц и в каждой есть разный набор очень длинных названий столбцов. По какому принципу мне резать? Названия могут содержать в себе важную инфу и не всегда можно написать одинаковый паттерн для всех.

В итоге я конечно внес правки в Спарк код, чтобы он буквально два столбца переименовывал. Остальные были ок.
Но осадочек остался, если вы понимаете о чем... лично я нет.

В целом ситуация чисто на один раз. Всегда можно подправить на стадии трансформации. Просто неудобно, когда это в рамках простой миграции таблиц, где используется один общий для всех код.

😘 Все, кто скачал Юбуст, удаляйте расширение. У меня нет гарантий, что эта штука не в руках мошенников!

Причины и последствия мне неизвестны. Сейчас никому нельзя доверять.

Лично я удалил Юбуст и скорее всего сделаю собственное решение, в котором буду полностью уверен. Импортозаместим импортозамещение.

Разбираем тестовое задание на позицию Junior Аналитика в Яндекс

Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму.

Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в подразделении Яндекс Картинки.

Что будет на вебинаре:
🟠С помощью Pandas проанализируем Яндекс-запросы за несколько недель, загрузив их из json-файла
🟠Найдём закономерности и отличия использования сервиса на мобильных устройствах и компьютерах
🟠Разберём фишки Pandas: сложную агрегацию, маппинг, конкатенацию, чейнинг и др.

Вебинар проведет Андрон Алексанян, CEO Simulative
🕗Встречаемся 24 декабря в 19:00

🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике!

Зарегистрироваться на бесплатный вебинар

⛔️ Старше 30? Забудь про IT

Выдохните! Ничего не поздно. Мне 31. Я вкатился в IT в 29 лет. И отлично себя чувствую (прямо как на картинке).

Да, у меня тоже был страх, что сейчас мне будут отказывать в возрасте и я никогда не получу уже работу программистом и не буду зарабатывать 300к/наносекунду. Это вообще в реальности не так.

Во первых для борьбы с этим страхом вы убираете графу возраст в резюме. Пусть с той стороны гадают сколько вам лет.

Во вторых у меня было несколько собеседований, где собеседующие были старше меня по возрасту. В IT все стареют, даже эти вчерашние школьники. Сфера стареет вместе с людьми.

В третьих не обращайте внимание на умников, которые говорят, что программирование надо изучать с 14 лет минимум! А если с 17 лет начали – то это поздно уже. Это бред. Взяли книжку, степик, литкод и за год научились писать на этом скл, питоне и спарке. Рынку не требуются академики. Рынку требуются стандартные спецы, которые будут решать типовые задачи. Забудьте про олимпиады, опен сорс и стартапы. Это все влажные фантазии вокруг историй успеха от Стива Джобса, Марка Цукерберга и Павла Дурова. Вы простой работник, как и мендежер в офисе. Просто вам разрешена удаленка и нет дресс кода.

Думаю, что ТРИ аргумента вам будет достаточно, чтобы забыть про возраст.

🎄 СТРИМ 30 декабря в 20:00 мск

Инженерообязанный
Я – Дата Инженер

Про что стрим?

1. Как вкатываться в IT в 25 году?

2. Бомбим на тех, кто считает что вкатываться уже поздно

3. Поговорим про VK и Rutube

А также мы написали своего Telegram бота, с которым вы снова сможете смотреть YouTube и не только! Ключи от него раздадим на стриме!

P.S. Записи не будет

🔴 Ссылка на СТРИМ

➡https://www.twitch.tv/halltape

Запись стрима будет доступна 7 дней - https://www.twitch.tv/videos/2339889477

Вопросы и все остальное пишите в на Twitch!

ВОПРОСЫ И ОБСУЖДЕНИЕ рекомендую на TWITCH!
https://www.twitch.tv/halltape

Apache Spark для Джуна | Что такое Spark и как он работает?

😘 Смотреть Spark на YouTube

🇷🇺 VPN для просмотра ЗАМЕДЛЕННОГО YouTube

Посмотрите, пожалуйста, на Youtube - для этого у вас есть наш VPN бот с бесплатным доступом к ЗАМЕДЛЕННОМУ youtube. В свое время мне очень не хватало такого видоса про Spark, поэтому я сделал свой.

Более того, в описании есть даже подготовленный мною репозиторий в докере.

➡️ https://github.com/halltape/HalltapeSparkCluster

Можно развернуть у себя небольшой кластер и поиграться с данными, как будто вы на реальной работе. Для этого выбирайте Spark Cluster

🔵 Че такое деплой?

По традиции для бабушек, поделюсь, как работает наш БЕСПЛАТНЫЙ VPNBot, который позволяет смотреть Youtube без регистрации и СМС!

Телеграм бот написан на python + aiogram (библиотека для телеграма). Код бота хранится в закрытом github репозитории. А программа бота запущена на сервере в Нидерландах. Как его туда доставить? Например Почтой России…

первый вариант (для очень новичков)
Написали код, сделали git push в свой репозиторий. Потом зашли сами вручную на сервер и сделали git pull. Ну т.е. скачали папку и потом вручную нажали кнопку PLAY. Если вы не знакомы с docker, то скорее вы сделали python main.py. И скорее всего все пароли, токены для бота и прочие секреты у вас хранятся открыто в коде. Все равно, что данные карты хранить на видном месте.

второй вариант (бест практис). Во-первых у себя на компе вы собираете докер-контейнер. Его можно запускать с авто-рестартом, что очень удобно. Если упал, значит перезапуститься сам. Все пароли и секреты вы закидываете в файл .env. Его сразу надо закинуть в .gitignore, чтобы при git push он НЕ загружался на GitHub. Этот файлик нужен вам на локальном компе, чтобы вы могли тестировать свою программу. Кстати файлик .env должен быть и на удаленном сервере, но как он туда попадет, если в github мы его не загружаем?

В Github есть github secrets, куда можно записать все секреты, типа как SSH ключ! А теперь самое главное:

Дальше нужно написать файлик с расширением .yml, в котором будет инструкция, как собирать ваш проект, куда и на какой сервер отправлять собранный проект и даже как запускать. Очевидно, что в github secrets надо еще добавить логины и пароли для подключения к серверу.

Вот, как это выглядит. Мы загрузили код на github, тут же включается github actions (это функционал самого github), который читает файлик .yml. В этом файлике можно прописать инструкцию, как и из чего собрать файлик .env. А он его собирает из тех секретов, который мы ранее уже указали. Дальше github actions подключается к удаленному серверу и просто пересылает собранный проект и запускает его.

На самом деле можно прописать еще всякие проверки на синтаксис и тесты. И таким образом, при каждом git push, ваш код будет автоматически собираться, отправляться на сервер и сам запускаться. Опять же, так сейчас работает наш VPNBot. По факту, приколов можно придумать еще больше!

⚠️ Интернет - ВСЕ!

У меня работает только телега. Все остальное сломалось. Мегафон мобильный не работает. Wi Fi Телинком тоже.

У кого как?

UPDATE: Вроде очухался. Но я уже приготовился читать книгу. А все, возвращаюсь к просмотру ШОРТС.


UPDATE v2: Просто баланс ушел в минус, надо было денег закинуть. Вот закинули!

💫 Не крутил, не мужик!

История про накрутку опыта. Увидел где-то в чатах телеги.

У меня на работе недавно была история. Взяли паренька тестировщиком, он прошел тех собес, фидбэк положительный, сказал что у него 2 года опыта, в резюме компании написаны. Приняли в общем. Уже когда вышел на первой неделе стали возникать серьезные вопросы к его производительности - прям какие-то элементарные вещи не знал, рп стал переживать а как так и тд, пошел к hr. Hr только тогда подняли его трудовую, в которой единственная запись - Артист балета. Спросили у него как так? Говорит работал по ип. Позвонили в те компании, которые он указывал - там сказали, что его не знают. Попросили доки у него для подтверждения работы- не дал. Уволили короче через 5 дней после выхода. Насколько я знаю за 18 лет компании на рынке это первый раз когда чекали чей-то опыт и то только потому что прям вообще никак не справлялся

В этой истории один вопрос:
Как он прошел тех собес?

Спрашивайте за рабочие кейсы и желательно за те задачи, которые у вас сейчас на проекте. Ведь человек будет делать эти таски. В эту дыру будут пролазить всегда, пока она открыта.

P.S. у меня сейчас марафон рекламы. Потерпите, плиз, готовлю класный контент на ютубе! А это стоит 💲