😘 Как войти в IT после 30 | СТРИМ на Twitch

Запись прошедшего стрима теперь на Youtube.
Таймкоды присутствуют

*установите Юбуст в Google Chrome, чтобы смотреть Youtube без тормозов на ПК
Следующий стрим будет на Youtube, поэтому я рекомендую вам поставить Юбуст и не париться. Он бесплатный. На телефоне используйте мобильный интернет (он вроде еще работает)

⬇️ ⬇️ ⬇️
СМОТРЕТЬ НА YOUTUBE

🧐 HADOOP ВСЁ?

Года два назад, когда я не сильно понимал, что такое Hadoop и HDFS, я тоже задавался вопросом:
"Почему в чатах пишут, что хадуп умер?"

Да, технологии конечно меняются, правда и сам Hadoop обновляется (уже версия 3.4.0), но важно понимать, что огромная часть данных уже загружена на сервера с HDFS и просто взять и за день сменить тип хранилища уже не получится.

Собственно для тех, кто боится, что изучив сейчас хадуп, он потом не понадобится, есть видос с Hadoop Admins Meetup. Это те же разговоры, что Java умерла, что php умер. Ну сколько кода уже написано.. Во-первых кто его будет переписывать на новый стек?

Короче говоря, Хадупы и его друзья умрут в тот момент, когда их труп уже разложится. А до этого момента нам еще надо дожить..

🗞 IT – это скам!

Ждем, когда Мелстрой начнет стримить сборку docker-compose 😂

Кол-во неверующих людей конечно зашкаливает. Придумывают любые причины, лишь бы лениться и не учиться... Потом они вам будут говорить, что в IT уже все, поезд ушел. Не слушайте тех, кто закатился в IT 10-15 лет назад и тех, кто так и не смог. Вам нужно брать модель поведения от свежих ребят, которые залетели условно вчера. Эти ребята шарят за рынок и за современные реалии.

Вы же не прислушиваетесь к советам бабушки, которая очевидно вообще не шарит за это..

Не в обиду опытным людям, но вы уже со стороны работодателя

🔴 Ссылка на СТРИМ

➡https://www.twitch.tv/halltape

Сегодня будем обсуждать проблему накрутки опыта. Бороться с ней или нет.. И как быть

Вопросы и все остальное пишите в на Twitch!

ВОПРОСЫ И ОБСУЖДЕНИЕ рекомендую на TWITCH!
https://www.twitch.tv/halltape

🎄🎄🎄🎄🎄🎄🎄
🔡🔡🔡🔡🔡🔡🔡

Бу, испугался? Не бойся, ROADMAP V2.0 уже завтра!

Завтра 13 декабря (Пятница) я выложу Roadmap V2.0 - Как стать Дата Инженером!

Только самое необходимое, чтобы у вас больше не возникало вопросов типа:
1. А сколько просить денег?

2. А насколько надо знать Hadoop?

3. А что писать в резюме?

и так далее

Короче после этого роадмапа вы точно залетите в IT и начнете лутать кучу денег!
А мой канал будет постоянно вам подкидывать мощнейшую мотивацию.

Мотивацию надо поднять! Поднять надо мотивацию!

🔴 ROADMAP V2.0 для Data Engineer!

Наш BootCamp 2 месяца и выходишь на работу!
➡️ roadmappers.ru

Как стать Дата Инженером?
Мы создали БЕСПЛАТНЫЙ ROADMAP для Data Engineer!

➡️ ROADMAP для Data Engineer!

Что внутри?
0. Деньги
1. Кто такой Дата Инженер?
2. Python/SQL
3. Github/Git
4. Linux/Terminal
5. DWH
6. Нормальные формы
7. Модели данных
8. Data Vault
9. Индексы и партиции
10. Docker
11. Hadoop
12. Airflow
13. Greenplum
14. Clickhouse
15. Spark
16. dbt
17. Kafka
18. Pet Project
19. Вопросы с собесов
20. Резюме и Работа
21. Рабочие кейсы
22. Полезные ссылки

🖥 Наш чат для общения

📺 Кто я и как попал в IT?
СМОТРИ интервью со мной!

📺 Смотри подкаст про IT "За Пределами Кода"

Авторы Roadmap:
Евгений Виндюков
😀 Telegram канал
📺 Youtube канал

Владимир Шустиков
💬 Telegram канал
📺 Youtube канал

Алексей Разводов
💬 Telegram канал
📺 Youtube канал

🔴 Ссылка на СТРИМ

➡https://www.twitch.tv/halltape

Вопросы и все остальное пишите в на Twitch!

ВОПРОСЫ И ОБСУЖДЕНИЕ рекомендую на TWITCH!
https://www.twitch.tv/halltape

😂 100 метровое название у таблицы!

Рассказываю простой, но интересный кейс на работе, а самое главное понятный для всех!

Читаю данные из хранилища S3 при помощи Spark и складываю таблички в Greenplum. Все работает четко и быстро. Но вдруг на двух таблицах код начинает падать. Захожу в логи – там пишут:
"Мы не можем создать таблицу в Гринплам с названием

schema.do_you_speak_british_english_or

потому что в Spark у вас

schema.do_you_speak_british_english_or_american_english

Короче, я смотрю и не понимаю. Почему он обрезал часть названия. Все же было нормально, АЛЕ! Справедливо сказать, что названия были конечно намного длиннее и адекватнее. Просто показываю картину, которую я увидел.
Оказалось, что Гринплам не может записывать к себе названия таблиц/колонок, длина которых более 63 символов. Надо резать хвост.

А как, если у меня таких 100 таблиц и в каждой есть разный набор очень длинных названий столбцов. По какому принципу мне резать? Названия могут содержать в себе важную инфу и не всегда можно написать одинаковый паттерн для всех.

В итоге я конечно внес правки в Спарк код, чтобы он буквально два столбца переименовывал. Остальные были ок.
Но осадочек остался, если вы понимаете о чем... лично я нет.

В целом ситуация чисто на один раз. Всегда можно подправить на стадии трансформации. Просто неудобно, когда это в рамках простой миграции таблиц, где используется один общий для всех код.

😘 Все, кто скачал Юбуст, удаляйте расширение. У меня нет гарантий, что эта штука не в руках мошенников!

Причины и последствия мне неизвестны. Сейчас никому нельзя доверять.

Лично я удалил Юбуст и скорее всего сделаю собственное решение, в котором буду полностью уверен. Импортозаместим импортозамещение.

Разбираем тестовое задание на позицию Junior Аналитика в Яндекс

Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму.

Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в подразделении Яндекс Картинки.

Что будет на вебинаре:
🟠С помощью Pandas проанализируем Яндекс-запросы за несколько недель, загрузив их из json-файла
🟠Найдём закономерности и отличия использования сервиса на мобильных устройствах и компьютерах
🟠Разберём фишки Pandas: сложную агрегацию, маппинг, конкатенацию, чейнинг и др.

Вебинар проведет Андрон Алексанян, CEO Simulative
🕗Встречаемся 24 декабря в 19:00

🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике!

Зарегистрироваться на бесплатный вебинар

⛔️ Старше 30? Забудь про IT

Выдохните! Ничего не поздно. Мне 31. Я вкатился в IT в 29 лет. И отлично себя чувствую (прямо как на картинке).

Да, у меня тоже был страх, что сейчас мне будут отказывать в возрасте и я никогда не получу уже работу программистом и не буду зарабатывать 300к/наносекунду. Это вообще в реальности не так.

Во первых для борьбы с этим страхом вы убираете графу возраст в резюме. Пусть с той стороны гадают сколько вам лет.

Во вторых у меня было несколько собеседований, где собеседующие были старше меня по возрасту. В IT все стареют, даже эти вчерашние школьники. Сфера стареет вместе с людьми.

В третьих не обращайте внимание на умников, которые говорят, что программирование надо изучать с 14 лет минимум! А если с 17 лет начали – то это поздно уже. Это бред. Взяли книжку, степик, литкод и за год научились писать на этом скл, питоне и спарке. Рынку не требуются академики. Рынку требуются стандартные спецы, которые будут решать типовые задачи. Забудьте про олимпиады, опен сорс и стартапы. Это все влажные фантазии вокруг историй успеха от Стива Джобса, Марка Цукерберга и Павла Дурова. Вы простой работник, как и мендежер в офисе. Просто вам разрешена удаленка и нет дресс кода.

Думаю, что ТРИ аргумента вам будет достаточно, чтобы забыть про возраст.

🎄 СТРИМ 30 декабря в 20:00 мск

Инженерообязанный
Я – Дата Инженер

Про что стрим?

1. Как вкатываться в IT в 25 году?

2. Бомбим на тех, кто считает что вкатываться уже поздно

3. Поговорим про VK и Rutube

А также мы написали своего Telegram бота, с которым вы снова сможете смотреть YouTube и не только! Ключи от него раздадим на стриме!

P.S. Записи не будет

🔴 Ссылка на СТРИМ

➡https://www.twitch.tv/halltape

Запись стрима будет доступна 7 дней - https://www.twitch.tv/videos/2339889477

Вопросы и все остальное пишите в на Twitch!

ВОПРОСЫ И ОБСУЖДЕНИЕ рекомендую на TWITCH!
https://www.twitch.tv/halltape

Apache Spark для Джуна | Что такое Spark и как он работает?

😘 Смотреть Spark на YouTube

🇷🇺 VPN для просмотра ЗАМЕДЛЕННОГО YouTube

Посмотрите, пожалуйста, на Youtube - для этого у вас есть наш VPN бот с бесплатным доступом к ЗАМЕДЛЕННОМУ youtube. В свое время мне очень не хватало такого видоса про Spark, поэтому я сделал свой.

Более того, в описании есть даже подготовленный мною репозиторий в докере.

➡️ https://github.com/halltape/HalltapeSparkCluster

Можно развернуть у себя небольшой кластер и поиграться с данными, как будто вы на реальной работе. Для этого выбирайте Spark Cluster