🔖 СТРИМ СЕГОДНЯ 28 ноября в 21:00 МСК!

Обсудим крутить опыт или нет и КАК ПОПАСТЬ НА СВОЮ ПЕРВУЮ РАБОТУ?

Запись будет на Youtube!

Этот канал пытается решить проблему вката в IT и в частности в DE. Если у вас есть свое мнение и готовые решения, то буду рад, если поделитесь. Пост с ссылкой на трансляцию и вопросами будет за час до СТРИМА. Туда можно будет уже накидать вопросы.

Обсудим:
1. Как найти Стажировку?
2. Стоит ли крутить опыт?
3. Как вы вкатились?
4. За сколько денег вы готовы работать и самое главное как долго?
5. Где, кому и когда писать насчет стажировок и работы для джуна?

И сделаю обзор нового портала для DE!

🔴 Ссылка на СТРИМ в 21:00

➡️https://www.twitch.tv/halltape

Вопросы и все остальное пишите в комментарии к этому посту! Отсюда я буду читать в прямом эфире.

ВОПРОСЫ И ОБСУЖДЕНИЕ рекомендую на TWITCH!
https://www.twitch.tv/halltape

🔴 Спасибо за СТРИМ!

Если не успели посмотреть - ВОТ ЗАПИСЬ СТРИМА!

Каналы гостей:
Инженерообязанный🫡
data digger

Сайт-агрегатор для DE - https://www.dataengineers.pro

Стрим загружу на Youtube, поэтому сможете посмотреть потом!

⬇️ Задай мне вопрос или предложи идею анонимно
Задать мне вопрос анонимно или покритиковать!

😘 Как войти в IT после 30 | СТРИМ на Twitch

Запись прошедшего стрима теперь на Youtube.
Таймкоды присутствуют

*установите Юбуст в Google Chrome, чтобы смотреть Youtube без тормозов на ПК
Следующий стрим будет на Youtube, поэтому я рекомендую вам поставить Юбуст и не париться. Он бесплатный. На телефоне используйте мобильный интернет (он вроде еще работает)

⬇️ ⬇️ ⬇️
СМОТРЕТЬ НА YOUTUBE

🧐 HADOOP ВСЁ?

Года два назад, когда я не сильно понимал, что такое Hadoop и HDFS, я тоже задавался вопросом:
"Почему в чатах пишут, что хадуп умер?"

Да, технологии конечно меняются, правда и сам Hadoop обновляется (уже версия 3.4.0), но важно понимать, что огромная часть данных уже загружена на сервера с HDFS и просто взять и за день сменить тип хранилища уже не получится.

Собственно для тех, кто боится, что изучив сейчас хадуп, он потом не понадобится, есть видос с Hadoop Admins Meetup. Это те же разговоры, что Java умерла, что php умер. Ну сколько кода уже написано.. Во-первых кто его будет переписывать на новый стек?

Короче говоря, Хадупы и его друзья умрут в тот момент, когда их труп уже разложится. А до этого момента нам еще надо дожить..

🗞 IT – это скам!

Ждем, когда Мелстрой начнет стримить сборку docker-compose 😂

Кол-во неверующих людей конечно зашкаливает. Придумывают любые причины, лишь бы лениться и не учиться... Потом они вам будут говорить, что в IT уже все, поезд ушел. Не слушайте тех, кто закатился в IT 10-15 лет назад и тех, кто так и не смог. Вам нужно брать модель поведения от свежих ребят, которые залетели условно вчера. Эти ребята шарят за рынок и за современные реалии.

Вы же не прислушиваетесь к советам бабушки, которая очевидно вообще не шарит за это..

Не в обиду опытным людям, но вы уже со стороны работодателя

🔴 Ссылка на СТРИМ

➡https://www.twitch.tv/halltape

Сегодня будем обсуждать проблему накрутки опыта. Бороться с ней или нет.. И как быть

Вопросы и все остальное пишите в на Twitch!

ВОПРОСЫ И ОБСУЖДЕНИЕ рекомендую на TWITCH!
https://www.twitch.tv/halltape

🎄🎄🎄🎄🎄🎄🎄
🔡🔡🔡🔡🔡🔡🔡

Бу, испугался? Не бойся, ROADMAP V2.0 уже завтра!

Завтра 13 декабря (Пятница) я выложу Roadmap V2.0 - Как стать Дата Инженером!

Только самое необходимое, чтобы у вас больше не возникало вопросов типа:
1. А сколько просить денег?

2. А насколько надо знать Hadoop?

3. А что писать в резюме?

и так далее

Короче после этого роадмапа вы точно залетите в IT и начнете лутать кучу денег!
А мой канал будет постоянно вам подкидывать мощнейшую мотивацию.

Мотивацию надо поднять! Поднять надо мотивацию!

🔴 ROADMAP V2.0 для Data Engineer!

Наш BootCamp 2 месяца и выходишь на работу!
➡️ roadmappers.ru

Как стать Дата Инженером?
Мы создали БЕСПЛАТНЫЙ ROADMAP для Data Engineer!

➡️ ROADMAP для Data Engineer!

Что внутри?
0. Деньги
1. Кто такой Дата Инженер?
2. Python/SQL
3. Github/Git
4. Linux/Terminal
5. DWH
6. Нормальные формы
7. Модели данных
8. Data Vault
9. Индексы и партиции
10. Docker
11. Hadoop
12. Airflow
13. Greenplum
14. Clickhouse
15. Spark
16. dbt
17. Kafka
18. Pet Project
19. Вопросы с собесов
20. Резюме и Работа
21. Рабочие кейсы
22. Полезные ссылки

🖥 Наш чат для общения

📺 Кто я и как попал в IT?
СМОТРИ интервью со мной!

📺 Смотри подкаст про IT "За Пределами Кода"

Авторы Roadmap:
Евгений Виндюков
😀 Telegram канал
📺 Youtube канал

Владимир Шустиков
💬 Telegram канал
📺 Youtube канал

Алексей Разводов
💬 Telegram канал
📺 Youtube канал

🔴 Ссылка на СТРИМ

➡https://www.twitch.tv/halltape

Вопросы и все остальное пишите в на Twitch!

ВОПРОСЫ И ОБСУЖДЕНИЕ рекомендую на TWITCH!
https://www.twitch.tv/halltape

😂 100 метровое название у таблицы!

Рассказываю простой, но интересный кейс на работе, а самое главное понятный для всех!

Читаю данные из хранилища S3 при помощи Spark и складываю таблички в Greenplum. Все работает четко и быстро. Но вдруг на двух таблицах код начинает падать. Захожу в логи – там пишут:
"Мы не можем создать таблицу в Гринплам с названием

schema.do_you_speak_british_english_or

потому что в Spark у вас

schema.do_you_speak_british_english_or_american_english

Короче, я смотрю и не понимаю. Почему он обрезал часть названия. Все же было нормально, АЛЕ! Справедливо сказать, что названия были конечно намного длиннее и адекватнее. Просто показываю картину, которую я увидел.
Оказалось, что Гринплам не может записывать к себе названия таблиц/колонок, длина которых более 63 символов. Надо резать хвост.

А как, если у меня таких 100 таблиц и в каждой есть разный набор очень длинных названий столбцов. По какому принципу мне резать? Названия могут содержать в себе важную инфу и не всегда можно написать одинаковый паттерн для всех.

В итоге я конечно внес правки в Спарк код, чтобы он буквально два столбца переименовывал. Остальные были ок.
Но осадочек остался, если вы понимаете о чем... лично я нет.

В целом ситуация чисто на один раз. Всегда можно подправить на стадии трансформации. Просто неудобно, когда это в рамках простой миграции таблиц, где используется один общий для всех код.

😘 Все, кто скачал Юбуст, удаляйте расширение. У меня нет гарантий, что эта штука не в руках мошенников!

Причины и последствия мне неизвестны. Сейчас никому нельзя доверять.

Лично я удалил Юбуст и скорее всего сделаю собственное решение, в котором буду полностью уверен. Импортозаместим импортозамещение.