🧐 HADOOP ВСЁ?

Года два назад, когда я не сильно понимал, что такое Hadoop и HDFS, я тоже задавался вопросом:
"Почему в чатах пишут, что хадуп умер?"

Да, технологии конечно меняются, правда и сам Hadoop обновляется (уже версия 3.4.0), но важно понимать, что огромная часть данных уже загружена на сервера с HDFS и просто взять и за день сменить тип хранилища уже не получится.

Собственно для тех, кто боится, что изучив сейчас хадуп, он потом не понадобится, есть видос с Hadoop Admins Meetup. Это те же разговоры, что Java умерла, что php умер. Ну сколько кода уже написано.. Во-первых кто его будет переписывать на новый стек?

Короче говоря, Хадупы и его друзья умрут в тот момент, когда их труп уже разложится. А до этого момента нам еще надо дожить..

🗞 IT – это скам!

Ждем, когда Мелстрой начнет стримить сборку docker-compose 😂

Кол-во неверующих людей конечно зашкаливает. Придумывают любые причины, лишь бы лениться и не учиться... Потом они вам будут говорить, что в IT уже все, поезд ушел. Не слушайте тех, кто закатился в IT 10-15 лет назад и тех, кто так и не смог. Вам нужно брать модель поведения от свежих ребят, которые залетели условно вчера. Эти ребята шарят за рынок и за современные реалии.

Вы же не прислушиваетесь к советам бабушки, которая очевидно вообще не шарит за это..

Не в обиду опытным людям, но вы уже со стороны работодателя

🔴 Ссылка на СТРИМ

➡https://www.twitch.tv/halltape

Сегодня будем обсуждать проблему накрутки опыта. Бороться с ней или нет.. И как быть

Вопросы и все остальное пишите в на Twitch!

ВОПРОСЫ И ОБСУЖДЕНИЕ рекомендую на TWITCH!
https://www.twitch.tv/halltape

🎄🎄🎄🎄🎄🎄🎄
🔡🔡🔡🔡🔡🔡🔡

Бу, испугался? Не бойся, ROADMAP V2.0 уже завтра!

Завтра 13 декабря (Пятница) я выложу Roadmap V2.0 - Как стать Дата Инженером!

Только самое необходимое, чтобы у вас больше не возникало вопросов типа:
1. А сколько просить денег?

2. А насколько надо знать Hadoop?

3. А что писать в резюме?

и так далее

Короче после этого роадмапа вы точно залетите в IT и начнете лутать кучу денег!
А мой канал будет постоянно вам подкидывать мощнейшую мотивацию.

Мотивацию надо поднять! Поднять надо мотивацию!

🔴 ROADMAP V2.0 для Data Engineer!

Наш BootCamp 2 месяца и выходишь на работу!
➡️ roadmappers.ru

Как стать Дата Инженером?
Мы создали БЕСПЛАТНЫЙ ROADMAP для Data Engineer!

➡️ ROADMAP для Data Engineer!

Что внутри?
0. Деньги
1. Кто такой Дата Инженер?
2. Python/SQL
3. Github/Git
4. Linux/Terminal
5. DWH
6. Нормальные формы
7. Модели данных
8. Data Vault
9. Индексы и партиции
10. Docker
11. Hadoop
12. Airflow
13. Greenplum
14. Clickhouse
15. Spark
16. dbt
17. Kafka
18. Pet Project
19. Вопросы с собесов
20. Резюме и Работа
21. Рабочие кейсы
22. Полезные ссылки

🖥 Наш чат для общения

📺 Кто я и как попал в IT?
СМОТРИ интервью со мной!

📺 Смотри подкаст про IT "За Пределами Кода"

Авторы Roadmap:
Евгений Виндюков
😀 Telegram канал
📺 Youtube канал

Владимир Шустиков
💬 Telegram канал
📺 Youtube канал

Алексей Разводов
💬 Telegram канал
📺 Youtube канал

🔴 Ссылка на СТРИМ

➡https://www.twitch.tv/halltape

Вопросы и все остальное пишите в на Twitch!

ВОПРОСЫ И ОБСУЖДЕНИЕ рекомендую на TWITCH!
https://www.twitch.tv/halltape

😂 100 метровое название у таблицы!

Рассказываю простой, но интересный кейс на работе, а самое главное понятный для всех!

Читаю данные из хранилища S3 при помощи Spark и складываю таблички в Greenplum. Все работает четко и быстро. Но вдруг на двух таблицах код начинает падать. Захожу в логи – там пишут:
"Мы не можем создать таблицу в Гринплам с названием

schema.do_you_speak_british_english_or

потому что в Spark у вас

schema.do_you_speak_british_english_or_american_english

Короче, я смотрю и не понимаю. Почему он обрезал часть названия. Все же было нормально, АЛЕ! Справедливо сказать, что названия были конечно намного длиннее и адекватнее. Просто показываю картину, которую я увидел.
Оказалось, что Гринплам не может записывать к себе названия таблиц/колонок, длина которых более 63 символов. Надо резать хвост.

А как, если у меня таких 100 таблиц и в каждой есть разный набор очень длинных названий столбцов. По какому принципу мне резать? Названия могут содержать в себе важную инфу и не всегда можно написать одинаковый паттерн для всех.

В итоге я конечно внес правки в Спарк код, чтобы он буквально два столбца переименовывал. Остальные были ок.
Но осадочек остался, если вы понимаете о чем... лично я нет.

В целом ситуация чисто на один раз. Всегда можно подправить на стадии трансформации. Просто неудобно, когда это в рамках простой миграции таблиц, где используется один общий для всех код.

😘 Все, кто скачал Юбуст, удаляйте расширение. У меня нет гарантий, что эта штука не в руках мошенников!

Причины и последствия мне неизвестны. Сейчас никому нельзя доверять.

Лично я удалил Юбуст и скорее всего сделаю собственное решение, в котором буду полностью уверен. Импортозаместим импортозамещение.

Разбираем тестовое задание на позицию Junior Аналитика в Яндекс

Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму.

Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в подразделении Яндекс Картинки.

Что будет на вебинаре:
🟠С помощью Pandas проанализируем Яндекс-запросы за несколько недель, загрузив их из json-файла
🟠Найдём закономерности и отличия использования сервиса на мобильных устройствах и компьютерах
🟠Разберём фишки Pandas: сложную агрегацию, маппинг, конкатенацию, чейнинг и др.

Вебинар проведет Андрон Алексанян, CEO Simulative
🕗Встречаемся 24 декабря в 19:00

🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике!

Зарегистрироваться на бесплатный вебинар

⛔️ Старше 30? Забудь про IT

Выдохните! Ничего не поздно. Мне 31. Я вкатился в IT в 29 лет. И отлично себя чувствую (прямо как на картинке).

Да, у меня тоже был страх, что сейчас мне будут отказывать в возрасте и я никогда не получу уже работу программистом и не буду зарабатывать 300к/наносекунду. Это вообще в реальности не так.

Во первых для борьбы с этим страхом вы убираете графу возраст в резюме. Пусть с той стороны гадают сколько вам лет.

Во вторых у меня было несколько собеседований, где собеседующие были старше меня по возрасту. В IT все стареют, даже эти вчерашние школьники. Сфера стареет вместе с людьми.

В третьих не обращайте внимание на умников, которые говорят, что программирование надо изучать с 14 лет минимум! А если с 17 лет начали – то это поздно уже. Это бред. Взяли книжку, степик, литкод и за год научились писать на этом скл, питоне и спарке. Рынку не требуются академики. Рынку требуются стандартные спецы, которые будут решать типовые задачи. Забудьте про олимпиады, опен сорс и стартапы. Это все влажные фантазии вокруг историй успеха от Стива Джобса, Марка Цукерберга и Павла Дурова. Вы простой работник, как и мендежер в офисе. Просто вам разрешена удаленка и нет дресс кода.

Думаю, что ТРИ аргумента вам будет достаточно, чтобы забыть про возраст.

🎄 СТРИМ 30 декабря в 20:00 мск

Инженерообязанный
Я – Дата Инженер

Про что стрим?

1. Как вкатываться в IT в 25 году?

2. Бомбим на тех, кто считает что вкатываться уже поздно

3. Поговорим про VK и Rutube

А также мы написали своего Telegram бота, с которым вы снова сможете смотреть YouTube и не только! Ключи от него раздадим на стриме!

P.S. Записи не будет

🔴 Ссылка на СТРИМ

➡https://www.twitch.tv/halltape

Запись стрима будет доступна 7 дней - https://www.twitch.tv/videos/2339889477

Вопросы и все остальное пишите в на Twitch!

ВОПРОСЫ И ОБСУЖДЕНИЕ рекомендую на TWITCH!
https://www.twitch.tv/halltape

Apache Spark для Джуна | Что такое Spark и как он работает?

😘 Смотреть Spark на YouTube

🇷🇺 VPN для просмотра ЗАМЕДЛЕННОГО YouTube

Посмотрите, пожалуйста, на Youtube - для этого у вас есть наш VPN бот с бесплатным доступом к ЗАМЕДЛЕННОМУ youtube. В свое время мне очень не хватало такого видоса про Spark, поэтому я сделал свой.

Более того, в описании есть даже подготовленный мною репозиторий в докере.

➡️ https://github.com/halltape/HalltapeSparkCluster

Можно развернуть у себя небольшой кластер и поиграться с данными, как будто вы на реальной работе. Для этого выбирайте Spark Cluster

🔵 Че такое деплой?

По традиции для бабушек, поделюсь, как работает наш БЕСПЛАТНЫЙ VPNBot, который позволяет смотреть Youtube без регистрации и СМС!

Телеграм бот написан на python + aiogram (библиотека для телеграма). Код бота хранится в закрытом github репозитории. А программа бота запущена на сервере в Нидерландах. Как его туда доставить? Например Почтой России…

первый вариант (для очень новичков)
Написали код, сделали git push в свой репозиторий. Потом зашли сами вручную на сервер и сделали git pull. Ну т.е. скачали папку и потом вручную нажали кнопку PLAY. Если вы не знакомы с docker, то скорее вы сделали python main.py. И скорее всего все пароли, токены для бота и прочие секреты у вас хранятся открыто в коде. Все равно, что данные карты хранить на видном месте.

второй вариант (бест практис). Во-первых у себя на компе вы собираете докер-контейнер. Его можно запускать с авто-рестартом, что очень удобно. Если упал, значит перезапуститься сам. Все пароли и секреты вы закидываете в файл .env. Его сразу надо закинуть в .gitignore, чтобы при git push он НЕ загружался на GitHub. Этот файлик нужен вам на локальном компе, чтобы вы могли тестировать свою программу. Кстати файлик .env должен быть и на удаленном сервере, но как он туда попадет, если в github мы его не загружаем?

В Github есть github secrets, куда можно записать все секреты, типа как SSH ключ! А теперь самое главное:

Дальше нужно написать файлик с расширением .yml, в котором будет инструкция, как собирать ваш проект, куда и на какой сервер отправлять собранный проект и даже как запускать. Очевидно, что в github secrets надо еще добавить логины и пароли для подключения к серверу.

Вот, как это выглядит. Мы загрузили код на github, тут же включается github actions (это функционал самого github), который читает файлик .yml. В этом файлике можно прописать инструкцию, как и из чего собрать файлик .env. А он его собирает из тех секретов, который мы ранее уже указали. Дальше github actions подключается к удаленному серверу и просто пересылает собранный проект и запускает его.

На самом деле можно прописать еще всякие проверки на синтаксис и тесты. И таким образом, при каждом git push, ваш код будет автоматически собираться, отправляться на сервер и сам запускаться. Опять же, так сейчас работает наш VPNBot. По факту, приколов можно придумать еще больше!