🔴 ВСЕ НА СОЗВОН 25 ФЕВРАЛЯ 14:00 [ВОСКРЕСЕНЬЕ]

В воскресенье в 14:00 заходим и подключаемся на встречу в канале Я – Дата Инженер.
Отвечу на вопросы, расскажу про DE, послушаем ваши истории. Сделаю запись встречи.

Видеовстреча будет здесь.
⬇⬇⬇
https://t.iss.one/halltape_data

🔴 Если завтра на встречу никто не придет, то мне придется записать такое же видео!

➡️ 25 февраля 14:00

Созвон в этом канале! Сверху можете видеть кнопку созвона.

Ссылка на созвон

Расскажу, что я делаю на работе, что нужно знать, а на что можно забить. Отвечу на вопросы и послушаем вас!

Будет желание, покажу, как работает docker на примере моего телеграм бота.

Никакого душнилова! Максимально изи подход!

🗣 Спасибо всем, кто был!

Запись основного и telegram bot стрима загружу сегодня!
Также скину ПРЕЗЕНТАЦИЮ со стрима!

Ссылки на pandas, spark, airflow, docker и так далее тоже подготовлю. В комментариях подкинули класные ресурсы.
Соберу все в одно место и сделаю пост!

Всем хорошего вечера! Сегодня можно и отдохнуть от кода!

СТРИМ | Data Engineer

🔽 Ссылка на ВИДЕО🔽
https://youtu.be/75Vu8NqH_cU

Большой видос о том, кто такие Data Engineer, что следует знать и как ими стать? В видео рассказал о себе, о том, как учился, как справлялся с трудностями и многое другое. Также ответил на вопросы и послушали мнения других участников. Видео получилось длинным и насыщенным.

Для тех, кого интересуют определенные темы, рекомендую использовать нейросеть от Yandex (не реклама, а могла бы быть😂)

🔽 Ссылка на ВИДЕО🔽
https://youtu.be/75Vu8NqH_cU

СТРИМ | Telegram bot 😢 | Docker 👩‍💻

Видео со стрима про docker и telegram бота. Показываю самую базу про то, как работает бот в составе docker контейнера. Запускаем с помощью терминала и docker desktop. Видос чисто ознакомительный. Для тех, кто хочет покапаться в коде и самостоятельно запустить бота – ссылка на исходный код на моем github

🔽 Само видео со СТРИМА 🔽
https://youtu.be/Cw_c_f_Mj3Y

🫥 Материал со СТРИМОВ!

Каналы, где постятся вакансии на DE и других:

🟡https://t.iss.one/analysts_hunter
🟡https://t.iss.one/addlist/UDbX0oiQVE03ZmYy
🔴https://t.iss.one/data_engineer_jobs

Все полезные ссылки из комментариев:

👩‍💻 Docker [3 часа Youtube]
👩‍💻 Docker [40 минут Youtube]
👩‍💻 Docker [Telegram]

Airflow [Youtube канал English]

🤖 Linux команды [Telegram]

📝 Регулярки [Сайт]
📝 Регулярки [Хабр]

💎 Слитые курсы [Telegram]
💎 Roadmap [Karpov courses]

🥲 Задача на палиндром)

 python
def ispalindrom(text):
    return 'палиндром' if text == text[::-1] else 'не палиндром'

Класное сообщение

То что хотел озвучить я, но не удалось. Получайте опыт и боль собесов. Этот опыт учит, закаляет. Помните вакансий, компаний на рынке хватает. Столько же желающих устроиться. Не всегда всё проходит быстро и гладко, но без этого никак. Я лично покинул направление ИБ и перешёл в сторону ИТ. Было не так просто как казалось на первый взгляд, но оно того стоило. Есть цель будет желание, нет цели, значит, не будет результата. Всем удачи 🤝
А ещё меня на собесах выручала фраза при отсутствии опыта в чем-то: "Дайте мне 1-3 дня и я смогу изучить это для того чтобы изучить и начать применять это. Дайте мне неделю и я не только разберусь, но и научу Вас"

🟢 Материал со СТРИМА [ПРЕЗЕНТАЦИЯ]

Собственно сама презентация про Data Engineer (Кто это такие, как им стать и что нужно знать) со стрима в формате PDF!

В презентации найдете стек, который необходимо знать, уровень его владения, пример пет проекта, краткое описание технологий с которыми работает DE, а также ответы на ваши вопросы!

🔽 Смотреть по ссылке 🔽
https://youtu.be/75Vu8NqH_cU

Знаю, что у меня в канале есть разные аналитики, в том числе и системные🥰

Мы ищем в команду Сбера✨ в департамент маркетинга Middle Системного аналитика. Джун+ тоже рассмотрим

Продукты и архитектура сложные, будут челленжить вас. Направление маркетинговых технологий.

Пишите в личку @IyaZotova с резюме, договоримся о собесе💚

💼 Нужен Стажер Data Engineer

🔽Описание вакансии
СБЕР

Самое время откликаться! В комментах можете написать, кто уже устроился за эти полгода? Необязательно даже на DE

🎞 DATA ENGINEER: Накрутка опыта и база для старта в DE
Гость: Эдвард, Senior/Team Lead Data Engineer в Сбер

Эдвард в интервью поделится:
• Как начал свою карьеру DE из инженера-энергетика
• Про 14 отказов на собесах и их восприятие
• Кто такие джуны и сеньоры
• Как вырос до тим лида и рос в зарплате
• Какие базовые навыки нужны для вкатывания

Можно сказать получился праздничный выпуск 😁
Всех леди поздравляю с этим прекрасным днем!
🌷🌸🌸🌸

✈️ Подписывайтесь на наши каналы:
• Ия, Team Lead DA: https://t.iss.one/Lady_Analyst
• Евгений, DE: https://t.iss.one/halltape_data

Если было полезно, весело, то поддержите наш канал донатами:
💲 https://pay.mysbertips.ru/92484472

🔥 СВОЙ СЕРВЕР БЕСПЛАТНО 1 ГОД!

➡️ https://console.cloud.ru/

Можно создать свой сервер в облаке и развернуть там docker с вашим ботом, пет проектом и так далее. Дарят 4 000 бонусов. К серверу можно подключиться с помощью SSH через ваш любимый VSCode или PyCharm. Я развернул своего TELEGRAM БОТА для проверки. Все работает стабильно.
Может получится развернуть что-то посерьезнее, если памяти хватит. Я про несколько контейнеров в составе того же docker-compose. Надо будет попробовать.

Там для получения бонусов надо зарегестрироваться через СберID. Еще кстати предлагают использовать GitVerse. Это прям копия GitHub, GitLab, BitBucket (место, где можно хранить ваш код). По интерфейсу конечно все еще сырое, но импорт из своего гитхаба сделать можно. Репозиторий также клонируется на сервер без всяких проблем.

Рекомендую не терять возможность и протестировать свои приложения. Используя удаленный сервер вы научитесь:
1. Подключаться по SSH
2. Использовать docker контейнер
3. Загружать свой код через систему git (делать commit, push, pull)
4. Работа с командной строкой (нужно будет устанавливать самому docker, git)

По опыту я использовал виртуалки от Amazon Lightsail и Timeweb Cloud. У Амазона не очень понятный интерфейс нежели чем у второго. Да и оплата только иностранными картами. Его по большей части использовал для VPN.

У TimeWeb все понятно, просто и быстро. Поэтому, если не требуются зарубежные сервера, то используйте местных.

🧐 HDFS Чтение данных

Итак повторим, у нас есть сервера, каждый из которых выполняет свою определенную функцию.

Мы сидим на ClientNode. Когда нам нужно прочитать файл с DataNode, нам нужно получить адреса всех блоков от NameNode и пойти искать их у DataNode. Причем мы получаем список ip адресов, где лежат блоки и их реплики. Ну вдруг один из дисков сгорел. Тогда мы сможем обратиться к его реплике, которая лежит на другом диске.

Также вместе с адресами блоков, NameNode отдает 3 хеш суммы. Хеш сумма – это "закодированная" строчка. Нельзя сказать, что она зашифрована, т.к. зашифрованные строчки можно расшифровать. Хеширование, все равно что разбить вазу кувалдой. В обратную сторону не работает. Зато результат всегда одинаковый. Хеш суммы, хранящиеся на NameNode сравниваются с хеш суммами на DataNode (Чтобы проверить к тому ли блоку мы обращаемся).

Хеширование может выглядеть буквально так: 2(3hfF3fhreu@#4vFGE3424g34r34r234rfew34fFGRTHR4vewf
Причем это может быть хешем от предложения "Хадуп - что-то про данные", или целой страницей добротного текста А4.
Если мы что-то хешируем, то это всегда будет давать один и тот же хеш. Он будет одинаковый для одного и того же объекта.

Т.е. когда система записывала в первый раз блок данных, она создала хеш сумму и передала ее NameNode. По идее, если блок не был поврежден, то и хеш сумма не поменяется. Поэтому, в случае, если хеш сумма не совпадет, тогда блок помечается, как corrupted. Все! Его использовать нельзя. Система переходит к его реплике и асинхронно параллельно воссоздает тот первый блок.

А зачем там 3 хеша? Чтобы избежать коллизий. Ведь есть вероятность, что хеш может совпасть. Может блоки попадутся такие, у которых при хешировании реально сойдутся звезды и хеш суммы будут идентичными. Поэтому берется сразу три хеш суммы и только когда ВСЕ ТРИ совпадают, тогда считается, что все ок.

#hdfs - весь цикл постов про hdfs