Я – Дата Инженер | Евгений Виндюков
4.51K subscribers
337 photos
33 videos
12 files
233 links
💵 Как стать Data Engineer
🗄 Смотри Roadmap в закрепе!
_____________________________
Автор @halltape
Все вопросы по рекламе @k_shredinger
Download Telegram
🩸 Вы точно хуже! Или это другие виноваты?

Все мои заголовки - чтобы вы обратили внимание. Но здесь я постараюсь в очередной раз накинуть вам мотивации! А потом разнести, а потом опять взбодрить.

Разработчики нужны! Проектов и идей много! Работу можно теперь найти не только на hh или Хабр Карьера, но и в телеге. Я для кого в roadmap сделал целую папку с тематическими каналами! Можно найти непосредственно lead команды! А если он ищет разработчика, то вы только сэкономите свое и чужое время на поиск! Нетворкинг - наше всё! Времена, когда вы откликались на вакансию на красном сайте и просто нервно ждали, проходят! Вы уже через меня можете найти работу! В скором времени я расскажу про реферальную программу! Это просто пушка! Возможностей стало только больше. Конкуренцию выигрывает тот, кто использует максимум инструментов!

Но, чтобы выделиться, вам нужно теперь привести свое резюме в порядок. Я вижу, что у некоторых людей за плечами есть опыт, которого не было у меня. Но почему-то это люди до сих пор не залетели в IT! Это и неуверенность и плохое резюме и страх провала. А где-то даже отсутствие хоть одного pet проекта. Вы как себя продавать будете? Даже опыт написания телеграм бота куда лучше, чем ничего. Без опыта вы по прежнему никому не нужны. Джуниор - это тяжесть, это косяки, это медленное выполнение задач, несамостоятельность. Вы такого строителя будете брать к себе дом строить? А почему его должна брать компания?

Приводите свое резюме в порядок! Пять человек из тысячи посмотрит на ваш проект. Два человека его полистают, и один возьмет вас на работу! Вам нужно всеми силами показать, что вы готовы взяться за работу и помогать команде. Общительность и коммуникабельность - это вообще одно из самых важных качеств. Можно убиваться по оптимизации вашего кода. Только вот он никому не нужен и пользоваться этим никто не будет. Кому вы такой умный нужны? А время потрачено, бабки уплочены.
🔥13💯76
К чему я? Пожалуйста, я знаю, что после работы очень трудно сесть за код, за теорию. Дети, ипотеки, гулянки, друзья, личная жизнь, инстаграм.. Что-то из этого придется пустить по одному месту. А если вам уже не двадцать, то и время начинает играть против вас. Купите год у себя, отказом от каких-то развлекух. Через год тусанете, как следует и дальше жизнь станет реально проще! Не будет этой непреодолимой стены.

Тем, у кого нет семьи, будет легче. Тем, у кого есть финансовая подушка и возможность не работать, будет легче. Эти люди будут обгонять тех, у кого все вышеперечисленное есть. Те, кто продадут себя подороже, выиграют и будут зарабатывать больше тех, кто постеснялся и промолчал. Готовьтесь к тому, что только удачное стечение обстоятельств позволит вам вскарабкаться на вершину. А это делается только увеличением попыток в разных местах.

Не надо придумывать велосипед и накручивать себе несуществующее. Если паритесь, что вы старый для IT, тогда вбивайте в Гугл «Реально ли залететь в IT в 30,40,50».

Если не знаете, как составить резюме, берете готовые из чатов и списывайте. Учитесь у тех, кто недавно залетел в IT. Если вы знаете, как надо лучше, то зачем вы сидите в этом чате. Отложите все свои принципы и ответьте себе на вопрос «почему до сих пор ничего не сделано».

Если что, я тоже вам тут не гуру дата инжиниринга и у меня тоже есть ошибки и на работе и пробелы в компетенциях. И это аффектит на мои задачи. Зато я отлично увидел свои сильные стороны, которые могут очень хорошо меня прокачать в другом направлении.

Поэтому берем себя в руки и не сдаемся!
33🔥9💯5👍2
☕️ Фейковое резюме!

Открыл LinkedIn, чтобы принять очередные инвайты от людей и сразу наткнулся на пост про фейковое резюме.

Конечно тема на поговорить. Авто фильтры, полное игнорирование, авто-отказы и отсутствие обратной связи - неприятные ситуации. Стоит ли с ними бороться, обманывать или поступать по совести, а может и вовсе забыть про классические сервисы по поиску работы.. Кстати, видел, что иногда работает и в обратную сторону. Когда скручивают возраст и опыт.

Выгодно всегда быть молодым и опытным. Что конечно полный оксюморон (город под подошвой).

Я за всю жизнь делал очень мало откликов. Как правило, HR пишут мне сами. Поэтому мне тема с закидыванием резюме без ответа не сильно близка. Хотя, когда я был инженером-электротехником - такое случалось. Не самая приятная ситуация..

К чему я это. Пост в LinkedIn может быть напичкан драматургией. Такие истории больше собирают лайков. Как и та история с парнем, который автоматизировал chatGPT в Tinder. Это вызывает эмоции. Очень странно, если талантливого МФТИшника не зовут на собесы. Или они расчитывать, что им будет писать из самого Google?

Постарайтесь сначала взглянуть на свое резюме, а потом только делать вывод о состоянии рынка. Как правило, именно качество резюме и влияет на то, что вас не зовут. Рынок пока еще живой. Да и пока он никуда не денется.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥143👍3🤯3❤‍🔥1
🧐 А стрим все набирает просмотры!

https://youtu.be/75Vu8NqH_cU?si=kukmJX1yJL8rIolb

Стрим про DE
все еще набирает своих зрителей и это конечно радует!

😘 Если кто не смотрел или пришел не с этого видоса, то рекомендую посмотреть. Я постарался там изложить все в доступном виде, кто такой Дата Инженер и чем он занимается.

➡️ Если есть пожелания по стриму или вопросы по работе, пишите их в комментариях!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13👍43
#️⃣#️⃣#️⃣

СБЕР Вакансия
Junior Data Engineer
https://hh.ru/vacancy/96653693?customDomain=1

Hadoop, GreenPlum, SQL

Пробуйте сюда залетать. Требований четких нет. Скорее всего будете много писать именно на SQL. Майло пайтона и никакого spark. По Hadoop крайне рекомендую смотреть мой deep dive по HDFS!

По GreenPlum не подскажу. Но важнее уметь решать задачи на SQL. Остальное можете прочитать, как теорию!
Please open Telegram to view this post
VIEW IN TELEGRAM
9🔥8💯2
🏃‍♂️ Миллиард петабайт меньше чем за секунду!

Как прочитать данные быстрее скорости света, даже если они весят миллиард петабайт или больше?

😄 Я конечно опять кликбейтен, но доля правды здесь есть. Вот с чем я столкнулся:

У меня есть таблица за целый год и один день весит 1Гб. Когда я хочу узнать, какая там крайняя дата, то делаю аггрегацию поля с датой типа MAX(date).

И тогда мой spark или sql начинает делать FULL SCAN таблицы и высчитывать максимальную дату, бегая по всему диску и считывая данные. Надо ли говорить, что я никогда этого не дождусь. А как быть то?

✉️ Для этого таблицу стоит партиционировать по полю с датой. Это значит, что данные по каждому дню собираются в одном месте на диске (на самом деле даже папка создается под каждый день). Т.е. если вы загрузили 7 дней данных, при этом при сохранении использовали метод partitionBy('date'), то данные аккуратно складывались в соответствующие папки.

Да, при таком хранении вы заметно быстрее начнете считывать данные, но и это не предел. Я же говорил о скорости света!

Когда Spark партиционирует данные из таблицы, то он буквально создает папки, которые называются также, как и поле. Т.е. если партиционировали по датам, то папки будут называться

'2024-04-01'
'2024-04-02'
'2024-04-03'


И поэтому в spark мы можем спросить напрямую: "Покажи мне все названия папок".
SHOW PARTITIONS

Тогда он выведет табличку с названиями папок. Это ведь просто метаданные весом с пушынку. Ну и дальше вы добавляете MAX(date) и получаете моментальную крайнюю дату.

Это можно использовать, в случае, если вы ходите в источник и спрашиваете у него последнюю дату, за которую обновились данные. Чтобы не считать огромные массивы, можете просто проверять партиции.

🚀 Аналогично можно обновлять и вашу витринку (тоже партиционированную), сравнивая даты в источнике и в вашей витрине. Скорость будет просто космическая. Ресурсы не будут тратиться от слова совсем!

Кто не понял прикола с Кай Метовым, то вот оригинал
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥243👌1💯1
💵 Зарплата меньше 400к?

Интересное обсуждение увидел в комментах к посту про оффер в 400к для девушки.

В комментах спросили: «А где искать парня, если у тебя 400к?»

И собственно главная фраза, которая триггерит мужчин: «Деньги девушки это ее деньги, а его деньги это семейные»

Не помню, чтобы я видел гармоничные пары, где мужчина зарабатывал бы меньше. Но и я вам тут не гуру…

Собственно, у кого какие мысли на этот счет?

P.S. Пост из сообщества осознанная меркантильность. Кстати знаю, что некоторых людей триггерит это сообщество. Но это борьба с ветряными мельницами.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤝8😁3
🤨 Ты не программист, если не знаешь, что такое ДжиАйТи!

Вообще это тоже самое что БиЭмДаблЮ (BMW). Или Мэйбах, а не Майбах. Или БиЭмЭкс (BMX), а не БэЭмИкс.

🔍 Причем, когда я услышал это GIT, я вообще не понял о чем он.. Хотя почти каждый день пишу git commit в терминале. На русскоязычную аудиторию уж точно привычно говорить ГИТ.

🔍 Но полез в ваши интернеты. Может я невежда и мир говорит ДжиАйТи Хаб или ДжиАйТи коммит. Но кажется нет:)

Хотя на скриншоте есть версия про Global Information Tracker.

😐 Программисты это конечно те еще душнилы, но я прям не понял о чем сказал Даня.. будто новая или другая технология. И пересмотрел кусок. Ведь я тоже могу ошибаться:)

🇺🇸 Википедия вообще говорит, что это Торвальдс придумал от английского слова . Ох уж эти американцы! И тут преуспели…Кэук

Короче, кто знает распишите откуда это слово?:)
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁7🤣52👍2
#️⃣#️⃣#️⃣ Ты войдешь в IT! (Но не гарантирую)

🏦 У меня в Сбере есть реферальная программа. Это значит, что я могу рекомендовать вас на позиции внутри компании. Но для этого мне нужны ваши резюме.

Кто подписан на мой канал давно, тот знает, что у меня есть посты про составление резюме, пет проекты, собеседования и прочее!

💭 И чтобы работа нашла вас, вам нужно будет скинуть мне его в ЛС @halltape. Я буду смотреть каждое резюме и давать комментарии, если посчитаю, что оно требует доработки. Плюс мне нужно познакомиться с вами и понять, что вы хотите.

Дальше я буду подбирать под вас подходящие позиции, а вам стоит быть готовым уже к собеседованиям! Настоящим! Все серьезно!

📣 Конверсия очень маленькая, поэтому расцениваете это как всего лишь возможность попробовать.

Направление IT любое!

Заодно прочекаем рынок и отклики. Да и на резюме посмотрим. Поищем инсайты!

🚀 Поехали! 🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥33👍7🍾2💯1
🧐 Конкретный рабочий кейс!

Расскажу реальный случай с работы. Начну с предыстории.

✈️ Вы, как DE читаете много таблиц из разных источников. Дальше, полируете, трансформируете, вычищаете и складываете в виде одной или несколько подготовленных таблиц в БД. И это делаете каждый день (автоматически или вручную). Данные из всех источников вы читаете за одну и туже дату. Чтобы данные из разных источников смогли склеиться.

🌀 Представим, что наш код каждый день запускается по расписанию, отсчитывает от текущей даты 1 день назад и начинает грузить данные за вчера. Ну отлично. Данные успеют и в источник до грузиться, да и realtime аналитика не всегда нужна.

Что может случиться?

Вы загрузили 15 апреля, а потом ваш код упал с ошибкой, или сервер лег. Прошла неделя. На дворе 22 апреля. Сервер починили, вы запустили код, он прочитал 21 апреля. А пропущенная неделя благополучно потерялась. Че делать?

Ну давайте тогда читать максимальную дату в источнике и максимальную дату в нашей витрине и грузить разницу. Тогда 22 апреля мы подгрузим недостающий кусок. Да, будет дольше по времени, но витрина догонит в итоге источник. Круто!

Что теперь может случиться?

Вчера догнали источник по датам, сегодня грузим 22 апреля, завтра будете грузить 23 апреля и так далее. А что если за 22 апреля данные в источник не долетели и вы считали 0 строк. При этом дальше данные долетают нормально.

И вот представьте, что ваш код автоматически грузил данные и ему было все равно на кол-во строк. Ну загрузилось 0 строк и пофигу. Потом еще пару раз так происходит и вот у вас уже дыры в данных.

Теперь надо делать проверку по всем датам и искать пропущенные. И это нужно сделать на уровне кода, чтобы оно работало быстро. Потому что агрегировать терабайты данных это очень затратно и долго. Здесь не обойтись уже без обращений к партициям, о которых я писал ранее.

🧭 Собственно, какие еще краевые случаи могут быть в загрузке данных? Пишите в комменты, если возникли вопросы или есть что добавить..
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥3😭31💯1
Где и как эффективно искать работу в 2024?

Наверное самым популярным каналом по поиску работы за рубежом за последние пару лет стал LinkedIn. Почему так?

1️⃣Во-первых, потому что сама платформа предназначена для того, чтобы обрастать профессиональными знакомствами.
2️⃣А во-вторых, если тебе актуальна работа в Европе, MENA или США, проще всего найти ее именно через LinkedIn. Кстати, наши рекрутеры за последний год тоже стали активно пользоваться LD.
3️⃣И в третьих, LinkedIn можно использовать для прокачки личного бренда и продажи услуг типа консалтинга или менторинга.

Но несмотря на множество преимуществ не все пользуются этим инструментом из-за сложных настроек и алгоритмов работы с сетью. Логика работы сайта скажем прямо не очевидна. Есть множество нюансов, которые важны для эффективности результатов вашего пребывания в LinkedIn.
Эти нюансы знает Александр Лепешкин и в своем канале LinkedIn & Career | Alex Lepeshkin он делится ими.
Если для вас актуальна тема, welcome к Саше.
🔥7👏2👌2🆒2
5️⃣5️⃣ Залетел в IT в 50+!

Вот такой коммент появился к видосу на моем канале! Наваливаю вам мотивации, чтобы не бросали и шли к своей цели.

🗣 Если с опытом накрутка и его рисование еще может сработать, то с возрастом сложнее

И если бы в разработчики брали только от 20 до 30, то куда будут деваться люди после 30?) Уходят в Нарнию по всей видимости))

💻 Кстати у меня один из первых собесов был в команду, где все были за 45. И я даже чувствовал себя, что слишком молод и ребенок. Ну по ощущениям так получалось))
Please open Telegram to view this post
VIEW IN TELEGRAM
🍾29🔥125👏1🆒1
ЕСТЬ РАБОТА!
Please open Telegram to view this post
VIEW IN TELEGRAM
3🔥2💯1