Почему Data engineering это самая худшая специализация в IT.

Ведь действительно это наверное самая лёгкая специальность, в которую можно войти в ИТ, но представляете она не заканчивается знанием SQL + DWH, как принято на РФ рынке.
Нужно ещё уметь писать python код, с чем не справляются 50% DE в индустрии. (Мало кто умеет писать переиспользуемый код, так как в больших организациях все сводятся к Ctrl 'C+V)

А дальше все как будто начинают учить теорию, но по факту на практике не умеют использовать эту теорию.
Все знают как работает Spark, но не используют техники для ускорения, оптимизации.
Все знают как работает Airflow, как работают БД, но никогда не используют что-то специфичное чтобы их запрос отрабатывал оптимальнее.
Все знают как работают Kafka и очереди, но мало кто работал с ним продуктово.

Про CDC и Debezium вообще молчу. Все думают что на каждом проекте просто необходим дебезиум, но мало кто понимает что в случае downtime любого из компонентов нужно будет заново все восстанавливать. Это не игрушка.

А про внедрение чего-то нового DE я вообще молчу, мало кто вообще хочет в чем-то разбираться, ему покажите откуда взять код с конфигурацией для его Spark джобы, чтобы он начал клепать свой говнокод и всё.

Ну да ладно об этом. Начнем с того, кто совмещает несколько работ в DE и вообще работает по 2-3 часа в день. Где вы это видели такое? Это единственная индустрия, где может сидеть чувак знающий SQL+Airflow и лютать с двух проектов 720к+ или куда больше. У меня только друзья DE есть которые такое вытворяли. Из друзей бекендеров у меня был такой один и он при мне писал какую то простую ерунду и всё. И это было не на фулл тайм.

Я в шоке с того, что наша индустрия Data engineering так сильно деградирует.
Среднестатистический DE в индустрии это специалист умеющий в SQL и базово умеющий копировать Dag. Иногда знающий базово Spark без упора в распределение данных на executor'ы.

Чаще не умеющий в python (в обычные циклы, я не говорю про ООП).

Не умеющий пользоваться Kubernetes, без знания основных протоколов, без умения разворачивание основных инструментов.
Хотя в последнее время я стал чаще замечать что люди научились разворачивать и настраивать базовые инструменты, что не может не радовать.

Самое главное, чтобы стать Senior'ом в DE достаточно нужно мало знать, чтобы стать Python/Java/Scala Developer'ом. Да чтобы стать джуном DE нужно меньше знать чем обычному Dev'у.

И поэтому когда я слышу что джуну в DE должны платить 120к на руки, я смеюсь.
Джун в DE знает только SQL и в лучшем случае Python.

У меня всё.

Когда не зря в универе проходил курсы:
"Управление людьми", "Маркетинг, как управлять мнением людей", "Менеджмент". А так же прочитал книжку "Манипуляция обществом: завладей сознанием людей".

Из хорошего:
Потянул рабочий вес в спортзале после болезни. Потерял 2-3 кг в весе 😢.

Вакансия: Team Lead/ Senior DE (Senior)
Компания: ANCOR Recruitment Company
Предполагаемая вилка: 400k gross (+2 премии в год)
Период собеседования: Февраль 2025
Формат работы: Удаленная работа
Этапы собеседований:
HR -> HRD -> CPO/ Project Lead-> Architect -> Offer -> Reject
Краткая справка о процессе интервью:
Пригласили на собеседование САМИ вышли на меня. Красные флаги начались сразу с порога. Почувствовал я это сразу при разговоре с HR, но ради интереса решил продолжить разговор.
Позвали на разговор с CPO, где меня хвалили какой у меня хороший опыт и что описывали проект. После взяли паузу и через несколько дней пообщался с их архитектором.
Дали мне SQL задачки, я хотел сразу их послать после такого. Задачки максимально идиотские на DWH Dev'а. (2 задачки ниже и после еще 2). Честно, мне и так процесс был неприятен, так еще и дальше какая то шарашкина контора началась. Больше не пойду на такие интервью. Они скучные и не развивают никак.
Стэк: Airflow + PostgreSQL
Первая задачка:

with t as (
select id, value, count() over(order by id) as grp from table
)
select id, value, first_value(value) over (partition by grp order by id)

Дальше задачка на count'ы.

-- Есть таблицы projects и statuses:
select count(status_name) from projects -- выдаст: 10 000
select count(status_name) from statuses -- выдаст: 43
select count(status_name) from projects where status_name = 'hold' -- выдаст 1200
select count(status_name) from statuses where status_name = 'hold' -- выдаст 0

-- Вопрос.
-- Запрос
select count(5)
from projects as p
where p.status_name not in (select status_name from statuses)
-- выдал 0.
-- Почему?

Удалил аккаунт и резюме с HH.
Ближайшие собеседования будут с задержкой и от моих знакомых.

Из новостей: общался с HR директорами, сошлись на том что следующие под сокращение WB.

Когда написал HR ночью и ты ему ответил через минуту, а он не прочитал 😢

Тренды 2025 года в найме:

1. HR начали записывать первый этап. (Нужно приводить себя в порядок💋)

2. Каждая компания прям хочет вручить тестовое. (Не хотят верить что ты использовал какую либо технологию) - по clickhouse и по python'у.

3. Всех волнует объем с данными с которыми работал. (Маленькие компании переживают что будет неинтересно, большие переживают что ты работал с маленьким объемом данных)

4. Поиск стал сложнее, так же как и найм.

5. Компании не стараются быстро закрыть позицию, иногда тянут с первым этапом HR, чтобы как можно больше получить резюме кандидатов.

6. HR стали скучными. Мне понравился только один HR из 7. (и то она сказала что она не HR и заменяет эту роль)

Мои тренды:
1. GameDev не нравится. Интересные технологии, но как будто неинтересна бизнес-область.
2. Crypto пока тоже не интересно.
3. Зарплаты на проекты, на которые я собеседуюсь выше чем по отрасли.
4. В РФ есть проекты с низким порогом входа, но процессы в компаниях плохо работают.
5. Интервью вымотали морально, теперь на интервью сижу с грустными глазами, а не горящими.
6. Устал пересказывать резюме. Уже по приколу делаю смешное резюме, чтобы как-то развеселить себя когда HR задает вопрос про компанию

Написал рекрутер:
"Поговорила с СЕО. Решили отменить тестовое задание."

Это победа.

Осталось лишь победить Яндекс.

Вакансия: Data Engineer (Senior)
Компания: MNO GO Games
Предполагаемая вилка: 3000-5000$
Период собеседования: Февраль 2025
Формат работы: Удаленная работа ( WorldWide)
Этапы собеседований:
HR -> Test Coding (Clickhouse) (Optional) -> Tech Interview -> CEO -> Offer
Краткая справка о процессе интервью:

Сначала проспал интервью, после назначили второе, которое перенесли по желанию HR. Наконец-то встретились, пообщались. Процесс включает в себя опциональное тестовое задание по Clickhouse, могут обойтись без него. После техническое интервью. Компания <50 человек. Стартап в сфере GameDev, разрабатывают QuizzGame.

Дали фидбэк что не готовы пригласить дальше, так как "Не сможем удовлетворить твои потребности как технические, так и финансовые. "

Прикольный стэк технологий: tiDB, Clickhouse, C#, python,SQL .
Процесс приятный.

Вы когда нибудь задумывались на сколько каналов вы подписаны?
А сколько из них полезны.
Я уже давно перестал следить за каналами по типу:
Data Engineering - и 10 фишек в DE, где рассказывают какие то выжимки из DE.
(Например, Data Learn)
Эти каналы по сути не несут никакой смысловой нагрузки.
Я был подписан на Data Learn года 3, но ничего полезного из него я не подчеркнул. Обзор технологий поверхностный, как и обучение.
Остальные каналы предоставляют такой же контент.

Когда вы к нему вернётесь? Правильно, никогда. Вы всегда вносите это в закладки, к которым никогда не вернётесь. Ссылки на различные исследования, обзор технологий бессмыслен, так как вряд-ли вы этим пользоваться в ближайшее время, а если повезло, то что вам мешало найти это в интернете.


Поэтому я подписан лишь на несколько каналов, которые мне приносят удовольствие от прочтения:
1. Канал о налогах и праве - ссылка иногда смотрю и читаю его. Можно что то подчеркнуть полезное, но тоже все на один раз.

2. Каналы об инвестициях
Пример: ссылка

У меня пару каналов, некоторые маленькие, некоторые большие. Слежу за ними, так как интересно инвестиции.

3. Новостные каналы я все удалил, они порождают бесконечный поток информации, который не несёт полезной информации.

4. Каналы всяких медиа в Big Data:
Канал Yorko: ссылка
Прикольный канал про AI в Google и в сфере науки. У него есть пару интересных статей про то как он устраивался в Google.
(Тоже отписался, я слишком далек от науки)


Канал Время Валеры: ссылка
Канал Валерия Бабушкина, который рассказывает про работу в больших компаниях в Англии.
(Иногда читаю)


5. Пару каналов интересных почитать:

Почитать как там после ИТ:
https://t.iss.one/ira_pilyavskaya

Почитать про корпоративную философию:
https://t.iss.one/closerthepoint

Поиск работы на февраль 2025:
350-400к на руки - можно получить на РФ рынке.

Выше практически невозможно.

Вакансий интересных нету для Senior специалистов.

Для Junior/Middle+ специалистов полно.

Почему так, я не знаю.
Я сравниваю с октябрём-ноябрем прошлого года. Было очень много различных вакансий, сейчас одно и тоже: либо говно проект, либо оплата ниже некуда. Я не говорю что раньше не было такого, но сейчас все компании начали бояться нанимать специалистов на большие деньги. (Боятся тренда на сокращение рынка)
Единственный кто сейчас до сих пор отжигает это Wildberries. Выложил недавно вакансию Senior/Lead DS 300-630k net.

Мой вывод ждать марта-апреля - высокого сезона.
Ещё понял, что я на HH не находил интересных вариантов с работой в последнее время. Все через какие-то агрегаторы и линку.

Дохожу 2 собеседования и наверное сделаю перерыв до апреля. Если что-то изменится, то напишу.

Хотел ещё подсветить один момент:
На днях увидел что Positive Technologies продолжают нанимать и по динамике в LinkedIn не похоже, что у них были сокращения. Может были сокращения части проектов, но не более.
UPD. Как говорится

Логика хантинга:
1. Находим сильного кандидата.
2.У него всё отлично - востребован, успешен, хорошо зарабатывает. Но готов поговорить.
3. Компания, которая нанимает: «Нифига себе, у него всё так хорошо?! Да ещё так дорого!! Оборзел!!!»

А как же по-другому? Ожидали топа из топовой компании, который сидит почему-то без работы, дешёвый и в отчаянии?
Качественный хантинг – это про людей, которым уже хорошо, но они хотят еще лучше.

Я же не один ненавижу понедельник?
Проснулся и тебе нужно работать и проходить собесы