Продолжение:
Критерий 9. Красные флаги
Тесты на логику, сомнительный процесс найма, и многое другое. Когда у меня срабатывает 6 чувство, я понимаю что эта не та компания, в которой я хочу работать, но чисто ради интереса я хочу дойти по максимуму до конца.

Критерий 10. Негибкий процесс отбора
Если я вижу что процесс отбора занимает более недели, скорее я туда не пойду. История с 10 собесами в Яндекс меня не устраивает прям совсем. Я пойду и получу хороший оффер в другую контору за 1 собес, где мне будет комфортнее.
Так же я бы добавил если я вижу более 100 откликов на вакансию, я сразу уточню у HR сколько кандидатов у вас сейчас и почему вы не можете закрыть данную позицию. Если откликов более 100, то я понимаю что либо ищут золотого кандидата, либо они не знают кого.

Вакансия: Data Engineer (Middle+/Senior)
Компания: Яндекс
Предполагаемая вилка: 300 000 - 490 000 р на руки
Период собеседования: Ноябрь 2024
Формат работы: Офис
Этапы собеседований:
HR -> Алгоритмы или Аналитическая задача(pandas) -> System Design или вторая секция алгоритмов -> Техническое собеседование с командой -> Offer
Краткая справка о процессе интервью:
Типичный собес в Яндекс.

Вакансия: Data Engineer (Middle+/Senior) SPARK
Компания: Сбер
Предполагаемая вилка: 350-450к на руки
Период собеседования: Ноябрь 2024
Формат работы: Удаленная работа
Этапы собеседований:
HR -> Tech Interview -> Offer
Краткая справка о процессе интервью:
По словам собеседующегося, на интервью пришел Oracle разраб, который не знает Spark. Начал задавать вопросы примерно ориентируясь на Oracle, но про Spark.
Собеседование заключалось в том чтобы убедить интервьюера в том что человек может рассказать про технологию Spark другим.
Спрашивал по терминам, которых нету в Spark, но есть в Oracle.
Одним словом собеседования из разряда кринж. Пришел отказ.

Меня часто начали спрашивать на собеседованиях: "А какой LLM ты пользуешься? Как это помогает тебе в работе?". Действительно, в нынешнее время иногда бывает сложно в чем-то разобраться и можно быстро спросить у какой-нибудь AI свой вопрос.

И так мой список AI ассистентов для помощи в работе DE:
1. you.com - это умный поиск, который может вам помочь при создании какого то базового скрипта, но если у вас что-то сложное он вряд ли вам поможет.
2. LLAMA - это LLM помогает решать вопросы локально без доступа к интернету. Она полезна если у вас есть жёсткие требования к безопасности (допустим, компания запрещает пользоваться различными ChatGPT.
3. ChatGPT - я пару раз им пользовался, работает прикольно. Можно задать какие нибудь промпты и он будет писать за вас целые приложения. (Работать они конечно не будут)
4. Perplexity - достаточно новая LLM, работает очень классно позволяет и в несколько шагов написать приложение. Мне пока нравится.
5. Zinley - какая прям супер новая LLM с закрытым Beta тестом. Я пока тестирую её. Пишет код конечно прикольно с эволюцией, но нифига не работает. Думаю когда ребята доведут её до готового продукта можно будет ей пользоваться.
6. Ассистент от Jetbrains - я им особо не пользовался, но он очень удобно даёт рекомендации по написанию кода, особенно какого нибудь pandas.

Вакансия: Data Engineer в отдел Data Office ( Senior+)
Компания: Wildberries
Предполагаемая вилка: 600-800 тр (0.75кк-1кк с премиями)
Стэк: k8s, s3-ceph, flink, trino, iceberg, paimon, kafka, stream-park
Требования: продуктовые Python/Java, ANSI SQL
Период вакансии: Ноябрь 2024
Пояснение:
Увидел такую вакансию, решил поделиться. WB видимо все равно на деньги, раздувают как могут свои вилки на любых видов специалистов.
Если в следующем году продолжится так и без увольнений, я буду удивлен.
Собесдоваться не пойду, там по-любому надо будет работать 24/7.

Подбил тут результаты опросов итого:


Рейтинг БД:
PostgreSQL - 155
Clickhouse -129
Hadoop - 92
Greenplum -89
MS SQL - 43
Oracle - 38
Minio S3 - 35
Trino - 30
Redis - 26
MongoDB - 19
Vertica - 13
Ceph - 2

Технологии:
Airflow -158
Docker, Kubernetes - 114
Микросервисы на Python/Java - 99
Apache Spark - 98
Apache Kafka - 76
DBT - 50
ArenaData - 23
Debezium - 17
Yandex Stack - 16
NIFI -13
Apache Flink - 10
RabbitMQ - 10
Airbyte - 8
Dagster - 5
Glowbyte - 5
SAS -3

Облака:
Яндекс.Облако - 50
AWS - 27
Azure - 24
GCP - 9
Snowflake - 8
VK Cloud - 8
Databricks - 6

On-premise( собственное железо) - 112

Честно опрос стабильный, что популярно, то в топе, что уже выходит из моды, там где и должно. Удивлен, что так много пользуются Яндекс облаком. Не понимаю почему так мало кто пользуется S3 + Trino, хотя судя по вакансиям чуть ли несамый ходовой стэк. + Iceberg, Delta и Huidi.

Может быть всё пока набирает обороты, но я как вижу что отказываются в новых проектах от дорогих в поддержке технологий по типу ( Greenplum, Hadoop) и переходят на S3 хранилища и облака, мне аж интересно становится что будет в дальнейшем.

Вакансия: Data Engineer (Senior/ Lead)
Компания: Билайн
Предполагаемая вилка: 420-480к на руки
Период собеседования: Сентябрь 2024
Формат работы: Удаленная работа
Этапы собеседований:
HR -> Tech interview -> Tech Coding -> Offer
Краткая справка о процессе интервью:
Было первое техническое интервью про Airflow, про проекты и как внедрять лучшие практики в команду.
Потом было coding interview на написание кода на Spark. Разрешили использовать Pyspark, в целом в компании используют Scala.
Было много задач на чтение данных (чтение всех файлов в директории и их подсчет по типам). И потом анализ нужно было сделать по метаданным полученным в первой части.

Мой 2024 год

"Не понимаю как люди могут добровольно выбирать работу в офисе 5 дней в неделю по 8 часов?

Мне больше нравится мой 24 часовой рабочий день 7 дней в неделю."

Чисто мое состояние на этой неделе. Завтра будет собес + будет интересный пост. Долго его откладывал, но решил написать. Ждите)

Как зарабатывать 1 млн?
Дисклеймер: Материал представленный ниже не является рекомендацией к заработку таким путем. Все совпадения и описанные действия являются вымышленными. Повторения действий опасно для здоровья и может являться противозаконным!!!!
Автор не ознакомлен с трудовым законодательством РФ.

Где-то в 2021 году я посмотрел видео, где парень рассказывает как выгорел на работе. Он работал на двух работах: на российскую компанию, а ночью он работал на американскую. В итоге: он рассказывал как он выгорел и в нем просто не было ничего живого.
В 2024 я познакомился с ребятами, которые тоже работали на 2 и более работах, получая более 1 млн. рублей в месяц. Как они это делали? Легко, некоторые работали на одной официальной работе и второй через ИП с согласованием первой компании. Другие работали по ТК РФ просто на несколько компаний по электронной трудовой, честно сказать, мне кажется это весьма незаконно без уведомления компании.
По итогу существуют следующие схемы:
1. Работа по ТК РФ + ИП (легально)
2. Работа по ТК РФ + ТК РФ (сомнительно)
3. Работа по ИП + ИП (Легально)

Важно понимать что люди которые работают на двух работах сидят и работают дома 24/7, так как загруженность у них большая и случаются проблемы со здоровьем. Так же я слышал что кто-то совмещает по 4-5 работ и получает от 2 млн. в месяц. Честно, я пока такого человека не увижу, не поверю.

Что реально-это совмещение работы и какой подработки ( временный проект / обучение на курсах).

Если вы рассчитываете на высокий заработок 450к+ на руки, то я заметил, что в основном это позиции единственного DE в команде, где вам придется выстраивать инфраструктуру в одиночку, общаться с CTO/CDO, либо это маленькие конторы, которые нанимают специалистов под алгоритмические задачи.
По сути все требования заключаются в:
1. Понимании текущего стэка и как его можно улучшить.
2. Умение в System Design
3. Умение построить DWH
4. Навыки Lead ( Все хотят видеть на таких позициях будущего Lead'а)

Я не верю что в следующих компаниях можно получать много среднему инженеру:
Пояснение: Картина следующая вы средний DE, без задротства в алгоритмы и в жесткий кодинг ( например, Java/Scala программист)

1. Mail (VK) - Здесь вам нужно выучить алгоритмы и тогда вы будете получать среднюю зарплату. Не слышал чтобы кто-то много зарабатывал VK.
2. Яндекс - Это самый большой миф что здесь вы будете получать миллионы. Я думаю вряд ли что там среднему DE дадут хорошую зарплату.
3. Сбер - Да, здесь вам могут платить много, но какой ценой. Собесы слабые, условия ужасные (гибрид/офис). Ценность вас на рынке упадет. (Все видели красные флаги Яндекса? - Они существуют не только в Яндексе.)
4. Оzon - Тут тоже средние вилки, я не видел что они нанимают кого-то на бешенные деньги. Там просто комфортно.
МЯСО оно такое. 😅

Итого:
Вариант 1. Чтобы получать миллион нужно пожертвовать здоровьем.
Вариант 2. Нужно быть умным и стремится в DS/AI команды - Быть уникальным, иначе говорить
Вариант 3. Уходить в менеджмент (500-700 - Team Lead/Product Owner, Leader of Tech Lead от 1,2 млн., CTO от 2 млн.) , но тут нужно понять что эта история от 10 лет опыта в IT на Lead позициях, а конкуренция там бешенная.
Вариант 4. Создание собственного бизнеса, но это тоже время и нервы. И это очень тяжело без связей.
Вариант 5. Стартап с Equity (%) - такое очень сложно найти и работать там придется так же много, как и на двух)

Вариант 6. Забить на эти "Огромные" деньги, успокоится и зарабатывать свою среднюю зарплату и заботится о своем здоровье.

Общие рекомендации к большому заработку( верхняя граница рынка)
Хотите зарабатывать больше? Сосредоточьтесь на проектах. Ищите интересные проекты, работайте в компаниях лидерах рынка. Не нужно губить себя массовыми проектами.
А еще нужно понять вы корпорат или любите маленькие конторы.
Корпораты - это 40+ часов в месяц разговоров об Agile, SCRUM и отношениях в команде.
Маленькие конторы - это разговоры по потребности. (1 час в неделю- по ситуации) и работа по принципу ебаш.

Берегите себя и не гонитесь за миллионами. Деньги не самое важное.

Для шейхов, если вам не хватает этих вилок. 100к желаемого заработка = 1 звезде.

Чувствую что шейхов стало больше, в следующий раз буду повышать ставку.

По мотивам нового поста.

Обновил канал с конспектом по Apache Spark:
- Конспект включает 4 презентации на разные темы (Описаны в карточке)
- Добавил туда вопросы по собеседованиям по профилю Apache Spark с ответами за последний год (13 вопросов), в случае если что-то еще вспомню добавлю.
- Добавил два примера кода.
1. Как конфигурировать сессию Apache Spark с пояснением.
2. Как оптимизировать join'ы в Spark.

Доступ: https://t.iss.one/tribute/app?startapp=sjjN

Всем хороших выходных.

Что-то в последнее время много шума по поводу Яндекса. За последнее время видел несколько постов на разные тематики:
1. Пост про найм в Яндекс, где указаны критерии, по которым не нанимают в Я. ( Там и возрастные ограничение, и опыт в Сбере как красный флаг, и опыт c определенными технологиями за опыт не считают)
2. Пост про то, как накручивают оценки Яндекса на хабр карьере.
Как я понял, падение рейтинга связано с компенсацией. В Яндексе существует"Лидершип" бонус. Если вы хорошо постарались в своем департаменте (Поиске и Рекламе), а ребята из Маркета ничего не сделали, то вам всем вообще не платят бонус. КРУТО ДА? (P.S. во все вилки которые указаны на разных сайтах этот бонус включен в них)
3. Видел еще пост про найм. Чувак в начале HR сказал что готов пойти к ним на 600к на позицию DA, ему сказали ок это в нашей вилке. Прошел Pandas секцию и Продуктовую. Поговорил с Product Owner'ом и Tech Lead'ом. Прошел СБ и все остальные круги ада. В итоге ему HR пишет: "Привет! Согласовали тебе оффер на 330к. Он тебе нужен?" Кандидат ответил конечно же нет.
(Я когда читал это думал, лучше пройти 20 собесов в различные компании и гарантировано получить оффер на 400-500к, чем пойти в Яндекс и проходить их этапы неделями)

И у меня каждый раз возникает вопрос: "Вы реально готовы пойти работать в Яндекс? Пройти 10 кругов ада ради оффера, который точно ниже вашего текущего заработка." Причем Яндекс не славится Work life balance. Я когда слышу что ребята считают достижением "Оставить ноутбук на работе". Мне аж смешно, что их так сильно напрягают, что они готовы поработать на выходных из дома. Это не считая, что они работают по 10-12 часов в день с бесконечными звонками с утра до ночи.
Зарплата там средняя, напряженность большая, интересных проектов там единицы.
Возникает вопрос: "Зачем там люди работают?" Кто-нибудь знает?

Скриншоты сливы ниже.