Всем привет!

Решил немного поделиться своими конспектами по Apache Spark и Greenplum.
Запросил за них немного на обновлении своей аптечки) 🥶
Описание материалов есть в описании товара.

Greenplum - middle+:
https://t.iss.one/tribute/app?startapp=sjjQ

Apache Spark: Advanced - конспект:
https://t.iss.one/tribute/app?startapp=sjjN
- Конспект включает 4 презентации на разные темы (Описаны в карточке)
Подробное описание:
https://t.iss.one/get_rejected/149

После оплаты присоединяетесь к группе с конспектами в формате pdf)

Вклад в мое здоровье и написание новых постов:
https://t.iss.one/tribute/app?startapp=dePY

p.s. возобновлено

Как я выбираю компании.

Дело в том, что в самом начале своей карьеры я заложил некоторые постулаты в выборе работодателя и постепенно их дополнял и изменял, но старался не отходить от самых главных.
И так как я выбирал и продолжаю выбирать:

Критерий 1.
Компания должна быть международной. Да, за свою карьеру я работал в основном в компаниях, имеющих представительство в России. Почему? Да, потому что в них бонусов больше (европейская культура все таки) и нормальное отношения к работникам. В них комфортнее работать за счет всяких различных плюшек и мероприятия они устраивают крутые. Дополнительно вам может повезти и вы примите участие в международном проекте.

Критерий 2.
Мне должна быть интересна отрасль. Это реально важно, вы не продержитесь долго в неинтересной отрасли. (Я в этом убедился в этом году)
Вы скажите: "Да какая разница за что платят деньги, куда какой пайплайн идёт и т.д." и вы будете не правы. Если вам нравится ваша отрасль, то вам будет гораздо интереснее работать, а во вторых вам будет легче расти в компании, так как вы будете заинтересованы в бизнес-процессах.

Критерий 3. Коннект с руководством.
Сколько у меня начальников было за это время не сосчитать и я понял что если у вас разное мировоззрение на жизнь, вам будет сложно работать в компании, которую вы выбрали. Это уже можно понять на собеседовании. Подходит ли вам такой руководитель или нет.
Я встречал такое, что мне СТО одной компании говорил на собеседовании: "Да зачем нам заботиться о разработчиках? Вот у нас подрядчик, который внедряет всякие хранилища. Если что уволим штатного, если будет возникать." Тут сразу возникает мысль: "Пока!"

Критерий 4. Интересный модный стэк. Это очень важно, если вы выберите компанию, которая использует старый стэк, кому вы будете нужны через n лет, (через пару месяцев😁).
Все таки разбираться в чем-то новом гораздо интереснее, чем в старом.
+
Строчка в резюме: "Использовал стэк технологий поставляемый подрядчиком "Имя подрядчика"."
Или
"Построил систему с нуля на базе Open source технологий съэкономив компании %"

Звучат по разному для вашего будущего работодателя, поэтому думайте когда выбираете компанию, где не хотят внедрять новые технологии, где вы окажитесь через n лет.

Критерий 5.
Сейчас будет жёстко. Есть ряд компаний, которые я байкотирую и не только я.
Мой черный список компаний:
Сбер, ВТБ, Иннотех, интеграторы(любые) и прочие.

Как они туда попадают? Легко, отношения HR к кандидату, отношения компании к сотрудникам и отсутствие внутренней культуры разработки, какие-то мои внутренние загоны по действиям компании.
Я знаю много людей, которые не нанимают людей из Сбера, потому что часто люди из Сбера занимались чем-то простым и им очень сложно объяснить про какую-то новую технологию.

Новые критерии по итогу этого года(персональные):
Критерий 6.
Выбираю маленькие команды.

Я понял, что чем меньше команда, тем будет выше ваш доход. Да, вам будет сложнее работать, когда вы один ML/DE / DS разработчик, но вы будете гораздо эффективнее работать и вам будет комфортнее контактировать с другими людьми, так как они являются высококвалифицированными специалистами. Компании не будут тратить большие деньги на дешёвую рабочую силу.
Во многих больших корпорациях нанимают тысячи рабочих рук, им по большей части все равно будет, если уйдет какой то один разработчик, ведь они смогут найти другого более дешёвого разработчика.
В добавок вряд ли в команде, в которой есть много DE будут платить всем много.

Критерий 7.
Компетенция сотрудников
Если вы видите, что компания нанимает крутых специалистов, то вы хотите оказываться среди них, ведь в будущем вы будете на рынке труда как золотой сотрудник.
Тем более вы сможете научиться чему-то в этой компании среди коллег и гораздо приятнее понимать, что коллеги вокруг вас понимают, а не делают вид что понимают.

Критерий 8. Условия труда
Отсутствие удаленки, невозможность работы из-за рубежа, излишний контроль(звонки вне рабочее время). Обязательно ходить в офис.
Я просто понимаю что эта компания не моя. Они не готовы поддерживать сотрудника и создавать для него хорошие условия.

Продолжение:
Критерий 9. Красные флаги
Тесты на логику, сомнительный процесс найма, и многое другое. Когда у меня срабатывает 6 чувство, я понимаю что эта не та компания, в которой я хочу работать, но чисто ради интереса я хочу дойти по максимуму до конца.

Критерий 10. Негибкий процесс отбора
Если я вижу что процесс отбора занимает более недели, скорее я туда не пойду. История с 10 собесами в Яндекс меня не устраивает прям совсем. Я пойду и получу хороший оффер в другую контору за 1 собес, где мне будет комфортнее.
Так же я бы добавил если я вижу более 100 откликов на вакансию, я сразу уточню у HR сколько кандидатов у вас сейчас и почему вы не можете закрыть данную позицию. Если откликов более 100, то я понимаю что либо ищут золотого кандидата, либо они не знают кого.

Вакансия: Data Engineer (Middle+/Senior)
Компания: Яндекс
Предполагаемая вилка: 300 000 - 490 000 р на руки
Период собеседования: Ноябрь 2024
Формат работы: Офис
Этапы собеседований:
HR -> Алгоритмы или Аналитическая задача(pandas) -> System Design или вторая секция алгоритмов -> Техническое собеседование с командой -> Offer
Краткая справка о процессе интервью:
Типичный собес в Яндекс.

Вакансия: Data Engineer (Middle+/Senior) SPARK
Компания: Сбер
Предполагаемая вилка: 350-450к на руки
Период собеседования: Ноябрь 2024
Формат работы: Удаленная работа
Этапы собеседований:
HR -> Tech Interview -> Offer
Краткая справка о процессе интервью:
По словам собеседующегося, на интервью пришел Oracle разраб, который не знает Spark. Начал задавать вопросы примерно ориентируясь на Oracle, но про Spark.
Собеседование заключалось в том чтобы убедить интервьюера в том что человек может рассказать про технологию Spark другим.
Спрашивал по терминам, которых нету в Spark, но есть в Oracle.
Одним словом собеседования из разряда кринж. Пришел отказ.

Меня часто начали спрашивать на собеседованиях: "А какой LLM ты пользуешься? Как это помогает тебе в работе?". Действительно, в нынешнее время иногда бывает сложно в чем-то разобраться и можно быстро спросить у какой-нибудь AI свой вопрос.

И так мой список AI ассистентов для помощи в работе DE:
1. you.com - это умный поиск, который может вам помочь при создании какого то базового скрипта, но если у вас что-то сложное он вряд ли вам поможет.
2. LLAMA - это LLM помогает решать вопросы локально без доступа к интернету. Она полезна если у вас есть жёсткие требования к безопасности (допустим, компания запрещает пользоваться различными ChatGPT.
3. ChatGPT - я пару раз им пользовался, работает прикольно. Можно задать какие нибудь промпты и он будет писать за вас целые приложения. (Работать они конечно не будут)
4. Perplexity - достаточно новая LLM, работает очень классно позволяет и в несколько шагов написать приложение. Мне пока нравится.
5. Zinley - какая прям супер новая LLM с закрытым Beta тестом. Я пока тестирую её. Пишет код конечно прикольно с эволюцией, но нифига не работает. Думаю когда ребята доведут её до готового продукта можно будет ей пользоваться.
6. Ассистент от Jetbrains - я им особо не пользовался, но он очень удобно даёт рекомендации по написанию кода, особенно какого нибудь pandas.

Вакансия: Data Engineer в отдел Data Office ( Senior+)
Компания: Wildberries
Предполагаемая вилка: 600-800 тр (0.75кк-1кк с премиями)
Стэк: k8s, s3-ceph, flink, trino, iceberg, paimon, kafka, stream-park
Требования: продуктовые Python/Java, ANSI SQL
Период вакансии: Ноябрь 2024
Пояснение:
Увидел такую вакансию, решил поделиться. WB видимо все равно на деньги, раздувают как могут свои вилки на любых видов специалистов.
Если в следующем году продолжится так и без увольнений, я буду удивлен.
Собесдоваться не пойду, там по-любому надо будет работать 24/7.

Подбил тут результаты опросов итого:


Рейтинг БД:
PostgreSQL - 155
Clickhouse -129
Hadoop - 92
Greenplum -89
MS SQL - 43
Oracle - 38
Minio S3 - 35
Trino - 30
Redis - 26
MongoDB - 19
Vertica - 13
Ceph - 2

Технологии:
Airflow -158
Docker, Kubernetes - 114
Микросервисы на Python/Java - 99
Apache Spark - 98
Apache Kafka - 76
DBT - 50
ArenaData - 23
Debezium - 17
Yandex Stack - 16
NIFI -13
Apache Flink - 10
RabbitMQ - 10
Airbyte - 8
Dagster - 5
Glowbyte - 5
SAS -3

Облака:
Яндекс.Облако - 50
AWS - 27
Azure - 24
GCP - 9
Snowflake - 8
VK Cloud - 8
Databricks - 6

On-premise( собственное железо) - 112

Честно опрос стабильный, что популярно, то в топе, что уже выходит из моды, там где и должно. Удивлен, что так много пользуются Яндекс облаком. Не понимаю почему так мало кто пользуется S3 + Trino, хотя судя по вакансиям чуть ли несамый ходовой стэк. + Iceberg, Delta и Huidi.

Может быть всё пока набирает обороты, но я как вижу что отказываются в новых проектах от дорогих в поддержке технологий по типу ( Greenplum, Hadoop) и переходят на S3 хранилища и облака, мне аж интересно становится что будет в дальнейшем.

Вакансия: Data Engineer (Senior/ Lead)
Компания: Билайн
Предполагаемая вилка: 420-480к на руки
Период собеседования: Сентябрь 2024
Формат работы: Удаленная работа
Этапы собеседований:
HR -> Tech interview -> Tech Coding -> Offer
Краткая справка о процессе интервью:
Было первое техническое интервью про Airflow, про проекты и как внедрять лучшие практики в команду.
Потом было coding interview на написание кода на Spark. Разрешили использовать Pyspark, в целом в компании используют Scala.
Было много задач на чтение данных (чтение всех файлов в директории и их подсчет по типам). И потом анализ нужно было сделать по метаданным полученным в первой части.

Мой 2024 год

"Не понимаю как люди могут добровольно выбирать работу в офисе 5 дней в неделю по 8 часов?

Мне больше нравится мой 24 часовой рабочий день 7 дней в неделю."

Чисто мое состояние на этой неделе. Завтра будет собес + будет интересный пост. Долго его откладывал, но решил написать. Ждите)