Вакансия: Data Engineer (Middle+/Senior)
Компания: NDA Poker Room
Предполагаемая вилка: 3500$
Период собеседования: Март 2024
Формат работы: Удаленная работа
Этапы собеседований:
HR -> Tech Interview -Tech interview coding -> Offer
Краткая справка о процессе интервью:
Собеседование проводил сначала PO и спрашивал про проекты и SQL, после было внешнее интервью с DE на написание кода. Необходимо было реализовать парсер для логов и вытаскивать только нужную информацию + были вопросы про DE.

Про специализацию DE:
На текущий момент я различаю несколько специализаций в Data engineering'e:
1. ETL Developer - Одна из самых популярных специализацией в банковской индустрии.
Основные навыки:
1. ETL/ DWH - Глубокие знания
2. Airflow - Понимание проектирования Dag
3. SQL и знание как работают MPP СУБД
В среднем зарплата такого специалиста - 200-350к net.

2. Data Engineer (классический - Big Data)
Это самая популярная специализация, которая требуется на рынке.
Основные навыки:
1. Apache Spark - Основной навык, который спрашивают на собеседовании.
2. SQL, DWH, ETL.
3. Airflow
4. Hadoop / S3
Зарплаты:
200-300к на руки для Middle специалистов
300-400к на руки для Senior специалистов

3. Analytical Data Engineer (dbt+MPP)
Я не часто встречаю прям такое название на рынке РФ, чаще всего нанимают DE и они занимаются построением DWH, используя стэк ниже.
Я выделил их в отдельную категорию, так как их не спрашивают про Spark.
Основные навыки:
1. DBT, SQL
2. Clickhouse/ Greenplum ( или аналоги)
3. Airflow
4. Data Quality
Зарплаты:
200-350к на руки.

4. Data engineer ( Java/Scala - Streaming )
Очень редко вижу такие вакансии, но они стали чаще попадаться.
Основные навыки:
1. Java/Scala
2. Apache Spark/ Apache Flink
3. Kafka / Kafka Streaming
4. Debezium
5. S3
Описание:
Прежде всего нужно знать Java и как работает Kafka. Здесь ожидают только Senior ных ребят, которые хорошо умеют кодить, а так же знают как работать с Kafka и настраивать Stream из одного источника в другой.
Зарплаты:
450к - 600к на руки.
Я думаю есть и больше, так как сейчас на рынке нету таких кадров или их очень мало. Чаще на такие вакансии нанимают Java программистов.

5. Cloud Data Engineer
На рынке РФ таких вакансий мало, мне кажется они более подходят под Европу.
Основные требования:
1. AWS, GCP, Yandex.Cloud и другие облачные решения.
2. DBT, Airflow, Clickhouse etc. (Чаще)
3. Kafka, Flink, etc. (Реже)
Зарплаты:
300-450к на руки.
4000-4500$
Обычно это какие нибудь стартапы из России, которые не могут иметь свою инфраструктуру и базируются в облаках. В таких компаниях наверное интересно, так как много задач и есть куда развиться и выстраивать полностью свою инфраструктуру.

Вакансия: Data Engineer (Middle+/Senior)
Компания: NDA Analytics Team
Предполагаемая вилка: Запрос: 4200-4500$ (Изначальная была 3500-5500$)
Период собеседования: Сентябрь 2024
Формат работы: Удаленная работа
Этапы собеседований:
HR -> Tech interview -> Tech interview coding -> Offer
Краткая справка о процессе интервью:
Собеседование проходило на знание Airflow и Clickhouse. Рассказ про опыт и какие задачи решал.
После была часть на написание DAG в Airflow и разворачивании его на своем компьютере.

Вакансия: Data Engineer (Middle+/Senior)
Компания: HuntIT
Предполагаемая вилка: 4000$-5000$
Период собеседования: Март 2024, Сентябрь 2024, Октябрь 2024
Формат работы: Удаленная работа
Этапы собеседований:
1. HR -> Tech interview -> Offer
Краткая справка о процессе интервью:
Было два технических интервью. В одну команду на техническом интервью спрашивали про DWH, OLAP/OLTP, ACID, Airflow, Apache Spark ( Драйвер и Executor), Apache Airflow ( Базово), Kafka(Продвинутые штуки), Apache Flink.

В другую команду на техническом интервью спрашивали про DWH, ACID( изоляция транзакций и т.д.), Airflow(базово), SQL (физические джоины, последовательность выполнения SQL кода (О БОЖЕ КТО ЭТО СПРАШИВАЕТ)), Kafka(базово), Clickhouse ( Движки и физ. джоины), Apache Spark (базово).

Вакансия: Data Engineer/Data Analyst/Data Arch (Senior/Lead) - Data Domain
Компания: NDA
Предполагаемая вилка: 8000-12000 $ net
Период собеседования: Октябрь 2024
Формат работы: Удаленная работа
Этапы собеседований:
HR -> Tech interview -> COO + CEO
Краткая справка о процессе интервью:
Собеседование проходило в обе компании, находящиеся на стадии стартапа в криптоиндустрии. На обоих проектах необходимо реализовать с нуля Data платформу и вы будете единственным DE/DA.
По сути вы будете доменом Data. Работа предстоит сложная, учитывая специфику проекта, так мне описали это HR.

Всем наверное интересно, сколько платят в различных компаниях на различных грейдах и мне это тоже интересно.
Давайте попробуем это определить:
Я создал бота, который содержит несколько базовых вопросов о компании, должности, зарплате, удовлетворенностью работой. Опрос занимает меньше минуты.
Пройти опрос: @Get_RejectedBot ( Бота отключил, результаты завтра)

Опрос будет проводиться пару дней. После подведу итоги.
Должность указываем любую: (Data engineer/ Machine Learning Engineer/Product Analyst and etc)
Зарплата на руки - ваш среднемесячный доход с учетом премии

P.S. Обновил размерность колонок. (записи которые не записались, восстановил)
Финальный ответ должен быть: "Спасибо за участие в опросе!"
Для прохождения опроса по новой нужно restart нуть бота.

Всем спасибо, кто прошел опрос. Около 80 анкет получено. Я их немного изменил (привел должности к единому формату, изменил вилки на средние и т.д.)

Получилось достаточно интересная статистика:
По грейдам(Специализация/ Грейд/ Минимальная/Максимальная зарплата):
DE Lead RUB 500 500
DE Senior RUB 240 495
DE Middle RUB 150 345
DE Junior RUB 100 200

DE Senior EUR 3200 3200
DE Middle EUR 3900 3900
DE Senior USD 4500 6500
DE Middle USD 2700 2700

DA Middle RUB 170 330
DA Junior RUB 95 95

DS Senior RUB 225 225
DS (FAANG) Entry USD 8000 8000

ETL Lead RUB 260 260
ETL Middle RUB 150 275

MLE Head RUB 500 500
MLE Senior RUB 300 400
MLE Middle RUB 139 450
ML Scientist Junior RUB 90 90

MLE Senior USD 2700 9800
MLE Middle EUR 3200 3900
ML research Senior USD 21000 21000

Product Analyst Middle RUB 350 350
Product Analyst Junior RUB 70 70

SA Lead RUB 500 500
SA Senior RUB 362 362

Backend Lead USD 3000 3000
Software engineer Middle RUB 450 450
Team lead Team lead USD 5000 5000

В выборку по компаниям попадали результаты только тех компаний, которые были представлены более 2 раз:

Company Position Min Max
Тинькофф Senior 400 400
Тинькофф Middle 265 330

Сравни Senior 400 400
Сравни Middle 260 260
Сравни Junior 70 70

Сбер Senior 270 362
Сбер Middle 150 450

Райффайзен Head 500 500
Райффайзен Lead 500 500
Райффайзен Senior 320 360
Райффайзен Middle 261 344

X5 Senior 300 300
X5 Middle 230 280

Wildberries Senior 400 495
Wildberries Middle 345 345

VK Senior 360 360
VK Middle 220 220

Окко Middle 254 340
Билайн Junior 104 200
Rubbles Middle 278 290

И последняя выборка:
На сколько хотят вырасти в зарплате люди довольные и недовольные своей работой.
Честно я в шоке что некоторые получая достаточно большие деньги хотят х2 к текущей зарплате.

666 подписчиков

Вакансия: Data Engineer (Senior) - RND
Компания: Kaiten
Предполагаемая вилка: 350к на руки
Период собеседования: Ноябрь 2024
Формат работы: Удаленная работа
Этапы собеседования:
Product Owner-> offer
Краткая справка о процессе интервью:
Было часовое интервью с задачей по System Design. Необходимо было спроектировать систему сбора данных с лендинга.
Команда будет состоять из вас и Product Owner. Основной задачей является изучение новых технологий и внедрение LLM моделей для компании. По деньгам можно запрашивать гораздо больше, так как надо знать много различных технологий ( GraphQL, Kafka, JS, AWS и многое другое)

Вакансия: Data Engineer (Senior)
Компания: Аптека.ру
Предполагаемая вилка:
350 на руки, (400 вряд ли)
Период собеседования: Ноябрь 2024
Формат работы: Удаленная работа
Этапы собеседований:
Tech Interview -> Offer
Краткая справка о процессе интервью:
Было интервью с DA и Team Lead Frontend. Спрашивали стандартные вещи про ETL, ELT, OLAP, OLTP и так далее. Интервью несложное. Компания хочет уйти от компании вендора и нанять человека который будет работать внутри в компании.

Как уже можно было догадаться я уже давно нашел работу😂
Примерно 3 дня я был без оффера после увольнения с прошлого места работы.
Оффер получил достойный.
В новой компании все устраивает. Конечно, я не работаю по 4 часа как раньше, а приходится работать по 8-10 часов.
Меня все устраивает)

Что дальше? В канале будет продолжаться поститься вилки и вакансии, а так же другой материал.

Если вы хотите запостить свой перформанс с собеседования, пишите @noelsethink
(Все будет полностью анонимно)

Сейчас пока болею и не смогу опрашивать рекрутеров и писать посты.

Вакансия: Data Engineer (Senior)
Компания: Salmon (ex-Tinkoff Manila)
Предполагаемая вилка: 5000 USD + options
Период собеседования: Весна 2024
Формат работы: Гибрид, удаленная работа (Манила)
Этапы собеседований:
HR-> Tech Interview -> Offer
Краткая справка о процессе интервью:
Побеседовали с рекрутером, команда собирается новая под создания нового банка. Команда ex-Tinkoff выкупила лицензию банка в Маниле. Из требований знания Python, SQL. Берут без опыта в AWS.
Потом не дали фидбэк, забил на них.

Вакансия: Data Engineer (Senior)
Компания: Plata Card (ex-Tinkoff Mexico)
Предполагаемая вилка: 5000-6000 EUR Net - Cyprus
Период собеседования:
Декабрь 2023
Формат работы: Удаленная работа, Офис
Этапы собеседований:
HR-> Tech Interview -> Offer
Краткая справка о процессе интервью:
Собеседование было в жёстком формате. Я думаю было задано около 100 вопросов по SQL, Airflow, Spark, Kubernetes. Вопросы задавались non-stop. + Задача на SQL про дерево с листьями.( Погуглите)

Вакансия: Data Engineer (Senior)
Компания: IBS
Предполагаемая вилка:
350к (начальный оффер) -> 400к (последний оффер) на руки
Период собеседования:
Октябрь 2024
Формат работы: Гибрид, удаленная работа, офис
Этапы собеседований:
HR -> Tech interview-> Offer
Краткая справка о процессе интервью:
Спрашивают поверхностно по Spark'y ( RDD, Dataframe). Вопросы были из разряда с чем работали.

Каждый год я начинаю замечать как меняется технологический стэк ИТ- компаний в РФ.
До этого года я практически не изучал новые технологии, которые появлялись на рынке и просто продолжал работать. Курсы проходил только от компании, когда было скучно и можно было посмотреть что-то интересное. И так к чему я это все? Я решил составить рейтинг востребованных технологий на рынке и устаревших технологий с пояснением. (по-моему мнению 😅)
Рейтинг будет от самого востребованных до менее востребованных.

Блок 1 (Хранилища)

Востребованные:
1. PostgreSQL - no comments
2. Clickhouse - Хорошая аналитическая БД
3. Minio S3
4.1 Trino
4.2 Hadoop
4.3 Greenplum - Считаю что спустя n лет Greenplum пропадет с РФ рынка.

Менее востребованные, но полезны к изучению:
1. MongoDB - Стал чаще встречать в вакансиях. Я бы рекомендовал ознакомится с таким типом баз данных. Они очень популярны у Backend'еров для сохранения различных event'ов.
1. Ceph - object&file storage, знаю что только 3 организации их юзают ( Авито например)
2. MS SQL - Очень редко встречаю, все в основном сидят на PG.
3.1 Redis - In-memory DB
3.2 Apache Ignite - In-memory DB популярна у Java разрабов.
4. Cassandra

"Невостребованные" - Отказ в будущем:
1. Vertica - Основной риск этой БД в том, что лицензия дорогая и теперь недоступна в РФ.
2. Oracle - Многие компании мигрируют с Oracle на что-то более новое и спустя я думаю несколько лет эта БД пропадет с рынка РФ.

Мое видиние технологий, которыми нужно владеть и на каком уровне:
Must have:
PostgreSQL - Intermediate+/ Advanced
Hadoop - Intermediate+/ Advanced
Clickhouse - Intermediate+
Minio S3 - Beginner

Hice to Have:
Trino - Beginner
Любой опыт с NoSQL (Redis/MongoDB/Apache Ignite)


Блок 2 (Технологии)

Востребованные:
1. Apache Spark
1. Airflow
2. Docker, Kubernetes
3. Apache Kafka - всем важен опыт, но мало кто пользуется.
4. DBT
4. Yandex.Cloud

Становится популярны:
1. Apache Flink
2. Debezium

Стал встречать:
1. AWS - Lambda, Redshift
2. GCP (BigQuery)

Менее востребованные:
1. RabbitMQ
2.1 Airbyte
2.2 Dagster
3. Snowflake

Надеюсь скоро исчезнет:
1. NiFi


Мое видиние технологий, которыми нужно владеть и на каком уровне:
Must have:
Apache Spark - Intermediate+/ Advanced
Airflow - Intermediate+
Docker, Kubernetes - Beginner
DBT - Beginner/Intermediate
Apache Kafka - Intermediate+/ Advanced

Hice to Have:
Apache Flink
Debezium
Any Cloud - AWS,GCP, Ya.Cloud.


Блок 3. (Общая база)

Востребованные:
1. DWH ( DV, Anchor)
2. ETL (Понимание построения ETL)
3. Data Quality ( Необходимо знать о разных способах настройки DQ): pydeequ, great expectations, SODA, and etc.
4. Data Mesh - понимание что это такое в общих чертах.

Востребованные в больших организациях:
4. Data Lineage
5. Data Catalog


Как вы считаете что-то упустил что требует нынче работодатели?