Пришли ко мне и попросили составить матрицу компетенции в Data Engineering'е.

Подумал напишу сюда, чтобы тоже кто-то покритиковали.
Все представлено в черновом варианте.

Формат: Навык/ три уровня навыков/ три уровня владения

Python:
Base: Знания базовых конструкций, ООП, умение работать с разными типами данных
Strong: Работа с различными библиотеками Pandas, Polars, PySpark и т.д. Умение работать с API, умение эффективно забирать и преобразовывать данные. Умение читать исходный код библиотек и фреймворков
Expert:
????

SQL:
Base: Знание основ DDL, DML (создание таблиц и манипуляция) + SELECT, MAX, MIN, GROUP BY и тд.
Strong:
Умение анализировать и оптимизировать запросы к БД;
- Умение использовать индексы и констрейнты
- Умение использовать оконные функции ROW_NUMBER, RANK, DENSE_RANK
Expert:
- Понимание как работают физические JOIN, как работают транзакции, ACID

Clickhouse:
Base:
- SQL: знание особенностей агрегаций в Clickhouse, ограничения JOIN, работа с массивами
Strong:
- Знание движков семейства MergeTree и разницу между ними
- Понимание типов данных в Clickhouse ( какие и где лучше использовать при хранении различных данных)
- Как работать с очередями в Clickhouse
- Как работает Mat. View
Expert:
- Понимание как работает Clickhouse, как хранятся физические данные на диске, как бьются данные по партициям
- Как работать с шардированными таблицами

Data Tools:
Base: - Понимание основ Airflow: Dag, XCom, основные компоненты, понимание навыка проектирования графа
- Работа с различными инструментами представленными у нас:
Airbyte, dbt, AWS, GCP, etc
- Знание инструментов по мониторингу и качеству данных:
GE, SODA, etc.
Strong:
- Умение работать с облачной инфраструктурой, понимание облачных ограничений
- Опыт внедрение инструментов на проектах
Expert:
- Умение оптимизировать облачные cost’ы

DevOps
Base: GIT, Bash
Strong: Разработка, CI/CD, мониторинг
Expert: Разработка, CI/CD, мониторинг, эксплуатация

Архитектура DWH
- Умение проектировать ( нормальные формы, паттерны проектирования и тд)
- Умение выбирать БД под DWH
- Понимание ограничений некоторых БД

Viz:
- Power BI, Tableau

Что то забыл?

Для справки:
Base: Junior
Strong: Middle
Expert: Senior

Заметил что на меня подписались несколько Android разработчиков и я вспомнил недавнюю историю найма.

Пару недель назад я увидел как реально работает найм Android Разработки. Для меня это выглядело как два кандидата, которым сделали оффер на одну позицию. Один находился в РФ, другой находился за границей. По компетенциям я не могу их оценить, но предполагаю что одинаковые, так как бюджет на вакансию выделен фиксированный.

Первый затребовал X и после испытательного срока релокацию. Ему предоставили такую возможность, от которой он отказался.

Я ожидал что второй оффер будет такой же, но я был удивлен что второму разработчику дали оффер x/2. И он его принял.

Я вот смотрю на эту переписку выдвигаемых офферов и думаю. А вот если у них был бы ресурс, который реально показывал сколько стоит Developer, они запросили одинаковые суммы или разные.

А если второй бы начал торговаться смог он бы получить x*0,8-0,9?
Думаю что смог.
Я думаю что он спустя время получит повышение до той вилки что запросил первый, но это достаточно интересный факт, что некоторые люди не торгуются. Они соглашаются на ту цену, которую назначали сами себе в начале. Не знаю с чем это связано, но большинство не могут/ не хотят переоценивать себя.

Что думаете на этот счёт?

Уважаемые работодатели и нанимающие менеджеры, хочу подсветить вам одну вещь.
Если в этом канале опубликовано информация с вашего собеседования, то это круто!

Если вы считаете, что ваш найм развалится из-за публикации информации с собеседования и вопросов, то возможно вам стоит пересмотреть систему оценки, если человек выучивший десяток вопросов сможет пройти к вам в компанию. Открытость и публикация информации о рыночных зарплат позволяет выбрать комфортную компанию для специалистов. Если для вас недопустимо говорить реальную будущую зарплату человеку или занижать его реальную запрашиваемую сумму не тратьте время на поиск специалистов.

Информация, публикуемая в данном канале носит открытый характер и предоставляет информацию с собеседования. Автор* высказывать свою точку зрения, как проходят собеседования и отражает внутреннюю корпоративную культуру компании, предоставленную на собеседовании. (*Автор может меняться от поста к посту)

В случае если ваш найм сводится к ответам на вопросы по списку и по ответу на них любой участник в рамках конкурса на вакансию может получить Offer рекомендуется провести аудит вашей системы найма.

Если вы отзываете оффер из-за информации из канала, то мне ваш жаль.

С уважением, Get Rejected.

Сейчас выдам неприятную базу. У подавляющего большинства, нет никаких психологических проблем. У вас просто мало денег. Вам не нужен психолог, вам нужно 5000$ поступающих на счёт ежемесячно. А стресс связан лишь с нехваткой денег на комфортную жизнь.

Теперь вы знаете почему на место техлида взяли не внутреннего сотрудника, а внешнего.

Кто не знает мужик CEO Astromer - компании, создавшей Airflow.
Девушка - это глава HR

Смотрю на это все думаю. Хоть бы какой нибудь CDO/CIO/CTO не увидел мои опросы!

А то они внедрят вот это все в вашу корпорацию.

Честно поражен на сколько людям можно привить комфорт что они готовы отказываться от больших денег ради преданности в своей корпорации. Недавно обсуждали это с другом CDO, что некоторые сотрудники не способны уйти и сменить свою корпорацию на что-то большее. То есть людям в моменте могут предложить большие деньги и они от них откажутся по любым причинам, потому что на текущем месте они чувствуют что их ценят и/или они работают мало, не сильно амбициозные, им главное не деньги, а их комфорт.

Люди даже не готовы уехать из РФ и сравнивают свою текущую зарплату с заграничной, хотя все мои знакомые сначала уезжали на меньшие и затем получали большие деньги. Не готовы продать себе идею что получая здесь условные x, а за границей будут получать те же 2*x, но с большими налогами и лучшими условиями жизни.

Думаете что вы неподкупный и вами невозможно манипулировать? Вам продали идею выше работать удаленно за -20% и вы согласились лишь бы не идти в офис. Расскажите это вашим родителям, они будут смеяться. Когда я уходил из корпорации, где все были помешаны на комфорте, они были в шоке что такой комфорт можно променять на деньги. Они спрашивали меня: "Прям уйдешь? Но тут же так комфортно". Я просто был поражен на сколько они привязаны. Такие же вопросы и с большим шоком задавали и моему другу, все были шокированы. "КУДА УХОДИТЬ?".

Раньше думал что менеджерские приколы не работают до того момента, пока сам не увидел грамотных менеджеров, которые способны управлять людьми.