Доброе всем!
Просьба забустить канал: boost

Вас становится больше, а смайликов нет)

Спасибо за вчерашнюю активность:
15к просмотров
240 репостов
210 реакций
Стало понятно какая статистика более востребована.

Немного с работы.

Snowflake требует настроить MFA2 метод авторизации. После 1 апреля авторизация без использования MFA2 не будет работать.
По сути политика доступа к хранилищу Snowflake по паролю+ Auth коду.
Так же мне нужно было перевести пару учеток на сервисные без авторизации по MFA2.
Проблема в том, что у них не описания того, как сделать сервисные учетки.

Сначала создал две политики одну для обычных учеток и другую для сервисов:

CREATE AUTHENTICATION POLICY IF NOT EXISTS AUTHENTICATION_POLICY_REQUIRE_2FA
  AUTHENTICATION_METHODS = ('ALL')
  MFA_AUTHENTICATION_METHODS = ('PASSWORD', 'SAML')
  MFA_ENROLLMENT = REQUIRED
  CLIENT_TYPES = ('ALL')
  SECURITY_INTEGRATIONS = ('ALL')
  COMMENT = 'Enforce 2FA with DUO APP'
;

CREATE AUTHENTICATION POLICY IF NOT EXISTS AUTHENTICATION_POLICY_NONUSER_LOGIN
  AUTHENTICATION_METHODS = ('PASSWORD', 'KEYPAIR')
  CLIENT_TYPES = ('DRIVERS','SNOWSQL')
  COMMENT = 'Non-user logins are only allowed to authenticate through drivers via password or keypair'
;

Дальше для каждого пользователя раздал необходимую политику:

ALTER USER GET_REJECTIK
 SET AUTHENTICATION POLICY AUTHENTICATION_POLICY_REQUIRE_2FA;

Так же для снятии политики я использовал эту команду, так как ошибочно назначал не ту политику:

alter user USER_5 unset authentication policy;

А теперь к самому важному для сервисных учеток я использовал следующую команду, чтобы они не были заблокированы.

alter user DBT_USER set type = legacy_service;

legacy_service - позволяет авторизоваться через User + Password
service - авторизация без пароля. ( Видимо нужно для тех, кто пользуется Kafka )


Для проверки политик используется:

SELECT *
FROM TABLE(
    BM.INFORMATION_SCHEMA.POLICY_REFERENCES(
      POLICY_NAME => 'Snowflake_WH.SCHEMA.AUTHENTICATION_POLICY_REQUIRE_2FA'
  )

Пользуйтесь, кому как и мне нужно поддерживать Snowflake.

Кто не знал, как и я, примерно с середины марта начинается сезон найма, а это значит что много компаний откроют новые позиции под свои текущие и новые проекты.

В связи с этим нужно многие уже обновили свое резюме и активно подаются. Я пока думаю стоит ли подаваться в принципе. Интересных вакансий увидел парочку штук, и то мне кажется они не в вилке. ( Смотрел на HH)

Все остальное либо мне неинтересно, либо вилка ниже моих ожиданий. Из интересного нашел пару каналов с интересными вакансиями, посмотрю и возможно порекомендую.

Из идей было парочку:
1. Создать фейка на hh и открыть резюме для всех компаний (посмотреть отклики, посмотреть какие вилки)
2. Крутануть опыт до уровня Head Of Engineering/ CDO и походить на собеседования.
(Господи нет)
3. Попробовать найти ещё пару вакансий на 7к-10к$ и попробовать получить оффер.
4. Ваши идеи

Сделал материал для подготовки к собесам по DWH + Hadoop. (либо изучения)
Вот что входит:
8 Презентаций по DWH + 3 Презентации по Hadoop, YARN, Hive,Hbase + 1 Презентация Kafka (Базовая) + 2 Презентации по Kubernetes (Базово)

Ссылка на доступ:
Клик

Навигация:
DWH:
Тема 1: Архитектура DWH
Тема 2: Нормальные формы
Тема 3: Dimensional Modeling
Тема 4: Методология Data Vault
Тема 5: Методология Data Vault ч.2
Тема 6: Методология Anchor
Тема 7: Методология Anchor
Тема 8: Сравнение и конспект информации

Hadoop:
Тема 1. HDFS
Тема 2. YARN, MapReduce
Тема 3. Hive
Тема 4. Hbase
Тема 5. Apache Kafka

Kubernetes:
Тема 1. Основы по Kubernetes часть 1
Тема 2. Основы по Kubernetes часть 2

Конспекты:
1. Apache Spark
2. Clickhouse
3. Greenplum

Заметил одну вещь в своей карьере:
Сначала я работал как просто SQL Developer, делал какие интеграции, писал SQL скрипты, писал код на python.
После стал Data engineer'ом, стал писать SQL, Python, Java, JS, делать интеграции, использовать MPP СУБД, Kafka, Hadoop, Airflow, Spark, NoSQL, Clickhouse, S3 и другие различные технологии. По специализации стал Big Data Engineer'ом.

И вот сейчас я пришел к тому что я занимаюсь работой Analytics Data Engineer, когда ты уже по большей части работаешь с облаками и упрощаешь свою работу с помощью DBT, встроенный функционал твоего хранилища и различными интеграциями. Apache Spark ушел далеко, далеко. Я не пишу уже на нем >6 месяцев.

В РФ у нас не распространено такая должность как Analytical DE, хотя на рынке у нас их полно. Обычно такое обозначение используют на западе. И когда первый раз я серьезно решил подойти к поиску я часто видел их вакансии, но мне часто казалось что они занимаются аналитикой. На деле это оказалось не так. (Либо мне так повезло)

В основном работа связана с:
1. Архитектурой DWH
2. Написание dbt-моделей
3. Созданием ETL из внешних систем с помощью различных инструментов (Airbyte, получение данных через API, AWS S3, иных)
4. RnD (поиск новых инструментов для реализации нашего хранилища и интеграций)

Что касается РФ рынка в марте посмотрю что компании требуют и что ожидают от сотрудника.
По собесам я не планирую прям упорно ходить, но если будет время и случится то что я ожидаю, то схожу на парочку.

В понедельник создам резюме на HH и буду тестировать этот безжалостный рынок на деньги. Проходить собесы - посмотрим.
Будет отчет в конце каждой недели или по тому сколько каждая компания максимальная готова предложить.
Кстати кто знает где достать такой шаблон - буду рад. Это лучший шаблон что я видел за последние лет 5.

P.S. Последний вариант я ставлю свое основное резюме на HH
Опрос:

C 8 марта, девушки!
Вот вам цветочек 🌸

Как же Купер хорош после сокращений.
Все доставки в срок. Ни на минуту не ошибаются.

Ahh!! Here we go again

Кстати, нашел прикольный маркер, почему курсы лучше убирать. Вакансия Back-end разработчик.

Компания-стартап, около 200 сотрудников. Компания интересная, ходил туда на собеседование. Repay

Что думаете на счёт курсов?

Давайте разберемся по поводу грейдов, а то мне это уже надоело.
Существуют несколько общепринятых грейдов на рынке РФ:
1.Junior
2.Middle
3.Senior/Lead
4. Tech lead
Остальное не будем расписывать там все +- понятно.

Таких грейдов, как Junior+, Middle- , Middle+, Senior- , Senior+ не существует.
Вы либо не уверены в себе, либо вы попались на удочку менеджера, который не хочет вас повышать и даёт вам эти знаки плюса и минуса. Хватит себя принижать, если вы Middle, так и пишите что вы Middle, если вы Senior, то пишите Senior. Зачем принижать себя, если можно оценить себя самостоятельно.

Так же специально для Сберят, с чего вы решили что ваши циферки грейдов что-то значат? У вас в рамках одной цифры может быть мидл и сеньор. Это бред. Мне ничего не говорит что ваш грейд 9, 10, 11. Почему я должен в этом разбираться? Почему когда я выхожу на рынок, мне говорят грейд 9 или почему когда я смотрю опрос по зарплатам, там тоже ребята любят эти цифры. Вас уверяют что это что-то значит?
Нет. Это просто цифра.


Давайте перестанем жить +-, цифрами и будем себя трезво оценивать. Если вы чувствуете что вы Senior, ставьте Senior, если вы Middle, ставьте Middle.

ЗП 10k$ на Junior. Держу вас в курсе ребят. А вы все хотите в DE. Вот куда надо. В Rust'еры.

Извините, но у меня сегодня только так

У меня за счет частных звонков развилась дурная привычка:
Я включаю музыку на полную громкость чтобы не слышать никого на Daily.

А у вас какие дурные привычки на дейли?