Извините,я не могу остановиться

Знаете, за много месяцев я стал чувствовать спокойнее.
Все таки работа в больших организациях заставляет вас нервничать.

Основные факторы я бы отметил:
1. Наличие постоянных Daily, Retro, Planning
- Вам кажется что вы живете в этом SCAM'е, который уже всем надоел. Постоянно из дня в день одни и те же звонки.
Одни и те же проблемы, одни и те же решения.
Решение:
1. Отказ от дейли
2. Перенесения планирования с команды на менеджмент
3. Ретро убираем, если оно у вас скучное.

Вы не представляете, как контактирование лишь по необходимости с специалистами облегчают работу.

2. Менеджеры придумавают Roadmap'ы, все куда-то идут, какие-то цели.
- Это тоже вызывает стресс. Это я наблюдал и у ребят, которые работали в Яндексах, VK и в других корпорациях.
Всех вынуждают работать для достижения цели, чтобы получить премию.
Да и вообще, когда большая часть зарплаты перекладывается в премию, это добавляет стресс по вашему ожидаемому доходу.

3. Менеджмент в некоторых корпорациях
Некоторые менеджеры обещают очень много ради того чтобы оправдать свою высокую зарплату, а потом в случае неудач или задержек перекладывают ответственность на сотрудников.
Таких менеджеров мало, но они есть. Они очень сильно манипулируют сознанием сотрудников. Если вам попался такой менеджер, то советую как можно быстрее покинуть рабочее место, иногда даже проще уволиться сразу одним днем.

4. Процессы
Тут сложно. Если вы работаете в большой корпорации, то вам будет не хватать хорошо выстроенных процессов, но если вы работаете в очень маленьких компашках/стартапах, вам будет пофиг на процессы. Точнее, здесь вы уже выстраиваете эти процессы и вам делаете как приятнее вам.

5. У вас всегда есть стабильное понимание сколько вы получите в следующем месяце. Стабильность вот это круто. Нет смысла думать вот а какая у меня будет премия, а сколько я получу. У вас есть четкая цифра в контракте и вы независимы от перфоманса вашей команды. Здесь только ваш личный перфоманс, который влияет на результат.

6. У вас есть задачи. Прозвучит возможно тупо, но только вдумайтесь что вы сидите без задач. Вам станет скучно спустя недели 2, я уверен. Но всегда, когда я работал в больших корпорациях можно было сделать задачи за 1-2 дня и не делать ничего по 2 недели. ПРОСТО НИЧЕГО, а тебе хочется. В больших корпорациях ребята, у которых эффективность выше, чем средняя по индустрии, сделав свои задачи переходят на параллельные задачи, которые мало принесут выгоду бизнесу, но принесут моральное удовлетворение специалисту. Беда в том, что и эти задачи заканчиваются и начинается просто тупо поддержка текущего решения и вам просто скучно и вы начинаете что-то искать новое на рынке, потому что задач внутри нет. И это тоже вносит дизмораль.


7. В больших корпорациях так же принято проходить различные Ассесменты, повышения, Индивидуальные планы развития и так далее. Это тоже влияет на ваше психологическое состояние.
Вроде вы уже крутой специалист, а внутри вас повысить не могут. Что за бред? Вас на рынке оценивают больше чем внутри. И из-за этого вам кажется что нет смысла работать и вы впадаете в депрессию.

Исключая факторы большой корпорации становится гораздо легче. Весь стресс создается на работе злоебучими процессами повышения и продвижениями, от которых каждому становится херово. Постоянная гонка за получение признания, достижения цели или самое печальное обесценивания вас как специалиста ведет в депрессию и приему лекарственных препаратов.

Короче, мои зеленые флаги такие, которые помогли мне найти хорошую работу без депрессии и неуверенности в своих силах:
1. Отсутствие ежедневных звонков. У меня два звонка в неделю сейчас по 15-30 минут.
2. Зарплата, которую я получаю ежемесячно.
3. Отсутствие явного Roadmap'а и прочей ненужной хуеты
4. Легкое общение с руководителем на одной волне и не надо оправдываться что я проспал или опоздал на звонок на 3 минуты. ( Я ПРОСПАЛ ЕДИНСТВЕННЫЙ ЗВОНОК С КОМАНДОЙ В НЕДЕЛЮ, ЧТО ВЫ ЗНАЕТЕ ПРО ОТВЕТСТВЕННОСТЬ)

Вакансия: Data Engineer (Middle+)
Компания: Билайн
Предполагаемая вилка: 230-280к запрос (260к оффер)
Период собеседования:
Лето 2024
Формат работы: Удаленная работа
Этапы собеседований:
HR -> Tech Interview (theory) -> Tech interview (Coding) -> фит собеседование -> Offer
Краткая справка о процессе интервью:
собеседование в две части - теория и практика, каждая по часу

Теория - вопросы на spark(большая часть), python, airflow, sql, bash, немного по куберу
На python вопросы из серии неизменяемые изменяемые типы данных, что выведет код, магические методы, ООП, лямбда функции
По spark coalesce, repartition, shuffle, как распределяется память, кэширование, дают конкретные примеры, в рамках их порассуждать, structured streaming - какие операции там, и чем они от батчевых отличаются, spark monitoring
Sql - оконные и группировка, по отдельности и сравнения, как влияют индексы на бд, нормальные формы (сколько их, чем отличаются, какая на твой взгляд самая применимая), map reduce
Bash - простые команды типа cat, поиска по директории (директориям), команды для работы с k8s
Airflow - сенсоры, операторы, хуки. Самописные операторы если были

Практика:
Тебе дают два csv, надо с ними порешать несколько задачек, начиная от чтения и изменения схемы (типов, переименования столбцов), добавления, заканчивая джойнами и оконками, фильтры тоже мимо проходили
При этом тебе озвучивают потребность (что надо получить на выходе), а решение предлагаешь сам
Например посчитать пользователей у которых сумма пополнений за месяц больше чем средняя по всем пользователям
Или найти номера которые от одного пользователя переходили к другому (другим)
Всего 3-4 задачи по нарастающей по сложности.
Дальше был ещё фит с командой.

В каком я шоке, честно, говоря. Меня два HR просто заигнорили. Сначала общались, общались. Все ок.

У одной фриз, но у них маленькая инди компания на 50 человек, хотя я думаю, если напишу, ответит.

Вторая просто не отвечает. Висит у меня последнее сообщение ей, но я и не планирую писать ей. Один из админов ей потом напишет, который ищет работу, вдруг она его так не заигнорит.

Мне кажется что HR перестали просматривать резюме из-за большего количества людей, которые накручивают опыт в попытках выдать себя за сеньоров. И они не видят проблемы в поисках ИТ-специалистов. По историям, которые я слышу касательно как люди накручивали себе опыт и вели себя на собеседовании я в некотором шоке.

Всем кто начинает поиск желаю удачи, иначе никак.

Сегодня будет тяжёлый день, по итогам отпишусь, что как и куда двигаемся относительно Lakehouse.

Если конечно опять не выпаду и не заболею. Пока состояния 50/50.

А теперь объясните мне, как это вам пофиг на возраст, но в первом опросе всего лишь 1% голосов отдали в 40+?
Пояснение: Там же больше экспертов и Senior'ов, так еще и менеджмент есть.


Поясню по каждому варианту:
Молодой коллектив характерен агрессивной и продуктивной работой. Для них построение карьеры и изучение нового прежде всего, пока они не выгорают.
Плюсы:
- Готовы много изучать
- Готовы много работать
Минусы:
- Сложно контролировать
- Сложно управлять (Вспоминайте ретро с начинающими специалистами)

Коллектив 28-35 (Middle Age):
Плюсы:
- Уже изучили свою бизнес область
- Могут глубоко уйти в задачу
- Сосредоточены и ответственны
Минусы(для бизнеса):
- Переключаются с работы на личные интересы
- Ставят приоритетом семью вместо работы
- Не гонятся за большими целями.

Коллектив 40+:
Знаете, у меня пока стремный опыт взаимодействия с такими людьми:
Некоторые отбитые ИТшники с завышенной самооценкой.
Некоторые крутые ИТ-специалисты, но с ними сложно коммуницировать из-за их знаний. Они выше Senior'ных.
С другой стороны, они уже поняли что работа это лишь способ получения денежных средств и не более.
Не могу пока расписать плюсы и минусы.
Напишите кто то за меня в комментариях.

А может мне кто-то объяснить мне уже 3 нанимающий менеджер в разговоре про найм говорит, что у людей проблемы с SQL.
На разных позициях будь то DE, будь то DA.
Либо люди охуели и крутят как вне себя себе опыт, не зная ничего, либо люди разучились проходить собеседования, что мало вероятно.

И мне некоторые менеджеры говорят, ну вот у тебя неплохой SQL.
Ребят, у меня знания SQL очень очень базовое. Я не считаю себя прям крутым SQL разрабом.
Я знаю условно базу джоины, агрегаты, и т.д.
окошки и другие штуки знаю, но у меня опыта с ними немного.
А мне говорят что на собесах люди путаются в джоинах, не могут понять когда требуются применить окошки и решить задачу.

Извините меня, но если вы DE/DA и не знаете как использовать Lead/LAG, row_number и подаётесь на вакансию, где нужно много всяких агрегации считать и скользящих, то зачем вы тратите свое время и чужое?

Ну условно на тяжёлую задачу от Apple по SQL, потратить 30 минут норм, но когда вас спрашивают посчитать разницу между текущем и предыдущим значением, то у вас в голове должно быстро прийти решение и минут за 5 вы его должны предоставить.

Короче, что с наймом стало?

Наверное у многих возникает вопрос: А что я делаю на работе? За что платят $/€?

Отвечаю:
Одна из задач распилить приложение монолит и вынести Data сервисы отдельно. Спроектировать сервисы под аналитику, выбрать инфраструктуру. Так как сейчас задача стоит с минимальной задержкой делать агрегированные витрины с маркет датой выбрал для этого решения TimescaleDB, так как больше подходит под наши текущие потребности. Для History Data будем использовать Clickhouse для бэк тестинга идей.
Касательно сервисов: там нужно спроектировать пару запросов для расчета метрик с помощью ORM. Пока изучаю этот вопрос.

Про другие задачи касательно проектирование и реализации LakeHouse платформы уже знаете. Пока протестировали пару моментов, переписываю пару dbt моделей, для себя на будущее уже сделал заметку для быстрой миграции. Может пора делать конспект, подумаю.

Вакансия: LLM/AI Engineer
Компания: Arenadata
Предполагаемая вилка:
250к-1 млн рублей
Период собеседования:
-
Формат работы: Удаленная работа
Этапы собеседований:
HR -> -
Описание требований:
Требования к кандидатам
Как и всем сейчас нужны разработчики, которые будут делать LLM приложения. Для этого нужно уметь писать код на python и взаимодействовать с LLM.
Мы ждём, что вы:
Имеете опыт работы с Python от 3 лет, с LLM от 1 года;
Уверенно владеете Python, понимаете и применяли на практике принципы ООП, обладаете опытом написания чистого и поддерживаемого кода;
Обладаете знаниями SQL, опытом работы с базами данных;
Имеете опыт работы с фреймворками для разработки LLM-приложений: LangChain, LlamaIndex и др. или опыт работы с OpenAI API;
Имеете опыт в Prompt engineering и оптимизации взаимодействия с большими языковыми моделями.
Будет плюсом:
Понимание и опыт в LLM Agents/agentic approach в одном из фреймворков Langgraph/AutoGen/AG2/smolAgents/CrewAI etc.
Практический опыт разработки RAG. Работы с векторными/графовыми БД.
Практический опыт разработки диалоговых ассистентов/чат ботов.
Опыт оптимизации инференса LLM (сейчас vLLM, потенциально TensorRT+Triton).
Опыт в ML/NLP помимо LLM, знакомство с архитектурами трансформеров.

P. S. Есть у кого желание сходить? 😁

Я думал сходить на SWE, но не прохожу по количеству лет 😢

Пришло осознание что за счёт того что много вкатунов, которые ничего не знают и заваливают собесы, можно требовать больше за средние знания!
Stonks!

Криптобиржа Bybit взломана

В неизвестном направлении ушли $1.46 миллиарда в ETH (8% всех резервов ByBit).

Генеральный директор ByBit подтвердил это в своём аккаунте X, но отметил, что под атаку хакеров попал только один холодный кошелёк, принадлежащий компании.

Понимаю, что тематика моего канала другая, но вот интересная новость. Всегда помните что лучше хранить свои денежные средства на холодных кошельках, так же помните что в организации нужно относится к безопасности серьезно.

Добавил в курс по Clickhouse, python код ETL для загрузки данных из источника в таблицу Clickhouse,
планирую его дополнять в ближайшие время.
* Работа с очередями,
* Взаимодействие с Iceberg,
* Интеграции с s3
* Другое.

( Примерный срок по материалу до конца марта)

Так же напоминаю, что в него еще входит:

Clickhouse: Доступ: Клик

Навигация:
Моделирование DWH Clickhouse

Презентации:
Расширенная: Презентация
Основная: Презентация

Вопросы с собеседований:
5 вопросов.

Другие конспекты:
Apache Spark: Advanced
Greenplum
DWH+Hadoop+Kuber

Хотел подсветить совсем неочевидный момент, над которым некоторые не задумываются. (Обзор на Mac)

Когда ты уходишь из бигтеха и переходишь на работу по контракту, то большинство(98%) компаний не предоставляют вам технику для работы.
И тогда ты задумываешься как работать?

Сначала я начал работать с собственного компа, выделил отдельные папки, настроил проекты и так далее, но работать с компа неудобно, решил купить ноут.

Я долго думал какой ноут брать, но мне друзья сказали просто купи Macbook. Я раньше не пользовался Mac, у меня был прикольная корпоративная HPка.

Короче, обзор на Mac:
Сначала было сложно разобраться, но после тщательной настройки всего: IDE, Docker, остальных штук, стало удобно пользоваться. Единственное к чему я не привык, это тестировать новые вещи, поэтому весь R&D делаю на машине с Windows. Если у вас облачная инфра, то вообще сказка работать на Mac. DBT настраивается очень легко, а остальное вы взаимодействуете в браузере или в других штуках.


Для личного пользования Mac тоже очень удобен: смотреть фильмы, писать что-либо, смотреть статейки и т.д.

НО САМАЯ БОЛЬШАЯ ПРОБЛЕМА:
Это разделение работы и личного. Что на Mac, что на Windows. Мне пока тяжело дается это совмещать, но я выработал несколько правил:

* IDE используется исключительно для работы. Личных проектов нет.
* В качестве браузера и на Mac, и на Windows использую Google Chrome:
1. Есть разделение по профилям, которые позволяют разделить хранение личных и корпоративных паролей.
2. Разделение личного Github'а и рабочего Github'а.
3. Если у вас несколько проектов, то у вас будет несколько открытых браузеров с разным наполнением.
4. Помогает так же закрыть рабочие вкладки на выходные.

Думаю следующим этапом будет покупка внешнего диска с отдельной операционкой и разделением полностью рабочего пространства и личного.

Советую:
1. Под каждую новую компанию создавать новый Github на корпоративный Gmail компании.
2. Не использовать личную почту для взаимодействия.
3. Использовать Proton Mail для поиска работы
4. Google Auth использовать для авторизации
5. Завести отдельный телеграмм аккаунт для работы. ( Если кто-то знает как держать 5 аккаунтов, напишите мне)

На нескольких последних проектах менеджеры при виде что я собираюсь уходить или что у меня упала мотивация работать, начали меня мотивировать каким-то странными своими менеджерскими мотивациями.
В одной компании, в которой проработал несколько лет, при поднятии темы что я собираюсь свалить, зная что единственная мотивация к работе лежит через деньги и ничего больше заходила тема про то, что вот у нас новый проект. Мы его как менеджеры выбили, будет интересно и ты сможешь добавить в резюме новую строчку в виде нового проекта.

С этим они конечно были правы, после этого обновилось несколько строчек в резюме и надпись: i open to work.

Я высказывал свои опасения, что я уже не вижу какого-то развития в компании, если вы меня, как то останавливаете в росте до Tech Lead'а или выше. Мы это обсуждали из месяц в месяц на каждом 1to2, а так же затрагивали как может поменяться менеджмент задач в команде.
Под конец на очередном 1to2 сказал, что ребята я собираюсь менять работу и у меня вот два оффера на почти одну и ту же сумму. Сказал когда хотел бы уйти, прикинул 2 недели иии..... Они конечно были в шоке от озвученных сумм, особенно техлид. Product Owner сказала: "Конечно, мы такую сумму тебе не можем предложить, но летом при обязательном пересмотре мы планировали поднять тебе на 20%. (в оффере сумма была на 40-60% выше).
Я конечно подумал минуты 3-4 и сказал, что нет ребята, так не пойдет и ушел.

Помните, когда вам говорят что в вашем резюме что-то будет смотреться круто, это означает вам, возможно, стоит обновить это резюме сейчас.

С чем я до сих пор не могу смирится. Это с критикой.
С момента как я стал вести канал и публиковать вилки и вопросы с вакансиями, многие меня критиковали что формат плох,читать неинтересно, хотя я получал и позитивные отзывы о формате, что информация представленная в канале положительно влияет на "балансирования нагрузки её соискателей и компании. " Многие DE/DA специалисты начинают понимать сколько можно требовать, что спрашивают, какие ресурсы для поиска есть, какая динамика по рынку, да и просто пообсуждать как один из админов пишет свои истории с работы. Ведь представьте что вам нужно сначала пройти собеседование, а затем попробовать вспомнить и описать что было на собеседовании. (т.е. автором было суммарно потрачено >150 часов на звонки, переписки, фидбэки и прочее)

Так же когда я выкладывал конспекты свои по Spark'у, Greenplum, Clickhouse я понимал что этот материал реально полезен. Вы не представляете, как этот материал помогал при поиске и прохождению интервью несколько админам на разные должности: Senior DE, ETL Developer, Lead DE, Head of Data, Data Architect.

Мне ни раз говорили что за тот прайс, который ты это продаешь, это очень дешево для такого уровня материала. Я конечно понимал это и повысил цену до максимальной цены, которую я считаю приемлемой для конспекта.

Я слышал очень лестные отзывы что материал действительно хорош. Некоторые даже получили оффер на 400к цитируя его на собеседовании. Честно, я в шоке, что человек, который изучил весь конспект смог добиться такого результата и это очень круто! Представьте что вы потратили 10к суммарно на все конспекты и получили оффер, т.е. вы его окупите в первый свой рабочий день, которые вы потратите на подписание документов. Разве это не круто?

Но когда я получил такой отзыв: "Я пока так и не понял, за что я заплатил 50€ ... Инфы очень мало за такую сумму."
Я честно, сгорел. Человеку мало 150 слайдов, разборов вопросов с собеседований, примеров кода на Spark (не типичных, а с оптимизационными штуками). Такого просто в интернете нету. Да что там в интернете, такой код многие нынешние DE не пишут.

Мне даже друзья говорят: "Откуда у тебя силы на эти конспекты?" - Я не знаю...

Я хотел бы вам сказать одну вещь.

За все время работы DE я потратил:
70-80к - на общие курсы по DE. ( Проектирование DWH, Hadoop,Spark и прочее)
Организации на меня:
40к - на курсы по Apache Spark
14k - на различные курсы по Clickhouse. ( не включая крутых спецов, которые мне поясняли за работу Clickhouse)
бесценно, но организация выделила сотрудников, а так же я общался с сотрудниками на разные DE темы ( Тут можно сказать организация тратила на меня денежные средства чтобы я объяснял людям, как и что работает, а они тратили на меня свое время)

и еще много много часов на самостоятельное изучение различных источников....

И когда мне говорят что материал, который стоит по сути немного по сравнению с курсами, которые продаются другими образовательными школами, я честно в шоке.

Хотел бы на конец добавить статистику:
41 человека купили конспект по Clickhouse
60 человека купили конспект по Apache Spark
23 человека купили конспект по Greenplum.
Количество подтвержденных офферов: 2.

Я очень благодарен этим людям, которые купили конспект и поддержали меня.
Спасибо вам. Возможно благодаря этому я еще продолжаю вести канал.
А так иногда хочется нажать на кнопку удалить канал.


Я честно, не понимаю почему иногда труд обесценивается.

Может мне кто-то пояснить за DevOps'ов из Питера?

Что у вас за столица такая? Почему всех девопсов из Питера, которых я знаю работают на двух работах и они курят кальяны на звонках?