С чем я до сих пор не могу смирится. Это с критикой.
С момента как я стал вести канал и публиковать вилки и вопросы с вакансиями, многие меня критиковали что формат плох,читать неинтересно, хотя я получал и позитивные отзывы о формате, что информация представленная в канале положительно влияет на "балансирования нагрузки её соискателей и компании. " Многие DE/DA специалисты начинают понимать сколько можно требовать, что спрашивают, какие ресурсы для поиска есть, какая динамика по рынку, да и просто пообсуждать как один из админов пишет свои истории с работы. Ведь представьте что вам нужно сначала пройти собеседование, а затем попробовать вспомнить и описать что было на собеседовании. (т.е. автором было суммарно потрачено >150 часов на звонки, переписки, фидбэки и прочее)

Так же когда я выкладывал конспекты свои по Spark'у, Greenplum, Clickhouse я понимал что этот материал реально полезен. Вы не представляете, как этот материал помогал при поиске и прохождению интервью несколько админам на разные должности: Senior DE, ETL Developer, Lead DE, Head of Data, Data Architect.

Мне ни раз говорили что за тот прайс, который ты это продаешь, это очень дешево для такого уровня материала. Я конечно понимал это и повысил цену до максимальной цены, которую я считаю приемлемой для конспекта.

Я слышал очень лестные отзывы что материал действительно хорош. Некоторые даже получили оффер на 400к цитируя его на собеседовании. Честно, я в шоке, что человек, который изучил весь конспект смог добиться такого результата и это очень круто! Представьте что вы потратили 10к суммарно на все конспекты и получили оффер, т.е. вы его окупите в первый свой рабочий день, которые вы потратите на подписание документов. Разве это не круто?

Но когда я получил такой отзыв: "Я пока так и не понял, за что я заплатил 50€ ... Инфы очень мало за такую сумму."
Я честно, сгорел. Человеку мало 150 слайдов, разборов вопросов с собеседований, примеров кода на Spark (не типичных, а с оптимизационными штуками). Такого просто в интернете нету. Да что там в интернете, такой код многие нынешние DE не пишут.

Мне даже друзья говорят: "Откуда у тебя силы на эти конспекты?" - Я не знаю...

Я хотел бы вам сказать одну вещь.

За все время работы DE я потратил:
70-80к - на общие курсы по DE. ( Проектирование DWH, Hadoop,Spark и прочее)
Организации на меня:
40к - на курсы по Apache Spark
14k - на различные курсы по Clickhouse. ( не включая крутых спецов, которые мне поясняли за работу Clickhouse)
бесценно, но организация выделила сотрудников, а так же я общался с сотрудниками на разные DE темы ( Тут можно сказать организация тратила на меня денежные средства чтобы я объяснял людям, как и что работает, а они тратили на меня свое время)

и еще много много часов на самостоятельное изучение различных источников....

И когда мне говорят что материал, который стоит по сути немного по сравнению с курсами, которые продаются другими образовательными школами, я честно в шоке.

Хотел бы на конец добавить статистику:
41 человека купили конспект по Clickhouse
60 человека купили конспект по Apache Spark
23 человека купили конспект по Greenplum.
Количество подтвержденных офферов: 2.

Я очень благодарен этим людям, которые купили конспект и поддержали меня.
Спасибо вам. Возможно благодаря этому я еще продолжаю вести канал.
А так иногда хочется нажать на кнопку удалить канал.


Я честно, не понимаю почему иногда труд обесценивается.

Может мне кто-то пояснить за DevOps'ов из Питера?

Что у вас за столица такая? Почему всех девопсов из Питера, которых я знаю работают на двух работах и они курят кальяны на звонках?

На очередном проект мне пришлось внедрять dbt снова.
В этот раз делал интеграцию между dbt и TimescaleDB.
Немного поясню, что такое TimescaleDB - это плагин(extension) для PostgreSQL, который включает в себя инструментарий для работы с Time-series данными ( иначе говоря с финансовыми/ метрическими данными). У этой БД есть несколько своих особенностей, в которых пока я еще не до конца разобрался, но выделил уже те, которые мне точно пригодятся.

Отличительные особенности:
1. Наличие Hypertable таблиц. Они служат прежде всего для быстрого ingest'а time-series даты, которые могут сегментировать и разбивать данные на временные интервалы.
2. Continuous aggregates (непрерывные агрегаты) - это в принципе основное зачем нужно это расширение. Непрерывный агрегат это надстройка над mat.view, которая позволяет обновлять данные сегментно, не перестраивая полностью мат. представление без необходимости. Вы можете задать политики обновления этого представления и она автоматически будет добавлять новые данные сегментно (по частям).

Окей, хорошо мы поняли что такое TimescaleDB.

А что там по DBT?

Когда начал внедрять словил сразу пару странных моментов:
1. Во-первых, я словил ошибку, что он не находит мои функции, которые есть в extension TimescaleDB. Это я исправил добавив, search path

profile.yml
      schema: public
      search_path: "analytics, public"

2. Во-вторых, когда начал проектировать модель она начала жаловаться что нету обязательного поля bucket по которому можно агрегировать (добавил), после он мне запретил использовать некоторые функции попадающие по определению "HINT: Make sure all functions in the continuous aggregate definition have IMMUTABLE volatility. Note that functions or expressions may be IMMUTABLE for one data type, but STABLE or VOLATILE for another."
(примеры: last(), now() и прочие)

dbt
{{
  config(
    materialized='continuous_aggregate')
}}

SELECT
    count(1),
  analytics.time_bucket('1 hour', created_at) AS bucket
FROM hyper_table
GROUP BY bucket

После исправления, у меня все заработало.

В основном много потратил времени на поиск, как добавить search_path, чтобы функции вызывались корректно.

Дальше буду разбираться, как более эффективно хранить данные по сегментам, как динамически создавать material view на основе входящих параметров и прочего.

Вопрос:
В связи с изменением курса доллара/евро по отношению к рублю, вы так же привержены найти работу в валюте или успокоились касательно этого?
Курс доллара к рублю: 86,81

Хотел сразу отметить несколько моментов, чтобы люди понимали разницу:
1. Необходимо регистрировать ИП
2. Самостоятельно платить налоги с доходов
3. Находить пути регистрации и перевода денежных средств в Россию (ИП в Грузии, иные)
4. Отсутствие стабильности ( Вас могут уволить в любой момент согласно B2B контракту без выплаты окладов)
5. Отсутствие медицинской страховки
6. Отпускных дней, а так же больничных меньше.
7. Работа осуществляется по производственному календарю другой страны ( праздников меньше чем в РФ)

Если кому-то интересна вакансия: Market Data Engineer и вы знаете Go/Rust, могу вас рефнуть.
@noelsethink

Хватит крутить опыт или как это вредит ИТ:

Сегодня мой один знакомый техлид рассказал историю, как он пришел на проект, на котором уже был разраб, которого наняли до него.
Человек, который его нанимал не спрашивал его ничего и просто нанял посмотрев на резюме, так как ему нужен был работник на его in-house разработку.

После того как пришел техлид он понял, что перел ним Junior/middle- python/JS разраб, а проект является полностью сгенерированный ИИ работой. После этого он начал его рефакторить, а так же сделал Roadmap разработчику для изучение базы, чтобы джуна не уволили. Несмотря на эффективное изучение Roadmap и прохождения повторного собеседования, разработчика уволили и на его место наняли нормального мидла.

И вопрос следующий: Зачем авторы каналов мотивируют крутить опыт, обманывать нанимающих менеджеров/собственников бизнеса и обманом получать работу. НО сами они прошли путь от Junior разработчика до Senior разработчика без обмана. Почему они все равно говорят что нужно обманывать?

Да, в 2025 году сложно найти работу, но возможно. Для этого есть консалтинги, которые нанимают много людей на свои проекты и перепродают специалиста вкладывая в него свое время и деньги.

Дошло до того, когда ко мне приходит подписчик и спрашивает меня: Вот мое резюме, у меня 2-3 года опыта работы, подскажи стоит ли крутить. Я смотрю его резюме, и охуеваю зачем такому специалисту вообще что-то крутить. Смотрю на последнее место работы, а там задачи как для Senior'а, да местами можно кое-что поправить с формулировками, но это резюме точно успешно проходит фильтр.

Вы понимаете до чего мы дошли? До момента когда все хотят крутануть опыт, вы понимаете на сколько это бесполезно? Смотрят на скилл, а не на количество лет.
Если вы сегодня зарабатываете 150к и вы хотите завтра иметь 300к накрутив опыт, возможно у вас получится, но всегда при резком заработке вам становится сложнее работать. Не думайте что если вам сейчас платят x и вы ведете зарплату x*40%, то это не означает что там делают тоже самое что и вы сейчас.
Да, до 300к как будто все делают одно и тоже, но все что выше, там уже есть особенности.

Хватит крутить опыт, учитесь кодить, разворачивать инфру, не бегите туда куда легче всего устроится(отсылка на иннотех, сбер). Смотрите какие интересные проекты есть в больших корпорациях, учитесь там и после рассматриваете варианты ухода туда, где платят больше.

Будьте честны перед работодателями и перед самим собой. Соперничайте честно, или я приду и заберу все офферы себе на 7000$+

Компания: JetBrains
Позиция: Data Engineer AI
Вилка: неизвестно (Озвучено пожелания 5000евро грос)
Период собеседования:
Декабрь 2024
Формат работы: Гибрид (Офисы ЕС)
Этапы собеседований:
HR -> Tech Interview (theory) -> Tech Task (Coding) ->Tech Task Обсуждение). - И далее Culture Fit.

Краткая справка о процессе интервью:
Теория - вопросы на spark, python, sql, облака. Общие вопросы, не квиз. Рассказы о себе/опыте.

Tech Task (Coding) Практика:
1. Сделать архитектуру dwh для парсинга кода с Github. Обосновать выбраные решения/подходы.
2. Датасет c HugginFace, Сделать по нему near deduplication algorintm. Оформить в таск (Prefect). Написать Спарк джобы с deequ (который от aws).
Написать какие проверки для чего были выбраны.

На этапе Tech Task Обсуждение начали справшивать уже много теории/практики по spark. Завалился. Чувствовал что "Домашнее задание никто не смотрел" (там не просто по шаблону, а было немного нестандартных вещей). Обратной связи не было.

Я кажется нашел идеального HR. Время ответа 5 секунд😂

Тяжело одинокому российскому ИТшнику жить в Москве.
Давайте прикинем средние расходы Senior'a.

Съем квартиры в пределах садового кольца или в Сити:
2 комнатная квартира - 150к-250к в месяц

Машина в Москве не нужна, поэтому такси:
Бизнес/премиум - 60-80к в месяц

Еда и рестораны:
70к-120к в месяц

Здоровый образ жизни:
5к - абонемент в спортзал
25к -50к - личный тренер (5к в час)
8к - Креатин,протеин, витамины

Поездки и развлечения:
180-250к - горные лыжи, поездки в другие города, прочее.

10к в месяц - врачи

20к в месяц - на технику (ноут, телефон, прочее)

Шучу, шучу

Кто не понял отсылку, то вот.
Естественно нужно быть ебанутым чтобы тратить так много как в посте до этого.
У меня за этот месяц выйдет около 140к.

Когда приходишь к начальнику и просишь у него повысить свою зарплату, чаще всего получаешь отговорки, нежели прямое повышение сразу:

Менеджер сначала требует:
1. Пройти ассесмент ( допустим вы Middle и вы должны повысится до Senior)
2. Запросить обратную связь
3. Повысить ваши харды через ИПР
4. Достичь каких то результатов
5. Доказать ......

Ну вы уже поняли. Чаще всего просто уйти на более высокую зарплату гораздо проще, чем пытаться что-то выбить внутри. Но почему люди не уходят?
Одна CPO мне рассказала что можно очень глубоко манипулировать сотрудниками для привязывание их к компании, создавая эмоциональную привязанность к компании.
Я думал да ну бред какой-то. А на самом деле так иногда и работает, когда читаешь что люди возвели свою работу к культу достижений.
Сколько постов на Linkedin, сколько постов в телеграмме, сколько информации в больших корпорациях про успех, оценки команд и так далее.
И все на нервах из-за этого, все что то переживают (особенно в Яндексе).

Пора уже всем понять что "за что заплачено так и нахуячено". Вам платят за мнимую разработку что это принесет какую то выгоду. Самая главная выгода это если вы получаете за это достаточно денег, чтобы пойти вкусно покушать, ходить в крутые места для отдыха, да и в целом чувствовать себя комфортно. И если вам потом говорят: "Зачем тебе больше денег? У нас вот зато комфортно и больше ты сюда не сможешь вернуться." В ответ можно сказать: "Деньги мне нужны для существования. Че вы не видели кого брали?"

Увеличивая свой доход вы должны чувствовать себя комфортно, если вас доебывают на работе значит уходите с этого места. Существует множество работ, где вас не будут заебывать.

Самый действительный призыв к действию менеджера это показать оффер своему начальнику и сказать: "Давайте говорить о деньгах".
Большинство моих друзей так и делают. Я когда уходил с первой работы так делал, и последующие разы точно так же. Не знаю почему мне так не везет, но большинству моим друзьям предлагают оффер на ровне их нового оффера, но мне давали чуть ниже, поэтому я всегда выбирал уход.

Мой один коллега, который уже около 7-10 лет работает в одной компании каждый год выбивал себе деньги, так как обладал связями внутри компании, благодаря этому он мог решить множество проблем. И ему спокойно поднимали каждый год на 20-40% вилку, несмотря на то, что он переобучался с SQL -> Java и в моменте его знания соответствовали знанию мидла, но платили ему как Senior'у.

Наблюдаю что почти каждый день у меня появляются новые просмотры/репосты и реакции на старых постах. Количество просмотров бешенное.
Хотел бы немного подсветить о чем канал, чтобы как можно больше людей изучили рынок.
Канал посвящен прохождению интервью в различные компании в РФ и на зарубежном рынке.

На данный момент в канале предcтавлены ~150 интервью в различные компании:
1. Различный Big Tech: WB , Sber, SberHealth, СберТехнологии(Gigachat) , Яндекс , Яндекс Head , Ozon , МТС
2. Банки: Иннотех, Иннотех , Еще иннотех , Альфа Technical Leader , АК Барс
3. Различные компании: Газпром, RuTube
4. Зарубежные компании: Nebius (Яндекс), Qatar Insurance Company , Jetbrains , Jetbrains , Exness, Plata (Ex-tinkoff) , Salmon (ex-tinkoff Manila) ,
TON , Staking Facilities , Constructor
И многие другие...

Так же для тех кто любит почитать:
1. Как зарабатывают 1 млн в найме обычные Senior'ы и Middle?
2. Теория больших денег или как выбивать огромные ЗП:
Часть 2 и Часть 3
3. Статистика по собеседованиям : Отклики и конвертация в собесы
4. Зарплаты в ИТ в 2025 : опрос более 300 анкет

Консультации: условия

Блок Полезные ссылки для собеседований и работы:
Конспекты:
1. Apache Spark
2. Clickhouse
3. Greenplum
4. DWH+Hadoop+Kubernetes
5. Задачки с собесов
6. Lakehouse Conspects

Boost канала

Всем привет!

Запускаю снова моего бота. Определим в каких компаниях какие вилки.

Пройти опрос: @Get_RejectedBot

Опрос будет проводиться пару дней. После подведу итоги.
Должность указываем любую: (DE/ MLE/Product Analyst and DS)
Зарплата на руки - ваш среднемесячный доход с учетом премии

Финальный ответ должен быть: "Спасибо за участие в опросе!"
Для прохождения опроса по новой нужно restart нуть бота.
(/start)

Результаты будут анонимные:
1. В случае если по одной компании будет менее 3 анкет, то результат будет учтен только в средней по рынку.
2. В случае набора более 3 анкет по компании, будет сформирована вилка от и до.

Просьба сделать репост записи в другие сообщества для изучения ИТ рынка.

ОПРОС ЗАВЕРШЕН.

Определим в каких компаниях какие вилки вместе.
Должность указываем любую: (DE/ MLE/Product Analyst and DS)
Зарплата на руки - ваш среднемесячный доход с учетом премии

Финальный ответ должен быть: "Спасибо за участие в опросе!"
Для прохождения опроса по новой нужно restart нуть бота.
(/start)

Промежуточные результаты:
Ноябрь: 75
За 1 марта: 129 анкет
за 2 марта: 74 анкет
за 3 марта: 8 анкет
Итого: 286 анкет.


Пройти опрос: @Get_RejectedBot

Просьба распространить и заполнить, если вы еще этого не сделали.