Сегодня я бы хотел сделать обзор Snowflake:
Знаете это такая штука, которая популярна в Европе и Америке для хранения данных в облаке. Она представляет из себя часть хранения и отдельно часть для Execution.
Ее очень любят использовать различные стартапы, средние компании, которые могут себе позволить платить очень много денег на инфраструктуру.
Я уже работаю с этой платформой уже 6 месяц и мы уже начали переезжать с неё на self-hosted машины.

Почему?

Потому что сидеть в Snowflake это очень дорого. В самом начале когда хранилище начиналось строится счет был маленьким, но после того как мы начали развивать хранилище счет значительно увеличился до 10к$ в месяц. (точнее, близится к этой цифре) Поэтому мы решили уйти от него.

Но вот что мне нравится в Snowflake:
1. Наличие Stream'ов. Представьте вы создаете подписку на таблицу и в случае удаления, добавления или иных action'ов, значение добавляется в этот стрим. Это CDC, который прям заложен в решение Snowflake. Короче, очень здорово.
2. Очень удобно работать с различными структурами: Удобно кастить значение через двоеточие, удобно доставать значения из JSON-файлов, удобно проводить любые аналитические исследования.
Короче, рай для аналитиков по сравнению с Clickhouse.
3. Можно быстро создать pipeline и из него создать RAW таблицу которая будет заполняться по появлению новых данных в S3 бакете.
4. Достаточно гибок в плане построение pipeline через DBT. Есть очень много фич, которые поддерживаются в нем. ( incremental стратегии, micro-батчи)

Минусы:
1. Очень слабое железо на стороне SW, на которые ты можешь повлиять исключительно увеличив свой тариф и Warehouse.
2. В случае если вам не хватает текущего Warehouse(железки), то у вас хранилище будет виснуть и долго обрабатывать ваши преобразования.

Там есть еще много других различных фичей, которые могут позволить вам развивать ваше хранилище. Dynamic Table, магазин инструментов and etc.
Можно еще добавить что Snowflake выходит дешевле чем Redshift на AWS. Про другие решения Google BigQuery, Databricks не подскажу, но скажу так, что Snowflake предоставляет самое легкое и поднимаемое хранилище среди остальных своих конкурентов.

Если вы работаете в какой-то крупной крипто-фирме, я думаю у вас не будет проблем с оплатой счетов доходящих до 100к$ в месяц, но если вы работаете в стартапе или средней конторе, пора задуматься о переходе на Lakehouse.

Извините,я не могу остановиться

Знаете, за много месяцев я стал чувствовать спокойнее.
Все таки работа в больших организациях заставляет вас нервничать.

Основные факторы я бы отметил:
1. Наличие постоянных Daily, Retro, Planning
- Вам кажется что вы живете в этом SCAM'е, который уже всем надоел. Постоянно из дня в день одни и те же звонки.
Одни и те же проблемы, одни и те же решения.
Решение:
1. Отказ от дейли
2. Перенесения планирования с команды на менеджмент
3. Ретро убираем, если оно у вас скучное.

Вы не представляете, как контактирование лишь по необходимости с специалистами облегчают работу.

2. Менеджеры придумавают Roadmap'ы, все куда-то идут, какие-то цели.
- Это тоже вызывает стресс. Это я наблюдал и у ребят, которые работали в Яндексах, VK и в других корпорациях.
Всех вынуждают работать для достижения цели, чтобы получить премию.
Да и вообще, когда большая часть зарплаты перекладывается в премию, это добавляет стресс по вашему ожидаемому доходу.

3. Менеджмент в некоторых корпорациях
Некоторые менеджеры обещают очень много ради того чтобы оправдать свою высокую зарплату, а потом в случае неудач или задержек перекладывают ответственность на сотрудников.
Таких менеджеров мало, но они есть. Они очень сильно манипулируют сознанием сотрудников. Если вам попался такой менеджер, то советую как можно быстрее покинуть рабочее место, иногда даже проще уволиться сразу одним днем.

4. Процессы
Тут сложно. Если вы работаете в большой корпорации, то вам будет не хватать хорошо выстроенных процессов, но если вы работаете в очень маленьких компашках/стартапах, вам будет пофиг на процессы. Точнее, здесь вы уже выстраиваете эти процессы и вам делаете как приятнее вам.

5. У вас всегда есть стабильное понимание сколько вы получите в следующем месяце. Стабильность вот это круто. Нет смысла думать вот а какая у меня будет премия, а сколько я получу. У вас есть четкая цифра в контракте и вы независимы от перфоманса вашей команды. Здесь только ваш личный перфоманс, который влияет на результат.

6. У вас есть задачи. Прозвучит возможно тупо, но только вдумайтесь что вы сидите без задач. Вам станет скучно спустя недели 2, я уверен. Но всегда, когда я работал в больших корпорациях можно было сделать задачи за 1-2 дня и не делать ничего по 2 недели. ПРОСТО НИЧЕГО, а тебе хочется. В больших корпорациях ребята, у которых эффективность выше, чем средняя по индустрии, сделав свои задачи переходят на параллельные задачи, которые мало принесут выгоду бизнесу, но принесут моральное удовлетворение специалисту. Беда в том, что и эти задачи заканчиваются и начинается просто тупо поддержка текущего решения и вам просто скучно и вы начинаете что-то искать новое на рынке, потому что задач внутри нет. И это тоже вносит дизмораль.


7. В больших корпорациях так же принято проходить различные Ассесменты, повышения, Индивидуальные планы развития и так далее. Это тоже влияет на ваше психологическое состояние.
Вроде вы уже крутой специалист, а внутри вас повысить не могут. Что за бред? Вас на рынке оценивают больше чем внутри. И из-за этого вам кажется что нет смысла работать и вы впадаете в депрессию.

Исключая факторы большой корпорации становится гораздо легче. Весь стресс создается на работе злоебучими процессами повышения и продвижениями, от которых каждому становится херово. Постоянная гонка за получение признания, достижения цели или самое печальное обесценивания вас как специалиста ведет в депрессию и приему лекарственных препаратов.

Короче, мои зеленые флаги такие, которые помогли мне найти хорошую работу без депрессии и неуверенности в своих силах:
1. Отсутствие ежедневных звонков. У меня два звонка в неделю сейчас по 15-30 минут.
2. Зарплата, которую я получаю ежемесячно.
3. Отсутствие явного Roadmap'а и прочей ненужной хуеты
4. Легкое общение с руководителем на одной волне и не надо оправдываться что я проспал или опоздал на звонок на 3 минуты. ( Я ПРОСПАЛ ЕДИНСТВЕННЫЙ ЗВОНОК С КОМАНДОЙ В НЕДЕЛЮ, ЧТО ВЫ ЗНАЕТЕ ПРО ОТВЕТСТВЕННОСТЬ)

Вакансия: Data Engineer (Middle+)
Компания: Билайн
Предполагаемая вилка: 230-280к запрос (260к оффер)
Период собеседования:
Лето 2024
Формат работы: Удаленная работа
Этапы собеседований:
HR -> Tech Interview (theory) -> Tech interview (Coding) -> фит собеседование -> Offer
Краткая справка о процессе интервью:
собеседование в две части - теория и практика, каждая по часу

Теория - вопросы на spark(большая часть), python, airflow, sql, bash, немного по куберу
На python вопросы из серии неизменяемые изменяемые типы данных, что выведет код, магические методы, ООП, лямбда функции
По spark coalesce, repartition, shuffle, как распределяется память, кэширование, дают конкретные примеры, в рамках их порассуждать, structured streaming - какие операции там, и чем они от батчевых отличаются, spark monitoring
Sql - оконные и группировка, по отдельности и сравнения, как влияют индексы на бд, нормальные формы (сколько их, чем отличаются, какая на твой взгляд самая применимая), map reduce
Bash - простые команды типа cat, поиска по директории (директориям), команды для работы с k8s
Airflow - сенсоры, операторы, хуки. Самописные операторы если были

Практика:
Тебе дают два csv, надо с ними порешать несколько задачек, начиная от чтения и изменения схемы (типов, переименования столбцов), добавления, заканчивая джойнами и оконками, фильтры тоже мимо проходили
При этом тебе озвучивают потребность (что надо получить на выходе), а решение предлагаешь сам
Например посчитать пользователей у которых сумма пополнений за месяц больше чем средняя по всем пользователям
Или найти номера которые от одного пользователя переходили к другому (другим)
Всего 3-4 задачи по нарастающей по сложности.
Дальше был ещё фит с командой.

В каком я шоке, честно, говоря. Меня два HR просто заигнорили. Сначала общались, общались. Все ок.

У одной фриз, но у них маленькая инди компания на 50 человек, хотя я думаю, если напишу, ответит.

Вторая просто не отвечает. Висит у меня последнее сообщение ей, но я и не планирую писать ей. Один из админов ей потом напишет, который ищет работу, вдруг она его так не заигнорит.

Мне кажется что HR перестали просматривать резюме из-за большего количества людей, которые накручивают опыт в попытках выдать себя за сеньоров. И они не видят проблемы в поисках ИТ-специалистов. По историям, которые я слышу касательно как люди накручивали себе опыт и вели себя на собеседовании я в некотором шоке.

Всем кто начинает поиск желаю удачи, иначе никак.

Сегодня будет тяжёлый день, по итогам отпишусь, что как и куда двигаемся относительно Lakehouse.

Если конечно опять не выпаду и не заболею. Пока состояния 50/50.

А теперь объясните мне, как это вам пофиг на возраст, но в первом опросе всего лишь 1% голосов отдали в 40+?
Пояснение: Там же больше экспертов и Senior'ов, так еще и менеджмент есть.


Поясню по каждому варианту:
Молодой коллектив характерен агрессивной и продуктивной работой. Для них построение карьеры и изучение нового прежде всего, пока они не выгорают.
Плюсы:
- Готовы много изучать
- Готовы много работать
Минусы:
- Сложно контролировать
- Сложно управлять (Вспоминайте ретро с начинающими специалистами)

Коллектив 28-35 (Middle Age):
Плюсы:
- Уже изучили свою бизнес область
- Могут глубоко уйти в задачу
- Сосредоточены и ответственны
Минусы(для бизнеса):
- Переключаются с работы на личные интересы
- Ставят приоритетом семью вместо работы
- Не гонятся за большими целями.

Коллектив 40+:
Знаете, у меня пока стремный опыт взаимодействия с такими людьми:
Некоторые отбитые ИТшники с завышенной самооценкой.
Некоторые крутые ИТ-специалисты, но с ними сложно коммуницировать из-за их знаний. Они выше Senior'ных.
С другой стороны, они уже поняли что работа это лишь способ получения денежных средств и не более.
Не могу пока расписать плюсы и минусы.
Напишите кто то за меня в комментариях.

А может мне кто-то объяснить мне уже 3 нанимающий менеджер в разговоре про найм говорит, что у людей проблемы с SQL.
На разных позициях будь то DE, будь то DA.
Либо люди охуели и крутят как вне себя себе опыт, не зная ничего, либо люди разучились проходить собеседования, что мало вероятно.

И мне некоторые менеджеры говорят, ну вот у тебя неплохой SQL.
Ребят, у меня знания SQL очень очень базовое. Я не считаю себя прям крутым SQL разрабом.
Я знаю условно базу джоины, агрегаты, и т.д.
окошки и другие штуки знаю, но у меня опыта с ними немного.
А мне говорят что на собесах люди путаются в джоинах, не могут понять когда требуются применить окошки и решить задачу.

Извините меня, но если вы DE/DA и не знаете как использовать Lead/LAG, row_number и подаётесь на вакансию, где нужно много всяких агрегации считать и скользящих, то зачем вы тратите свое время и чужое?

Ну условно на тяжёлую задачу от Apple по SQL, потратить 30 минут норм, но когда вас спрашивают посчитать разницу между текущем и предыдущим значением, то у вас в голове должно быстро прийти решение и минут за 5 вы его должны предоставить.

Короче, что с наймом стало?

Наверное у многих возникает вопрос: А что я делаю на работе? За что платят $/€?

Отвечаю:
Одна из задач распилить приложение монолит и вынести Data сервисы отдельно. Спроектировать сервисы под аналитику, выбрать инфраструктуру. Так как сейчас задача стоит с минимальной задержкой делать агрегированные витрины с маркет датой выбрал для этого решения TimescaleDB, так как больше подходит под наши текущие потребности. Для History Data будем использовать Clickhouse для бэк тестинга идей.
Касательно сервисов: там нужно спроектировать пару запросов для расчета метрик с помощью ORM. Пока изучаю этот вопрос.

Про другие задачи касательно проектирование и реализации LakeHouse платформы уже знаете. Пока протестировали пару моментов, переписываю пару dbt моделей, для себя на будущее уже сделал заметку для быстрой миграции. Может пора делать конспект, подумаю.

Вакансия: LLM/AI Engineer
Компания: Arenadata
Предполагаемая вилка:
250к-1 млн рублей
Период собеседования:
-
Формат работы: Удаленная работа
Этапы собеседований:
HR -> -
Описание требований:
Требования к кандидатам
Как и всем сейчас нужны разработчики, которые будут делать LLM приложения. Для этого нужно уметь писать код на python и взаимодействовать с LLM.
Мы ждём, что вы:
Имеете опыт работы с Python от 3 лет, с LLM от 1 года;
Уверенно владеете Python, понимаете и применяли на практике принципы ООП, обладаете опытом написания чистого и поддерживаемого кода;
Обладаете знаниями SQL, опытом работы с базами данных;
Имеете опыт работы с фреймворками для разработки LLM-приложений: LangChain, LlamaIndex и др. или опыт работы с OpenAI API;
Имеете опыт в Prompt engineering и оптимизации взаимодействия с большими языковыми моделями.
Будет плюсом:
Понимание и опыт в LLM Agents/agentic approach в одном из фреймворков Langgraph/AutoGen/AG2/smolAgents/CrewAI etc.
Практический опыт разработки RAG. Работы с векторными/графовыми БД.
Практический опыт разработки диалоговых ассистентов/чат ботов.
Опыт оптимизации инференса LLM (сейчас vLLM, потенциально TensorRT+Triton).
Опыт в ML/NLP помимо LLM, знакомство с архитектурами трансформеров.

P. S. Есть у кого желание сходить? 😁

Я думал сходить на SWE, но не прохожу по количеству лет 😢

Пришло осознание что за счёт того что много вкатунов, которые ничего не знают и заваливают собесы, можно требовать больше за средние знания!
Stonks!

Криптобиржа Bybit взломана

В неизвестном направлении ушли $1.46 миллиарда в ETH (8% всех резервов ByBit).

Генеральный директор ByBit подтвердил это в своём аккаунте X, но отметил, что под атаку хакеров попал только один холодный кошелёк, принадлежащий компании.

Понимаю, что тематика моего канала другая, но вот интересная новость. Всегда помните что лучше хранить свои денежные средства на холодных кошельках, так же помните что в организации нужно относится к безопасности серьезно.

Добавил в курс по Clickhouse, python код ETL для загрузки данных из источника в таблицу Clickhouse,
планирую его дополнять в ближайшие время.
* Работа с очередями,
* Взаимодействие с Iceberg,
* Интеграции с s3
* Другое.

( Примерный срок по материалу до конца марта)

Так же напоминаю, что в него еще входит:

Clickhouse: Доступ: Клик

Навигация:
Моделирование DWH Clickhouse

Презентации:
Расширенная: Презентация
Основная: Презентация

Вопросы с собеседований:
5 вопросов.

Другие конспекты:
Apache Spark: Advanced
Greenplum
DWH+Hadoop+Kuber

Хотел подсветить совсем неочевидный момент, над которым некоторые не задумываются. (Обзор на Mac)

Когда ты уходишь из бигтеха и переходишь на работу по контракту, то большинство(98%) компаний не предоставляют вам технику для работы.
И тогда ты задумываешься как работать?

Сначала я начал работать с собственного компа, выделил отдельные папки, настроил проекты и так далее, но работать с компа неудобно, решил купить ноут.

Я долго думал какой ноут брать, но мне друзья сказали просто купи Macbook. Я раньше не пользовался Mac, у меня был прикольная корпоративная HPка.

Короче, обзор на Mac:
Сначала было сложно разобраться, но после тщательной настройки всего: IDE, Docker, остальных штук, стало удобно пользоваться. Единственное к чему я не привык, это тестировать новые вещи, поэтому весь R&D делаю на машине с Windows. Если у вас облачная инфра, то вообще сказка работать на Mac. DBT настраивается очень легко, а остальное вы взаимодействуете в браузере или в других штуках.


Для личного пользования Mac тоже очень удобен: смотреть фильмы, писать что-либо, смотреть статейки и т.д.

НО САМАЯ БОЛЬШАЯ ПРОБЛЕМА:
Это разделение работы и личного. Что на Mac, что на Windows. Мне пока тяжело дается это совмещать, но я выработал несколько правил:

* IDE используется исключительно для работы. Личных проектов нет.
* В качестве браузера и на Mac, и на Windows использую Google Chrome:
1. Есть разделение по профилям, которые позволяют разделить хранение личных и корпоративных паролей.
2. Разделение личного Github'а и рабочего Github'а.
3. Если у вас несколько проектов, то у вас будет несколько открытых браузеров с разным наполнением.
4. Помогает так же закрыть рабочие вкладки на выходные.

Думаю следующим этапом будет покупка внешнего диска с отдельной операционкой и разделением полностью рабочего пространства и личного.

Советую:
1. Под каждую новую компанию создавать новый Github на корпоративный Gmail компании.
2. Не использовать личную почту для взаимодействия.
3. Использовать Proton Mail для поиска работы
4. Google Auth использовать для авторизации
5. Завести отдельный телеграмм аккаунт для работы. ( Если кто-то знает как держать 5 аккаунтов, напишите мне)

На нескольких последних проектах менеджеры при виде что я собираюсь уходить или что у меня упала мотивация работать, начали меня мотивировать каким-то странными своими менеджерскими мотивациями.
В одной компании, в которой проработал несколько лет, при поднятии темы что я собираюсь свалить, зная что единственная мотивация к работе лежит через деньги и ничего больше заходила тема про то, что вот у нас новый проект. Мы его как менеджеры выбили, будет интересно и ты сможешь добавить в резюме новую строчку в виде нового проекта.

С этим они конечно были правы, после этого обновилось несколько строчек в резюме и надпись: i open to work.

Я высказывал свои опасения, что я уже не вижу какого-то развития в компании, если вы меня, как то останавливаете в росте до Tech Lead'а или выше. Мы это обсуждали из месяц в месяц на каждом 1to2, а так же затрагивали как может поменяться менеджмент задач в команде.
Под конец на очередном 1to2 сказал, что ребята я собираюсь менять работу и у меня вот два оффера на почти одну и ту же сумму. Сказал когда хотел бы уйти, прикинул 2 недели иии..... Они конечно были в шоке от озвученных сумм, особенно техлид. Product Owner сказала: "Конечно, мы такую сумму тебе не можем предложить, но летом при обязательном пересмотре мы планировали поднять тебе на 20%. (в оффере сумма была на 40-60% выше).
Я конечно подумал минуты 3-4 и сказал, что нет ребята, так не пойдет и ушел.

Помните, когда вам говорят что в вашем резюме что-то будет смотреться круто, это означает вам, возможно, стоит обновить это резюме сейчас.