Вакансия: LLM/AI Engineer
Компания: Arenadata
Предполагаемая вилка:
250к-1 млн рублей
Период собеседования:
-
Формат работы: Удаленная работа
Этапы собеседований:
HR -> -
Описание требований:
Требования к кандидатам
Как и всем сейчас нужны разработчики, которые будут делать LLM приложения. Для этого нужно уметь писать код на python и взаимодействовать с LLM.
Мы ждём, что вы:
Имеете опыт работы с Python от 3 лет, с LLM от 1 года;
Уверенно владеете Python, понимаете и применяли на практике принципы ООП, обладаете опытом написания чистого и поддерживаемого кода;
Обладаете знаниями SQL, опытом работы с базами данных;
Имеете опыт работы с фреймворками для разработки LLM-приложений: LangChain, LlamaIndex и др. или опыт работы с OpenAI API;
Имеете опыт в Prompt engineering и оптимизации взаимодействия с большими языковыми моделями.
Будет плюсом:
Понимание и опыт в LLM Agents/agentic approach в одном из фреймворков Langgraph/AutoGen/AG2/smolAgents/CrewAI etc.
Практический опыт разработки RAG. Работы с векторными/графовыми БД.
Практический опыт разработки диалоговых ассистентов/чат ботов.
Опыт оптимизации инференса LLM (сейчас vLLM, потенциально TensorRT+Triton).
Опыт в ML/NLP помимо LLM, знакомство с архитектурами трансформеров.

P. S. Есть у кого желание сходить? 😁

Я думал сходить на SWE, но не прохожу по количеству лет 😢

Пришло осознание что за счёт того что много вкатунов, которые ничего не знают и заваливают собесы, можно требовать больше за средние знания!
Stonks!

Криптобиржа Bybit взломана

В неизвестном направлении ушли $1.46 миллиарда в ETH (8% всех резервов ByBit).

Генеральный директор ByBit подтвердил это в своём аккаунте X, но отметил, что под атаку хакеров попал только один холодный кошелёк, принадлежащий компании.

Понимаю, что тематика моего канала другая, но вот интересная новость. Всегда помните что лучше хранить свои денежные средства на холодных кошельках, так же помните что в организации нужно относится к безопасности серьезно.

Добавил в курс по Clickhouse, python код ETL для загрузки данных из источника в таблицу Clickhouse,
планирую его дополнять в ближайшие время.
* Работа с очередями,
* Взаимодействие с Iceberg,
* Интеграции с s3
* Другое.

( Примерный срок по материалу до конца марта)

Так же напоминаю, что в него еще входит:

Clickhouse: Доступ: Клик

Навигация:
Моделирование DWH Clickhouse

Презентации:
Расширенная: Презентация
Основная: Презентация

Вопросы с собеседований:
5 вопросов.

Другие конспекты:
Apache Spark: Advanced
Greenplum
DWH+Hadoop+Kuber

Хотел подсветить совсем неочевидный момент, над которым некоторые не задумываются. (Обзор на Mac)

Когда ты уходишь из бигтеха и переходишь на работу по контракту, то большинство(98%) компаний не предоставляют вам технику для работы.
И тогда ты задумываешься как работать?

Сначала я начал работать с собственного компа, выделил отдельные папки, настроил проекты и так далее, но работать с компа неудобно, решил купить ноут.

Я долго думал какой ноут брать, но мне друзья сказали просто купи Macbook. Я раньше не пользовался Mac, у меня был прикольная корпоративная HPка.

Короче, обзор на Mac:
Сначала было сложно разобраться, но после тщательной настройки всего: IDE, Docker, остальных штук, стало удобно пользоваться. Единственное к чему я не привык, это тестировать новые вещи, поэтому весь R&D делаю на машине с Windows. Если у вас облачная инфра, то вообще сказка работать на Mac. DBT настраивается очень легко, а остальное вы взаимодействуете в браузере или в других штуках.


Для личного пользования Mac тоже очень удобен: смотреть фильмы, писать что-либо, смотреть статейки и т.д.

НО САМАЯ БОЛЬШАЯ ПРОБЛЕМА:
Это разделение работы и личного. Что на Mac, что на Windows. Мне пока тяжело дается это совмещать, но я выработал несколько правил:

* IDE используется исключительно для работы. Личных проектов нет.
* В качестве браузера и на Mac, и на Windows использую Google Chrome:
1. Есть разделение по профилям, которые позволяют разделить хранение личных и корпоративных паролей.
2. Разделение личного Github'а и рабочего Github'а.
3. Если у вас несколько проектов, то у вас будет несколько открытых браузеров с разным наполнением.
4. Помогает так же закрыть рабочие вкладки на выходные.

Думаю следующим этапом будет покупка внешнего диска с отдельной операционкой и разделением полностью рабочего пространства и личного.

Советую:
1. Под каждую новую компанию создавать новый Github на корпоративный Gmail компании.
2. Не использовать личную почту для взаимодействия.
3. Использовать Proton Mail для поиска работы
4. Google Auth использовать для авторизации
5. Завести отдельный телеграмм аккаунт для работы. ( Если кто-то знает как держать 5 аккаунтов, напишите мне)

На нескольких последних проектах менеджеры при виде что я собираюсь уходить или что у меня упала мотивация работать, начали меня мотивировать каким-то странными своими менеджерскими мотивациями.
В одной компании, в которой проработал несколько лет, при поднятии темы что я собираюсь свалить, зная что единственная мотивация к работе лежит через деньги и ничего больше заходила тема про то, что вот у нас новый проект. Мы его как менеджеры выбили, будет интересно и ты сможешь добавить в резюме новую строчку в виде нового проекта.

С этим они конечно были правы, после этого обновилось несколько строчек в резюме и надпись: i open to work.

Я высказывал свои опасения, что я уже не вижу какого-то развития в компании, если вы меня, как то останавливаете в росте до Tech Lead'а или выше. Мы это обсуждали из месяц в месяц на каждом 1to2, а так же затрагивали как может поменяться менеджмент задач в команде.
Под конец на очередном 1to2 сказал, что ребята я собираюсь менять работу и у меня вот два оффера на почти одну и ту же сумму. Сказал когда хотел бы уйти, прикинул 2 недели иии..... Они конечно были в шоке от озвученных сумм, особенно техлид. Product Owner сказала: "Конечно, мы такую сумму тебе не можем предложить, но летом при обязательном пересмотре мы планировали поднять тебе на 20%. (в оффере сумма была на 40-60% выше).
Я конечно подумал минуты 3-4 и сказал, что нет ребята, так не пойдет и ушел.

Помните, когда вам говорят что в вашем резюме что-то будет смотреться круто, это означает вам, возможно, стоит обновить это резюме сейчас.

С чем я до сих пор не могу смирится. Это с критикой.
С момента как я стал вести канал и публиковать вилки и вопросы с вакансиями, многие меня критиковали что формат плох,читать неинтересно, хотя я получал и позитивные отзывы о формате, что информация представленная в канале положительно влияет на "балансирования нагрузки её соискателей и компании. " Многие DE/DA специалисты начинают понимать сколько можно требовать, что спрашивают, какие ресурсы для поиска есть, какая динамика по рынку, да и просто пообсуждать как один из админов пишет свои истории с работы. Ведь представьте что вам нужно сначала пройти собеседование, а затем попробовать вспомнить и описать что было на собеседовании. (т.е. автором было суммарно потрачено >150 часов на звонки, переписки, фидбэки и прочее)

Так же когда я выкладывал конспекты свои по Spark'у, Greenplum, Clickhouse я понимал что этот материал реально полезен. Вы не представляете, как этот материал помогал при поиске и прохождению интервью несколько админам на разные должности: Senior DE, ETL Developer, Lead DE, Head of Data, Data Architect.

Мне ни раз говорили что за тот прайс, который ты это продаешь, это очень дешево для такого уровня материала. Я конечно понимал это и повысил цену до максимальной цены, которую я считаю приемлемой для конспекта.

Я слышал очень лестные отзывы что материал действительно хорош. Некоторые даже получили оффер на 400к цитируя его на собеседовании. Честно, я в шоке, что человек, который изучил весь конспект смог добиться такого результата и это очень круто! Представьте что вы потратили 10к суммарно на все конспекты и получили оффер, т.е. вы его окупите в первый свой рабочий день, которые вы потратите на подписание документов. Разве это не круто?

Но когда я получил такой отзыв: "Я пока так и не понял, за что я заплатил 50€ ... Инфы очень мало за такую сумму."
Я честно, сгорел. Человеку мало 150 слайдов, разборов вопросов с собеседований, примеров кода на Spark (не типичных, а с оптимизационными штуками). Такого просто в интернете нету. Да что там в интернете, такой код многие нынешние DE не пишут.

Мне даже друзья говорят: "Откуда у тебя силы на эти конспекты?" - Я не знаю...

Я хотел бы вам сказать одну вещь.

За все время работы DE я потратил:
70-80к - на общие курсы по DE. ( Проектирование DWH, Hadoop,Spark и прочее)
Организации на меня:
40к - на курсы по Apache Spark
14k - на различные курсы по Clickhouse. ( не включая крутых спецов, которые мне поясняли за работу Clickhouse)
бесценно, но организация выделила сотрудников, а так же я общался с сотрудниками на разные DE темы ( Тут можно сказать организация тратила на меня денежные средства чтобы я объяснял людям, как и что работает, а они тратили на меня свое время)

и еще много много часов на самостоятельное изучение различных источников....

И когда мне говорят что материал, который стоит по сути немного по сравнению с курсами, которые продаются другими образовательными школами, я честно в шоке.

Хотел бы на конец добавить статистику:
41 человека купили конспект по Clickhouse
60 человека купили конспект по Apache Spark
23 человека купили конспект по Greenplum.
Количество подтвержденных офферов: 2.

Я очень благодарен этим людям, которые купили конспект и поддержали меня.
Спасибо вам. Возможно благодаря этому я еще продолжаю вести канал.
А так иногда хочется нажать на кнопку удалить канал.


Я честно, не понимаю почему иногда труд обесценивается.

Может мне кто-то пояснить за DevOps'ов из Питера?

Что у вас за столица такая? Почему всех девопсов из Питера, которых я знаю работают на двух работах и они курят кальяны на звонках?

На очередном проект мне пришлось внедрять dbt снова.
В этот раз делал интеграцию между dbt и TimescaleDB.
Немного поясню, что такое TimescaleDB - это плагин(extension) для PostgreSQL, который включает в себя инструментарий для работы с Time-series данными ( иначе говоря с финансовыми/ метрическими данными). У этой БД есть несколько своих особенностей, в которых пока я еще не до конца разобрался, но выделил уже те, которые мне точно пригодятся.

Отличительные особенности:
1. Наличие Hypertable таблиц. Они служат прежде всего для быстрого ingest'а time-series даты, которые могут сегментировать и разбивать данные на временные интервалы.
2. Continuous aggregates (непрерывные агрегаты) - это в принципе основное зачем нужно это расширение. Непрерывный агрегат это надстройка над mat.view, которая позволяет обновлять данные сегментно, не перестраивая полностью мат. представление без необходимости. Вы можете задать политики обновления этого представления и она автоматически будет добавлять новые данные сегментно (по частям).

Окей, хорошо мы поняли что такое TimescaleDB.

А что там по DBT?

Когда начал внедрять словил сразу пару странных моментов:
1. Во-первых, я словил ошибку, что он не находит мои функции, которые есть в extension TimescaleDB. Это я исправил добавив, search path

profile.yml
      schema: public
      search_path: "analytics, public"

2. Во-вторых, когда начал проектировать модель она начала жаловаться что нету обязательного поля bucket по которому можно агрегировать (добавил), после он мне запретил использовать некоторые функции попадающие по определению "HINT: Make sure all functions in the continuous aggregate definition have IMMUTABLE volatility. Note that functions or expressions may be IMMUTABLE for one data type, but STABLE or VOLATILE for another."
(примеры: last(), now() и прочие)

dbt
{{
  config(
    materialized='continuous_aggregate')
}}

SELECT
    count(1),
  analytics.time_bucket('1 hour', created_at) AS bucket
FROM hyper_table
GROUP BY bucket

После исправления, у меня все заработало.

В основном много потратил времени на поиск, как добавить search_path, чтобы функции вызывались корректно.

Дальше буду разбираться, как более эффективно хранить данные по сегментам, как динамически создавать material view на основе входящих параметров и прочего.

Вопрос:
В связи с изменением курса доллара/евро по отношению к рублю, вы так же привержены найти работу в валюте или успокоились касательно этого?
Курс доллара к рублю: 86,81

Хотел сразу отметить несколько моментов, чтобы люди понимали разницу:
1. Необходимо регистрировать ИП
2. Самостоятельно платить налоги с доходов
3. Находить пути регистрации и перевода денежных средств в Россию (ИП в Грузии, иные)
4. Отсутствие стабильности ( Вас могут уволить в любой момент согласно B2B контракту без выплаты окладов)
5. Отсутствие медицинской страховки
6. Отпускных дней, а так же больничных меньше.
7. Работа осуществляется по производственному календарю другой страны ( праздников меньше чем в РФ)

Если кому-то интересна вакансия: Market Data Engineer и вы знаете Go/Rust, могу вас рефнуть.
@noelsethink

Хватит крутить опыт или как это вредит ИТ:

Сегодня мой один знакомый техлид рассказал историю, как он пришел на проект, на котором уже был разраб, которого наняли до него.
Человек, который его нанимал не спрашивал его ничего и просто нанял посмотрев на резюме, так как ему нужен был работник на его in-house разработку.

После того как пришел техлид он понял, что перел ним Junior/middle- python/JS разраб, а проект является полностью сгенерированный ИИ работой. После этого он начал его рефакторить, а так же сделал Roadmap разработчику для изучение базы, чтобы джуна не уволили. Несмотря на эффективное изучение Roadmap и прохождения повторного собеседования, разработчика уволили и на его место наняли нормального мидла.

И вопрос следующий: Зачем авторы каналов мотивируют крутить опыт, обманывать нанимающих менеджеров/собственников бизнеса и обманом получать работу. НО сами они прошли путь от Junior разработчика до Senior разработчика без обмана. Почему они все равно говорят что нужно обманывать?

Да, в 2025 году сложно найти работу, но возможно. Для этого есть консалтинги, которые нанимают много людей на свои проекты и перепродают специалиста вкладывая в него свое время и деньги.

Дошло до того, когда ко мне приходит подписчик и спрашивает меня: Вот мое резюме, у меня 2-3 года опыта работы, подскажи стоит ли крутить. Я смотрю его резюме, и охуеваю зачем такому специалисту вообще что-то крутить. Смотрю на последнее место работы, а там задачи как для Senior'а, да местами можно кое-что поправить с формулировками, но это резюме точно успешно проходит фильтр.

Вы понимаете до чего мы дошли? До момента когда все хотят крутануть опыт, вы понимаете на сколько это бесполезно? Смотрят на скилл, а не на количество лет.
Если вы сегодня зарабатываете 150к и вы хотите завтра иметь 300к накрутив опыт, возможно у вас получится, но всегда при резком заработке вам становится сложнее работать. Не думайте что если вам сейчас платят x и вы ведете зарплату x*40%, то это не означает что там делают тоже самое что и вы сейчас.
Да, до 300к как будто все делают одно и тоже, но все что выше, там уже есть особенности.

Хватит крутить опыт, учитесь кодить, разворачивать инфру, не бегите туда куда легче всего устроится(отсылка на иннотех, сбер). Смотрите какие интересные проекты есть в больших корпорациях, учитесь там и после рассматриваете варианты ухода туда, где платят больше.

Будьте честны перед работодателями и перед самим собой. Соперничайте честно, или я приду и заберу все офферы себе на 7000$+

Компания: JetBrains
Позиция: Data Engineer AI
Вилка: неизвестно (Озвучено пожелания 5000евро грос)
Период собеседования:
Декабрь 2024
Формат работы: Гибрид (Офисы ЕС)
Этапы собеседований:
HR -> Tech Interview (theory) -> Tech Task (Coding) ->Tech Task Обсуждение). - И далее Culture Fit.

Краткая справка о процессе интервью:
Теория - вопросы на spark, python, sql, облака. Общие вопросы, не квиз. Рассказы о себе/опыте.

Tech Task (Coding) Практика:
1. Сделать архитектуру dwh для парсинга кода с Github. Обосновать выбраные решения/подходы.
2. Датасет c HugginFace, Сделать по нему near deduplication algorintm. Оформить в таск (Prefect). Написать Спарк джобы с deequ (который от aws).
Написать какие проверки для чего были выбраны.

На этапе Tech Task Обсуждение начали справшивать уже много теории/практики по spark. Завалился. Чувствовал что "Домашнее задание никто не смотрел" (там не просто по шаблону, а было немного нестандартных вещей). Обратной связи не было.

Я кажется нашел идеального HR. Время ответа 5 секунд😂

Тяжело одинокому российскому ИТшнику жить в Москве.
Давайте прикинем средние расходы Senior'a.

Съем квартиры в пределах садового кольца или в Сити:
2 комнатная квартира - 150к-250к в месяц

Машина в Москве не нужна, поэтому такси:
Бизнес/премиум - 60-80к в месяц

Еда и рестораны:
70к-120к в месяц

Здоровый образ жизни:
5к - абонемент в спортзал
25к -50к - личный тренер (5к в час)
8к - Креатин,протеин, витамины

Поездки и развлечения:
180-250к - горные лыжи, поездки в другие города, прочее.

10к в месяц - врачи

20к в месяц - на технику (ноут, телефон, прочее)

Шучу, шучу