Кремниевые читеры кругом
#genai #coolstorybob

В контексте двух постов выше: встал я в 6:30, рулю себе в Утрехт, поля, солнышко, красота. Демка готова, все потестил. Часть демки – агент NL2SQL, спрашиваешь у него что-нибудь, он идет в BigQuery, сиквелом тащит данные и отвечает. Локально все работало, вечером тестил и в нашей агентской системе, на паре запросов сработало, на полноценные тесты с ковырянием продакшн-логов времени не было (ну вы поняли, к чему я).

Утром перед воркшопом смотрю, чет агент ругается на аутентификацию в BigQuery. Хотя ровно с теми же запросами (типа "покажи 5 самых популярных стран в таблице") накануне вечером все было норм. Убедился, что auth и правда не работает. Как же агент до этого отвечал?

И что же наш кремниевый пиздабол придумал?

Не сумев залогиниться в BigQuery, агент написал очень правдоподобный неработающий SQL (все по синтаксису норм, только селект из датасета, а не таблицы), на щщях заявил, что исполнил SQL, в деталях пояснил за синтаксис и выдал ответ: самые популярные – США, Китай, Германия, Япония и Франция. И ведь 4 из 5 угадал, упырь, только с Францией промахнулся.

Благо, это всего первая демка, а не закрытие проекта и пофиксим, конечно (хотя жду коменты про skill issue), но наподобие артефактам с оптимизируемой функцией в RL, интересно следить за тем, как агенты выкручиваются. В целом мы зачастую так же домашки и зачеты сдавали на физтехе, так что если не пхд, то student-level intelligence уже виднеется.

И удачи нам всем с агентами в проде 😳 (VibeOps, как это окрестил мой неназванный друг Вадим). К дискуссии выше о том, когда оно нас всех заменит

Data Engineering Design Patterns 📚

Пока все читают DDIA и Fundamentals of Data Engineering, есть один must-have для дата инженеров, про который не все знают.

Книга Data Engineering Design Patterns от Bartosz Konieczny -🏆 абсолютный топ для подготовки к Data System Design Interview и просто отличное дополнение к базе.

Я всё ещё в процессе чтения, но уже точно в список рекоммендаций у меня

⚡️ Какие data patterns обсуждаются внутри:

- Data Ingestion (event-driven, incremental, data readiness…)
- Error Management (Late Data, Filtering, Fault tolerance…)
- Idempotency (immutable dataset, transactional writer…)
- Data Value (Enrichment, Aggregation, Decoration…)
- Data Flow (Fan-In, Fan-Out)
- Data Security
- Data Storage (Partitioning, Performance Optimizer)
- Data Quality (и куда уж без WAP-паттерна ❤️)
- Data Observability (Skew, Lag detector…)

Иногда паттерн расписан так, что хочется взять и повайбкодить прямо сейчас 😂

📘 Было бы круто собрать книжный клуб по ней. Если кто-то уже делает или хочет - пинганите.

К чему же этот пост - тут раздают бесплатную электронную версию.

🔥 Спасибо за наводку каналу @data_engi

Как Nik в AI-стартап собесился 🔼

Возвращаем любимую рубрику читателей!

Работу я, конечно, не ищу (ага, посмотрим на февральские деньки aka перф ревью 👨‍🦳). Но тут внезапно написал стартап - делают диффузионки и Image Gen для профи (дизайнеры, иллюстраторы и все такое). Название думаю сами распарсили 😄

Роль звучала оч забавно - Data Analyst with Engineering focus. На деле - Foundational Data/Analytics Engineer: с нуля строить дата-ландшафт, чтобы у аналитика были не только бекэндеры для датки 😂.

Этапы

HR interview ☎️
Стандартный скрининг. Но у стартапов HR - это уже pitch deck, так что можно сразу узнать инсайды на уровне развития компании

Live Coding 👨‍💻
SQL + Python с аналитиком. Около LeetCode но, с подумать над парсингом задаче в структуре данных. В питоне дали задачку уровня medium, но с условием на матожидание (которую я благополучно забыл с универа). Честно сказал: «ребят, я тут не с вшэ, так что хз 😃». В итоге дали подсказку и не минуснули за это. SQL был плюс-минус стандарт.

Из забавного, самое сложное для меня было писать код на питоне, я за полгода реально забыл как писать бойлерплейт из-за кодогенерации 😡

Data System Design 🌺
С техлидом бэка. Не классическое «рисуем квадратики», а кейс «как из Analytics Platform A переехать в B, если ты стартап но делаем все на open source.. Получилось в стиле: я рассказываю, как я бы делал, получилось интересно, много про стриминг поболтали

Experience interview 👉
С тем же аналитиком и Chief of Staff. Разговор про демократизацию аналитики и «как не быть узким горлышком» (спойлер: AI + обвязочки всего). Половина behavioural, половина про задачи

Final interview 🧑‍💼
CEO + analyst. Тут внезапно выяснилось, что скоуп задач уже поменялся 😺: вместо DWH для аналитики идем в сбор метрик и улучшение моделей, что в целом имело смысл. Ну, классика стартапа - пока ты общаешься с ними, компания успела pivotнуть три раза (но правда в корпоратах можно и реоргнуться раза три за год 🫡)

Итог 🏁
Оффер дали (по локал UK рынку я бы сказал очень хорошо, >= t2 точно). Но кек тоже был: роль назвали analyst developer, а при 30+ людях у них было 6+ грейдов (вайбы какой компании почувствовали? 🙂).

Компания похоже огонь, задачи топ, процесс тоже не вызвал бугурта, но работать надо было бы реально много (ну GenAI все-таки, у нас тут по индустрии 996). В итоге отказался. Но будь это полгода назад - залетел бы без вопросов, а потом писал бы тут посты "я опять безработный, но зато опыт 😅".

Access Agents + метаданные: как разрулить доступ в огромном Lakehouse

TL;DR

В статье и докладе Meta описывает мультиагентную систему:

- Data User Agents 🧑 - ускоряют получение доступа пользователями (вплоть до «частичного» предпросмотра для чувствительных данных).
- Data Owner Agents 🤖 - автоматизируют управление доступом от лица владельцев сущностей и соблюдают политики доступа.
- Orchestrator Agent 🌺 - управление переговорами между агентами и обработка принятого решения

В видео говорится, что система настроена консервативно: при сомнительных кейсах доступ не выдаётся автоматически. При этом более 70% запросов обрабатывается без вовлечения владельцев данных.

Где посмотреть? 🎦

Видео - https://www.youtube.com/watch?v=qT1Il-pzQGQ

Статья - https://engineering.fb.com/2025/08/13/data-infrastructure/agentic-solution-for-warehouse-data-access/

Зачем? 👍

Цель - демократизировать доступ к данным. Если в стартапах/scale-up ручные аппрувы и простые эвристики (а-ля «дай данные по каталогу сотрудников») ещё работают, то на масштабе бигтеха нужно риск-ориентированное принятие решений.

Идея такая: с обеих сторон работают агенты, и они принимают решение на основе набора сигналов и их весов.

Со стороны датасета: тип и назначение данных, политика изменений, критичность и конфиденциальность, частота обновлений, примеры запросов.

Со стороны пользователя/ИИ-агента: детали юзкейса, информация о сотруднике/роли, требуемая скорость и критичность доступа, плюс анализ шаблонов запросов.Дополнительно ведётся постоянный мониторинг актуальности метаданных и самих решений.

Как проверять 🙆(near real-time/microbatch), оценивать качество и держать деградации под контролем?
- Risk-score модель для принятия решения.
- Валидация решения: прогон на эталонном наборе. Одного раза недостаточно - нужна защита от деградаций агента во времени.
- Контроль качества: ведутся trace-логи; по ним можно выборочно перепроверять решения, разбирать corner cases и повышать долю автоматизации.
- Human-in-the-loop: быстрые апелляции и фидбек владельцев данных возвращаются в evals и обучающую петлю (data flywheel).

Выводы 🔼
Как по мне (да, я слегка biased 😅), это неплохой пример успешного применения агентов для внутренних процессов. Система существенно ускоряет доступ в большинстве кейсов и при этом не превращает on-call в хаос.

А как выдают доступ в ваших компаниях?

Митап провели! 🙂

Нас немного подставил zoom, поэтому начали с задержкой =)

Записи митапа доступны - https://www.youtube.com/playlist?list=PLC92034l7MRzKV-M0lmVQMbKwmFPLth39

⚡️ По спикерам:

1. Павел Рословец — Почему мы перешли на микробатчи dbt

Интересный рассказ про использование микробатчей, их недостатки в текущей версии и как боролись с overlapping windows 🔼

2. Никита Юрасов — Жизнь после dbt: как строить DWH с SQLMesh

Очень кртой обзор sqlmesh с платформенной точки зрения, захотелось поставить и постресстестить после доклада 😃

3. Александр Клейн — Как построить данные, которым доверяют?

Продолжение серий рассказов про метаданные от Александра. От cбора метрик до ИИ интерфейса. Посмотрим, как их ИИ агент будет работать через полгода 👍

4. Nik B — Архитектор хаоса: роль Data Engineer в GenAI реальности

Я, как оказалось, выпал из 40 минут и час рассказывал про мой опыт работы с GenAI последнее время и наблюдения, как это поменяет дата инженерные задачи. Получилось сумбурно, но надеюсь интересно 😺

Ничто не тешит самолюбие так, как линкедин 😂

Что ж, будем готовиться покорять новый олимп 👍

Berkeley начали новую версию курса по Agentic MOOC - https://www.youtube.com/watch?v=r1qZpYAmqmg&list=PLS01nW3RtgoqGkm4UeqNeZLccW-OGc1fJ

Тут, можно еще посмотреть предыдущие потоки -

https://www.youtube.com/watch?v=QAgR4uQ15rc&list=PLS01nW3RtgopsNLeM936V4TNSsvvVglLc

https://www.youtube.com/watch?v=ti6yPE2VPZc&list=PLS01nW3RtgorL3AW8REU9nGkzhvtn6Egn


А у CMU DB в разгаре осенний курс по DB с Andy Pavlo - https://youtube.com/playlist?list=PLSE8ODhjZXjYMAgsGH-GtY5rJYZ6zjsd5&si=ilVJXTIiYEtZJvC4

и Future Data Systems Seminar Series - https://youtube.com/playlist?list=PLSE8ODhjZXjbEeW_bOCZ8c_nx_Jhoz-GW&si=6IJ8GvZx3yqBYhQN

Кто-нибудь сделал все домашки по Bustub DB в прошлые разы ? 🙆

Контент и ИИ 😡

А у вас тоже есть недоверие к новому контенту, особенно если он длится от 8 до 12 секунд 👨‍🦳?

Уровень цифрового шума увеличился в разы. И это только начало. Недавно на ods london бранче была идея, что в среднем информации, созданной раньше 2021 года, веришь гораздо сильнее.

Однако, с точки зрения (само-) образования я вижу много плюсов 🔼

1. Deep Research, как изначальный обзор по тематике. Deep Research не является панацеей или каким-то доверительным источником, но при грамотных ограничениях и контексте, он предоставляет неплохую суммаризацию вширь

2. Поиск по X(твиттер) / reddit / arxiv. Связка Grok и GPT 5 Pro/reasoning позволяет находить релевантные вещи в 1-3 промпта.

3. Study & Learn режим. Продолжаю экспериментировать со Study & Learn. Feedback loop и наводящие вопросы для разбора тематики вглубь. Буду работать с ним более детально в ноябре, на 3-5 неделю моей подготовки к январским интервью.

4. Coding Agents. Многие используют claude code, copilot, codex только для кодогенерации, но еще более полезно разбирать / уходить в глубь вторым ассистентом или отдельной сессией. Так же вариации вопросов “а что если” или “определи слабые стороны / улучшения” помогут найти ранее неизвестные подходы / решения.

5. NotebookLM. Его киллер фича для меня - генерация аудио подкастов. Я, в основном, скармливаю статьи из arxiv туда (потому что я слишком тупой для них), и сделать подкаст (На русском языке тоже работает, но иногда ловишь кеки, когда они придумывают свои абревиатуры)

6. Fun. Уровень пет-проектов стал более сложным. Особенно для побочных вещей, например, front-end или sre (ci/cd) больше не нужно полное погружение =)

В планах посмотреть на какие-то готовые решения по AI интервью для кодинга, системного дизайна и behavioural. Если кто-то уже пробовал, поделитесь в комментах

P.S. Видео создано за счет метапромтинга в Grok и передано на Sora 2

Nik в мире данных

Давно уже хотел сделать reorg переименовать канал, и кажется, что пора 🧐 =)

Изначально канал начинался в 2021 в эпоху становления Analytics Engineer и моего активного участия в @dbt_users (что все еще актуально, я даже митапы начал организовывать 🍷).

Много воды утекло с того момента, я, переехав в одну страну, поменял потом еще две, вернулся в тимлидство и обратно на IC роль. И не сказать, чтобы я много писал именно про Analytics Engineering. 👍

Новое название больше указывает на авторский контент и что он не чисто про дата инженерию.

Хочу в дальнейшем поговорить более широко про дата инженерию / архитектуру, карьерное развитие, engineering management, ownership, дизайн систем, AI и конечно персональные апдейты / прохождения собесов. Если интересно, stay tuned.

Если вам интересен именно дата инженерный контент, то вот далеко не полный список каналов (пришедший в голову за первые 5 минут и о которых я знаю), которые я читаю на постоянной основе:

- @data_whisperer
- @data_apps
- @dataeng
- @data_engi
- @ohmydataengineer

В этом списке нет авторских каналов, в которых последнее время большое число рекламных интеграций и самых больших дата авторов, их вы все равно все знаете, а кто-то еще и почти писать перестал

Пока в Европе празднуется Рождество, у нас продолжается Книжный клуб по DE Design Patterns (ближайшая встреча - 30 декабря, настолько мы любим дата-паттерны!)
Залетайте в @de_zoomcamp, если еще не там и хотите поучаствовать по вторникам.

Уже подошли к идемпотентным дизайн-паттернам.

Краткий конспект по слайдам можно найти по ссылке - https://link.excalidraw.com/p/readonly/8AfH8VHzWYZElevpfjtG

По личным активностям начинаю подготовку к собесам на январь / март для плана Б по перф ревью 🙂, напишу скоро пару постов о роадмапе и использовании ИИ для этого (как же ты надоел с этим 👨‍⚕️)

А пока закину сайт, о котором я ранее не знал - https://faang.watch/?, агрегатор FAANG вакансий (+ парочка компаний около)

Ну и традиционный старт DE Zoomcap - https://github.com/DataTalksClub/data-engineering-zoomcamp 12 января

Готовим CV для выхода на рынок 🙆

Как AI гик, не мог не сделать прогрев своего еще старого резюме через LLM.

Я собрал вот такой метапромт для CV review

https://gist.github.com/nikb-de/5e6669601c7e4d742b76e56ba2c4b770

Старое CV совершенно не переписано под метрики 😅, но The Roast, Red Flags detected, The Missing Evidence, Kill-Shot Questions дают прям огромную пищу для размышлений и добавлений

Оставлю только Verdict часть для кеков 🙂

Grok

HIRE at Staff (L6) with caution; the candidate demonstrates ascending trajectory through consistent platform ownership and recent LLM/anonymization work at Meta, but unfalsifiable claims like "redesigned ETL framework" miss scale metrics and failure modes, with the lowest pillar in FinOps_Unit_Economics exposing a credibility gap in cost-aware engineering. Calibrated to 10-15 YoE band in Tier 1 Tech context, where L6 expects multi-system direction-setting, this profile signals force-multiplier potential via leadership but requires interview validation on absent SLOs and AI ops maturity to avoid overplacement.

Gemini

HIRE (Strong L5 / Potential L6)

Nik demonstrates a rare and valuable "Full-Stack Data" profile: deep legacy warehousing roots (Data Vault, Oracle) successfully modernized into the cloud-native stack (Snowflake, dbt, Iceberg), and now transitioning into AI infrastructure at Meta. While some metrics are standard "resume padding" (e.g., "40% efficiency"), the trajectory from heavy lifting in banking to agile startups and finally Big Tech is coherent. The primary risk is role ambiguity—his recent past leans heavily into Engineering Management (hiring, managing 10+ reports), but he is assessed here as an IC. If he wants to code, he is a hire; if he wants to manage, he needs a different loop.

ChatGpt

DOWN-LEVEL TO L5 (Senior Data Platform Engineer) — not L6 yet.

You’ve got credible scope signals (managed teams of 7 and 10, roadmap ownership, platform building, large-cycle-time reduction for anonymization workflows), but many bullets are unfalsifiable (“overseeing function,” “near real-time data products”) with no mechanism, scale, or operational detail. The FinOps pillar is the weakest (almost no cost/unit metrics), and the AI readiness pillar reads like “worked near LLMs” rather than “built the infra that keeps LLM systems honest, cheap, and observable.”

Claude

DOWN-LEVEL TO L5 (Senior) | CONDITIONAL PASS
Twelve years of experience with demonstrated team leadership (7-10 reports) and platform-building at banking institutions, but the CV fails the 2026 AI-infrastructure bar for L6. The Meta role—ostensibly the most relevant—has the weakest evidence: "Overseeing" is not ownership, and the incomplete bullet ("providing...") suggests rushed preparation. The strongest falsifiable claims (3hr→10min load times, 3mo→2wk deployments) are from 2019-2021 Sberbank work, now heavily discounted. No SLOs, no cost-per-unit metrics, no failure modes documented anywhere. Trajectory signal is ambiguous: title progression was ascending (BI Dev → Senior → Lead) then contracted to IC at Meta—possibly Meta's flat structure, possibly scope reduction.

С ваc 100$ за карьерный коучинг 🍷

И накиньте идей, что еще добавить в метапромпт 😃

AI Safety триггеры 🤨

Словил нынче отказ Gemini и NanoBanana Pro генерить архитектурные диаграммы на данном промпте 😺

{
"subject": "2D Data Flow: 'The Static Lookup'. \nTop: A 'Static Reference Table' (Blue, solid, labeled 'Users/Devices'). \nCenter: Fast-moving 'Event Stream' (Red data packets flowing right). \nBottom: Events passing through a 'JOIN' operator, emerging combined (Purple = Red + Blue). \nAnnotation: 'Reference updates: Daily/Weekly'. \nStyle: Stream processing diagram.",
"environment": "White Vector Canvas, Dot Grid Pattern",
"style": "Flat Vector Illustration, Clean Lines, Vibrant Data Accents",
"technical": "Info-graphic Quality, High Contrast, Purple/Blue/Coral Palette",
"boosters": "Adobe Illustrator, HashiCorp Style, Technical Blog Header, 4k"
}

Видимо, слишком двусмысленно описан был JOIN 🍺, что аж NSFW стал