Инжиниринг Данных
23.1K subscribers
1.82K photos
52 videos
188 files
3.09K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 9 лет в FAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Forwarded from Стас
Смотря что понимать под вайб-кодингом. Если попытки делать сервисы, не имея ни малейшего технического кругозора и желания его получить, то нет - это тупик. Всегда говорю - если нейронка генерит тебе за раз больше 1-2к строк кода, то чаще всего лучше выкинуть этот код. Не потому что он плохой, а потому что ты, скорее всего, тупо не успеешь его переварить и окрылённый первыми успехами ("работает!") начнёшь наслаивать новые огромные куски. По итогу снежный ком, который тебя переедет. Потому что самое важное для меня - не отпускать чувство контроля над происходящим в моей же кодовой базе. Иначе (замечаю часто у Claude при всей её прелести) каждая новая просьба что-то исправить будет оборачиваться не исправлением существующего, а набрасыванием новых 300-400 строк кода. Я молчу про ситуацию, она очень частая, когда происходит сбой и нейронка переписывая огромный кусок попутно выпиливает нужные куски или тупо не дописывает новые - и как тут быть, если ты не контролируешь ситуацию, пребывая на чилле?

Совершенно другое для меня дело, когда с помощью вайб-кодинга ты подступаешься и буквально за несколько часов внедряешь фичи, о которых раньше мог только мечтать (не потому что фичи не подступные, а потому что у тебя никак не было времени сесть и подтянуть матчасть, чтобы вообще понять, с какой стороны заходить).

Вчера буквально была такая маленькая победа (для меня так, пусть и вызовет у опытных улыбку). Надо было очень быстро впилить TOTP-аутентификацию (те самые сгорающие 30-cекундные числовые пароли). Никогда я этого не касался, а благодаря нейронке страх пропал.

1. Сначала минут 30 поговорил с ней о том, как вообще устроена эта аутентификация. На выходе получил чёткое представление, при этом не боясь задавать кучу "глупых" вопросов, на которые сразу получил нужные ответы.

2. Вооружившись концептуальным пониманием предложил сначала доработать чисто бэкенд и рассказать (опять же в общих чертах), какие изменения были произведены в каждом файле.

3. Почитав это саммари и поняв, что в голове пазл складывается (для меня это главный маркер, если звучит логично, то в 99% случаев всё будет работать) попросил сразу написать весь набор тестовых сценариев. Чтобы ещё не приступая к фронту, через командную строку поделать запросы и убедиться, что сервер ведет себя ожидаемо (не принимает просроченные TOTP, принимает свежие пароли и т.д.).

Все тесты отработали как надо и тогда я уже двинулся к фронтенду. Сердце спокойно - на бэке все крутится.

При этом:
- все эти тест-кейсы и мои копипасты ответов командной строки тут же пошли в документацию
- на этом этапе я по-прежнему не погружен в детали кода, того, как написаны конкретные функции, что они делают и проч, но мне сейчас это и не нужно. Ведь главное у меня есть в голове механика и она подтверждена тестами. В детали кода погружусь позднее.

4. Пошёл делать фронт по тем же принципам что и бэк. С фронтом было заковыристее конечно. Тут реально глаз да глаз за нейронкой.

До прода не докатил ещё, ушёл на юбилей к другу, но локально всё работает как надо и сделано это где-то за 3-4 часа.

И это кайф. На этом примере я прям кожей почувствовал, что я работал с крутым напарником. Быстро, качественно. Нам не нужны были подмастерья, нам не нужны были тестировщики, нам не нужны были бесконечные стыки между командами бэка и фронта. Просто сели и сделали. Я впервые реально понял, что резать расходы на IT-персонал за счёт активного внедрения нейронок - это правильно, если они в правильных руках. Я реально не смог найти ни одного аргумента в пользу того, а зачем мне"живые" напарники при решении сегодняшней задачи.

Резюме. Ленивому, бездумному, не желающему вникать в суть логики и инструментов вайб-кодингу - бой. А вот осознанному, контролируемому, критически оцениваемому на каждом этапе - только зелёный свет.

Сорян за много букв, я ещё отхожу от юбилея друга и, что называется, "накатило" 😊
❤‍🔥7018💯12🐳2
🐚 Обсудим AI для разработчиков c Яндексом

27 июля пройдёт AI Dev Day — первый митап Яндекса на эту тему. Мы обсудим, как AI-агенты ускоряют процессы, помогают разработчикам работать с кодом и автоматизировать рутинные задачи.

Это будет интересно разработчикам, которые ищут способы побороть рутину и писать код эффективнее.

Для этого мы подготовили 2 формата обмена опытом:

🟠 Доклады об инструментах AI Productivity. Спикеры расскажут, как внедрять AI в команды разных направлений и в каких случаях в этом нет необходимости

🟠 Lightning talks. Короткие выступления тех, кто попробовал AI в реальных проектах и готов подсветить свои успехи, провалы и актуальные инсайты

⏭️ Посмотреть программу и зарегистрироваться можно здесь: https://clck.ru/3NDjiV/?erid=2VtzqwKqzwr
6❤‍🔥1
MWS Cloud запустила платформу для хранения и обработки данных, а также обучения ИИ - MWS Data Lakehouse.

Благодаря ей можно работать с любыми типами данных, в том числе неструктурированными и векторными. Это открывает возможность для создания единой среды для выполнения различных задач: от построения оперативных отчетов до обучения и инференса ML-моделей и LLM.

Платформа позволяет увеличить скорость обработки данных в 23 раза, использовать хранилище на 40% экономичнее и в два раза сократить время расчетов аналитических витрин. Поверх платформы можно запустить инструменты для обучения и инференса ML и больших языковых моделей.

Она также совместима с Greenplum и Postgres. Это позволяет компаниям сохранить накопленные данные и плавно мигрировать в новую инфраструктуру. Администрирование сервиса проходит через единый интерфейс. Через него можно централизованно управлять пользователями, кластерами и масштабирование. А встроены инструменты централизации контроля доступа, шифрования и динамического маскирования чувствительных данных делают платформу соответствующей всем требованиям ИБ.
7
Simon из Advancing Analytics всегда делает классные видео, обычно они про Databricks, Azure, MLOps, всегда кратко и по делу, особенно что касается новых фич и их имплементацию.

В недавнем видео Data Engineering is Dead (Or How We Can Use AI to Avoid It...) он расписал примерный план по его мнению о влиянии AI на профессию инженеров данных.

От vibe кодинга до end-to-end разработки.

Осталось ждать не долго, посмотрим.

Пока дальше изучаем на практике, как AI помогает бизнесу, какие самые популярные use cases (с этим относительно просто, все делают одно и тоже), и какие задачи решаются в аналитики и какими инструментами.
5
Как найти работу за рубежом, если страшно и непонятно, с чего начать?

Международный рынок открывает двери к крутым проектам, зарплатам в долларах и евро, но искать работу за границей долго, нудно и слишком сложно!

А самое главное, вообще непонятно, что делать. Правила рынка совсем другие. Здесь мало резюмешки на хэдхантере и рекрутеры за тобой не бегают толпами. Зато нужно заводить LinkedIn, искать рефералы, выискивать вакансии среди десятков джоб-бордов...

Разобраться самому почти невозможно. Зато есть такие ребята как AgileFluent 👇

Они уже 4 года помогают IT и Digital специалистам выйти на международный рынок. На их счету — 350+ офферов в 22 странах в такие компании как Amazon, Cisco, UniCredit, Revolut, FLO, Ferrero, N26, ALDI, Semrush, Wheely…

Они ведут крутой канал про международку, где делятся:
✔️ историями тех, кто переехал и зарабатывает в валюте,
✔️ разборами резюме и LinkedIn профилей,
✔️ персональными подборками вакансий,
✔️ гайдами и чек-листами по CV, CL, LinkedIn...

Если давно мечтал о работе за рубежом — это твой знак! Начни с их канала :)

👉 Подписывайся
🐳4🍌21
1753324129227.pdf
509.4 KB
В приложение документ - Winning the Race: America’s AI Action Plan

Это 28‑страничная стратегия, представленная администрацией Дональда Трампа 23 июля 2025 г., определяющая ключевые шаги для укрепления лидерства США в сфере искусственного интеллекта. Он был опубликован одновременно с серией указов (Executive Order 14179 от 23 января 2025 г.), направленных на отмену ограничений предыдущих администраций и ускорение внедрения ИИ 

Автор и инициатор: Белый дом при участии — «потомственных» ИИ‑менеджеров, включая так называемых «ИИ и крипто‑царей», в первую очередь тех, кого назначил Трамп, например Давид Сакс (частый гость All In подкаста)


Основные акценты плана
Ускорение инноваций
— снятие регуляторных ограничений, поддержка стартапов и крупных компаний, стимулирование работы над ИИ‑моделями без «идеологического уклона»
.

Развитие инфраструктуры
— ускоренная постройка дата‑центров и полупроводниковых фабрик; снижены экологические барьеры и упрощены разрешительные процедуры.

Глобальное превосходство
— продвижение американской технологии за рубеж, борьба с китайским ИИ посредством дипломатии, экспортных инициатив и инвестиционных стимулов
.

Сейчас реально происходит AI гонка и США хочет взять лидерство. Интересно, что делает РФ?
3🐳2
Бесплатный курс по PostgreSQL от практиков рынка

Присоединяйтесь к бесплатному курсу по основам PostgreSQL от Selectel и Эльбрус Буткемп. Он будет полезен Junior- и Middle-специалистам: администраторам баз данных, разработчикам, DevOps-инженерам и аналитикам.
 
Вы научитесь:
🔹создавать и связывать таблицы,
🔹выполнять базовые операции с данными,
🔹работать с РСУБД.

Бонусы: вы можете получить сертификат о прохождении курса, а также промокоды для практики на мощностях Selectel.

Начните обучение уже сегодня.

Реклама. АО «Селектел», ИНН 7810962785, ERID: 2VtzqwWX4Pi
Нужен ли TPM (Technical Product Manager или просто Product Manager) в дата-команде?

Главная задача такого человека - быть связующим звеном между бизнесом и инженерами/аналитиками. Раньше этим занимался бизнес-аналитик. Так было на проектах в Cetelem (BNP Paribas) и Сбербанке.

Для нас самая сложная часть работы - понять, чего хочет бизнес, как он зарабатывает деньги и как двигать метрики (добавлять ценность).

Задача TPM - всё это понимать и знать, что и когда нужно сделать, какие приоритеты и цели. Тогда инженеры и аналитики работают с максимальной эффективностью.

Конечно, многие команды обходятся без TPM, и, поскольку люди не глупые, они могут разобраться сами. Здесь начинается trade-off.

Кому-то больше нравится копаться в технических деталях, писать код. Для них все эти встречи со стейкхолдерами (бизнес-заказчиками) ни к чему. А кому-то же наоборот - легче ходить на митинги и обсуждать задачи.

Лично я вижу много пользы в TPM, который в курсе бизнес-контекста, текущих инициатив и фич. Он очень быстро может сказать, что нужно делать, а что - нет. И самое главное: когда он получает от дата‑команды результат, он будет безмерно рад и благодарен, и уж точно знает, как это конвертировать в epic story про достижения команды.

Но есть нюанс: TPM/PM должен быть очень вовлечён в работу. В какой-то степени он может быть «душным» для всех, зато точно знает, что нужно сделать, на каком этапе тот или иной проект и где затык. Он не будет зацикливаться на оформлении Pull Request или неправильном названии таблицы. Ему нужен результат - именно тот результат, за которые можно обоснованно просить повышение.

Поэтому я видел, как многие TPM/PM попадали под сокращение. Как правило, их «срубают» первыми. И тогда вся нагрузка ложится на технических лидов, линейных менеджеров, а может и на самих разработчиков. Это в принципе не страшно, но создаёт дополнительную нагрузку без какого‑либо стимула.

Для меня работать с product managers всегда жирный плюс. Я фокусируюсь на том, в чем я эксперт, они фокусирует на том, в чем они эксперты. Вот такой diversity я люблю.

А какое у вас отношение к TPM/PM в дата-командах?
💯24❤‍🔥6🐳1
В свежей статье Cursor makes developers less effective автор затронул важную для разработчиков тему - помогает ли AI IDE делать работу быстрей?

Его пост написано основе исследования - Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, в котором приняло 16 разработчиков. Разработчики решали 136 реальных задач. Им платили по 150$ в час за участие в эксперименте.



Что же интересного в исследовании?

📊 Главный результат: AI замедляет, вопреки ожиданиям
- Разработчики с AI-инструментами выполняли задачи на 19% дольше, чем те, кто работал без AI.
- При этом они ожидали ускорения на 24%, и даже после замедления считали, что ускорились на 20%.
- Это говорит о серьёзном разрыве между субъективным восприятием и объективной реальностью.


🧠 Почему AI-инструменты замедляют? Анализ от экспертов
Simon Willison:
У AI-инструментов высокий порог обучения. Пока разработчики встраивают их в свой процесс, производительность падает.


Quentin Anthony (PhD, участник исследования):
AI не ускоряет всех одинаково. Важнее не уровень навыков, а умение избежать ошибок в работе с AI.

LLM работают хорошо только на определённых типах задач. Например, плохо справляются с низкоуровневым системным кодом.

AI вызывает потери фокуса. Пока AI генерирует, легко отвлечься, например, на соцсети. Эти “30 секунд” превращаются в 30 минут.


🧠 Влияние переключения контекста и “выпадения из потока”
- Высокопродуктивная работа часто возникает в состоянии “потока”, когда разработчик полностью сосредоточен.
- AI может мешать этому состоянию, так как требует:
- постоянных ожиданий,
- промежуточной оценки предложений,
- частого переключения внимания.
- Эти контекстные переключения могут нивелировать любую экономию времени от генерации кода.


Я лично уже являюсь клиентом Cursor несколько месяцев, типовые задачи:
- Terraform, Terragrunt
- YAML файлы
- dbt модели
- Python
- Prot0buf
- Node.js
- идеи проектов для Surfalytics
- и тп

То есть все задачи уже работает в контексте готового решения, репозитория. То есть в роли contributor.

В Surfalytics сообществе пользователи разделились на три группы:
- Cursor
- VS Code + Claude Code
- бесплатные инструменты (free tier)

Согласно наши многочисленным собеседования никто пока не спрашивает и не требует знания AI или использования AI инструментов. Мне лично очень нравится работать с Cursor, даже если он иногда дает не правильный ответ, то это все равно удобней, чем гуглить или читать документацию🤪. И как говорят, общения с AI помогает войти в “поток”, главное начать.

А недавно я установил cursor старшему сыну (13 лет), показал как работает. Он довольно быстро насоздавали больше 1000 строк рабочего кода для Roblox Studio. Сразу видно, что мозг у нового поколения работает по другому и при правильном использовании AI возможности у них безграничные.

Параллельно с Cursor он изучает книгу Think Python и запускает код только в командной строке. А младший (8 лет) пока ковыряется в Music Lab от code.org. Вообще я хочу, чтобы они работали как команда и вместе строили проект, но пока трудно их вместе сорганизовать.
❤‍🔥26💯5🤷4🐳31
В сентябре Яндекс выпустит Нейроаналитика — ИИ-помощника, встроенного в DataLens.

Сервис поможет находить закономерности в данных, ускорять отчёты и проверку гипотез. Всё — через чат без кода и формул. Создан на базе Yandex Cloud AI Studio. Поддерживает облачную и локальную установку. Уже используется внутри Яндекса.

Сейчас можно уже оставить заявку в листе ожидания.

Реклама. ООО Яндекс.Облако. ИНН 7704458262
335🙈4🐳3
Знаете какая самая популярная метрик в SaaS бизнесе?

ARR (Annual Recurring Revenue). Это когда вы продаете продукт по подписке (subscription), где клиенты могу платить по месяцам. То есть, если купили ChatGPT за 20$ в месяц, то ARR будет 12x20=240$. Конечно, там всякие нюансы, про годовую vs месячную подписку, B2B vs B2C, модели ценообразования и тп, но это прям must have domain knowledge. Есть еще и MRR, ну вы поняли:)

Но пост-то не про это😜

Обычно когда мы в найме, мы работаем за зарплату. Зарплата может быть gross/net, за месяц/за год. Но ключевое слово зарплата, где мы ощущаем себя наемными (то есть легко заменимыми) рабочими, которых хотят заменить то ли AI, то ли дешевой рабочей силой из Индии (применимо для западного мира). Вот и живем в такой парадигме найма, часто мучаемся от burnout, mental health pressure, панические атаки из-за риска потерять работу и далее по списку психологических расстройств modern workforce, то есть нас.

А что если, поменять парадигму? Мы работаем не за зарплату, а у нас бизнес, и наша зарплата, которую нам платит работодатель клиент это на самом деле ARR, вы у нас (или нас самих) купили по подписки, чтобы мы делали работу, то есть нам нужно считать ARR (это gross доход). Тогда и клиентов и доходов может быть больше одного (ваши side проектики, консультации и тп).

В таком случае вы не будете ныть, что у вас плохой performance review или вам не подняли зп, вы думаете в контексте клиентского опыта, где доход зависит от качества оказываемых вами услуг. Причем, услуг не технических (с hard skills обычно не бывает проблем), а услуг связанных с soft skills.

Тогда риск burnout и других ментальных расстройств сокращается, доход возрастает (ребята в Surfalytics не дадут соврать), job security как таковой уже не главная проблема, если человек все время учится и в режиме grow mindset и вместо утренней зарядки идет на собеседование (на всякий случай). С таким подходом качество работы возрастает, ведь если инженер или аналитик думают о своих проектах на работе как о личных проект, думают о “клиентском опыте” работодателя и своего менеджера, то все действия будут направлены на повышения этих метрик, что в конечном итоге приводит к повышения ARR.

Я больше не использую слово зарплата, мне важен мой ARR и факторы которые на него влияют.
❤‍🔥6914👨‍💻3🤷2🐳11
Мы прилетели утром в Париж, чтобы посмотреть финал Tour de France. Шёл небольшой дождь, центр города был перекрыт, но это никого не смутило - все пришли поддержать спортсменов и почувствовать атмосферу великого события.

Вот несколько интересных фактов о Tour de France (я попросил chatgpt рассказать про основные идеи гонки):

🚴‍♂️ Что такое Tour de France?
Tour de France — это крупнейшая и самая престижная многодневная шоссейная велогонка в мире. Она проводится ежегодно во Франции (иногда частично затрагивая соседние страны) и собирает лучших велогонщиков планеты.

📆 Когда она началась?
Первая гонка прошла в 1903 году, её организовала газета L’Auto для повышения продаж. С тех пор она проводится почти каждый год, с перерывами лишь во время мировых войн.

⏱️ Сколько длится и когда проходит?
Tour de France длится около 3 недель, традиционно в июле. В 2025 году гонка стартовала 5 июля и завершилась 25 июля — финишом на Елисейских полях в Париже.

🏔️ Какие испытания входят в гонку?
Гонка состоит из нескольких этапов (обычно 21), включая:

Равнинные этапы — для спринтеров
Горные этапы — в Альпах и Пиренеях, для горняков
Индивидуальные гонки на время (тайм-триал)
Командные этапы
Гонщики соревнуются не только за общее время, но и в различных категориях.

💰 Сколько стоит велосипед?
Профессиональный шоссейный велосипед для Tour de France стоит в среднем от 10 000 до 15 000 евро, иногда и дороже. Главное условие — велосипед должен быть "стоковым", то есть доступным на коммерческом рынке (в рамках правил UCI), без секретных или запрещённых модификаций.

🏆 Как определяют победителя?
Победителем общего зачёта становится гонщик с наименьшим суммарным временем по итогам всех этапов. Помимо главного зачёта, есть и другие:

Очковый зачёт (зелёная майка) — для лучших спринтеров
Горный зачёт (в гороховую майку) — для лучших горняков
Молодёжный зачёт (белая майка) — лучший гонщик до 25 лет
Командный зачёт


🟡 Почему жёлтая майка?
Жёлтая майка (maillot jaune) — символ лидера общего зачёта. Цвет выбран в честь бумаги, на которой печаталась газета L’Auto — организатор первой гонки (бумага была жёлтой).

🥇 Кто победил в 2025 году?
Финальный этап Tour de France 2025 завершился 25 июля на Елисейских полях в Париже.
Победителем этапа стал Jasper Philipsen (Бельгия, Alpecin-Deceuninck) — один из лучших спринтеров современности.
Победителем общего зачёта стал Tadej Pogačar (Словения, UAE Team Emirates) — он выиграл Тур уже в третий раз (после побед в 2020 и 2021 годах).



Вот два хороших видео:
- Tour de France Explained For Newbies (тут как раз рассказывают про все, что выше)
- TOUR DE FRANCE 2025 – HISTORIC! Van Aert breaks Pogacar and triumphs on the Champs‑Élysées (про сегодняшний заезд)

Что еще рассказать? Есть интересный канал Михаила Иванова (одного из основателей издательства МИФ), он часто пишет про триатлон и велогонки, проводит велотуры в Европе и США и участвует в мировых триатлонах. Недавно он рассказал, что можно наслаждаться всей красотой горных поездок на элетро-велосипеде, реально game changer. Возможно в будущем я смогу поучаствовать в таком туре. Вообще хотелось бы взять саббатикл и просто несколько месяцев колесить по Европе без цели.
А еще Михаил много пишет про инвестиции и я у него покупал курс по инвестициям, который мне очень понравился, на котором мне простым языком рассказали какие инструменты существуют и как важно балансировать портфель.
❤‍🔥25🤷10🦄5🌚3🍌322🐳1🙈1
Изначально мы планировали из Парижа добраться до побережья Франции и взяли машину на 3 дня. Но я ошибся в расчетах и получилось на 6 дней. После Парижа мы поехали в Шампань, пробовать шампанское.

Ездить по полям и лугам Франции показалось скучно и мы решили сразу устроить детям урок географии, прокатиться по немецкому автобану и съесть рульку с пивом, посмотреть на швейцарские банки, поесть пиццу в Италии на озере Лекко, где я проходил стажировку целый месяц лет 15 назад, поплавать на озере Комо и потом уже приехать на французскую Ривьеру.

На карте увидели Баден Баден, что-то с урока по литературе и решили там остановится, покупаться в целебных водах и выпить с Достоевским, когда-то он тут жил. Гоголь тут тоже лечился. Вообще в Баден Баден я больше встретил русских на улице, чем немцев. Тут русский 3й язык и все таблички, рестораны и магазины обслуживают на русском.

Посмотрим, как дела в Цюрихе завтра👉
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
163❤‍🔥25🌚3🐳1