Better Data Culture:
- Data as Code
- Data is Owned
- Data Quality is Known for each dataset.
- Accelerate data productivity with data tools optimized for collaboration.
- Organize the data with local data ownership

https://eng.uber.com/ubers-journey-toward-better-data-culture-from-first-principles/

Сегодня в 12PM PST (через 45 минут) будет митап на английском, если хотите подключайтесь в zoom, Николай расскажет про свой опыт в компании на английском. https://us02web.zoom.us/j/85654558722?pwd=M2F1dzR3dk0wYXhEWDZUSmc0TS9vQT09

Легенда, Chief Evangelist Snowflake - Kent Graziano, очень заинтересовался подходом Николая про 6NF, так как Николай это первый человек, кто использовал такой подход для Snowflake😎

Иметь свое мнение нынче не позволительная роскошь. Особенно для западного мира. Например, в slack Snowflake Community меня сегодня удалили навсегда, то есть я больше не часть их community и вообщем-то меня слили. Потому что, я им сказал (им это их Community Managers в общем чате для всех пользователей), что они охренели совсем, игнорят меня и даже просто не отвечают. Я предположил, что уже community не такое как было в 2018 и 2019, когда оно было отзывчивое и все вместе восхваляли снежинку. Теперь она вышла на IPO, и важна только прибыль компании. Я им тоже намекнул, что возможно они такие не разговорчивые, потому что их stock падает в цене. В общем у них разговор короткий, просто удалить меня везде и все. Так и живем, со своим мнением при себе. 😬 а иначе “давай, досвидания!”🤪

А что касается User Group, Николай классно все рассказал и мы добавим потом видео на YouTube и я скину ссылку.

25 марта я обещал рассказать про Databricks и Delta Lake на Microsoft user Group. Пока у меня немного опыта, но общую идею понял. Вот ссылка на мероприятие: https://www.meetup.com/Victoria-SQL-Server-User-Group/events/276840067/

Запись митапа https://youtu.be/N1vqrRBi63w

Еще один новый термин в мире аналитики (для меня точно новый) - Business Science.

#datamesh https://read.hyperight.com/is-data-mesh-right-for-your-organisation/

CEO Tableau, который в 2016 ушел из AWS и сделал довольно много, включая модель subscription по лицензиям, возвращается возглавлять AWS.

Продолжение статья про input metrics по модели Amazon из книги - Working Backwards. Я считаю, что эта книга должна стать настольной для людей, которые работают с данными и принимают решения на основе метрик и фактов.

Быть собой на собеседовании

Попалась вакансия Data Engineer в Ванкувере в Samsung. Мне очень понравились требования, прям идеально на мой взгляд, четко и понятно. На вопрос, кто такой дата инженер и что он делает, я бы показал этот список только без упоминания вендоров.

И ещё новости, сегодня я переехал с острова Ванкувер, в город Ванкувер. На острове я прожил 5 лет. Я мог бы ещё 1-1,5 года быть на острове, но устал. Ковид свое дело сделал, сидеть дома практически в деревне, даже в 5 минутах от океана мы не смогли, мы поняли, что мы городские жители и нам нужны изменения. Но мы не хотели бы делать это абы как, поэтому мы сдали свой дом на острове в рент, и купили Таун Хаус рядом с Ванкувером. Это конечно рисковая комбинация, брать 2ую ипотеку за млн канадских, но где нет рисков, нет профита.

Огромная благодарность Амазону за его акции, которые мне дали 5 лет назад и которые выросли в 5-6 раз и благодаря ним можно было так сделать. И ещё на практики я узнал, что такое рефинансирование ипотеки, что такое налоги на capital gains, как можно выдернуть деньги из equity и использовать их как downpayment. Получается зарплата сама по себе это и не так важно посравнению с тем, что можно сделать с активами и инвестициями. Но это уже совсем другая тема, где я не в теме.

Наш новый адрес имеет красивую улицу Seaview Drive. А вот район - Port Moody звучит грусновато и пасмурно.

И большой респект Microsoft за переезд. Мы будем жить 2 месяца в самом центре Ванкувера с видом на Science World и я договорился, что со след недели пойду в офис, так как работать из дома 2,5 года это было чересчур.

Наверно с этим связана задержка datalearn и моя общая активность.

Всем привет! Вот ссылка на мою презентацию про Databricks и Delta Lake, которая будет сегодня в 12 дня PST. Там есть несколько слайдов про Apache Hudi, Iceberg и Delta Lake. Про эволюцию решения для хранения данных от базы данных к lakehouse. На последнем слайде самая ценная информация - ссылки на лабу Databricks Delta Lake Deep Dive с кодом Python. Это будет в модуле 7 de-101, но когда это будет, так что можете попробовать погонять Python.

SAP Insider Data & Analytics 2021 - конференция SAP про решения аналитики. В России и Европе очень актуально.

Есть возможность написать книгу для PacktPub по Microsoft Data Engineering. Дело непростое и занимает много времени. Как вы знаете я уже писал раньше книги и всегда все доводил до конца. Даже совсем недавно мы сделали книгу про Azure Data Factory. Пишите в комментах если вы прям мечтаете иметь книгу свою, знаете английский, чтобы писать и знаете Microsoft Azure или другой Cloud.

Есть ещё возможность - технический ревьевер, просто читать главу, делать Лабы и писать потом как прошло. Для книги Spark и Delta Lake. Если интересно, можете написать [email protected], рассказать вкратце о себе и сказать, что я дал контакт. Тут можно вообще без опыта😉

Накопилось открытых вкладок.

ML:
ML Feature Serving Infrastructure at Lyft
Flyte Joins LF AI & Data
7 steps to get started with large-scale labeling
Building Riviera: A Declarative Real-Time Feature Engineering Framework
Driving business decisions using data science and machine learning

DE:
How PayPal moves secure and encrypted data across security zones
Data Pipelines @ Samsara
Lessons Learned from Scaling Up Cloudflare’s Anomaly Detection Platform
Data movement for Google services at Netflix
Why Kafka Is so Fast
BigQuery delivers a modern view of materialized views

Прочее:
Gousto Data Team — Best of 2020
You should pick your org chart when looking at a position

А вот визуализация от Financial Times про Суэйкций канал, который как вы знаете оказался заблокированным. https://www.ft.com/__origami/service/image/v2/images/raw/https%3A%2F%2Fd6c748xw2pzm8.cloudfront.net%2Fprod%2F8863f760-8cc9-11eb-8365-072a5bcc3510-standard.png?dpr=1&fit=scale-down&quality=highest&source=next&width=700