Все слышали про Dimensional Modelling? Я думаю многие, кто работал с данными. И это очень частый вопрос на собеседованиях, туда же относиться и про Star Schema vs Snowflake Schema, Slowly Change Dimensions, Junk Dimensions и тп. Это все хорошо написано в учебнике по DW от Кимбала - Data Warehouse Toolkit. Меня как-то спросили в Тинькоф на собеседование про это штуки, и я как-то не уверенно ответил, особенно про вопрос, когда у нас несколько Fact Tables вместе, как их соединять. В общем не попал я к ним, да и ездить не удобно было. А вот Microsoft выписал все самое необходимое, что нужно и можно знать про Dimensional Modelling.

PS в Амазон, мы вообще не паримся про эти штуки=)

О как, вот они где business insights зарыты! Тут важно заметить, что нужны единомышленники, а то вот я буду кричать матом, что ETL сломался из-за моих же кривых рук, и никто не поймет меня

Интересная статья, которая может нам показать как визуализации данных может быть неправильна.

"Я уже неделю на работу хожу и ни разу туда ещё не пришел" https://youtu.be/YYXbQjPAIdY

Классная статья про создание платформы данных (мы уже не используем термин хранилище данных). Заодно сравнение Snowflake и BigQuery

15 января будет вебинар про современные аналитические решения - Gaining Faster Insights From Faster Data. Будет много рекламы вендоров, но в целом будет понятно кудам смотрят западные компании.

Пример решения - платформы данных на AWS с использованием ECS, Fargate, Apache Airflow (как orchestration), DBT для трансформаций SQL).

У меня есть задача масштабировать модель оттока для огромных данных на Sage Maker. Вот нашел интересный курс, пока прохожу;

#faketillyoumakeit #jobchange
У меня есть несколько интересных историй, про знакомых и друзей, кому я помог поменять работу или изменить даже жизнь, не знаю к лучшему или худшему. Помогать хорошо для кармы, или просто хорошо, поэтому есть несколько success stories, которые еще актуальны, говорят о том, что все в ваших руках.

История 1.
История 2.

Когда я работал на ГКНПЦ им Хруничева почти 3 года, из моей группы в университете пришел товарищ, его звали Коля. Место мастером ему не было (мастер это начальник отделения рабочих, но для молодых это просто запись в трудовой книжке, по факту, вы возите тележку с металлом из цеха в цех, и так целый день, даже шутка была, профессия мастер это дополнение к тележке). Я уже работал с SAP BO больше года, у нас была новая начальница женщина, я еще тогда был не уверен, что женщина начальник BI/DW это хорошо(теперь я знаю, что женщины руководители это круто), ее звали Екатерина Варламова, они пришла со своей командой, и они поверх Oracle и SAP BO стали внедрять Microsoft SQL Server и Analysis Service. Нужно было зарплату отрабатывать. Но самое главное. С ней совсем не сработались и я стал искать работу.

Очень хотел в Терадата, они же на тренинги в Европу отправляют, это был для меня главный критерий, поэтому я не хотел в отечественный консалнтинг как Крок или АТ Консалтинг, где на собеседование предлагали зарплату в конверте. С Терадатой не очень складывалось, и я нашел какой-то консалтинг по SAP. Наверно был создан по принципу - украли клиентскую база или 1-2 клиента и открыли фирму их обслуживать. На собеседование HR вообще ничего не спрашивали, и дали очень хорошую зарплату. В это время Коля учил по классике SAP BO и SQL. И мы ему уже написали красивое резюме. Я написал этим ребятам, сказал, что я не один, а с другом, и что он вообще крутой, он съездил на собеседование и ему тоже сделали офер.

В итоге, я написал в Терадату про свой офер, и они зашевелились, и наконце прислали офер, по деньгам меньше, но для меня это был один из самых счастливых моментов в карьере. Второй был это Амазон в 2016, когда я приехал из зимнего Винипега в солнечную Викторию. А Коля вышел на работу в SAP консалтинг и проработал там несколько лет.

PS SAP BO очень классный продукт, это Enterprise BI, не такой навороченный как Microstrategy, и есть все элементы которые важно знать - BI Server, desktop клиент, security, Server Administration, Linux/Windows, Server Sizing, и самое главное это Semantic Layer (семантический слой), который называется Universe. Если бы я сейчас поработал в SAP BO, наверно мурашки пробежали)) То есть это такой инструмент, который охватывает много областей в области BI/DW, даже оптимизация запросов. После него Power BI и Tableau кажутся очень простыми.

PPS Очень важно понимать, что SAP это целая экосистема, начиная с SAP ERP, где хранилище данных до сих пор! в крупных компаниях SAP BW (кубы) и трансформации на ABAP, чтобы данные извлекать из ERP. То есть это такой отдельный мир, где много разных модулей и у каждого своя специфика. Сейчас уже многие перешли на SAP HANA.

Книга 250 страниц - Analyzing data with Power BI and Power Pivot for Excel.

Статья про Cloud Native от Google Cloud. Пару цитат:
1) Michael Chui, a partner at McKinsey Global Institute:
“The pace and speed changes,” he says. “You only pay for the things you want, which couples the return on investment more closely [to business needs], creating the opportunity to shift resources from running infrastructure to innovating for the business.”

2)“to achieve the full outcomes and benefits of the cloud, you must operate in a cloud-native fashion. This means operating using a self-service, dynamic, adaptive and elastic operating process in line with the capabilities of a true cloud-native service. When cloud-native operations are combined with cloud-native implementations, organizations are most likely to recognize the full benefits of cloud.”

Именно поэтому компании серьезно оценивают свои возможности на миграцию в облако и в частности миграцию аналитики, так как миграция аналитики может показать очень хороший ROI за короткое время

Как работают самые крутые компании и что используют для data engineering and data science https://medium.com/@QuantumBlack/deploying-and-versioning-data-pipelines-at-scale-942b1d81b5f5

Прежде чем учить Pyhton, SQL, ML, AI, нам нужно знать английский. Тренируйтесь каждый день. https://youtu.be/tU5Rnd-HM6A

Очень крутой Data Engineer, кто раньше работал в Amazon и создал Amazon Tableau User Group и один из первых использовал Табло в Амазон. Говорит Spark это тема!;)

В качестве Data Engineering Manager вот что он делает в своей компании - "- Re-architected Snowflake & Looker infrastructure for 100% performance improvement of revenue-generating analytics." То есть внедряет cloud native платформу данных (snowflake сделал ребрендинг и теперь они Cloud Data Platform) и Looker не просто для аналитики, а для аналитики которая драйвит ревеню, я же говорил, что он крут!))

В этом что-то есть. Технологии настолько эволюционируют, что большинство задач, которые могут делать сейчас высокооплачиваемые инженеры, будут автоматизированы и упрощены. Это не значит, что такие специалисты не нужны, но точно массовой потребности не будет. Сейчас например специалисты по Hadoop уже узкоспециализированы. Важно понимать общую картину и использовать готовые элементы в публичном облаке. Так же и с ML, важно знать возможности и кейсы, и приминять правильный алгоритм и трактовать его правильно. Не нужно писать свою нейронную сеть, достуточно кликнуть мышкой на нужную модель и помочь ей обучиться на ваших данных.