"Я уже неделю на работу хожу и ни разу туда ещё не пришел" https://youtu.be/YYXbQjPAIdY

Классная статья про создание платформы данных (мы уже не используем термин хранилище данных). Заодно сравнение Snowflake и BigQuery

15 января будет вебинар про современные аналитические решения - Gaining Faster Insights From Faster Data. Будет много рекламы вендоров, но в целом будет понятно кудам смотрят западные компании.

Пример решения - платформы данных на AWS с использованием ECS, Fargate, Apache Airflow (как orchestration), DBT для трансформаций SQL).

У меня есть задача масштабировать модель оттока для огромных данных на Sage Maker. Вот нашел интересный курс, пока прохожу;

#faketillyoumakeit #jobchange
У меня есть несколько интересных историй, про знакомых и друзей, кому я помог поменять работу или изменить даже жизнь, не знаю к лучшему или худшему. Помогать хорошо для кармы, или просто хорошо, поэтому есть несколько success stories, которые еще актуальны, говорят о том, что все в ваших руках.

История 1.
История 2.

Когда я работал на ГКНПЦ им Хруничева почти 3 года, из моей группы в университете пришел товарищ, его звали Коля. Место мастером ему не было (мастер это начальник отделения рабочих, но для молодых это просто запись в трудовой книжке, по факту, вы возите тележку с металлом из цеха в цех, и так целый день, даже шутка была, профессия мастер это дополнение к тележке). Я уже работал с SAP BO больше года, у нас была новая начальница женщина, я еще тогда был не уверен, что женщина начальник BI/DW это хорошо(теперь я знаю, что женщины руководители это круто), ее звали Екатерина Варламова, они пришла со своей командой, и они поверх Oracle и SAP BO стали внедрять Microsoft SQL Server и Analysis Service. Нужно было зарплату отрабатывать. Но самое главное. С ней совсем не сработались и я стал искать работу.

Очень хотел в Терадата, они же на тренинги в Европу отправляют, это был для меня главный критерий, поэтому я не хотел в отечественный консалнтинг как Крок или АТ Консалтинг, где на собеседование предлагали зарплату в конверте. С Терадатой не очень складывалось, и я нашел какой-то консалтинг по SAP. Наверно был создан по принципу - украли клиентскую база или 1-2 клиента и открыли фирму их обслуживать. На собеседование HR вообще ничего не спрашивали, и дали очень хорошую зарплату. В это время Коля учил по классике SAP BO и SQL. И мы ему уже написали красивое резюме. Я написал этим ребятам, сказал, что я не один, а с другом, и что он вообще крутой, он съездил на собеседование и ему тоже сделали офер.

В итоге, я написал в Терадату про свой офер, и они зашевелились, и наконце прислали офер, по деньгам меньше, но для меня это был один из самых счастливых моментов в карьере. Второй был это Амазон в 2016, когда я приехал из зимнего Винипега в солнечную Викторию. А Коля вышел на работу в SAP консалтинг и проработал там несколько лет.

PS SAP BO очень классный продукт, это Enterprise BI, не такой навороченный как Microstrategy, и есть все элементы которые важно знать - BI Server, desktop клиент, security, Server Administration, Linux/Windows, Server Sizing, и самое главное это Semantic Layer (семантический слой), который называется Universe. Если бы я сейчас поработал в SAP BO, наверно мурашки пробежали)) То есть это такой инструмент, который охватывает много областей в области BI/DW, даже оптимизация запросов. После него Power BI и Tableau кажутся очень простыми.

PPS Очень важно понимать, что SAP это целая экосистема, начиная с SAP ERP, где хранилище данных до сих пор! в крупных компаниях SAP BW (кубы) и трансформации на ABAP, чтобы данные извлекать из ERP. То есть это такой отдельный мир, где много разных модулей и у каждого своя специфика. Сейчас уже многие перешли на SAP HANA.

Книга 250 страниц - Analyzing data with Power BI and Power Pivot for Excel.

Статья про Cloud Native от Google Cloud. Пару цитат:
1) Michael Chui, a partner at McKinsey Global Institute:
“The pace and speed changes,” he says. “You only pay for the things you want, which couples the return on investment more closely [to business needs], creating the opportunity to shift resources from running infrastructure to innovating for the business.”

2)“to achieve the full outcomes and benefits of the cloud, you must operate in a cloud-native fashion. This means operating using a self-service, dynamic, adaptive and elastic operating process in line with the capabilities of a true cloud-native service. When cloud-native operations are combined with cloud-native implementations, organizations are most likely to recognize the full benefits of cloud.”

Именно поэтому компании серьезно оценивают свои возможности на миграцию в облако и в частности миграцию аналитики, так как миграция аналитики может показать очень хороший ROI за короткое время

Как работают самые крутые компании и что используют для data engineering and data science https://medium.com/@QuantumBlack/deploying-and-versioning-data-pipelines-at-scale-942b1d81b5f5

Прежде чем учить Pyhton, SQL, ML, AI, нам нужно знать английский. Тренируйтесь каждый день. https://youtu.be/tU5Rnd-HM6A

Очень крутой Data Engineer, кто раньше работал в Amazon и создал Amazon Tableau User Group и один из первых использовал Табло в Амазон. Говорит Spark это тема!;)

В качестве Data Engineering Manager вот что он делает в своей компании - "- Re-architected Snowflake & Looker infrastructure for 100% performance improvement of revenue-generating analytics." То есть внедряет cloud native платформу данных (snowflake сделал ребрендинг и теперь они Cloud Data Platform) и Looker не просто для аналитики, а для аналитики которая драйвит ревеню, я же говорил, что он крут!))

В этом что-то есть. Технологии настолько эволюционируют, что большинство задач, которые могут делать сейчас высокооплачиваемые инженеры, будут автоматизированы и упрощены. Это не значит, что такие специалисты не нужны, но точно массовой потребности не будет. Сейчас например специалисты по Hadoop уже узкоспециализированы. Важно понимать общую картину и использовать готовые элементы в публичном облаке. Так же и с ML, важно знать возможности и кейсы, и приминять правильный алгоритм и трактовать его правильно. Не нужно писать свою нейронную сеть, достуточно кликнуть мышкой на нужную модель и помочь ей обучиться на ваших данных.

Эта книжка сейчас в топе!

Вот это действительно круто! В Северной Америке очень развиты стажировки, это называется CO-OP (co-operative education), начинаю с 3го года обучения компания берут студентов на стажировку, специально для это проводятся Career Fair в кампусах университетов.

Стажировка занимает от 4х до 12 месяцев, это full time работа, но вы обязаны вернуться в университет. Я являюсь ментором в University of Victoria для программы, которая обучает Computer Science и entrepreneurship школьников 10-12 класса (7 месяцев). Я им всегда рассказываю, что нет смысла поступать MIT на Computer Science (где семестр стоит 60к US), так как у нас в универе для местных это стоит 7к CAD, и если вы попадете на стажировку в Амазон, это на выходе будет такой же результат, как и после MIT/Harward если вы попали в Амазон. Конечно MIT/Harward больше специализаций, но если нет денег на обучение, то нечего растраиваться.

Сама стажировка это крута, я бы мог только мечтать об этом. Вас учат, вам платят (3к CAD в месяц, это вообще то средняя зп по Канаде), и самое главное вы себя можете проявить и зацепиться. После универа, вас с удовольствием возьмут на работу. Главное, это сфокусироваться на подготовке к CO-OP и знать требования и компанию. Я часто выступаю перед студентами от Амазон, и есть некоторые товарищи кто только и делает, что готовится к этому, и это помогает.

К сожалению моя стажировка прошла на заводе, и меня взяли потом на работу, на тот же завод. Из воспоминаний - играть в Counter Strike, собирать яблоки на территории завода и выжимать из них сок, жарить сосиски на крыше завода и там же загорать. Так как рабочий день начинался в 7 утра, я мог спать практически на любой поверхности и в любом положении.

Мой вуз МГТУ Станкин научил нескольким принципам, почти как Amazon Leadership principles - Deliver Result, Bias for Action, Ownership. Это типа сдать экзамен по сопромату, если вообще его не понимаешь, или по химии, если вообще не готовился через MP3 плеер (Invent and Simplify). Я думаю многие прошли через это. В общем ценность моего российского образования как инженера конструктура практические нулевая, но есть диплом магистра и не законченный Phd которые почетно занимают место в резюме)) И несмотря на все это , мне еще пришлось отдать деньгами долг родине🤪