Удаленная вакансия Data Engineer (AWS, GCP, BI, DW)

— комменты глюкнулись, перепостил.

Всем привет, у меня давно есть идея, начать делать вебинары на русском. В Амазоне я уже 4 года веду BI Tech Talk это 100+ команд Amazon по всему миру, я приглашаю спикеров из амазона или из linkedin. Еще Amazon Tableau User Group, там 2500+ человек, и я приглашаю Tableau Zen Masters выступать. Амазон легко продать и все соглашаются.

В этом канале уже собралось 1777 подписчиков. И иногда я общаюсь с людьми, кто занимается аналитикой, строит решения, и они живут по всему миру и заглядывают на канал. В принципе, можно сделать вебинары, онлайн 1 час, раз в 2 недели + я смогу рассказывать свои презентации на русском, если где-нибудь выступаю. Мне всегда очень интерсно услышать:
- О вашей компании и вашем опыте, если вы заграницей, то как попали туда
- Опционально о вашем доходе (это интересно сравнивать)
- О команде (например BIE + DE + ML + Produсt Manager)
- О вашем проекте, архитектуре, набор инструментов, стоимости решения, сложностях
- Как вы помогаете бизнесу принимать решения на основе данных (Дашборд? Визуализация, сложные модели?)

Главная цель сделать это полезным для рассказчика и слушателей.
- Рассказчик сможет рассказать о себе и проекте и использовать это как портфолио?
- Слушатели смогут узнать что-то новое и применить на практике?

Пожалуйста, напишите ваше мнение в комментариях и если знаете классную платформу для вебинаров, тоже поделитесь и ее ценой. Так же я знаю, есть и другие мероприятия подобное, может быть еще один будет лишней. Все за и против Welcome! и хороших выходных!

Это конечно круто, наши грандмастеры на kaggle хотели всех обмануть и почти получилось, но потом все вскрылось. Оказалось, ребята в свою модель вставили снипет Python, который тупо сканирует сайт и собирает всю информацию, и по факту в 10% процентах случаев вместо предсказания, просто находит 💯 ответ. В общем все это безобразие вскрылось и чувака уволили из H2O (я не давно шарил их open source продукт). В общем жёстко облажались. Это просто epic fail, который подпортил им карьеру. Но в любом случае, ребята умные, добились результата, Python хорошо знают, знаю как модели строить😎. Обидно, что из-за этого пострадали невинные домашние животные и вообще подвели сообщество data scientists. А вы что думаете?

#faketillyoumakeit #jobchange
У меня есть несколько интересных историй, про знакомых и друзей, кому я помог поменять работу или изменить даже жизнь, не знаю к лучшему или худшему. Помогать хорошо для кармы, или просто хорошо, поэтому есть несколько success stories, которые еще актуальны, говорят о том, что все в ваших руках.

История 1,2,3,4

Осталось дописать последние 2 истории. И на этом они закончились, хотя я часто пытался что-то подобное провернуть, но все в холостую. Здесь в Канаде, людям сложно фокусироваться или они не обладают усидчивостью. Люди лучше согласиться сейчас получать меньше, чем через 6 месяцев нормально зарабатывать или просто круг знакомых уже за 30+ и сложно так вот сподвигнуть себя на подвиг.

История 5.
Про Костю Ф. В Москве у нас хороший друг, хороший стоматолог. У его тогдашней жены был брат, который жил в Омске и работал на заводе оператором вышки, которая нефть качала, по-моему он работал на Газпром. Они меня попросили ему помочь, я ему сразу сказала про 2 варианта в Москве:
1) Продавать оборудования для нефтегазовой промышленности
2) BI разработчик
Сошлись на разработчика, установили ему TeamViewer, чтобы я могу удаленно настроить ему компьютер. Установили SAP BO, SQL Server, и конечно же учить SQL на sql-ex.ru (самый крутой сайт для SQL, я его даже в Амазоне рекомендую), у него конечно было куча игр на компе, пришлось все удалить. Месяца 3-4 он учился. Но был вопрос как же из Омска собеседоваться. Мы придумали, что он работает на Газпром и просто в командировке в Омске (кстати отличная идея для тех, кто не в Москве, главное не переборщить, а то будет как гроссмейстеров из поста выше). В общем, попалась вакансию Glowbyte, они вообще крутые, у них даже компания в штатах есть (Tier 1 или как-то так), и про BI/DW все знают, и сильный упор на аналитический CRM, я даже пытался людей переманивать в CleverData от туда (не долго я был вообще в CleverData, если что могу про опыт рассказать). В общем мы откликнулись на вакансию, и ему назначили собеседование по Skype. Время было мало на подготовку и мы вместе прошли это собеседование по скайпу. В итоге его взяли сразу на хорошую зп, да еще переезд оплатили и дали денег на съем квартиры месяца на 2-3. Там он проработал 2 года. Кстати, там в HR он встретил будущую жену. И еще много раз меня выручал, когда я работал в Черногории.

История 6.
Про Колю Б. У нас в Виктории мы случайно познакомились с русскими. Мы особо на улице не знакомимся, но вот сын, всегда любил пальцем показывать и говорить громко на людей за соседним столом “Они по русски говорят!!”. В общем мы познакомились и стали общаться, я как обычно про свой BI. Оказалось, они уже год в Ванкувере, и в Москве Коля был предпринимателем и работал с тендерами. Здесь Коля работал на стройке за 20$ в час (кстати это не плохо, так как платят кешом, есть ребята плитку кладут и получают по от 40 в час, можно работать по 12 часов и без выходных, то есть в Канаде не пропадете). Коля превосходил всех по усидчивости, он просто вгрызался учебники, тренинги и тп. В общем по стандартной программе. Sql-ex.ru, но уже перешли на Tableau, Redshift, Pentaho. Сделали резюме и стали откликаться на вакансии, даже попробовали в Амазон на стажировку, но оказалось , что на стройке он разговаривает по русски, и английский был запущен, в итоге он пошел на курсы английского и еще в школу местную по дизайну БД. В итоге, довольно быстро нашел работу BI, сейчас учит программирование, и вроде интересуется blockchain.

Мораль просто, не важно что вы знаете и что делаете, всегда можно переключиться и начать заниматься чем-то другим, что приносит больше денег, и где есть больше перспектив. Главное, нужно знать короткий путь.

Почему мне нравилось делать такие истории? Несколько причин, главное, я считаю, чем больше отдаешь, тем больше получаешь (что-то вроде от вселенной), помогаешь кому-то просто так, и к тебе вернется в 3 раза больше. Так же мне было интересно обмануть систему (пример гроссмейстеров из кагл меня теперь будет преследовать, наверно нужно иметь четкую грань, что можно, а что нельзя). Под системой я имею ввиду традиционный, шаблонный наем сотрудников, который далек от идеала, где главная задача иметь правильные ключевые слова в резюме, чтобы очень занятый HR смог обратить на вас внимание, и потом нужно еще понравится человеку, который берет вас на работу, для этого нужно сказать, то , что он хочет услышать. Главная задача это попасть, а уже на месте, человек очень быстро адаптируется, если будет усердно работать. Ну и заодно, когда мы учим других, мы учимся сами.

Помимо вебинаров, появилась еще одна идея. Сделать открытый Bootcamp с Redshift, Tableau, Petnaho и тп, все истории и накопленный опыт можно было масштабировать и потом собирать фидбек людей, какие у них успехи и сколько людей дошло до конца. Так же у меня был план программы Data Engineer для SkillFactory (10 модулей) вот и ее можно будет провернуть за 10 недель, а вдруг кому поможет, и всем будет хорошо🤔

Кстати про Хабр, вот комментарий победитель. Пишешь, стараешься, а получается ерунда какая-то!😂🤦‍♂️

Кстати слыша ли вы термин citizen data scientist? В общем это такой человек, которые не учился на data science, но используют приему и техники в работе. Не знаю можно ли назвать его любителем? Это было популярно в 2019, а до меня только сейчас дошло. А вот в 2020 будет citizen data engineer, то есть, вам не обязательно быть крутым инженером и долго на него учиться, достаточно понимать основы и самостоятельно копировать данные для анализа.

Кстати, там же пишут, согласно отчету про ТОП вакансий 2020, data engineer теперь наравне с ML и data science. Но материалов по ML/Data Science настолько много, что можно в них утонуть, а по data engineer все очень скудно пока. По основным навыкам это ETL/ELT,DW,AWS, Python, Spark.

В общем зовите друзей в канал! Будем всех делать Citizen Data Engineer, обязательно придумаю какой-нибудь сертификат, всем, кто пройдет буткемп от начала до конца( осталось только его сделать 🧘‍♂️- bootcamp, но программа уже есть).

Кстати, как вы понимаете citizen DE/DS?

https://insights.dice.com/2020/01/10/citizen-data-engineer-year-2020/

А это ТОП тренды для крутых компаний на 2020!
1) Продолжают мигрировать в облака (не реклама!)
2) Использование гибридных DW/Data Platform, часть в облаках, часть on-premise. Такой переходный этап.
3) Мульты Клауд явно в тренде, это когда мы можешь использовать микс AWS+Azure и тп. Самое главное, вендор это понимает, и создают решения, которые не привязаны к конкретному облаку.
4) Фокус на безопасно и приватность. Ну это всегда было, есть и будет.
5) Рассвет AI (уже компании научились использовать решения), так же решению идут по пути упрощения - пример AWS SageMaker
6) Рост sharing данных и их монетизации. Например, у нас есть много важных и ценных данных, мы можем предоставить доступ клиентам., Самое главное, что это все делается очень просто.

Как выглядит самое современное аналитическое решение от Microsoft? А вот как! Я уже писал про Synapse. Это микс DW+ DataLake. Замена Azure DW. Еще не пробовал, если кто пробовал, то отпишитесь.

Для всех желаующих, самый свежим материал от Microsoft. Они сделали новый воркшоп Analytics in a day, тут и презенташки и лабы и тп. Так что вам можно будет картинки и идеи взять себе на вооружение. https://partner.microsoft.com/en-us/asset/collection/analytics-in-a-day#/

Вы же любите визуализацию? -
Wuhan Coronavirus (2019-nCoV) Global Cases (by Johns Hopkins CSSE)
в реальном времени

https://gisanddata.maps.arcgis.com/apps/opsdashboard/index.html#/bda7594740fd40299423467b48e9ecf6

Кто-нибудь ходил на Synergy Digital? Там маркетинг, аналитика и тп. Билеты не дешевые, интерсно знать, качество мероприятия. Еще предложили выступить, но в иделе хотели, что бы я за свой счет прилетел 🥴

Директор BI Wargaming рассказал про их setup BI/DW. Рассказал, в чем разница между on-premise DW и Cloud DW. В чем разница между Batch и Streaming все это с наглядными картинками на английском (с русским? акцентом). И все это за 18 минут! Спасибо Оксане, она супер эксперт по мобильной аналитике и мы с ней решили покорить стартапы силиконовой долины, и внедрить им правильную аналитику. Если, что она и вам поможет прокачать ваше приложение.

Так же пару ссылок, на мероприятия, послушать/поучиться в ближайшее время от TDWI
Modern Data Integration for Advanced Analytics, from Self-Service to Predictive Solutions 18 февраля
The Automated Business Glossary: Part and Parcel of BI Intelligence 4 февраля

Кстати, я заметил, что эти ребята TDWI напоминают мне ситуацию с властью в РФ (могу ошибаться, не судите строго), на протяжение лет 7-10 я вижу одни и те же лица, которые слегка меняют свои презентации в стиле 90х, и рассказывает (часто тоже самое) как нужно внедрять аналитику, но прогресс ушел вперед. То же самое я заметил на конференции Enterprise Data Worlds где я был уже 2 года и скоро поеду опять.

Познакомился сегодня с Sigma BI https://www.sigmacomputing.com/. Эта такой Cloud Native BI, их главная фишка, что это буквально Excel. Это и есть их главный Sales Point, 90% пользователей знают excel. Продукт конечно пока слаб, нет InMemory возможностей и визуализация слабая. Ценообразование тоже инверсно - 300$ админ в месяц, 100$ разработчик, и все Viewers бесплатно. Предложил им выйти на Канадский рынок, у них как раз есть бюджет на мероприятие.

Было и стало. #datalakehouse https://databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html

Все больше материала про коллаборации data scientists, data engineer и data platform. Вот новый whitepaper от Microsoft на эту тему. А какая команда у вас? Один человек "швейцарский нож" или ваше руководство понимает о необходимости специализации и коллаборации?

На хабр, мне написал Максим, автор подкастов про DWH. Он зачитатет статью про data lake. У него уже несколько выпусков есть, классно получается и главное от души👌

Интересный момент, многие слышали про GPU? Попалась статья (короткая) на хабр, про Big Data с GPU. Там есть описание некскольких коммерческих решений, из которых я только знаю Kinetica. Благодаря развитию и демократизации технологий, мы можем теперь попробовать запустить наше классическое решение на виртуальной машине с GPU. И мы получим, серьезные вычислительные мощности. Обычно мы используем такие инстансы для ML/DL. Но что, если попробовать запустить open source Spark или Pentaho Data Integration (ETL) или может BI? Если кто пробовал запускать традиционные решения на GPU, расскажите про ваш опыт. Я бы хотел запустить ETL на GPU, и проверить насколько быстрей трансформации. Но проблама с передачей данных по сети никогда не уйдет.

#book
Мне подсунули книжку автора "Богатый папа, бедный папа" Когда я давно читал (точнее слушал книгу) про пап, то было интересно, но сложно применимо к российским реалиям. Потом я слушал его другую книгу про квадранты, и я усвоил только одну вещь - существует квадрант:
E - employee, это мы работаем за зарплату
S - self employed, это мы работаем на себя, но нам платят по часам, мы не работаем, нам не платят. Нет отпуска и выше риски, я это называют contracter/freelancer.
B - business owner, тут понятно. Есть бизнес, который сам живет. Очень часто мы путаем S и E. Уволиться с работы и работать на себя это не бизнес, это самозанятость, это не масштабируется и часто мы возвращаемся к E.
I - investor, ну это когда все хорошо, мы понимаем как работает B, как управлять деньгами и при этом есть деньги.

Я запомнил на всегда про B и S. И создавая консалтинг, я хочу избегать S, и фокусирусь на B, но не хватака опыта дает о себе знать. В конце концов это будет мое бизнес образование, где мне платят, если я выучил урок, и где я плачу за свои ошибки. Это развивает networking, помогает больше практиковать английский (вы думаете работать инженером, нужно много говорить? не нужно, язык быстро теряет способность быть fluent).

У меня даже уже идея появилась. Когда была золотая лихорадка на Юконе (северная провинция Канады), и умные люди в Сиэтле решили заработать, они сказали, что Сиэтл это ворота в Юкон (хотя до Мексики ближе чем до Юкона), и к ним хлынуло куча золотоискателей. Бизнесмены в Сиэтле никогда не были в Юконе, но при этом продавали все необходимое, включая собак с упражками (но не хаски, а дворняг), и другие прибамбасы вместе с лопатами, заработали хорошо. Это как продавать франшизу. Вам продают лопату, и вы идете искать золото, не факт, что вы разбогатеете, но на вас точно заработают. Так я уже подумал, что мне надо продавать, услуги и тренинги по созданию своей аналитической компании🤣🤣

Я на самом деле хотел написать про книгу, которую сейчас читаю, и я действительно нашел ее очень полезной! FAKE: Fake Money, Fake Teachers, Fake Assets: How Lies Are Making the Poor and Middle Class Poorer

В 1ой главе, сразу говорят вам, что в 1971 президент Никсон отменил золотой стандарт. И объясняют вам, почему он это сделал, и как это повлияло. И дальше он рассказывает, про современные финансовые инструменты, это все fake. Сток? Акции и тп. В общем если вы хотети быть более грамотными в финансовом плане, очень рекомендую. Книга 2018 года, то есть очень свежая. Лично я теперь думаю о том, что бы обменять половину моего Amazon Stock на золото или серебро. Если читали, поделитесь идеями.

Я сейчас лечу из Сиэтла в Бостон, очень классные авиалинии JetBlue. Хороший бесплатный интернет. Все смотрят super bowl. Это ежегодный чемпионат по американскому футболу. Я не фанат, но сегодня впервые покажут новую рекламу Alexa. Это одна из самых дорогих рекламных площадок. А для вас я и так покажу, наслаждайтесь.

Кстати показали, что 30 секунд рекламного времени стоит 5,6mln$.

https://youtu.be/trfbpONj3dk