Инжиниринг Данных
23.5K subscribers
1.98K photos
55 videos
192 files
3.21K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Меня попросили ссылки скинуть, которые я скидывал студентам.

Если вы хотите работать с данными, то навык номер один это SQL. Поэтому, неважно, что вы будете делать, нужно знать SQL. Статистика это уже завивисит от задачи, я ее не знаю, а вот кто-то знает и успешно использует.

SQL:
Intro to SQL
Lean SQL
Solve SQL Challenges
Мой любимый, отечественный - sql-ex.ru Только там теперь жесть какая-то с рекламными баннерами.

Статистика:
Basic Statistics


А вот остальные курсы, которые будут полезны, практически все они бесплатные!
Аналитика:
Basic Data Processing and Visualization
Data Visualization and Communication with Tableau
Data-driven Decision Making with PWC
Data Analysis and Presentation Skills: the PwC Approach Specialization
Strategic Business Analytics Specialization
Business Analytics Specialization
Business Analytics Executive Overview
Excel to MySQL: Analytic Techniques for Business Specialization
Building High-Performing Teams
Doing Business in China Capstone

А по AWS много материалов у AWS.
Overview of AWS: AWS Cloud Practitioner Essentials (Second Edition) - 6hours
Data Analytics Fundamentals 3.5 hours
Amazon Redshift Tutorial (бесплатно)

Microsoft курсы на edx.
Analyzing and Visualizing Data with Power BI
Spark and Databricks

Google Cloud Platform:
Data Engineering, Big Data, and Machine Learning on GCP Specialization
Google Data Engineer
Отличный пример как нужно презентовать экономическую целесообразность BI решения, The Total Economic
Impact Of Tableau BI or Analytics Solution
https://www.tableau.com/sites/default/files/whitepapers/the_tei_of_tableau_-_final.pdf
Сейчас все новости про COVID19. Все работают из дома, Северная Америка на карантине, практически все магазины закрыты. В России пока ещё все расскачивается, но если есть возможность, то лучше сократить перемещения, возможно вы не пострадаете, но можете заразить того, кто в группе риска. Свежая статья от NYTimes про Италию.
У меня вопрос! Пока все дома сидят с детьми, можете посоветовать ресурсы для онлайн обучения? Матемика, русский, чтение Мне нужно 5 - 8 лет. Ресурсов много, но не понятно насколько хороший. Хотелось бы усадить детей, чтобы решал примеры и задачки. Накидайте в комментарии, заодно и другим будет полезно.
Интересная мысль (не моя) - "Если мы не измеряем, то мы не контролируем" или как-то так.

Всвязи с COVID19 многие бизнесы встали в ступор, все их бюджеты, прогнозы, которые основаны на линейной регрессии и базовой статистики рухнули. Если вы работаете с данными в своей компании, строите отчеты и тп, то первое, чем вы можете помочь своей компании, это добавить открытые данные по COVID19 к существующим метрикам.

Вот главный дата сет, все что вам нужно, это загрузить эти данные в ваше хранилище или BI и добавить корреляцию. Не факт, что это поможет, но это лучше, чем просто сидеть и ждать. Мы так сделали в Alexa.

Я использовал Matillion ETL, там есть коннектор к Google sheets. Можно попробовать Pentaho DI, Python, R. Есть так же Tableau Public дата сет.

Вот еще некоторые источники:
🎱https://coronavirus.jhu.edu/map.html

🎱New York Times’ US Data – https://github.com/nytimes/covid-19-data

🎱Our World in Data World Data https://ourworldindata.org/coronavirus-source-data
Я написал пост про Covid19. Я решил внести свой маленький вклад, и единственное, что мне пришло на ум это сделать shared jobs для Matillion. Заодно посмотрим, как зайдет такой материал с точки зрения маркетинга. https://medium.com/rock-your-data/matillion-etl-covid-19-data-transformation-starter-kit-d9b986235c47
Пишут - хорошие книги
Есть 3 основный типа файла для big data:
💃AVRO
💃PARQUET
💃ORC

Я обычно сразу использую parquet и даже не заморачиваюсь. Но вы можете посмотреть, в чем разница https://blog.clairvoyantsoft.com/big-data-file-formats-3fb659903271
Прямо сейчас начался вебинар - Data Literacy: The New Essential Skill. Возможно узнать, что это такое и попрактиковать английский https://brainstation.io/event/online-event-data-literacy-march2020
Роли для работы с данными и их потребности.
Шаблон документа, чтобы вы могли донести идею до коллег, команды и не использовать power point
Одна из крупных и модных компаний DataRobot начала сокращать персонал, я даже откликался к ним на вакансию AI Solution Architect, но так и ничего не слышал. Но в целом, если посмотреть список компаний, которые увольнают тысячи людей, то они явно что-то знают, что мы не знаем. По Rock Your Data консалтинг, почти все лиды, которые были, сдулись и пропали. А вот Amazon пока держится, даже сток не сильно упал.
Wow, 90 дней Tableau даёт бесплатный доступ на тренинги. Не важно работаете вы с табло или нет, обязательно пройдите их!
Привет, нм нужно выбрать домен для курсов, вот варианты:
Engineering-analytics.ru
Englytics.ru
Lyeng.ru
Enlytics.ru
Sayyesdata.ru
omydata.ru
Datalearn.ru
Dadabigda.ru
Bigda.ru
Analitika.club

Ну или пишите ваш вариант в комментах. Я хочу сделать основу, и потом добавить ambassadors , кто может более подробно писать инструкции в github в markdown, по сути это будет как ваше портфолио, и можно будет всегда менять содержание учебника.
datalearn.ru победил! а мне понравился omydata:) В общем приобрел datalearn.ru на 1 год, теперь мы его прикрутим к сайту, который создает Роман (@rspon) на тильде, за что ему спасибо!

Дальше можно будет сделать:
🎥youtube (для видео) GitHub (для текста)
🏖 какой-нибудь веселый лого
🏆сертификат
😎 программу курса прописать (Data Literacy это у нас был introduction), Gentle Data Engineering (это у нас DWH, BI, ETL, ELT, BigData). Тут у меня есть контент и идеи.
💃Analytics for Women, тут сложней, так как я не woman:) Но я хочу быть ментором и найти заинтересованных девушек, кто хочет развивать это русскоговорящие комьюнити (просто идеи с запада взять).

Как я писал нужны добровольцы, кому интересно помочь создать этот ресурс. Самое трудоемкое это создать подробные инструкции на GitHub, такие вот туториал step by step. Зато потом можно в резюме ссылок наставлять😜

Вообще скидывайте идеи, можно также и какие-нибудь курсы в таком формате сделать. Главное идея это что бы был четкий контекст, не просто "строим график и нажимаем кнопки", а зачем график, почему график, почему в Табло, а не в экселе и почему столбчатый график хорошо , а пирог не хорошо, и тп.

Так как я не могу быть экспертом всего, то соответственно где-то я буду срезать углы и округлять. По принципу парето 20% знаний, решать 80% проблем.

Мой личный интерес это масштабировать мою передачу знаний и закрепить ее, я уверен это поможет другим.