Записал подкаст с Анастасией Кузнецовой, автором канала Настенька и графики (если ещё не подписаны, то очень рекомендую).

Поговорили про то, как дизайн помогает аналитикам в работе, посмотрели работы Насти и обсудили работы с Табло Паблика в новой рубрике «дашборд-рулетка». Было круто вместе обсудить визуализации, так как Настя тоже очень заморочена с дизайном и понятностью работы для зрителя.

Аудиоверсия
Текстовая версия

0:43 — Карьерный путь
7:12 — Про работу аналитика клиентских данных
8:34 — Зачем аналитику нужно знать основы дизайна
12:42 — Примеры работ
13:14 — Наука в северной Корее
20:25 — Граф для связей в ВК
23:50 — Музыка в ВК
30:15 — Сравнение пенсий
33:00 — Дашборд рулетка
1:05:22 — За чем следит и что почитать
1:07:20 — Блиц

Как вам совместные просмотры и разборы работ?

#подкаст

Визуализация SLA, свежий блог от Airbnb https://medium.com/airbnb-engineering/visualizing-data-timeliness-at-airbnb-ee638fdf4710

Владимир Лагутинский, который делал супер вебинар про Data Teams, скинул очень классный ролик - Канбан для Data Science, Асхат Уразбаев https://youtu.be/QYkuv2zuCFk

А Анастасия опубликовал 4й урок курса ML&DS. В котором вы узнаете:

📌 Build and Train ML model
📌 Overfitting и Underfitting + Cross-Validation
📌 Model Evaluation
📌 Tuning hyperparameters
📌 Submission of ‘.csv’ file

Презенташка для сегодняшнего митапа, ничего нового для вас, кроме одного слайда, где-то в конце архитектура для моего решения на databricks/delta lake. https://docs.google.com/presentation/d/1HShF6AIghwlV_-0LlPoT1yWcBuglFzMCkU1H4jdDbFI/

😊работаю над задачкой парсинга результата API - JSON, в котором много уровней вложений. Хочу сделать плоскую таблицу. Использую HDInsight+Spark, и потом буду Databricks.

Накидайте пожалуйста в комменты книги, курсы, tutorial, статьи или ещё чего, как в python парсить JSON. Мне ещё потом телеметрию с Xbox предстоит разбирать, хочу поучиться как правильно делать.

Что читать DE в телеге?

Сегодня подборка полезных TG-каналов для дата-инженера:

• Инжиниринг данных https://t.iss.one/rockyourdata Канал Дмитрия Аношина, эксперта по BI. Автор также ведет курс datalearn.ru, где обучает дата-инжиниринг (бесплатно)
• Data Eng https://t.iss.one/dataeng Всё, что вы хотели знать про построение инфраструктуры для хранения, обработки и эффективного анализа гигантского объёма данных.
• Moscow Spark https://t.iss.one/moscowspark Чат московского community Apache Spark.
• DE or DIE Chat https://t.iss.one/deordie_chat Чат сообщества DE or DIE, созданный дата инженерами. Поддерживают ребята из DoDo Engineering. Проводят митапы DE or DIE вместе с NewProLab
• Smart Data https://t.iss.one/smart_data_channel Канал про Data Engineering, аналитику и данные.
• Я у мамы Data Engineer! https://t.iss.one/ohmydataengineer
• Data online events & Moscow meetups https://t.iss.one/data_events Очень полезный канал - все ивенты, связанные с данными
• Data jobs feed https://t.iss.one/datajobschannel Канал с вакансиями в сфере обработки данных (инженеры, аналитики). Полезно для понимания тенденций на рынке и востребованных навыков

Если знаете еще полезные каналы - пишите в комментариях!

Всем привет!
Сегодня (1 марта) в 19:00 по мск у нас вебинар - обзор Looker
https://youtu.be/-YMCafO_cZk

Завтра (2 марта) в 20:00 по мск вебинар - Введение в стандартные концепции SQL
https://youtu.be/hSmpNeHBDYQ

Через 10 минут начинаем вебинар по Looker
https://youtu.be/-YMCafO_cZk
Примерная структура для интереса:
Моделирование данных: структура проекта и блоки LookML
Исследование данных: pivot, drill-down, table calculations
Визуализация: типы графиков, дашбординг, кросс-фильтры, sharing

Бесплатная конференция по DataOps и Инжинирингу Данных.

Во вторник (то есть уже сегодня по Москве в 8 вечера) у нас будет еще один вебинар - Введение в стандартные концепции SQL. Его проведет Миша Британ, он работает в Amazon Alexa в Бостоне в роли BI и помогает бизнес пользователям понимать концепции SQL и использовать SQL каждый день, так как в Амазоне это один из самых главных навыков.

Миша, можно сказать, English first, но отлично разговаривает на русском, иногда вставляю английские слова;) В общем, если вам интересно больше узнать про SQL (вы только начинаете с ним работать) или просто хотите побольше узнать про Амазон, задать вопросы про собеседования или как используются данные в Alexa, то не пропустите!

Из нашего slack https://news.microsoft.com/ru-ru/features/ignite2021/

https://youtu.be/hSmpNeHBDYQ
Мы начали))

Запись митапа с прошлой недели https://youtu.be/wKF0x9Fh3j4

С каждым принятым решениям у нас есть выбор, двигаться вперед или оставить все как есть. Очень часто у нас открывается окно возможностей (opportunities), где нужно принять решение, иногда даже рискнуть. Именно из таких возможностей складывается наша жизнь и карьера.

В исходной точке в большинстве случаев у многих равные возможности, но со временем, одни уходят вперед, другие так и остаются на месте. Это касается работы, должности, инструментов мы используем, места жительства и тд. Я много общаюсь с разными людьми, и по привычке начинаю раздавать советы, иногда дельные, иногда не очень. Но по реакции человека, можно сразу понять насколько он/она открыты к возможностям и насколько готовы действовать. В 90% случаев, идеи и советы так и остаются идеями и бесполезными советами, но в 5-10% случаях человек может воспользоваться возможностью и без лишних вопросов “нырнуть” в неизвестное. Хуже не будет, но может стать значительно лучше.

Это у меня просто мысль проскочила, почему одни двигаются быстрей, а другие нет. Не бойтесь принимать решения, мы живем один раз, не откладывайте все на потом, действуйте и получайте все, что хотите! Вселенная вас услышит и направит, но финальный шаг за вами.

Открыл для себя новый термин - reverse ETL. Это когда нам нужно данные забирать из хранилища данных и загружать их в другие системы. Даже есть иснтрументы специально для этого;