Инжиниринг Данных
23.5K subscribers
1.99K photos
55 videos
193 files
3.21K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Всем привет!
Сегодня (1 марта) в 19:00 по мск у нас вебинар - обзор Looker
https://youtu.be/-YMCafO_cZk

Завтра (2 марта) в 20:00 по мск вебинар - Введение в стандартные концепции SQL
https://youtu.be/hSmpNeHBDYQ
Через 10 минут начинаем вебинар по Looker
https://youtu.be/-YMCafO_cZk
Примерная структура для интереса:
Моделирование данных: структура проекта и блоки LookML
Исследование данных: pivot, drill-down, table calculations
Визуализация: типы графиков, дашбординг, кросс-фильтры, sharing
Во вторник (то есть уже сегодня по Москве в 8 вечера) у нас будет еще один вебинар - Введение в стандартные концепции SQL. Его проведет Миша Британ, он работает в Amazon Alexa в Бостоне в роли BI и помогает бизнес пользователям понимать концепции SQL и использовать SQL каждый день, так как в Амазоне это один из самых главных навыков.

Миша, можно сказать, English first, но отлично разговаривает на русском, иногда вставляю английские слова;) В общем, если вам интересно больше узнать про SQL (вы только начинаете с ним работать) или просто хотите побольше узнать про Амазон, задать вопросы про собеседования или как используются данные в Alexa, то не пропустите!
С каждым принятым решениям у нас есть выбор, двигаться вперед или оставить все как есть. Очень часто у нас открывается окно возможностей (opportunities), где нужно принять решение, иногда даже рискнуть. Именно из таких возможностей складывается наша жизнь и карьера.

В исходной точке в большинстве случаев у многих равные возможности, но со временем, одни уходят вперед, другие так и остаются на месте. Это касается работы, должности, инструментов мы используем, места жительства и тд. Я много общаюсь с разными людьми, и по привычке начинаю раздавать советы, иногда дельные, иногда не очень. Но по реакции человека, можно сразу понять насколько он/она открыты к возможностям и насколько готовы действовать. В 90% случаев, идеи и советы так и остаются идеями и бесполезными советами, но в 5-10% случаях человек может воспользоваться возможностью и без лишних вопросов “нырнуть” в неизвестное. Хуже не будет, но может стать значительно лучше.

Это у меня просто мысль проскочила, почему одни двигаются быстрей, а другие нет. Не бойтесь принимать решения, мы живем один раз, не откладывайте все на потом, действуйте и получайте все, что хотите! Вселенная вас услышит и направит, но финальный шаг за вами.
1
Открыл для себя новый термин - reverse ETL. Это когда нам нужно данные забирать из хранилища данных и загружать их в другие системы. Даже есть иснтрументы специально для этого;
Сегодня общался с командой Minecraft, дважды. Сначала с командой data engineers, о том какое у них решение. В целом практически все крупные студии использую решения “операционной аналитики” (ну это я так называю), к ним относятся решения Splunk, ElasticSearch+Logstash. Это когда инструмент пожирает данные на входе практически в реальном времени, и мы можем их искать. Часто используют слово Spelunking (это значит лазить в пещере с фонариком), как раз Splunk произошёл от этого слова. (Хочу засунуть splunk в курс datalearn обязательно).

В общем, для аналитики вместо традиционного подхода с хранилищем данных или платформой данных/озером данных у многих студий используется решение от Azure (Azure Data Explorer) с похожим принципом как у Splunk.

Но их data science команда уже кайфует от Databricks, и они поделились крутой ссылку по Best Practices для PySpark, которая была создана Palantir. На мой вопрос, хотели бы они, чтобы Databricks был и для Data Science и для Data Platfrom, все дружно закивали, значит, реально DataBricks это вещь💪

Еще оказалось, что аналитик Minecraft, раньше был в Amazon Game Studios, и часто бывал на мои ивентах Amazon Tableau User Groups и BI Tech Talks, за что очень благодарил😇
1
Вот над чем я буду работать следующий год-два
Еще один доклад про data-mesh. На этот раз от JP Morgan. То есть это для очень крупных организаций пока используется.
Основатель dbt в декабре написал длинный блог - The Modern Data Stack: Past, Present, and Future
Так же доступна видео запись с конференции https://youtu.be/1Zj8gTLdf5s
Он точно в теме современных технологий и потребностей.
Согласно автору и его презентации (ссылка выше), он выделил следующие проблемы, которые индустрия должна решить, в видео и в тексте, он рассказал почему так, и какие успехи у индустрии сейчас.
Интересно ваше мнение: Как вы относитесь к современным прививкам?
Anonymous Poll
8%
Прививки это зло
81%
Прививки это важно и необходимо
10%
Мне все равно
Не знаю как, но попалась такая статья, и я согласен с автором, особенно как родитель 3х детей https://news.obozrevatel.com/society/fenomen-morgenshterna-debilami-upravlyat-legko.htm
А вот информация по следующему вебинары, который уже будет в четверг (сегодня) в 7 часов вечера по Москве - “ВЫВОДЫ ЗА 10 ЛЕТ РАЗВИТИЯ ПРАКТИКИ QLIK “. Мы познакомились со спикером через мою статью про консалтинг компанию, но в отличие от моего опыта, дела у него обстоят хорошо, о чем он и расскажет.

Александр Гончар - эксперт решений Qlik согласился поделиться опытом и рассказать про возможности аналитического инструмента и своего опыта. Уже более 10 лет он руководит консалтинг компанией А2, которая занимается внедрение решений Qlik и решений бизнес аналитики в СНГ и Северной Америке.
Сейчас начнется!
Дашборд Qlik в 2012 года, в котором CLS закрашивался в зависимости от выполнения плана. Мотивация для менеджера по продажам наверное))