Сегодня ходил на конференцию, посвященную работе с клиентскими данными. Несколько тезисов, которые понравились
🔹Компании движутся в гипер-персонализацию, когда компании понимают не только что вам может быть интересно и предлагают это, но знают досконально ваши текущие жизненные ситуации, в которых вы находитесь и действуют проактивно, помогая вам в них.
🔹Взаимодействие с реальным человеком, а не с роботами/AI помощниками, будет все больше и больше привилегией премиум-сервиса, однако все может зависеть от конкретных кейсов, где взаимодействие с ботами удобно и оправданно
🔹Приватность как-будто уходит на второй план, компании слишком много знают данных о своих клиентах и мало кто читает длинные согласия на обработку перс. данных. Однако, регуляторы наоборот озабочены защитой данных
🔹Практически все продукты компаний в рамках финтех и страховых практически одинаковые. Поэтому компании будут выделяться уровнем предоставляемого сервиса вокруг своих продуктов, чем новыми продуктовыми фичами
🔹Очень впечатлил проект ЕРН - единый реестр населения. Это гос. проект, который объединяет в себе золотые карточки по людям со всеми историческими и актуальными данными документов. Для контекста, все наши разные документы (паспорт, ИНН, СНИЛС, водительское удостоверение, свидетельство о браке …) находятся в обработке и хранении у множества разных гос. ведомств. Обмен и актуализация этих документов между ведомствами - огромная сложная задача + цифровизация всех старых документов и записей прошлого века.
Теперь есть этот реестр ЕРН который все в цифровом виде, хранит, обрабатывает, стандартизирует, дедублицирует, обновляет, актуализирует в одном месте и будет являться эталонном источником информации о человеке. Вот это прям впечатляет по масштабу проекта и не сравнится даже с самыми большими корпорациями и их объемами данных 🤯
🔹Компании движутся в гипер-персонализацию, когда компании понимают не только что вам может быть интересно и предлагают это, но знают досконально ваши текущие жизненные ситуации, в которых вы находитесь и действуют проактивно, помогая вам в них.
🔹Взаимодействие с реальным человеком, а не с роботами/AI помощниками, будет все больше и больше привилегией премиум-сервиса, однако все может зависеть от конкретных кейсов, где взаимодействие с ботами удобно и оправданно
🔹Приватность как-будто уходит на второй план, компании слишком много знают данных о своих клиентах и мало кто читает длинные согласия на обработку перс. данных. Однако, регуляторы наоборот озабочены защитой данных
🔹Практически все продукты компаний в рамках финтех и страховых практически одинаковые. Поэтому компании будут выделяться уровнем предоставляемого сервиса вокруг своих продуктов, чем новыми продуктовыми фичами
🔹Очень впечатлил проект ЕРН - единый реестр населения. Это гос. проект, который объединяет в себе золотые карточки по людям со всеми историческими и актуальными данными документов. Для контекста, все наши разные документы (паспорт, ИНН, СНИЛС, водительское удостоверение, свидетельство о браке …) находятся в обработке и хранении у множества разных гос. ведомств. Обмен и актуализация этих документов между ведомствами - огромная сложная задача + цифровизация всех старых документов и записей прошлого века.
Теперь есть этот реестр ЕРН который все в цифровом виде, хранит, обрабатывает, стандартизирует, дедублицирует, обновляет, актуализирует в одном месте и будет являться эталонном источником информации о человеке. Вот это прям впечатляет по масштабу проекта и не сравнится даже с самыми большими корпорациями и их объемами данных 🤯
🔥13❤5👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Еще одно видео моего кумира 😂
У всех ведь перед отпуском начинается какой-то завал на работе? Сегодня Андрей из команды перед отпуском до последнего доделывал отчет. У меня аврал за недели 3 по ощущениям начинается каждый раз. Как это работает?)
P.S. всех с пятницей😎
У всех ведь перед отпуском начинается какой-то завал на работе? Сегодня Андрей из команды перед отпуском до последнего доделывал отчет. У меня аврал за недели 3 по ощущениям начинается каждый раз. Как это работает?)
P.S. всех с пятницей
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥17👍1👏1
Спешу рассказать про программу курса "Продвинутый SQL для анализа и преобразования данных "
Материалы сформированы так, чтобы сначала получить необходимую теоретическую базу и изучить описанные практические примеры. Во второй половине курса всю эту базу знаний применить для решения бизнес-задач с разработкой и автоматизацией витрин данных.
Опишу разделы курса, не погружаясь в детальные уроки
Теоретическая-практическая часть:
🔹Витрины данных и их виды материализации
🔹Формирование требований для витрин данных
🔹Продвинутый SQL для преобразований данных и пользовательские функции
🔹Оптимизация запросов и работа с планом запроса
🔹Практические лайфхаки формирование метрик и аналитики
🔹Теория и практика работы с git и Github
🔹Cloud functions
🔹Apache Airflow
🔹Процедуры и триггеры PostgreSQL
🔹Реализация витрин с полной перезагрузкой
🔹Реализация витрин с инкрементальной загрузкой
🔹Формирование документации для витрин и потоков данных
Практическая часть
Здесь тебя ждут описанные бизнес-задачи на разработку 10 разных витрин данных с их автоматизацией. Чтобы максимально дать широкий спектр практики каждая витрина будет отражать разные бизнес-домены и отвечать потребностям разных бизнес-задач:
🔵 финансы
— отчет формата PnL
— отчет с ключевыми KPI компании
— отчет план/факт
🔵 маркетинг
— трафик
— отчет по данным Яндекс Метрики с активностью на сайте
🔵 клиенты
— отчет по источникам регистрации и активности клиентов
— отчет по портрету клиента
— отчет по Retention
🔵 CRM-коммуникация
— эффективность каналов коммуникации
Для всех этих бизнес-задач научитесь формировать аналитические витрины в нашей DWH-песочнице и автоматизировать разными способами, максимально подходящими для решения конкретной задачи.
Чтобы попасть в группу, заполните форму или напишите мне сразу лично @daniildzheparov. Узнаю про ваш опыт работы и сориентирую по другим вопросам и оплате
Материалы сформированы так, чтобы сначала получить необходимую теоретическую базу и изучить описанные практические примеры. Во второй половине курса всю эту базу знаний применить для решения бизнес-задач с разработкой и автоматизацией витрин данных.
Опишу разделы курса, не погружаясь в детальные уроки
Теоретическая-практическая часть:
🔹Витрины данных и их виды материализации
🔹Формирование требований для витрин данных
🔹Продвинутый SQL для преобразований данных и пользовательские функции
🔹Оптимизация запросов и работа с планом запроса
🔹Практические лайфхаки формирование метрик и аналитики
🔹Теория и практика работы с git и Github
🔹Cloud functions
🔹Apache Airflow
🔹Процедуры и триггеры PostgreSQL
🔹Реализация витрин с полной перезагрузкой
🔹Реализация витрин с инкрементальной загрузкой
🔹Формирование документации для витрин и потоков данных
Практическая часть
Здесь тебя ждут описанные бизнес-задачи на разработку 10 разных витрин данных с их автоматизацией. Чтобы максимально дать широкий спектр практики каждая витрина будет отражать разные бизнес-домены и отвечать потребностям разных бизнес-задач:
🔵 финансы
— отчет формата PnL
— отчет с ключевыми KPI компании
— отчет план/факт
🔵 маркетинг
— трафик
— отчет по данным Яндекс Метрики с активностью на сайте
🔵 клиенты
— отчет по источникам регистрации и активности клиентов
— отчет по портрету клиента
— отчет по Retention
🔵 CRM-коммуникация
— эффективность каналов коммуникации
Для всех этих бизнес-задач научитесь формировать аналитические витрины в нашей DWH-песочнице и автоматизировать разными способами, максимально подходящими для решения конкретной задачи.
Чтобы попасть в группу, заполните форму или напишите мне сразу лично @daniildzheparov. Узнаю про ваш опыт работы и сориентирую по другим вопросам и оплате
🔥7❤3👍2
Ходил в субботу на конференцию Data Driven от Яндекса. Мне понравилось что на месте фуршета были телевизоры с прямой трансляцией докладов, т.к. в зале мест было сильно меньше чем участников, поэтому это было спасением для тех кто в зал не влез)
Был классный доклад про коммуникацию с пользователями через дашборды. Ожидал, что будет про понятные графики, полезные инсайты, подсвеченные аналитиком прямо в отчете, но нет. Яндекс рассказал про свой процесс сертификации отчетов, стандартизацию шаблона отчета со всей полезной информацией (ответственный за отчет, форма обратной связи, инструкция получения доступа…). А также проверка качества данных на отчете, их актуальность и производительность самого отчета.
Записи докладов можно посмотреть здесь
Был классный доклад про коммуникацию с пользователями через дашборды. Ожидал, что будет про понятные графики, полезные инсайты, подсвеченные аналитиком прямо в отчете, но нет. Яндекс рассказал про свой процесс сертификации отчетов, стандартизацию шаблона отчета со всей полезной информацией (ответственный за отчет, форма обратной связи, инструкция получения доступа…). А также проверка качества данных на отчете, их актуальность и производительность самого отчета.
Записи докладов можно посмотреть здесь
❤15👍11🔥1
Как часто ходишь на конференции/митапы?
Anonymous Poll
70%
не хожу или очень редко
20%
1-2 раза в год
7%
3-5 раз в год
3%
больше 5 раз в год
Конференции и профессиональные сообщества для меня - это способ изучить и посмотреть как развивается твоя профессия на уровне всего рынка, как работают другие компании, что применяют у себя. Это всегда отличная возможность погрузиться в профессиональное сообщество и найти для себя что-то ценное: знакомства, знания, технологии, идеи. Я за год лично посетил уже больше 5 крупных конференций, а ведь он еще не закончился) Нужно это использовать как инструмент для своего развития, тем более что большинство конференций проводят бесплатно!
И вот нашел для вас событие, которое просто идеально ложится в нашу область data мира. Если вы BI-специалист, аналитик или дата-инженер, это главный инсайт-хаб, который нужно посетить в этом году.😎
Речь про РУBIКОНФ’25 — это масштабная конфа по BI и дата-грамотности в России и СНГ.
Я изучил программу. Это не просто «послушать доклады», это шанс закрыть свои самые острые боли как аналитика/инженера.🤯
Конференция — это про сообщество и доверие. Это нетворкинг, который реально двигает карьеру.
🔥И главное! Участие в РУBIКОНФ’25 БЕСПЛАТНОЕ. Нужно только успеть зарегистрироваться заранее. Вам дают топовый контент и мощный нетворкинг, а вы платите только своим временем.
🔗 Подробности и регистрация по ссылке.
7 октября, Москва.
Кластер «Ломоносов» (Раменский б-р, д. 1).
Приезжайте с 10:00!
И вот нашел для вас событие, которое просто идеально ложится в нашу область data мира. Если вы BI-специалист, аналитик или дата-инженер, это главный инсайт-хаб, который нужно посетить в этом году.😎
Речь про РУBIКОНФ’25 — это масштабная конфа по BI и дата-грамотности в России и СНГ.
Я изучил программу. Это не просто «послушать доклады», это шанс закрыть свои самые острые боли как аналитика/инженера.🤯
🔜 Импортозамещение и реальный опыт. Не теоретические рассуждения, а кейсы от компаний, которые уже мигрировали. Как построить DWH и аналитику на отечественных решениях — сколько это стоит, и как не облажаться.🔜 Мастер-классы (это прям ПУШКА!). Впервые будет отдельный формат интерактивных сессий. Можно сесть и руками освоить новые методы работы с данными.🔜 РУBIЛОВО. Будут дискуссии по самым спорным вопросам, которые часто остаются за кадром. Это всегда дает новый угол зрения и возможность понять тренды.🔜 Визуализация. Покажут, как делать дашборды, чтобы их читал и понимал даже ваш руководитель (а не только вы).
Конференция — это про сообщество и доверие. Это нетворкинг, который реально двигает карьеру.
🔥И главное! Участие в РУBIКОНФ’25 БЕСПЛАТНОЕ. Нужно только успеть зарегистрироваться заранее. Вам дают топовый контент и мощный нетворкинг, а вы платите только своим временем.
7 октября, Москва.
Кластер «Ломоносов» (Раменский б-р, д. 1).
Приезжайте с 10:00!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9👍4🔥2
Чем я занимаюсь на должности аналитик-инженер
У меня прямо в трудовой должность так называется. Давайте разберемся как устроена работа с данными в большинстве компаний, где выстроены или строятся data driven процессы принятия решений.
Если говорим про постоянные процессы, а не ad-hoc (одноразовые) задачи, то этапы работы с данными можно свести в такой флоу
🔹Работа по получению и преобразованию сырых данных
🔹Очистка, трансформации, бизнес-логика создания витрин данных
🔹Автоматизация обновления витрин
🔹Анализ данных
Сюда включены как инженерные задачи (построить поток данных, автоматизировать), так и аналитические (узнать что и зачем делать, переложить бизнес-логику на данные, провести анализ и сделать выводы).
Когда работаешь в одной роли твой масштаб и набор задач ограничен, ты делаешь лишь часть работы из всего процесса.
➖ это может надоедать
➖может быть стагнация в своей роли
➖возможно есть задачи интересней чем делаешь сейчас
Многим компаниям требуются fullstack-специалисты, которые умеют работать и с инженерными и с аналитическими задачами. Вакансии могут называться как fullstack-аналитик, аналитик-разработчик, аналитик-инженер, DWH-аналитик.
Как этому научиться? Все это будем разбирать на моем курсе по созданию и автоматизации витрин данных - весь процесс по шагам, на практике.
Начинаем учиться 15 октября, длительность 1-1.5 месяца
‼️ Осталось 3 места в группе, все места забронировали за 10 дней с момента анонса! 🔥🔥
Требование: должны быть знания базового SQL
Заполняй анкету предзаписи, я свяжусь с тобой со всеми подробностями
У меня прямо в трудовой должность так называется. Давайте разберемся как устроена работа с данными в большинстве компаний, где выстроены или строятся data driven процессы принятия решений.
Если говорим про постоянные процессы, а не ad-hoc (одноразовые) задачи, то этапы работы с данными можно свести в такой флоу
🔹Работа по получению и преобразованию сырых данных
🔹Очистка, трансформации, бизнес-логика создания витрин данных
🔹Автоматизация обновления витрин
🔹Анализ данных
Сюда включены как инженерные задачи (построить поток данных, автоматизировать), так и аналитические (узнать что и зачем делать, переложить бизнес-логику на данные, провести анализ и сделать выводы).
Когда работаешь в одной роли твой масштаб и набор задач ограничен, ты делаешь лишь часть работы из всего процесса.
➖ это может надоедать
➖может быть стагнация в своей роли
➖возможно есть задачи интересней чем делаешь сейчас
Многим компаниям требуются fullstack-специалисты, которые умеют работать и с инженерными и с аналитическими задачами. Вакансии могут называться как fullstack-аналитик, аналитик-разработчик, аналитик-инженер, DWH-аналитик.
Как этому научиться? Все это будем разбирать на моем курсе по созданию и автоматизации витрин данных - весь процесс по шагам, на практике.
Начинаем учиться 15 октября, длительность 1-1.5 месяца
Требование: должны быть знания базового SQL
Заполняй анкету предзаписи, я свяжусь с тобой со всеми подробностями
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9❤4🔥3👏1
Вопрос из комментариев решил еще раз подсветить о ролях DA и DE
Грань между DA и DE бывает сильно размыта, мне ли это не знать если у меня позиция называется аналитик-инженер 😅
На самом деле расскажу например как у нас делится в Сравни
DE (инженеры данных) отвечают за:
- поддержание инфраструктуры и сервисом DWH (само хранилище, ETL, очереди сообщений и все что с этим связано)
- выполнение дата-контрактов по загрузке сырых данных из систем-источников
- написание витрин по запросу продуктовых команд, где нет своих ресурсов аналитиков
DA (аналитики данных) отвечают за:
- проверку данных в сыряке и написание дата-контрактов
- описание бизнес-логики и разработку витрин
- автоматизацию витрин
- создание BI отчетов
- создание своих нужных бизнесу и команде автоматизаций (джобы различные, отправки уведомлений с данными, алертинг по данными)
поэтому вот таким задачам DA и будем учиться на курсе
Грань между DA и DE бывает сильно размыта, мне ли это не знать если у меня позиция называется аналитик-инженер 😅
На самом деле расскажу например как у нас делится в Сравни
DE (инженеры данных) отвечают за:
- поддержание инфраструктуры и сервисом DWH (само хранилище, ETL, очереди сообщений и все что с этим связано)
- выполнение дата-контрактов по загрузке сырых данных из систем-источников
- написание витрин по запросу продуктовых команд, где нет своих ресурсов аналитиков
DA (аналитики данных) отвечают за:
- проверку данных в сыряке и написание дата-контрактов
- описание бизнес-логики и разработку витрин
- автоматизацию витрин
- создание BI отчетов
- создание своих нужных бизнесу и команде автоматизаций (джобы различные, отправки уведомлений с данными, алертинг по данными)
поэтому вот таким задачам DA и будем учиться на курсе
❤6👍5