Котятки🐱,
Между всякими анонсиками за помощь детям и животным, позвольте мне снова вернуться к любимой теме - страхи и стоимость ошибки.
Сегодня не про этику.
1. Хорошая статья McKinsey про сигналы, что с вашей аналитической стратегией/программой что-то не так. Попадись мне она в своё время, я бы сэкономила много седых волос на митигации рисков.
https://www.mckinsey.com/capabilities/quantumblack/our-insights/ten-red-flags-signaling-your-analytics-program-will-fail
2. Неплохая раскладка человеческих ошибок при создании BI- продукта на 4 типа. Простая, процессная немного, но прямо помогает структурировать узкие места. Ну а ещё там заскок на Confirmation bias, моя любимая темка:
https://www.domo.com/learn/article/how-modern-bi-ai-systems-reduce-human-errors-in-data
3. Ну и продолжая эту тему, о власти убеждений в аналитике:
https://towardsdatascience.com/confirmation-bias-is-the-enemy-of-exploratory-data-analysis-c6eaea983958

​​Котятки🐱,
В нашем полку благородных людей, помогающих детям и животным, пополнение!
Держите анонсик ребят про их мероприятие👇

⚡️South HUB — конференция в формате кэмпа для руководителей в ИТ.⚡️
400 настоящих и будущих CTO соберутся с 12 по 16 июня в Сочи, чтобы обменяться знаниями, опытом и найти партнеров. Нетворкинг начинается ещё до кэмпа: все CTO уже собрались здесь.
Среди спикеров — ведущие эксперты C-level, представители разных отраслей и департаментов компаний.
• Руководитель дирекции по подбору ИТ-персонала в Альфа-Банке — Владимир Демченков,
• Руководитель продукта Яндекс Доставки в России — Дмитрий Сахтеров,
• CTO Lamoda Tech — Эмиль Абдулнасыров,
• Генеральный директор S7 Travel Retail — Екатерина Дмитрук,
• Директор по цифровизации и организационному развитию в ГК “Самолет” — Александр Канивец,
• CTO IVI — Евгений Россинский
Они будут делиться своей экспертизой не только на лекциях, но и в формате живого общения на утренних пробежках и медитациях, ночных научпоп-лекциях и вечеринках, хайкинге и командных спортивных играх.
Все для того, чтобы поймать баланс и стать на уровень выше. Физически и профессионально — встречаемся на высоте 960 всесезонного горного Курорта Красная Поляна ⛰
Вся информация по ссылке: тут.

Котятки, с добрым и чудесным утром! 🐱
Была на днях у меня дискуссия с одним прекрасным человеком на тему "насколько глубоко BI- разработчик должен знать прикладную статистику". Мой ответ - не должен, ибо иначе он уже аналитик с BI-навыками, и там уже другой наборчик компетенций. Пусть короче наш разработчик производительность смотрит и дашики по строгому ТЗ генерирует.
1) Немного про "расчёты на лету" и неверно сконструированные модели данных (относится к Power BI, но применимо +-для большинства инструментов анализа) :
https://radacad.com/why-my-power-bi-matrix-or-table-visual-is-slow
2) Сборная соляночка по оптимизации вычислений (обратите внимание на поинт с переносом логики на уровень строк) :
https://www.phdata.io/blog/optimizing-power-bi-reports/

Всем привет! В клубе помогающих приютам для животных пополнение: ребята занимаются модненьким process mining (всё то, что мы можем сделать на Tableau с доп модулем, но чуть удобнее). Предлагаю сходить, послушать и позадавать им каверзные вопросы👇

​​Как повышать эффективность выдачи кредитов и совершенствовать клиентский опыт с помощью Process Mining?

Об этом вы узнаете на нашем вебинаре «Анализ процесса кредитования с Process Mining: реальные кейсы», который состоится 15 июня в 16:00.

Спикер:
Дмитрий Медвежонков – технический лидер направления аналитики Инфомаксимум

Программа:
▪️ Активная бизнес-аналитика
Что такое активная бизнес-аналитика и какие возможности она дает в рамках анализа бизнес-процессов в банках;
▪️ От «сырых» данных к оптимизации процесса кредитования
Как построить эффективный дашборд, извлечь выводы и найти точки оптимизации процесса кредитования;
▪️ Сессия «Вопрос – Ответ»

Участие бесплатное, регистрируйтесь по ссылке.

До встречи на вебинаре!

​​Котятки🐱,
Сегодня у меня необычная связочка, - паттерны дизайна дашиков+ нейросеть.
Что делали: выбирали паттерн отсюда для понимания структуры, искали референсы на behance или в своём архивчике и потом с помощью нейросети https://imagevariations.com/ генерировали похожие изображения.
Зачем: когда-то на заре работы наш великолепный дизайнер дашиков давала на вход заказчикам несколько макетов, чтобы они отчего-то оттолкнулись, и потом их кастомизировала. Количество итераций иногда было болезненно. Текущий способ реально чуть шакальный, однако быстро помогает выбрать фрейм и экономит время дизайнера на уже точечную проработку макета.

Котятки🐱,
Казалось бы, про визуализацию временных рядов уже всё сказано... И всё равно что-то - да и может нас удивить. Потоковый граф меня сильно озадачил, а вот heat map для иллюстрации сезонности, - прямо стоит отметить.
Линк: https://humansofdata.atlan.com/2016/11/visualizing-time-series-data/

Котятки🐱,
Сегодня ко мне залетел такой редкий зверь, как Orbit chart. Использовала его в промышленных макетах один раз, но показываю их в портфолио до сих пор)
Ну и в презах они хорошо смотрятся.
Туториал
Гид по построению в Tableau: https://tableau.toanhoang.com/drawing-orbit-charts-in-tableau/

Всем привет!
Приглашаю на бесплатный вебинар 13.09.23 в 19:00 мск на тему:
"Как снять ТЗ с заказчика и отрисовать макет за 30 минут в On-line".

Меня часто нанимают в продуктовые команды, чтобы собрать всю нужную информацию с заказчика и вместе за ручку с ним отрисовать макеты.
Полагаю, что каждый найдёт для себя интересные приёмы.

Приходите, покажу свои наработки и поделюсь макетами и алгоритмами.

✨Бесплатно. Буду рада вашим вопросам.

Регистрация по ссылке:
https://analyticworkspace.ru/tz-za-30-min

Котятки🐱,
Я достаточно прохладно отношусь ко всевозможным сертификациям по использованию BI- инструментов, ибо скорость выпуска релизов, да и смены технологий в целом , столь высока, что знания быстро устаревают (если, конечно, ты не работаешь с этим каждый день) .
Но PL300 - экзамен по Power BI -я люблю нежно, ибо часто даю задачки из него на собеседованиях.
Линк на задачки с ответами и пояснениями:
https://www.examtopics.com/exams/microsoft/pl-300/view/1/

Пока я тут путешествовала, выложили шортлист премии Information is Beautiful!

В этом году туда попали несколько работ знакомых:
1. Визуализация рынка акций США Market Map от Никиты Рокотяна в категории Business Analytics.
2. Визуализация Divided World с разными экономическими показателями в разных странах от Ромы Бунина в категории Humanitarian.
3. Постер по рок-опере Jesus Christ Superstar от Нади Андриановой в категории Arts, Entertainment & Culture.

И ещё одна необычная работа из России:
Инсталяция про загрязнение воздуха в категории Unusual.

И отдельно ещё пара работ, которые мне очень понравились.
1. When I Was Your Age — сравнение привычек американцев разных поколений.
2. Библиотека цветов традиционной китайской живописи.

До конца этой недели ещё можно проголосовать, чтобы помочь работам получить приз зрительстких симпатий! Для этого нужно зарегистрироваться на сайте и на странице каждой работы нажать кнопку “Vote”. Можно проголосовать только 1 раз в каждой категории.

Котятки🐱,
Обычно я в офис хожу за едой, признаюсь честно) Но вчера между поисками печенек и энергетиков успела зарулить на VK Data Meetup.
Ссылка на запись: https://www.youtube.com/live/BGTF6TefJdA?si=HqJkVrUXNTkofrcQ
Мои выводы и прогнозы на 5 лет по итогам докладов (главное, не забыть этот пост):
-крупный кровавый энтерпрайз породил много новых ролей и процессов в data- сфере, которые в принципе не применимы для средних и маленьких бизнесов, и разрыв в майндсетах будет только расти;
-роль лидера и визионера занижается, а руководство в стиле "data-driven decision" ставится во главе угла. В итоге, учитывая тренды развития нейросетей, многих мидл-менеджеров можно будет заменить ИИ, а гуманитарии просто всех порвут;
-профессию Data Steward также будет сжирать ИИ;
-мы уже сейчас не спрашиваем пользователя, что ему нравится, а пытаемся проанализировать его поведение, и пользователь как бы "запирается" между популярным и предпочитаемым. Но, как выразился один гениальный маркетолог, "пользователь не любит знать правду о себе", поэтому выиграют те рекомендательные системы, которые научатся слышать глубинные мечты;
-опенсорс всех разорвёт, ибо он становится всё более friendly. Зачем платить за SAS DQ, если есть Great expectations?
P. S. Самый лучший доклад, по моему скромному мнению, - у Алексея Ерюкова, про data quality. На видео начинается примерно с 2:00:00.

Котятки🐱,
рылась вчера по своему гиту - и нашла в закладках пример "от заявки до поставки": расписанный кейс с выделением бизнес-требований, постановкой, пошаговым построением дашборда, элементами анализа и выводами) В целом, очень неплохой комплексный пример, который раскрывает пайплайн работы BI-аналитика.
Чтобы сформировать понимание "а чего ждут от BI-аналитика" - самое оно.
Линк:
https://github.com/prachitqwer/Power-BI---Product-Rationalization

Термин data observability достаточно недавно стал применятся к хранилищам данных и ETL. Раньше просто говорили - качество данных.

The concept of data observability was first described by Barr Moses, co-founder and CEO of software vendor Monte Carlo Data. Moses coined the term in 2019, when she wrote a blog post about applying the general principles of observability for IT systems to data.



а сам термин observability пришел из devops, подразумевает процесс мониторинга ИТ систем и возможность быстро найти причину неполадки.
Где как не на сайте Мonte Carlo можно узнать больше про data observability - What is Data Observability? Для меня это просто процесс мониторинги всего чего только можно в нашем хранилище данных и случае отклонения -> ⚠️.
Самое интересное у них это типы "мониторов", то есть типы проверок ваших данных, которые могут покрыть все решение. Я сам пользуюсь уже год, и продукт мне нравится, а недавно мы стали интегрировать dbt и MC.
Если нет денег на MC, всегда можно подсмотреть идеи у них и уже сделать с помощью dbt, python, или какой язык вы там используете.

Котятки🐱,
Меня всегда восхищали шайтан-машинки campaign management, которые позволяют формировать выборки под любой запрос буквально на лету с учётом кучи доп факторов и ограничений.
Но когда денег на них нет, а ваш набор клиентов - отнюдь не биг дата, а вполне очерченный круг, ваш лучший друг BI-разработчик вполне способен соорудить вам динамическую сегментацию)
Например, по этому гайду:
https://www.daxpatterns.com/dynamic-segmentation/

Хорошая статья с описанием ошибок в научных визуализациях. Помимо широко описанных, есть и довольно специфичные именно для научных, рекомендую к прочтению.

https://habr.com/ru/companies/ruvds/articles/776672/

Оригинал на английском

Котятки🐱,
Бывает, что даже при построении операционной отчётности, возникает вопрос: а с чем сравнивать значение метрики? Что есть норма и в какой форме её "подавать" на графике?
Простой план-факт анализ часто упирается в проблему: то, с чем хочет сравнивать пользователь, сильно определяет форму визуализации.
Простые случаи, которые мы наиболее часто визуализируем:
-норма - это простое плановое значение (=сравнение с эталоном, заданным параметром)
-норма - это значение предыдущего периода (и у нас динамика). Хорошая статья тут: https://www.domo.com/charts/period-over-period-charts
-норма - это некое расчётное среднее/медиана/любой квартиль (и на графике появляется ещё одна рассчитанная метрика, которая, однако, не является независимой)
Сложные случаи:
-норма задана в видна границы от и до, и на самом деле мы ищем места, где метрика "вышла за корридор"
-нормативным значением в моменте принимается другая метрика, которая от нашей не зависит (похоже на сравнение с эталоном, где эталон - это динамический ряд, а не конкретное значение). В худших случаях норма - это результаты некой функции.

Что всегда интересно визуализировать:
-случаи, когда норма - это тренд или соответствие тренду (темпам изменений) некой другой метрики (и тогда здравствуй data blending https://t.iss.one/dashboardets/215)
-определенной нормы нет, но пользователь должен иметь возможность задать её как параметр
-случаи, когда наша метрика -это частота, интенсивность, и для неё план - это попадание в значение некого диапазона (но их несколько, и коридор уже не нарисуешь, так что привет всяким тепловым картам), и тут априори мы включаем цветовое кодирование
-сравниваемое значение - это территория/участок/кластер(часто используется на картах, но бывает и на графиках сетей). Тут уже мы можем поиграться с визуализацией с помощью "маски", где можно задействовать не только цвет, но и размер.

Что почитать:
-немного теории про показатели и метрики: https://babok-school.ru/blogs/metrics-and-kpi-technique-from-babok-and-product-analytics/
https://www.quanthub.com/designing-charts-relative-and-absolute-measurements/
-очень стандартный подход к выбору визуализаций для показателей сравнения :
https://www.geckoboard.com/blog/6-data-visualization-techniques-to-display-your-key-metrics/
-подходы и типы диаграмм, которые используются в операционных панелях, когда "нет времени объяснять": https://www.dimins.com/online-help/diveport_admin_help/Content/Reference/indicator-types71.html

Вебинар Tarantool «Анализируем данные в real-time»

Когда: 21 февраля, 16:00 МСК
Где: онлайн

Расскажем, как организовать анализ большого объема данных в реальном времени с помощью in-memory колоночной СУБД. На вебинаре поговорим о том:

• Как объединить транзакционные и аналитические (OLAP и OLTP) системы и сократить затраты на дублирование данных.
• Как ускорить аналитические запросы и формировать отчетность в real-time.
• Как организовать хранение и управление данными (Feature Store) для ML-задач.

Также мы рассмотрим практические кейсы применения продукта Tarantool Column Store: формирование финансовой отчетности с минимальными задержками, ускорение и повышение точности антифрод-систем, повышение производительности системы выдачи кредитов.

Спикеры:

• Николай Карлов, директор инновационных проектов VK Tech,
• Руслан Галиев, продуктовый менеджер Tarantool Column Store.

Вебинар будет полезен архитекторам, дата-инженерам, инженерам DevOps и разработчикам аналитических систем.

Регистрация