В последнее время требования, которые нам предъявляет этот мир, меняются так быстро, что мы почти уже не помним, что было неделю назад. Если вы тонете в количестве информации также, как и я, то нам однозначно по пути. Так что запасаемся оставшимися вредными шоколадными батончиками, и топаем в новую реальность, котятки🐱.
Что я сформулировала для себя за последнее время, чтобы избавиться от тщетности бытия в BI-разработке:
1) Ваши аналитические навыки и компетенции никуда не делись, даже если куда-то делось ПО. Как я себя успокаиваю:
• Roadmap альфа-банка: это весьма условный перечень, в котором замиксованы концепты, стандарты, утилиты и навыки, и он по-хорошему больше пригоден для бизнес/системного аналитика, но он мне как нравился, так и продолжает нравиться. https://habr.com/ru/company/alfa/blog/457864/
• Матрица Компетенций Романа Бунина: пожалуй, лучший формат самооценки для тех, кто полюбил хардовый энтерпрайз с его кучей условностей, и даже там может делать своим пользователям быстро и прекрасно: https://revealthedata.com/blog/all/matrica-kompetenciy-bi-analitika/
• Калибровка роли: когда в прошлом году я предложила разделение на BI-аналитика, разработчика и администратора, меня восприняли мягко говоря сомнительно, но я всё ещё калибрую каждую задачу с учетом свое роли, основываясь на простеньком разделении вот этой статьи: https://social.technet.microsoft.com/wiki/contents/articles/25319.business-intelligence-roles-and-team-composition.aspx Она же помогает понять, что каждую роль можно выполнять своими инструментами, а не всё делать на BI-инструменте.
• Определение приоритетов: бесполезно хвататься за всё и сразу и быстро доучивать сторителлинг, если собираетесь работать в каком-нибудь банке на проекте операционной аналитики типа «отчёт-табличка». Какие технологии/навыки были (раньше) важны по индустриям, можно посмотреть тут: https://blogs-images.forbes.com/louiscolumbus/files/2018/06/Technologies-and-Initiatives-Strategic-to-Business-Intelligence-Objectives-by-Function.jpg
2) Сформулировать ценности – свои и для бизнеса. Компания Ventana Research провела анализ индекса ценности в мире BI, и увы, наши бывшие фавориты там не в тренде. Причина простая: когда мы говорим про BI-инструменты, мы часто опускаем подробности, что ведем речь только о чистых BI-продуктах. Рынок же встроенной, платформенной, гибридной и прочей BI-аналитики максимально широк. Исследование можно почитать тут: https://www.qlik.com/us/-/media/files/resource-library/global-us/register/analyst-reports/ar-ventana-research-analytics-data-value-index-2021-en.pdf
3) Если уж что-то менять, то в лучшую сторону. Фреймворк миграции на себя пишет каждое уважающее себя ПО (за что и люблю Клик), чек-листов миграции сейчас просто море. Например, вот это: https://www.element61.be/en/resource/elementary-bi-pm-migration-projects Я когда-то писала себе полный гайд с миграционными коридорами, но, увы, смысла в нём немного – кто пользовал опенсорс/бесплатное ПО, тому это не нужно, а там, где нужно, нетехнологические факторы принятия решений играют огромную роль.

Как и все разработчики BI, находящиеся немного в панике, я много рефлексирую и гуглю неевропейские и неамериканские аналоги, которые можно купить и не быть в ситуации, когда купленные лицензии сгорают.
Мой анализ иранской практики начался со статьи про «огромные риски BI». Итак, какие риски выделяют наши иранские коллеги (собирательно из нескольких блогов):
• Риски деплатформинга, когда у тебя отбирают всю экосистему единоразово (тут всё логично);
• Риски «власти»: IT-подразделение начинает диктовать параметры проекта и, фактически, берет его под контроль, ущемляя приоритеты бизнеса и самостоятельно определяя границы допустимого в BI (и да, котятки, введение style convention в оформление дашбордов (доп. правила к уже существующим гайдам оформления в компании внешних материалов) они относят к минусам)
• Риски приоритетов и политики: например, BI с помощью своих внутренних паттернов навязывает нам определенную модель ответственности за данные с помощью своей внутренней ролевой модели. Это, как мне показалось, связано со спецификой страны: в мусульманских странах есть примеры легальной солидарной ответственности там, где у нас подобные действия классифицировались бы как мошенничество;
• Когнитивные искажения качества данных: если пользователь не понимает, что именно происходит под капотом дашборда и как обрабатываются ошибки, он может сделать неверные выводы о качестве данных в системе. Каюсь, я сама в начале своей работы бизнес-аналитиком вместо того, чтобы раскапывать каждый кейс ошибок загрузки строк, писала заглушку в тех вопросах, где данные представлялись сразу в агрегации и отдельная транзакция не могла сильно исказить результат. Так делать не надо.
• Непрозрачность в выборе типа коммуникаций/действий: там, где Qlik подталкивает нас к pivot-таблицам, Power BI превращает работу с матрицами (аналог pivots) в мучения. Каждое ПО диктует паттерн аналитики в соответствии со своим внутренним устройством.
• Риски, связанные с ценностями (но тут уж, извольте, для нас не актуально).
Где-то в этих рассуждениях есть зерно какого-то смысла, но польза BI, безусловно, перевешивает.

Эти посты хранились долго и очень запоздали, но не суть🐱) В начале года у меня был период дичайшего ресерча в области встроенной аналитики, - мне хотелось найти для себя то прекрасное, что, с одной стороны, выдерживало бы нагрузки, а, с другой стороны, давало привычные инструменты разработки.
Критерии у меня были просты:
• Визуальные data-модели вместо хардового функционала в стиле «вот тебе окошко SQL, пиши сама себе JOIN»
• Возможность категоризации столбцов в разрезе «факты-измерения»
• Открытые шаблоны витрин календарей: не секрет, что современные умненькие BI любят подкладывать под наши данные внутренние витринки, которые и обеспечивают нам дата-временную агрегацию и, соответственно, удобство в графиках. Мне нравится, когда такие истории открыты и контролируемы
• Свободный сторителлинг: это то внутреннее построение, когда ты можешь задавать разделы (например, листами) как законченные блоки, а также запиливать лонгрид-историю внутри блоков (т.е. полотно дашборда у тебя не ограниивается экраном, а позволяет делать прокрутку и пилить блоки вниз). Каюсь, подсмотрела когда-то в BI-ке Алибабы, до сих пор мне эта штука снится.
• Множественность графических объектов и возможности их настройки
• Классический вариант работы с метриками, - когда они не зависят от объекта и могут быть написаны один раз и переиспользоваться в других объектах
• Кастомизация объектов: для начала достаточно форматов осей и цветовой гаммы.
Более-менее подходящим тогда оказалась Gooddata (https://www.gooddata.com/): она хорошо кушала всевозможные источники (включая Vertica), мило имитировала работу служб Power BI с созданием публичных и выделенных пространств, неплохо переваривало csv и определяла форматы (что говорило о том, что с распознаванием данных там в принципе всё неплохо), а также обещала экзестенциальный экстаз при работе с дрилл-дауном.
Но, наверное, подкупило меня (и подсадило так, что я не выбиралась месяца 3) не всё это, и даже не крайняя степень очеловечивания моего пользовательского опыта (степень нативности lvl 1000%). Я не могла отделаться от неуловимого ощущения, что я снова рядом с Tableau.
Первая любовь не забывается❤️.
P.S. Полный список своих критериев, по которым я оцениваю свои идеальные BI, тоже публикну. Пусть будет. Вдруг кому-то тоже важны не только лишь коннекторы и возможность идти в "дашборды":)

Кейс о том, как аналитика госзакупок помогает экономить деньги налогоплательщиков Казахстана. Менее чем за год работы системы выявили финансовые нарушения на сумму 93 миллионов долларов США, при этом почти 70% выявили на стадии планирования и предотвратили.
Подробности проекта, какие риски в госзакупках мониторятся (всего их 43) и как выглядит решение в статье.
Посмотреть, как решение устроено можно будет на вебинаре
ПО: Qlik Sense
Разработчик: Datanomix.pro

В каком-то смысле в продолжение предыдущего поста. Он отлично укладывается в одну из главных проблем визуализации данных. Об этой проблеме и об этом своеобразном двоемыслии знают все, кто делает инфографику, особенно в медиа.

Гениальная картинка от Хоакима Вийера, дизайнера инфографики в Гардиан

Котятки🐱 Сама для себя, конечно, веду реестры контента - где смотреть видосы, где читать статьи и пр., но впервые вижу, чтобы кто-то наносил всю эту копилку знаний на дашборд. Копилка блогов, you-tube каналов, мануалов в компактном виде: https://bi-survey.com/powerbimap/content-browser/

📈Просто космос

Котятки🐱 Сегодня утром я искала пару терминов, нашла полноценный BI-глоссарий на русском. Для понимания, в моём глоссарии на конфлюэнсе чуть меньше сотни терминов, а здесь 273. Оставлю это тут, линк: https://www.dvbi.ru/BI/glossary P.S. А ещё там есть несколько дистрибутивов полезностей

Котятки🐱,
Чем дальше в лес, тем страшнее и страшнее.
Искажения в данных - это скорее исключения, так как откровенная манипуляция с цифрами всегда видна. Куда чаще встречаются игры с визуализацией, которые подталкивают нас к определённым выводам. Или же, наоборот, закрывают от нас истину. Мои любимые искажения:
Про реверсивные оси
Игры с соотношением сторон
Парадокс Симпсонов

🛠 Битва 4 инструментов визуализации данных на языке Python

Рассмотрим наиболее известные инструменты визуализации данных на основе Python.

https://nuancesprog.ru/p/15614/

@machinelearning_ru

Увы, мой любимый seaborn не затащил)👆

Классная коллаборация The Pudding и Vox, которая показывает, как TikTok влияет на музыкальную индустрию.

А влияет так, что доля главных лейблов в чартах Spotify стремительно падает — популярные артисты всё чаще выпускают свою музыку самостоятельно или через инди-издательства. Иными словами, тебе больше не нужен лейбл, чтобы стать крутым.

Мне это видео ещё очень нравится тем, что оно идеально рассказывает о том, как проводится дата-исследование: буквально по шагам расписали — что за данные брали, как их получали, и что в итоге узнали.

https://www.youtube.com/watch?v=S1m-KgEpoow

Fundamentals of Data Visualization

По ссылке нижу доступна пред-финальная бесплатная версия книги Fundamentals of Data Visualization, которая готовиться к публикации издательством O’Reilly Media, Inc.

https://clauswilke.com/dataviz/

Котятки, 🐱
Люблю тёмную тему в дашбордах, а ещё оптимизацию навигации и всякие UX-игры.
В гайде по редизайну PBI ниже есть всё, что мне нравится, и плюс наглядно разбирается кейс применения Performance Analyzer.
Линк:
https://youtu.be/Lfzu74XDyco

Не так давно в соседних каналах вы могли видеть новость о том, что Альберто Кайро поделился слайдами со своего выступления на Eyeo Festival.

Мне посчастливилось быть на этом выступлении и оно, действительно, было очень увлекательным. Обычно Eyeo выкладывают записи всех докладов, так что ждем! Пока же можно посмотреть прошлые выступления других датвиз-селебрити: Моритц Стефанер 2019, Джорджия Лупи 2018, Стефани Посавеч 2018.

Из забавных фактов: в прошлом Альберто Кайро относился весьма скептически к «творческим» визуализациям. Вообще в западном датавиз сообществе существует достаточно резкое разделение на аналитическую визуализацию и на художественную, и эти две группы слабо пересекаются. И своим выступлением Альберто Кайро словно создал мостик между ними.

В классный красивый проект Donut Punks ищем продуктового аналитика.
Ты идеальный кандидат, если:
— обожаешь дэшборды
— хочешь работать над одним продуктом и погружаться в него полностью
— любишь строить гипотезы, почему юзеры ведут себя так, а не иначе, и проверять их
— интересуешься мобильными играми
— команда для тебя в приоритете, и ты умеешь и любишь классно пошутить
Линк на описание вакансии:
https://www.notion.so/donutlab/Game-Analyst-15a93ba43262415c847ea178bdafb8e5

Котятки🐱,
мне всегда казалось, что визуализация связей чуть более простая тема, чем визуализация потоков, так как потоки имеют такую характеристику как направление.
Поэтому визуализировать клиентский путь (особенно со статистикой) в BI особенно сложно, - когда он входит в петлю и теряет направление, диаграммы типа Sankey начинают вырождаться.
Линк:
https://www.expressanalytics.com/blog/visualizing-customer-journey-using-sankey-diagram/
Как с этим справляться: последний раз меня спасла кастомная визуализация в PBI https://appsource.microsoft.com/en-us/product/power-bi-visuals/wa104381928?tab=overview, но в целевой версии диаграмма flow должна иметь возможность не только указывать направления, но и мощность, - сколько случаев так и осталось "в петле", а сколько вышло из неё.