Культур-мультур

Поучительная история становления культуры работы с данными в одном стартапе. Про переход от культуры поощрения выкатки новых фичей (т.н. метод "хуяк, хуяк и в продакшн"), к культуре инкрементального улучшения продукта на основе данных и экспериментов. Прям получил удовольствие от прочтения.

Котятки🐱 Один из постоянных и давних участников прошедшего AnalystDays опубликовал "заметки" о докладах)
https://mtsepkov.org/%D0%91%D0%BB%D0%BE%D0%B3:%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B0_%D0%A6%D0%B5%D0%BF%D0%BA%D0%BE%D0%B2%D0%B0/2024-05-30:_AnalystDays_%D0%B2_%D0%9F%D0%B8%D1%82%D0%B5%D1%80%D0%B5_-_%D1%85%D0%BE%D1%80%D0%BE%D1%88%D0%B8%D0%B5_%D0%B4%D0%BE%D0%BA%D0%BB%D0%B0%D0%B4%D1%8B_%D0%B8_%D0%BC%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%89%D0%B5%D0%BD%D0%B8%D1%8F
От себя: я участвовала в AnalystDays в прошлом году и словила много новых мыслей, касаемо ИБ. В этом сезоне было модно осмысление роли и психологии (на фоне развития ИИ, видимо, инструментальная часть работы отходит на второй план, и вперед вылезает сама составляющая работы аналитика - искать решения и находить ответы).
Ссылку любезно сперла у коллеги😜

Котятки🐱,
Когда я искала наглядный пример, как работают функции временных интервалов в PostgreSQL, я наткнулась на полезный сайт по базам данных.
В нем статьи разделены не только по БД , но и по характеру материала ( «what-is» и «how-to»).
Собственно, с этого сайта пошли все мои любимые объяснялки в стиле «для самых маленьких» и прикольные примеры, которые я привожу на различные сценарии работы, и отсюда же было своровано немало кейсов для обучалок стажеров и, что главное, именно с него я всегда беру нормальное объяснение транзакций.
Линк
https://database.guide

​​Котятки🐱,
Я продолжаю для себя тему промышленной аналитики.
ESG-отчеты (содержат набор метрик оценки продукции с точки зрения экологии и социальной ответственности)
для меня лично уперлись в две большие проблемы:
-понимание метрик оценки жизненного цикла продукции LCA и как их считать
-визуализация цепочек поставок для наглядности все тех же метрик LCA
На эту тему есть хорошая статья от инструмента Viser, в ней:
1. Метрики
2. Дата-пайплайн
3. Механика визуализации
Линк:
https://engineering.purdue.edu/cdesign/wp/wp-content/uploads/2014/08/ASME-ViSER.pdf

Бонус моего утра: каталог всех промышленных/экологических датасетов в одном месте, которые можно использовать для оценки жизненного цикла пром продукции
https://ghgprotocol.org/life-cycle-databases

Котятки🐱,
Я в большинстве своём имею дело либо с монолитной архитектурой, либо с гибридной (которая часто является следствием попытки распила монолита), поэтому всякие темы, связанные с координацией действий микросервисов мне не сильно доступны в практической плоскости, но интересны как аналитику и бывшему архитектору.
Сегодня я на Хабре нашла статью про осьминога. Сама статья топ, а комментарии с обсуждением архитектуры осьминога и принципов работы его щупалец жгут:
https://habr.com/ru/articles/818991/

Версия Tableau Public 2024.1.3 позволяет сохранять проекты локально! Наверное ни одной другой функции я не ждал так, как этой, а я пользуюсь Tableau c 2013 года.

Ура! 👏🏻🍾💣

Котятки🐱,
мне коллега подогнал очень свеженький видос с новой онлайн-лекцией Сколково, сказал изучать.
Я поизучала, теперь более-менее могу объяснить маме, чем я занимаюсь😂
Ну и да, проблемы, когда ты приходишь к управленцу со своей IT-шной болью, а он не понимает, а также вопрос доверия между менеджерской части команды и разработкой, - всегда актуальны.
https://youtu.be/btgwmY_cQ2Q?si=ujF786XhkTcXCm4c

Я сейчас переживаю нелегкий период Action Gap (разница между мыслями и поведением) по своей любимой фиче, и поэтому много рефлексию на эту тему.
Это не первый раз, - фрустрацию (напряжение и раздражение) со стороны пользователя по отношению как к конкретному дашборду, так и к BI-продуктам целиком мне уже приходилось ловить.
Статья на эту тему: https://www.zenloop.com/en/blog/dashboard-fatigue/#dashboards-without
Я с ней немного не согласна. Cейчас BI-осознанность сообщества уже на таком уровне, что сложно встретить дашборд, который совсем уж не пригоден для того, «чтобы сделать выводы».
Скорее, раздражение пользователя вызывает неспособность сделать выводы быстро.
Получилось чуть сумбурно, котятки🐱

Книга "Основы визуализации данных. Пособие по эффективной и убедительной подаче информации"

Книга "Визуализация данных: полный курс для начинающих специалистов"

Котятки🐱,
Про сторителлинг уже сказано очень много, но нет, сегодня меня уделала одна из статей Стенфордского университета (статью закину сюда) про про визуальные нарративы.
А дальше я увидела нарратив Dill-down (источник моей ненависти на века) - и понеслось. Scrollytelling меня вообще добил, не проходите мимо и потыкайте в эту дичь.
Ловите оч неплохой гайд по сторителлингу с понятными нарративами, по нему вполне реально сложить из несвязных листов дошила вполне читабельную и законченную вещь.
Линк:
https://data.europa.eu/apps/data-visualisation-guide/drill-down-story-structure

Котятки🐱,
Сегодня я участвовала во внутреннем митапчике по системному анализу, и, признаюсь честно, рассказывала про применение антипаттерна - преждевременной оптимизации.
На рассказ-откровение меня вдохновило выступление на HighLoad++, расшифровка тут:
https://habr.com/ru/articles/322242/
P.S. Я этот паттерн применяла, каюсь, и как разработчик, и в роли аналитика при написании документации, и даже при создании дашбордов. Всё-таки, когда в бизнес-требованиях стоит "хранение горячих данных с горизонтом 9 лет", очень сложно сдерживаться. Но я пытаюсь.

😂😂😂😂😂 за картинку спасибо @bi_done

Котятки🐱,
Диаграмма Sankey - мой самый нелюбимый тип диаграмм, так как шаг влево-шаг вправо - и она становится нечитаемой.
При этом при грамотном применении она максимально информативна.
Я искала наиболее удачную методологию её построения, а нашла Клондайк - сайт-ода этой диаграмме.
Внутри: методология, примеры, вдохновение, история, статьи.
Мой любимый раздел - конечно, фейки, как соврать и испортить статистику неудачной диаграммой.
Сайт: https://www.sankey-diagrams.com/
Моя любимая серия постов:
https://www.sankey-diagrams.com/lying-with-sankey-diagrams-5/

Котятки🐱,
Вторая в списке моих самых нелюбимых диаграмм - каскадная, или waterfall.
Причина простая - в юности у меня был руководитель, который с помощью этой диаграммы любил отображать одновременно и динамику продаж в сравнении период к периоду, и факторный анализ «дельты» продаж.
Выглядело это примерно как в этом примере: https://finalytics.pro/inform/waterfallyears/
Конечно же, строили мы это в приблуде Think-cell, ибо до Power BI мне тогда было, как до звезды. Строили много и отважно, у меня даже были собственные шаблоны на все типы факторов.
Что почитать?
👉Вводные и интерпретация диаграммы для самых маленьких: https://www.storytellingwithdata.com/blog/2020/11/16/what-is-a-waterfall
👉Размышления о назначении и интерпретации диаграммы в стиле консалтинговых ребят (которые кстати любят эту диаграмму): https://guillermo-esquivel.medium.com/whats-so-special-about-waterfall-charts-1db3cdd33734
👉Построение диаграммы в экселе для тех, кому на 1 раз денег жалко: https://excel-analytics.ru/diagramma-vodopad-v-excel/?utm_referrer=https%3A%2F%2Fdzen.ru%2Fa%2FYo4WFApFUAP5-tqS
👉Видосик на ту же тему - тут как всегда все прекрасно: https://www.youtube.com/watch?v=yR2kChcimTw
👉Гайд по построению в PBI (ну раз он был в моиз ссылках, пусть будет): https://inforiver.com/waterfall-charts-power-bi/

Котятки🐱,
Я себя позиционирую по ситуации и в зависимости от зп и дождичка в четверг как BI-разработчик, и по настроению люблю побурчать на тему радикального снижения алгоритмического качества и эфемерной легкости BI-инструментов.
В этой статейке перечень инструментов для датавиза в формате R + Python (полезно жутко), и впридачу кучка бухтения про селф-сервис и BI (полезно в качестве аргументов для харизматичного закатывания глаз)
https://habr.com/ru/articles/658657/

Котятки🐱,
У меня была охренительная история, как я пыталась по гайду подрубить Tableau к Mongo. Я рассказывала тут позднюю версию, а чуть дальше у меня была история с максимально печальным концом с SDK.
SDK в большинстве случаев это библиотека/пакет или целая среда, куда вы можете запустить ваших программистов и они напилят (теоретически) вам интеграцию с источником там, где её быть не должно.
Вот тут список BI/построителей с SDK, но он не полный, того же SDK Power Query там нет.
https://www.discoversdk.com/categories/business-intelligence?pn=1&tpo=true
P. S. Когда-то наличие SDK у меня входило в перечень критериев для выбора BI- инструмента. Я была юна и немного тупа, ибо не до конца понимала, что любой кастомный код надо не только писать, но и поддерживать, обвешивать тестами и править баги.
Сейчас, в случае отсутствия коннектора у уже стоящей BI (которую фиг заменишь) к моему редкому источнику, я просто прокидываю данные из источника в ту базенку, где коннектор есть. Да, цепочка через третьи среды это такое себе, и да, слово колхоз мне говорили.
Но с одноразовой историей, как говорится, и excel тебе дашборд нарисует.

Котятки🐱
Меня вообще радуют жизненные циклы и трансформация всяких облачных околоBI-тулзов и не только) Держите пополняемый список BI и прочих инструментов: https://github.com/thenaturalist/awesome-business-intelligence#3-data-visualization В нем все прекрасно, особенно один из инструментов, который закрылся (остался только на гите) и стал кулинарным сообществом)