Прочитал сегодня интересную статью о том, как устроены геоданные в Китае.

Оказывается, Китай использует свою закрытую систему координат, нелинейно отличающуюся от общепринятой в мире. Сделано это в том числе из соображений национальной безопасности, и основной прикол этой системы в том, что к широте и долготе каждого места добавляются случайные смещения от 50 до 500 метров в любую сторону.

Насколько я понял, ни один внешний провайдер не имеет точной карты Китая, и это может весьма интересно проявляться: например, если в картах Гугла посмотреть на центр Шанхая в режиме спутника, то можно увидеть множество улиц прямо посреди реки.

Я бы не удивился, если бы там действительно была какая-то система улиц прямо в воздухе, но в данном случае это именно проблема декодирования китайских координат.

Вообще, чем больше читаю про эту страну, тем больше желания приехать и посмотреть на это всё. Только страшно: заблудишься где-нибудь, и чёрт там разберёшься с картами 🙈

https://habr.com/ru/companies/selectel/articles/815611/

Котятки🐱,
Когда я рассказывала своим студентам про DataMesh (https://www.datamesh-architecture.com), я всегда использовала эпитет «неудачники»: это концепт для тех, кто не может справиться со своим мусором в даных по разным причинам - от огромного масштаба компании/количества стейкхолдеров до крупного легаси, разбор которого не имеет экономической целесообразности.
И в свое время меня удивляли люди, которые брали этот концепт для отстройки его «с нуля» - видимо, сдавались на старте, после первого же внутреннего аудита и подхода к снаряду.

Откуда пошла история: https://medium.com/codex/data-mesh-zero-to-hero-ec86291f89cb
У Гугла нормальный гайд: https://cloud.google.com/architecture/data-mesh
Медиум намекает, как отстроить процессинг: https://medium.sqldbm.com/data-mesh-overhyped-misunderstood-and-useful-e65c60ba6643
Вот этот канал на ютубчике в свое время так доходчиво мне все разжевал, что во рту было кисло и чутка тошнило от передоза инфы: https://www.youtube.com/@datameshlearning

По концепции есть еще книжечка с птичкой от O’Reilly, но она мне показалась чутка водянистой

Эхх, котятки🐱, хотела бы я быть настолько наглой, чтобы брать деньги за вебинары-хуенары. Увы, мой текущий уровень - просто постить всякую хрень сюда, чисто в стиле "вспомнил - записал". Короче, рада, что вы ещё меня читаете))

Котятки🐱,
Вчера поспорила с коллегой на тему статистики.
Статистику я не люблю не меньше, чем Data mesh, так что обсираю ее при первом удобном случае как псевдонауку.
По мне - это выкидыш прикладной математики, который приносит успокоение нашему мозгу, как любая систематизация информации: порядок - это контроль, а контроль - это безопасность.
Ну и вcякие статистические тренды мне всегда казались ересью: статичность условий для появления тренда в реальности стремится к 0, а результаты прогноза зависят от используемого мат.аппарата. Но! Это не значит, что нормальный многофакторный предиктивный анализ надо выкидывать, вовсе нет: он наталкивает на определенные мысли и является одним из столпов принятия решений.
Обосрав это, предлагаю вместе посмотреть видосик о истории статистики (говорят, она древняя, но мне кажется они туда напихали все - от кусков чистой математики до датавиза) и почитать книжечку для самых маленьких👆
https://www.youtube.com/watch?v=x-A3vJ5ZjUI

Ах да, на русском похожего видоса не нашла, поделитесь статистики ради, у кого есть))

Котятки, примерно 2 года назад я очень активно пыталась изобразить активность с https://www.polymersearch.com/ - этакая машинка по распознаванию ваших данных, которая сразу же автоматически на них строит дашборды. Что могу сказать: за 2 года они очень подкачались, и на один и тот же датасет уже выдали что-то более веселое. Но, увы, все же не до конца: они так и не могут распознать, что в таблице в плоском виде лежит граф,и визуализировать надо ну хотя бы диаграммой с суммированием по узлам. А вот мой новый дружбан https://www.prototypr.ai/ развивается более развесисто и спокойно способен сгененировать как и простой незагруженный дашик а-ля "Тафти на минималках", так и нечто креативное (мой типичный кейс - изобразить посещаемость детского садика)))

Культур-мультур

Поучительная история становления культуры работы с данными в одном стартапе. Про переход от культуры поощрения выкатки новых фичей (т.н. метод "хуяк, хуяк и в продакшн"), к культуре инкрементального улучшения продукта на основе данных и экспериментов. Прям получил удовольствие от прочтения.

Котятки🐱 Один из постоянных и давних участников прошедшего AnalystDays опубликовал "заметки" о докладах)
https://mtsepkov.org/%D0%91%D0%BB%D0%BE%D0%B3:%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B0_%D0%A6%D0%B5%D0%BF%D0%BA%D0%BE%D0%B2%D0%B0/2024-05-30:_AnalystDays_%D0%B2_%D0%9F%D0%B8%D1%82%D0%B5%D1%80%D0%B5_-_%D1%85%D0%BE%D1%80%D0%BE%D1%88%D0%B8%D0%B5_%D0%B4%D0%BE%D0%BA%D0%BB%D0%B0%D0%B4%D1%8B_%D0%B8_%D0%BC%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%89%D0%B5%D0%BD%D0%B8%D1%8F
От себя: я участвовала в AnalystDays в прошлом году и словила много новых мыслей, касаемо ИБ. В этом сезоне было модно осмысление роли и психологии (на фоне развития ИИ, видимо, инструментальная часть работы отходит на второй план, и вперед вылезает сама составляющая работы аналитика - искать решения и находить ответы).
Ссылку любезно сперла у коллеги😜

Котятки🐱,
Когда я искала наглядный пример, как работают функции временных интервалов в PostgreSQL, я наткнулась на полезный сайт по базам данных.
В нем статьи разделены не только по БД , но и по характеру материала ( «what-is» и «how-to»).
Собственно, с этого сайта пошли все мои любимые объяснялки в стиле «для самых маленьких» и прикольные примеры, которые я привожу на различные сценарии работы, и отсюда же было своровано немало кейсов для обучалок стажеров и, что главное, именно с него я всегда беру нормальное объяснение транзакций.
Линк
https://database.guide

​​Котятки🐱,
Я продолжаю для себя тему промышленной аналитики.
ESG-отчеты (содержат набор метрик оценки продукции с точки зрения экологии и социальной ответственности)
для меня лично уперлись в две большие проблемы:
-понимание метрик оценки жизненного цикла продукции LCA и как их считать
-визуализация цепочек поставок для наглядности все тех же метрик LCA
На эту тему есть хорошая статья от инструмента Viser, в ней:
1. Метрики
2. Дата-пайплайн
3. Механика визуализации
Линк:
https://engineering.purdue.edu/cdesign/wp/wp-content/uploads/2014/08/ASME-ViSER.pdf

Бонус моего утра: каталог всех промышленных/экологических датасетов в одном месте, которые можно использовать для оценки жизненного цикла пром продукции
https://ghgprotocol.org/life-cycle-databases

Котятки🐱,
Я в большинстве своём имею дело либо с монолитной архитектурой, либо с гибридной (которая часто является следствием попытки распила монолита), поэтому всякие темы, связанные с координацией действий микросервисов мне не сильно доступны в практической плоскости, но интересны как аналитику и бывшему архитектору.
Сегодня я на Хабре нашла статью про осьминога. Сама статья топ, а комментарии с обсуждением архитектуры осьминога и принципов работы его щупалец жгут:
https://habr.com/ru/articles/818991/

Версия Tableau Public 2024.1.3 позволяет сохранять проекты локально! Наверное ни одной другой функции я не ждал так, как этой, а я пользуюсь Tableau c 2013 года.

Ура! 👏🏻🍾💣

Котятки🐱,
мне коллега подогнал очень свеженький видос с новой онлайн-лекцией Сколково, сказал изучать.
Я поизучала, теперь более-менее могу объяснить маме, чем я занимаюсь😂
Ну и да, проблемы, когда ты приходишь к управленцу со своей IT-шной болью, а он не понимает, а также вопрос доверия между менеджерской части команды и разработкой, - всегда актуальны.
https://youtu.be/btgwmY_cQ2Q?si=ujF786XhkTcXCm4c

Я сейчас переживаю нелегкий период Action Gap (разница между мыслями и поведением) по своей любимой фиче, и поэтому много рефлексию на эту тему.
Это не первый раз, - фрустрацию (напряжение и раздражение) со стороны пользователя по отношению как к конкретному дашборду, так и к BI-продуктам целиком мне уже приходилось ловить.
Статья на эту тему: https://www.zenloop.com/en/blog/dashboard-fatigue/#dashboards-without
Я с ней немного не согласна. Cейчас BI-осознанность сообщества уже на таком уровне, что сложно встретить дашборд, который совсем уж не пригоден для того, «чтобы сделать выводы».
Скорее, раздражение пользователя вызывает неспособность сделать выводы быстро.
Получилось чуть сумбурно, котятки🐱

Книга "Основы визуализации данных. Пособие по эффективной и убедительной подаче информации"

Книга "Визуализация данных: полный курс для начинающих специалистов"

Котятки🐱,
Про сторителлинг уже сказано очень много, но нет, сегодня меня уделала одна из статей Стенфордского университета (статью закину сюда) про про визуальные нарративы.
А дальше я увидела нарратив Dill-down (источник моей ненависти на века) - и понеслось. Scrollytelling меня вообще добил, не проходите мимо и потыкайте в эту дичь.
Ловите оч неплохой гайд по сторителлингу с понятными нарративами, по нему вполне реально сложить из несвязных листов дошила вполне читабельную и законченную вещь.
Линк:
https://data.europa.eu/apps/data-visualisation-guide/drill-down-story-structure

Котятки🐱,
Сегодня я участвовала во внутреннем митапчике по системному анализу, и, признаюсь честно, рассказывала про применение антипаттерна - преждевременной оптимизации.
На рассказ-откровение меня вдохновило выступление на HighLoad++, расшифровка тут:
https://habr.com/ru/articles/322242/
P.S. Я этот паттерн применяла, каюсь, и как разработчик, и в роли аналитика при написании документации, и даже при создании дашбордов. Всё-таки, когда в бизнес-требованиях стоит "хранение горячих данных с горизонтом 9 лет", очень сложно сдерживаться. Но я пытаюсь.

😂😂😂😂😂 за картинку спасибо @bi_done

Котятки🐱,
Диаграмма Sankey - мой самый нелюбимый тип диаграмм, так как шаг влево-шаг вправо - и она становится нечитаемой.
При этом при грамотном применении она максимально информативна.
Я искала наиболее удачную методологию её построения, а нашла Клондайк - сайт-ода этой диаграмме.
Внутри: методология, примеры, вдохновение, история, статьи.
Мой любимый раздел - конечно, фейки, как соврать и испортить статистику неудачной диаграммой.
Сайт: https://www.sankey-diagrams.com/
Моя любимая серия постов:
https://www.sankey-diagrams.com/lying-with-sankey-diagrams-5/