Котятки🐱,
Мне везёт этой весной на неожиданности, из последнего - поучаствовала в создании задачек для хакатона для системных аналитиков)
Верю, что вы мою задачку точно опознаете)
Поучаствовать можно тут, регистрация ещё открыта: https://itonecup.sk.ru/

📈Урбан дата-журналистика
Обожаю пространственные исследования и поэтому слежу за их создателями в твиттере. Вот пример очень трудоемких, сложных и глубоких исследований с понятными картами и графиками:

🔥Исследование цены аренды квартир в Германии и Европе (картинка оттуда)

🕘Проблема свободных земель в Польше

🤘Как застроить центр Брюсселя?

Вся подборка https://urbanjournalism.org/

​​Котятки🐱, хелп!
Ищем сильного BIщика (мидл+/синиор).
Дано:
Мой знакомый, с которым я много лет проработала в Дата-офисе СИБУРа, с начала года присоединился к команде аналитики Авито. В компании действительно классная аналитическая культура, аналитик тут хорошо разбирается в бизнесе, DWH, Python и ML. При этом создание функциональных и красивых дашбордов частенько выпадает из фокуса аналитиков, поэтому решили развивать направление BI разработки.
Про задачки от первого лица:
⁃ "Наша команда аналитики техплатформы обеспечивает управление основным бизнесом Авито. Дашборды помогают управлять разработкой и обеспечивать надежность платформы, наши пользователи - весь Product & Tech. Мы принимаем решения на данных не только в продукте, но и внутри. Мы сейчас ищем BI разработчика, с большим упором на разработке. Помимо собственно BI, потребуются очень хорошие скиллы Python и SQL, чтобы справиться с нестандартными задачами и с нашими стейкхолдерами - топовыми инженерами. Если вы хотите присоединиться к нашей сильной команде, пишите @telyatnik ".

От себя: была у них в офисе (фотка оттуда) и участвовала в паре митапов. Что скажу: это работа для творческих и инициативных, тут генерация гипотез - это почти религия. И да, как и многие снаружи, я думала, что Авито - это экосистема сервисов вокруг монопродукта. Короче, я пересмотрела позицию, тут чуть более интересно.

Котятки🐱,
Вчера у меня была сессия с разбором очень нагруженного дашборда. В нем все было прекрасно, кроме чувства тотальной усталости, которую он у меня вызывал. В связи с этим вспомнила закон Миллера.
В 1956 году этот замечательный чувак опубликовал «Волшебное число семь плюс или минус два» (The Magical Number Seven, Plus or Minus Two) в которой показал, что кратковременная память человека от 5 до 9 элементов.
Как он это вывел? Провел ряд экспериментов, в которых испытуемым показывали длинный список различных объектов, а после презентации просили повторить список в том же порядке или в другом.
Что почитать:
-в целом про закон Миллера: https://www.uprock.ru/education/principy-chelovecheskoy-pamyati-i-kak-ih-ispolzovat-v-ux-ui
-про «три кита» успеха дашбордов - отслеживание взгляда, когнитивную нагрузку и предвосхищение ожиданий: https://eric-sandosham.medium.com/the-problem-with-data-visualisation-cdab6b193d92
-про группировку как элемент заигрывания с конструкцией дашбордов: https://www.dimins.com/blog/2017/07/06/visual-standards-dashboard-design/

Котятки🐱,
Bar Chat Race - это скорее инструмент для разового вау-эффекта, чем для постоянной работы, но иногда приходится его делать для драмматик-эффекта: как иначе показать изменение структуры/группировки во времени?
В свое время был модненьким вот этот инструмент:
https://flourish.studio/visualisations/bar-chart-race/
Я в последнее время пользуюсь:
https://livingcharts.com/

P.S. Можно в целом напилить тоже самое на JS или комбо html/css(самое простенькое тут https://codepen.io/Shokeen/pen/EBPdeg) , но это уже путь разработки, а не аналитики.

Всем привет!

Сегодня не обычная пятница, а мимикрирующая под четверг. И поэтому вместо дайджеста мы с шикарными новостями.

VK Data Meetup возвращается 23 мая!

⏰15:00-19:00 по МСК
📍Традиционно митап пройдет в офисе VK и онлайн
⚡️Бесплатная регистрация

В новой серии митапа поговорим о технологиях Trino и dbt в проде, о стремительном запуске риал-тайм антифрода и Kubernetes для работы с данными (как же без K8s), о трендах и архитектурных паттернах платформ данных.

В программе доклады VK, Тинькофф, OZON Fintech, билайн, и Детского мира, а еще афтепати и активный нетворкинг.

Присоединяйтесь к коммьюнити, будет интересно!

Зарегестрироваться

Традиционная #нереклама: в нашем офисе опять какая-то дата-тусовка, но темка, которую заявил Озон, прямо прикольная) думаю глянуть, го со мной👆

Котятки🐱,
Кто бы знал, сколько крови мне выпили в свое время обращения пользователей в стиле «в этом дашборде данные не корректные, а в том корректные».
Проблема обновления/устаревания становилась особо острой в периоды, когда self-service цвел и пах, и почти умирала, когда дашики были строго подконтрольны)
В статейке ниже неплохо описана моя боль и то, как с ней борются умные люди:
https://towardsdatascience.com/why-and-how-to-deprecate-dashboards-357a68f041ba
P.S. я просто спускала техподдержке шаблон коммуникаций с пользователем в стиле «Нажмите кнопку «обновить»🙈

Котятки🐱,
Мое хранилищное детство очень жестко вбило мне мысль, что нормализация-это кошерно, а те, кто не умеют в 3NF - просто неучи и не знают, что за 3NF есть еще ряд мало понятных и дико интересных форм.
А вот взрослая жизнь подарила мне кейс самой неприятной денормализации ever, и огромный фейл, когда нормацизация послужила началом бешеной деградации производительности.
Вот тут почитать: https://habr.com/ru/companies/mvideo/articles/783386/
А еще я хочу попробовать себя как спикера и провести вебинарчик о своих фейлах на эту тему, ставьте лайк кому было бы интересно послушать.

Котятки🐱,
Пока я не соорудила мой первый неидемпотентный процесс в NiFi(привет, дубли!), мне в принципе в голову не приходило, что можно делать одно и тоже раз за разом и получать разный результат. Для таких, как я, придумали вставку данных через merge))
Короче, как инженер я была так себе, но как архитектор это требование для пайплайна усвоила твердо.
Нормально почитать, чтобы никуда не вляпаться, можно тут: https://discourse.getdbt.com/t/understanding-idempotent-data-transformations/518
Разъяснение для самых маленьких на примере ETL AirFlow - тут: https://bigdataschool.ru/blog/atomicity-and-idempotency-in-airflow.html

Прочитал сегодня интересную статью о том, как устроены геоданные в Китае.

Оказывается, Китай использует свою закрытую систему координат, нелинейно отличающуюся от общепринятой в мире. Сделано это в том числе из соображений национальной безопасности, и основной прикол этой системы в том, что к широте и долготе каждого места добавляются случайные смещения от 50 до 500 метров в любую сторону.

Насколько я понял, ни один внешний провайдер не имеет точной карты Китая, и это может весьма интересно проявляться: например, если в картах Гугла посмотреть на центр Шанхая в режиме спутника, то можно увидеть множество улиц прямо посреди реки.

Я бы не удивился, если бы там действительно была какая-то система улиц прямо в воздухе, но в данном случае это именно проблема декодирования китайских координат.

Вообще, чем больше читаю про эту страну, тем больше желания приехать и посмотреть на это всё. Только страшно: заблудишься где-нибудь, и чёрт там разберёшься с картами 🙈

https://habr.com/ru/companies/selectel/articles/815611/

Котятки🐱,
Когда я рассказывала своим студентам про DataMesh (https://www.datamesh-architecture.com), я всегда использовала эпитет «неудачники»: это концепт для тех, кто не может справиться со своим мусором в даных по разным причинам - от огромного масштаба компании/количества стейкхолдеров до крупного легаси, разбор которого не имеет экономической целесообразности.
И в свое время меня удивляли люди, которые брали этот концепт для отстройки его «с нуля» - видимо, сдавались на старте, после первого же внутреннего аудита и подхода к снаряду.

Откуда пошла история: https://medium.com/codex/data-mesh-zero-to-hero-ec86291f89cb
У Гугла нормальный гайд: https://cloud.google.com/architecture/data-mesh
Медиум намекает, как отстроить процессинг: https://medium.sqldbm.com/data-mesh-overhyped-misunderstood-and-useful-e65c60ba6643
Вот этот канал на ютубчике в свое время так доходчиво мне все разжевал, что во рту было кисло и чутка тошнило от передоза инфы: https://www.youtube.com/@datameshlearning

По концепции есть еще книжечка с птичкой от O’Reilly, но она мне показалась чутка водянистой

Эхх, котятки🐱, хотела бы я быть настолько наглой, чтобы брать деньги за вебинары-хуенары. Увы, мой текущий уровень - просто постить всякую хрень сюда, чисто в стиле "вспомнил - записал". Короче, рада, что вы ещё меня читаете))

Котятки🐱,
Вчера поспорила с коллегой на тему статистики.
Статистику я не люблю не меньше, чем Data mesh, так что обсираю ее при первом удобном случае как псевдонауку.
По мне - это выкидыш прикладной математики, который приносит успокоение нашему мозгу, как любая систематизация информации: порядок - это контроль, а контроль - это безопасность.
Ну и вcякие статистические тренды мне всегда казались ересью: статичность условий для появления тренда в реальности стремится к 0, а результаты прогноза зависят от используемого мат.аппарата. Но! Это не значит, что нормальный многофакторный предиктивный анализ надо выкидывать, вовсе нет: он наталкивает на определенные мысли и является одним из столпов принятия решений.
Обосрав это, предлагаю вместе посмотреть видосик о истории статистики (говорят, она древняя, но мне кажется они туда напихали все - от кусков чистой математики до датавиза) и почитать книжечку для самых маленьких👆
https://www.youtube.com/watch?v=x-A3vJ5ZjUI

Ах да, на русском похожего видоса не нашла, поделитесь статистики ради, у кого есть))

Котятки, примерно 2 года назад я очень активно пыталась изобразить активность с https://www.polymersearch.com/ - этакая машинка по распознаванию ваших данных, которая сразу же автоматически на них строит дашборды. Что могу сказать: за 2 года они очень подкачались, и на один и тот же датасет уже выдали что-то более веселое. Но, увы, все же не до конца: они так и не могут распознать, что в таблице в плоском виде лежит граф,и визуализировать надо ну хотя бы диаграммой с суммированием по узлам. А вот мой новый дружбан https://www.prototypr.ai/ развивается более развесисто и спокойно способен сгененировать как и простой незагруженный дашик а-ля "Тафти на минималках", так и нечто креативное (мой типичный кейс - изобразить посещаемость детского садика)))

Культур-мультур

Поучительная история становления культуры работы с данными в одном стартапе. Про переход от культуры поощрения выкатки новых фичей (т.н. метод "хуяк, хуяк и в продакшн"), к культуре инкрементального улучшения продукта на основе данных и экспериментов. Прям получил удовольствие от прочтения.

Котятки🐱 Один из постоянных и давних участников прошедшего AnalystDays опубликовал "заметки" о докладах)
https://mtsepkov.org/%D0%91%D0%BB%D0%BE%D0%B3:%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B0_%D0%A6%D0%B5%D0%BF%D0%BA%D0%BE%D0%B2%D0%B0/2024-05-30:_AnalystDays_%D0%B2_%D0%9F%D0%B8%D1%82%D0%B5%D1%80%D0%B5_-_%D1%85%D0%BE%D1%80%D0%BE%D1%88%D0%B8%D0%B5_%D0%B4%D0%BE%D0%BA%D0%BB%D0%B0%D0%B4%D1%8B_%D0%B8_%D0%BC%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%89%D0%B5%D0%BD%D0%B8%D1%8F
От себя: я участвовала в AnalystDays в прошлом году и словила много новых мыслей, касаемо ИБ. В этом сезоне было модно осмысление роли и психологии (на фоне развития ИИ, видимо, инструментальная часть работы отходит на второй план, и вперед вылезает сама составляющая работы аналитика - искать решения и находить ответы).
Ссылку любезно сперла у коллеги😜

Котятки🐱,
Когда я искала наглядный пример, как работают функции временных интервалов в PostgreSQL, я наткнулась на полезный сайт по базам данных.
В нем статьи разделены не только по БД , но и по характеру материала ( «what-is» и «how-to»).
Собственно, с этого сайта пошли все мои любимые объяснялки в стиле «для самых маленьких» и прикольные примеры, которые я привожу на различные сценарии работы, и отсюда же было своровано немало кейсов для обучалок стажеров и, что главное, именно с него я всегда беру нормальное объяснение транзакций.
Линк
https://database.guide

​​Котятки🐱,
Я продолжаю для себя тему промышленной аналитики.
ESG-отчеты (содержат набор метрик оценки продукции с точки зрения экологии и социальной ответственности)
для меня лично уперлись в две большие проблемы:
-понимание метрик оценки жизненного цикла продукции LCA и как их считать
-визуализация цепочек поставок для наглядности все тех же метрик LCA
На эту тему есть хорошая статья от инструмента Viser, в ней:
1. Метрики
2. Дата-пайплайн
3. Механика визуализации
Линк:
https://engineering.purdue.edu/cdesign/wp/wp-content/uploads/2014/08/ASME-ViSER.pdf

Бонус моего утра: каталог всех промышленных/экологических датасетов в одном месте, которые можно использовать для оценки жизненного цикла пром продукции
https://ghgprotocol.org/life-cycle-databases