О мои пятничные котятки🐱,
Делюсь своим вечерним сокровищем - архивным вебинарчиком в стиле «как работают BI под капотом для самых маленьких» от, внезапно, Visiology.
Линк:
https://www.youtube.com/watch?v=rzdMWVC4mjA

Даша, привет!

форвардни, пожалуйста, раз уж ты сама идёшь 🙂

Как насчёт нашего любимого сочетания: данные, пиво и пицца?

Luxms BI и ДАР («КОРУС Консалтинг») проводят митап «BI Connect: аналитика на стыке данных и бизнеса»! Обсудим последние тенденции в бизнес-аналитике, обменяемся опытом с экспертами, а также насладимся неформальной атмосферой встречи и пообщаемся с коллегами!

🗓 17 апреля
🕑 18:00 – 21:30
📍Москва, ул. Бауманская, д 11, стр. 8, подъезд 3, этаж 3
Casa Picassa, лофт «Модильяни»

Регистрация и детали

До встречи!

Ребят, пойдемте затусим, что ли🥳

Котятки🐱,
Мне везёт этой весной на неожиданности, из последнего - поучаствовала в создании задачек для хакатона для системных аналитиков)
Верю, что вы мою задачку точно опознаете)
Поучаствовать можно тут, регистрация ещё открыта: https://itonecup.sk.ru/

📈Урбан дата-журналистика
Обожаю пространственные исследования и поэтому слежу за их создателями в твиттере. Вот пример очень трудоемких, сложных и глубоких исследований с понятными картами и графиками:

🔥Исследование цены аренды квартир в Германии и Европе (картинка оттуда)

🕘Проблема свободных земель в Польше

🤘Как застроить центр Брюсселя?

Вся подборка https://urbanjournalism.org/

​​Котятки🐱, хелп!
Ищем сильного BIщика (мидл+/синиор).
Дано:
Мой знакомый, с которым я много лет проработала в Дата-офисе СИБУРа, с начала года присоединился к команде аналитики Авито. В компании действительно классная аналитическая культура, аналитик тут хорошо разбирается в бизнесе, DWH, Python и ML. При этом создание функциональных и красивых дашбордов частенько выпадает из фокуса аналитиков, поэтому решили развивать направление BI разработки.
Про задачки от первого лица:
⁃ "Наша команда аналитики техплатформы обеспечивает управление основным бизнесом Авито. Дашборды помогают управлять разработкой и обеспечивать надежность платформы, наши пользователи - весь Product & Tech. Мы принимаем решения на данных не только в продукте, но и внутри. Мы сейчас ищем BI разработчика, с большим упором на разработке. Помимо собственно BI, потребуются очень хорошие скиллы Python и SQL, чтобы справиться с нестандартными задачами и с нашими стейкхолдерами - топовыми инженерами. Если вы хотите присоединиться к нашей сильной команде, пишите @telyatnik ".

От себя: была у них в офисе (фотка оттуда) и участвовала в паре митапов. Что скажу: это работа для творческих и инициативных, тут генерация гипотез - это почти религия. И да, как и многие снаружи, я думала, что Авито - это экосистема сервисов вокруг монопродукта. Короче, я пересмотрела позицию, тут чуть более интересно.

Котятки🐱,
Вчера у меня была сессия с разбором очень нагруженного дашборда. В нем все было прекрасно, кроме чувства тотальной усталости, которую он у меня вызывал. В связи с этим вспомнила закон Миллера.
В 1956 году этот замечательный чувак опубликовал «Волшебное число семь плюс или минус два» (The Magical Number Seven, Plus or Minus Two) в которой показал, что кратковременная память человека от 5 до 9 элементов.
Как он это вывел? Провел ряд экспериментов, в которых испытуемым показывали длинный список различных объектов, а после презентации просили повторить список в том же порядке или в другом.
Что почитать:
-в целом про закон Миллера: https://www.uprock.ru/education/principy-chelovecheskoy-pamyati-i-kak-ih-ispolzovat-v-ux-ui
-про «три кита» успеха дашбордов - отслеживание взгляда, когнитивную нагрузку и предвосхищение ожиданий: https://eric-sandosham.medium.com/the-problem-with-data-visualisation-cdab6b193d92
-про группировку как элемент заигрывания с конструкцией дашбордов: https://www.dimins.com/blog/2017/07/06/visual-standards-dashboard-design/

Котятки🐱,
Bar Chat Race - это скорее инструмент для разового вау-эффекта, чем для постоянной работы, но иногда приходится его делать для драмматик-эффекта: как иначе показать изменение структуры/группировки во времени?
В свое время был модненьким вот этот инструмент:
https://flourish.studio/visualisations/bar-chart-race/
Я в последнее время пользуюсь:
https://livingcharts.com/

P.S. Можно в целом напилить тоже самое на JS или комбо html/css(самое простенькое тут https://codepen.io/Shokeen/pen/EBPdeg) , но это уже путь разработки, а не аналитики.

Всем привет!

Сегодня не обычная пятница, а мимикрирующая под четверг. И поэтому вместо дайджеста мы с шикарными новостями.

VK Data Meetup возвращается 23 мая!

⏰15:00-19:00 по МСК
📍Традиционно митап пройдет в офисе VK и онлайн
⚡️Бесплатная регистрация

В новой серии митапа поговорим о технологиях Trino и dbt в проде, о стремительном запуске риал-тайм антифрода и Kubernetes для работы с данными (как же без K8s), о трендах и архитектурных паттернах платформ данных.

В программе доклады VK, Тинькофф, OZON Fintech, билайн, и Детского мира, а еще афтепати и активный нетворкинг.

Присоединяйтесь к коммьюнити, будет интересно!

Зарегестрироваться

Традиционная #нереклама: в нашем офисе опять какая-то дата-тусовка, но темка, которую заявил Озон, прямо прикольная) думаю глянуть, го со мной👆

Котятки🐱,
Кто бы знал, сколько крови мне выпили в свое время обращения пользователей в стиле «в этом дашборде данные не корректные, а в том корректные».
Проблема обновления/устаревания становилась особо острой в периоды, когда self-service цвел и пах, и почти умирала, когда дашики были строго подконтрольны)
В статейке ниже неплохо описана моя боль и то, как с ней борются умные люди:
https://towardsdatascience.com/why-and-how-to-deprecate-dashboards-357a68f041ba
P.S. я просто спускала техподдержке шаблон коммуникаций с пользователем в стиле «Нажмите кнопку «обновить»🙈

Котятки🐱,
Мое хранилищное детство очень жестко вбило мне мысль, что нормализация-это кошерно, а те, кто не умеют в 3NF - просто неучи и не знают, что за 3NF есть еще ряд мало понятных и дико интересных форм.
А вот взрослая жизнь подарила мне кейс самой неприятной денормализации ever, и огромный фейл, когда нормацизация послужила началом бешеной деградации производительности.
Вот тут почитать: https://habr.com/ru/companies/mvideo/articles/783386/
А еще я хочу попробовать себя как спикера и провести вебинарчик о своих фейлах на эту тему, ставьте лайк кому было бы интересно послушать.

Котятки🐱,
Пока я не соорудила мой первый неидемпотентный процесс в NiFi(привет, дубли!), мне в принципе в голову не приходило, что можно делать одно и тоже раз за разом и получать разный результат. Для таких, как я, придумали вставку данных через merge))
Короче, как инженер я была так себе, но как архитектор это требование для пайплайна усвоила твердо.
Нормально почитать, чтобы никуда не вляпаться, можно тут: https://discourse.getdbt.com/t/understanding-idempotent-data-transformations/518
Разъяснение для самых маленьких на примере ETL AirFlow - тут: https://bigdataschool.ru/blog/atomicity-and-idempotency-in-airflow.html

Прочитал сегодня интересную статью о том, как устроены геоданные в Китае.

Оказывается, Китай использует свою закрытую систему координат, нелинейно отличающуюся от общепринятой в мире. Сделано это в том числе из соображений национальной безопасности, и основной прикол этой системы в том, что к широте и долготе каждого места добавляются случайные смещения от 50 до 500 метров в любую сторону.

Насколько я понял, ни один внешний провайдер не имеет точной карты Китая, и это может весьма интересно проявляться: например, если в картах Гугла посмотреть на центр Шанхая в режиме спутника, то можно увидеть множество улиц прямо посреди реки.

Я бы не удивился, если бы там действительно была какая-то система улиц прямо в воздухе, но в данном случае это именно проблема декодирования китайских координат.

Вообще, чем больше читаю про эту страну, тем больше желания приехать и посмотреть на это всё. Только страшно: заблудишься где-нибудь, и чёрт там разберёшься с картами 🙈

https://habr.com/ru/companies/selectel/articles/815611/

Котятки🐱,
Когда я рассказывала своим студентам про DataMesh (https://www.datamesh-architecture.com), я всегда использовала эпитет «неудачники»: это концепт для тех, кто не может справиться со своим мусором в даных по разным причинам - от огромного масштаба компании/количества стейкхолдеров до крупного легаси, разбор которого не имеет экономической целесообразности.
И в свое время меня удивляли люди, которые брали этот концепт для отстройки его «с нуля» - видимо, сдавались на старте, после первого же внутреннего аудита и подхода к снаряду.

Откуда пошла история: https://medium.com/codex/data-mesh-zero-to-hero-ec86291f89cb
У Гугла нормальный гайд: https://cloud.google.com/architecture/data-mesh
Медиум намекает, как отстроить процессинг: https://medium.sqldbm.com/data-mesh-overhyped-misunderstood-and-useful-e65c60ba6643
Вот этот канал на ютубчике в свое время так доходчиво мне все разжевал, что во рту было кисло и чутка тошнило от передоза инфы: https://www.youtube.com/@datameshlearning

По концепции есть еще книжечка с птичкой от O’Reilly, но она мне показалась чутка водянистой

Эхх, котятки🐱, хотела бы я быть настолько наглой, чтобы брать деньги за вебинары-хуенары. Увы, мой текущий уровень - просто постить всякую хрень сюда, чисто в стиле "вспомнил - записал". Короче, рада, что вы ещё меня читаете))

Котятки🐱,
Вчера поспорила с коллегой на тему статистики.
Статистику я не люблю не меньше, чем Data mesh, так что обсираю ее при первом удобном случае как псевдонауку.
По мне - это выкидыш прикладной математики, который приносит успокоение нашему мозгу, как любая систематизация информации: порядок - это контроль, а контроль - это безопасность.
Ну и вcякие статистические тренды мне всегда казались ересью: статичность условий для появления тренда в реальности стремится к 0, а результаты прогноза зависят от используемого мат.аппарата. Но! Это не значит, что нормальный многофакторный предиктивный анализ надо выкидывать, вовсе нет: он наталкивает на определенные мысли и является одним из столпов принятия решений.
Обосрав это, предлагаю вместе посмотреть видосик о истории статистики (говорят, она древняя, но мне кажется они туда напихали все - от кусков чистой математики до датавиза) и почитать книжечку для самых маленьких👆
https://www.youtube.com/watch?v=x-A3vJ5ZjUI

Ах да, на русском похожего видоса не нашла, поделитесь статистики ради, у кого есть))

Котятки, примерно 2 года назад я очень активно пыталась изобразить активность с https://www.polymersearch.com/ - этакая машинка по распознаванию ваших данных, которая сразу же автоматически на них строит дашборды. Что могу сказать: за 2 года они очень подкачались, и на один и тот же датасет уже выдали что-то более веселое. Но, увы, все же не до конца: они так и не могут распознать, что в таблице в плоском виде лежит граф,и визуализировать надо ну хотя бы диаграммой с суммированием по узлам. А вот мой новый дружбан https://www.prototypr.ai/ развивается более развесисто и спокойно способен сгененировать как и простой незагруженный дашик а-ля "Тафти на минималках", так и нечто креативное (мой типичный кейс - изобразить посещаемость детского садика)))

Культур-мультур

Поучительная история становления культуры работы с данными в одном стартапе. Про переход от культуры поощрения выкатки новых фичей (т.н. метод "хуяк, хуяк и в продакшн"), к культуре инкрементального улучшения продукта на основе данных и экспериментов. Прям получил удовольствие от прочтения.