To watch.Pantheon.
Небольшой анимационный сериал, местами с прекрасными визуальными образами (напомнили Айснера), чтобы развивать насмотренность, с пелевинскими мотивами и этическими дилеммами, человек или компьютер.
ИИ сложно создать до конца с сознанием, проще сознание человека загрузить...

Смотрю всё на английском обычно, чтобы не совсем уж time killing, тут он не сложный.

- почему ты тут советуешь комиксы, фильмы, мультики?
- верю, что это часть повышения насмотренности

FrAIday joke.

На самом деле, часто AI очень капитански помогает с анализом графика / дашборда. Нужно давать больше контекста про бизнес, модель и в идеале давать возможность итеративно искать инсайты.

Кажется, AI, наконец, заставит всех вложить ресурсы в дата каталоги и DQ =)

Иерархия с барчартами в Галерее
Сорян, запамятовал, исправляюсь.
Выложили в Галерею дэшик с иерархией для финансовой отчётности, можно развернуть, посмотреть логику кода, переиспользовать с любой ирерахией с нумерацией строк

Пишите, какие типы визуализаций еще могут быть полезны в финансовой отчётности.

Про WaterFall в строках помню, но есть нюансы - при большой вложенности это Адово смотрится, то есть красиво выглядит только на небольших ненастоящих данных =)

How to. Убрать лишнее из ClickHouse
Тут ранее пост выкладывал про набор полезных скриптов в ClickHouse, мне пришел фидбек, что надо много шагов выполнять, потом объединять итоги, чтобы общую картинку сделать.
Поэтому сделал для удобства единый дэшик в галерею, куда вставляете табличку, лимиты по данным и логам - и voila, профиль таблички, полезность полей, примеры значений, ну в общем всё для того, чтобы почистить и правильно отсортировать вашу витрину.

Из интересного, для погружения в Editor:
- Двухшаговые селекторы с кнопкой
- Много датасетов и запросов в табличке

Запускается на любом CH, просто введите свои креды

В общем, Enjoy!

How to. Get new Ideas?
Хороший блог у продукта datawrapper, очень классно для насмотренности и логического объяснения, что можно и что не стоит делать на чартах. Например, разные скейлы на чартах. Всем советую добавить в закладочки =)

How to. Make Actuals in CH + Plan in CSV
Если у вас факты не адские (то есть, мы не говорим о плановом DAU и подсчет юников единиц миллионов и план под него), а просто рубли, где будует сумма классическая и план тоже сумма, то есть простой способ добавить к факту (его обычно DWH собирает) план рядышком, если вдруг таблицы еще нет в Merge в CH, просто выложив его на S3.

SELECT
'plan' as slice,
* FROM s3(
'https://storage.yandexcloud.net/skaradubpics/extracts_tests/plan_1.csv','CSV')
UNION all
SELECT 'actual' as slice,
category_stream_name as category,
msk_item_created_dt as creation_date,
cast(item_price_rub as Int64) as metric
FROM {YOUR_TABLE}

How not to. Name your table/fields in DB

Надеюсь, что никто уже так не делает, но, собрал перечень проблем, с которыми вы сможете столкнуться, если будете таблички или названия полей в БД делать кириллическими символами.

Почему кириллица плохо:
- Проблемы с кодировкой
- Совместимость с международными стандартами
- Некоторые пакеты ORM или внутриязыковые не любят их
- Не берусь утверждать, но как будто движки-оптимизаторы внутри самих СУБД тоже могут косячить
- Локализация в будущем продукта, когда захочется, чтобы бизнес рос
- Интеграция между системами
- В контейнеризации (docker) баги тоже встречаются
- Парсинг логов для анализа, если на русском, еще большими буквами и еще и с пробелами

Поэтому, лучше пишите понятно для всех, конечно, договорившись внутри DATA команды о правилах нейминга

delivery_region_id
delivery_region_name
is_clean, clean_flg
delivery_dt[tm]

Moonday Joke
Вчера у всех астрологов страны взвыли moonitorings

А я шел с басика и не мог понять, что это все пытаются фоткать луну, она грязная какая-то была =)

С днем тестировщика!

9 сентябра 1947 года настоящий жучок (на самом деле мотылёк), залез между контактами в компьютере в Гарварде и заставил обратить на себя внимание =) Так появился термин дебаггинг и спустя n лет решили праздновать день тестировщика.

Мне вот стало интересно, получается, мотыльки имеют токопроводимость такую нормальную? я вот думал, что хитин не проводит ток?

Я встречал в проектах DATA и BI тесты разные, это и DQ проверки, и было-стало и классическое "количества записей на вход-выход", но самый забавный опыт был у меня, когда финансисты по ТЗ взяли линейку и сверяли на мониторе пропорции отчетной формы, которая получилась у подрядчика.

Вспоминая Я-Пиво, нашли старую инфографику "закрытия" проектов в Яндексе. Как инфа интересно, но надо бы перерисовать и добавить "переоткрытие" имен или куда они трансформировались =)

Почему вспоминали пиво напишу через недельку =)

Workshop
На следующей неделе на Scale буду проводить Воркшоп, как сделать себе шаблончик визуализации с помощью AI. То есть не просто один график под конкретный датасет, а как шаблонизировать свою работу и в итоге сделать график, который сможете использовать в своих дэшах на разных датасетах 1-2-10 раз.

Регайтесь на Scale, приходите, будем творить.
Ну не прям, чтобы творить, скорее указывать, что мы хотим =)

UPD Ах, да, именно поэтому пока мало контента, в октябре исправлюсь =D

Это прям мега фича в парадигму "каждый должен заниматься своим делом" =)

How to. Narisui mne voronku. To est funnel.
Достаем двойные листочки.
Провел воркшоп по Editor + Нейроаналитик на Yandex Scale.

Начали с простых визуализаций в вакууме и закончили шаблонами чартов, которые участники теперь могут переиспользовать в своих продовых дэшах.
Я Доволен =) и тайминг и задачи все решены.

Фиксация результатов на общей доске прибавила фана и дала понять, на сколько недетерминирован ответ одной и той же модельки по тому же промпту =)

Случился овербукинг, простите все, кто не смог сесть за стол.

Спасибо всем участникам!

Fun.
Одним из шагов воркшопа была задачка сделать диаграмму Гантта (не самое распространненное в BI), но ребята справились, эти вот вообще топчик =)

Hello, Neo =)

C - Collaboration =)
Тут я был только руками для реализации отчёта DataLens, а основная составляющая - дизайн, прям очень нравится как ребята придумали отрисовать онлайн-статистику (real time из YDB) потребления кофе и софт-напитков для мероприятия в Казани.

How to. DataLens Editor
Привет!
Начал записывать серию видео прям по детальным шагам, как устроен DataLens Editor, с самого начала и по нарастающей. Каждый видосик будет дополняться примерами кода. Пожалуйста, придите в комментарии, какие еще темы непонятны в Editor + на сколько хорошо разжёвано (те, кто не юзал Editor до этого)
https://data2viz.ru/editor

Очень классно у ребят получилось!
У ребенка (7 класс) сейчас в школе уже ТВиМС, тут будет подспорье 😃