Фича, которую очень ждали многие (и мы внутри Яндекс тоже), вот теперь можно разгуляться 😃

ClickHouse 25.7 - Features for BI
Уже две недели как вышел 25.7, а у меня только руки дошли посмотреть, что же там интересного появилось

1. Возрадуйстесь, финансисты, теперь в ClickHouse есть IRR и NPV =) на самом деле, буквально месяц назад меня спрашивали из команды финансов, что вот в PowerBI можно сделать IRR, а у нас нельзя, доколе? =) постараемся поддержать внутри DataLens побыстрее

2. Ускорение count() на 30% с GROUP BY (если у вас в датасете одна строчка что-то значит сама по себе)

3. Очередная порция оптимизации JOINS!
- RIGHT and FULL
- INNER JOIN такой же быстрый, как оператор IN!! (но пока медленнее, если у IN берется индекс)

4. ClickHouse Client Agent - Ну и как же без AI.
Теперь в clickhouse-client встроена AIшка, которая пишет скрипты и умеет создавать / менять таблички по человеческому вводу. Себе в поддержку выполняет всякие селекты метаданных и тому подобное. То есть в клиенте вместо SQL просто пишешь словами, что надо сделать и он пишет тебе скрипт, ты проверяешь - если ок - запускаешь. Выглядит интересно, надо понять только, можно ли подкладывать свою модельку, а не дорогущий Claude =)

Небольшие приятные фичи за прошлый месяц.

Мой фаворит - ввод из буфера значений в параметр =)

А как вам в целом лучше было бы узнавать о новых фичах в BI-продукте?
- Попапами в продукте?
- Текстовыми анонсами в канале / чатике?
- Видосиками?

Friday Joke.
В этот раз не про данные, но прям очень понравилось =D

При этом, Ферма внес ощутимый вклад в теорвер

To watch.Pantheon.
Небольшой анимационный сериал, местами с прекрасными визуальными образами (напомнили Айснера), чтобы развивать насмотренность, с пелевинскими мотивами и этическими дилеммами, человек или компьютер.
ИИ сложно создать до конца с сознанием, проще сознание человека загрузить...

Смотрю всё на английском обычно, чтобы не совсем уж time killing, тут он не сложный.

- почему ты тут советуешь комиксы, фильмы, мультики?
- верю, что это часть повышения насмотренности

FrAIday joke.

На самом деле, часто AI очень капитански помогает с анализом графика / дашборда. Нужно давать больше контекста про бизнес, модель и в идеале давать возможность итеративно искать инсайты.

Кажется, AI, наконец, заставит всех вложить ресурсы в дата каталоги и DQ =)

Иерархия с барчартами в Галерее
Сорян, запамятовал, исправляюсь.
Выложили в Галерею дэшик с иерархией для финансовой отчётности, можно развернуть, посмотреть логику кода, переиспользовать с любой ирерахией с нумерацией строк

Пишите, какие типы визуализаций еще могут быть полезны в финансовой отчётности.

Про WaterFall в строках помню, но есть нюансы - при большой вложенности это Адово смотрится, то есть красиво выглядит только на небольших ненастоящих данных =)

How to. Убрать лишнее из ClickHouse
Тут ранее пост выкладывал про набор полезных скриптов в ClickHouse, мне пришел фидбек, что надо много шагов выполнять, потом объединять итоги, чтобы общую картинку сделать.
Поэтому сделал для удобства единый дэшик в галерею, куда вставляете табличку, лимиты по данным и логам - и voila, профиль таблички, полезность полей, примеры значений, ну в общем всё для того, чтобы почистить и правильно отсортировать вашу витрину.

Из интересного, для погружения в Editor:
- Двухшаговые селекторы с кнопкой
- Много датасетов и запросов в табличке

Запускается на любом CH, просто введите свои креды

В общем, Enjoy!

How to. Get new Ideas?
Хороший блог у продукта datawrapper, очень классно для насмотренности и логического объяснения, что можно и что не стоит делать на чартах. Например, разные скейлы на чартах. Всем советую добавить в закладочки =)

How to. Make Actuals in CH + Plan in CSV
Если у вас факты не адские (то есть, мы не говорим о плановом DAU и подсчет юников единиц миллионов и план под него), а просто рубли, где будует сумма классическая и план тоже сумма, то есть простой способ добавить к факту (его обычно DWH собирает) план рядышком, если вдруг таблицы еще нет в Merge в CH, просто выложив его на S3.

SELECT
'plan' as slice,
* FROM s3(
'https://storage.yandexcloud.net/skaradubpics/extracts_tests/plan_1.csv','CSV')
UNION all
SELECT 'actual' as slice,
category_stream_name as category,
msk_item_created_dt as creation_date,
cast(item_price_rub as Int64) as metric
FROM {YOUR_TABLE}

How not to. Name your table/fields in DB

Надеюсь, что никто уже так не делает, но, собрал перечень проблем, с которыми вы сможете столкнуться, если будете таблички или названия полей в БД делать кириллическими символами.

Почему кириллица плохо:
- Проблемы с кодировкой
- Совместимость с международными стандартами
- Некоторые пакеты ORM или внутриязыковые не любят их
- Не берусь утверждать, но как будто движки-оптимизаторы внутри самих СУБД тоже могут косячить
- Локализация в будущем продукта, когда захочется, чтобы бизнес рос
- Интеграция между системами
- В контейнеризации (docker) баги тоже встречаются
- Парсинг логов для анализа, если на русском, еще большими буквами и еще и с пробелами

Поэтому, лучше пишите понятно для всех, конечно, договорившись внутри DATA команды о правилах нейминга

delivery_region_id
delivery_region_name
is_clean, clean_flg
delivery_dt[tm]

Moonday Joke
Вчера у всех астрологов страны взвыли moonitorings

А я шел с басика и не мог понять, что это все пытаются фоткать луну, она грязная какая-то была =)

С днем тестировщика!

9 сентябра 1947 года настоящий жучок (на самом деле мотылёк), залез между контактами в компьютере в Гарварде и заставил обратить на себя внимание =) Так появился термин дебаггинг и спустя n лет решили праздновать день тестировщика.

Мне вот стало интересно, получается, мотыльки имеют токопроводимость такую нормальную? я вот думал, что хитин не проводит ток?

Я встречал в проектах DATA и BI тесты разные, это и DQ проверки, и было-стало и классическое "количества записей на вход-выход", но самый забавный опыт был у меня, когда финансисты по ТЗ взяли линейку и сверяли на мониторе пропорции отчетной формы, которая получилась у подрядчика.

Вспоминая Я-Пиво, нашли старую инфографику "закрытия" проектов в Яндексе. Как инфа интересно, но надо бы перерисовать и добавить "переоткрытие" имен или куда они трансформировались =)

Почему вспоминали пиво напишу через недельку =)