Friday Joke.
Ну ClickHouse не очень любит JOINs, а мы все любим пятницу и объединяться с близкими по духу людьми =)

Всем хороших выходных.

Не всегда нужно DWH
- Юр, классно, конечно, широкие таблицы, BIG Data, но вот что, если у меня просто в S3 JSON логи льются и я хочу папочку с логами покрутить быстро - тоже весь путь проделывать?
- Не, если надо быстро покрутить Ad-hoc - хватит и вот такого решения над самой простой инсталляцией ClickHouse. Всю папку по маске можно прочесть из S3 и сразу все поля из JSON ClickHouse за тебя распарсит.
- Вроде то, что нужно, а скинь скрипт селекта?

SELECT * from  s3(
'https://storage.yandexcloud.net/YOUR_PATH/log_{001..999}.csv',
'JSONEachRow')

How to. Make Chat in DataLens
Немного шутливый пост, что внутри DataLens можно сделать чатик =)
ага, как в в конце девяностых в браузерах =)

На самом деле полезная штука для определенных задач. Это интеграция через API с Базой данных и запись / чтение из нее информации. Это может быть write-back, триггер обновления данных или смена статуса заказа (привет, CRM)

AI - BI #1.
Вот еще один простой пример, как использовать API Connector, на этот раз с пользой =)

JS Chart → API → API AI

По естественному запросу заполняются поля с фильтрами, которые применимы именно к этому датасету.
Самая сложная штука была в написании промпта, чтобы ответ был идемподентен и не придумывал лишнего.

🤖 Возможно, общение с AI это в том числе новый SQL, но с нагретым от GPU воздухом =)


💡 Из интересного
- Сетка тут не из ТОПовых, а результат отличный
- Потребовалось профилирование полей, чтобы AI не придумывала мастер-данные
- Реализация заняла меньше дня суммарно

How to. Filter for YoY* efficiently
Если нужно сравнить какой-то интервал с таким же интервалом предыдущего года - мы используем AGO, LAG. Но если данных в табличке ОООЧЕНЬ много - это неэффективно, дорого и даже мощная железка ClickHouse может сказать НЕТ

Чтобы этого избежать - фильтруйте сразу нужные интервалы дат заранее, для самого интервала и соответствующего YoY, так вы сильно меньше прочитаете данных, не будет JOINs и ваш пользователь будет счастлив =)

*Year-over-Year сравнение

[

filter_date] BETWEEN
Date(SUBSTR([date_interval],12,10))
AND
Date(SUBSTR([date_interval],37,10))
OR
[filter_date] BETWEEN
DATEADD(Date(SUBSTR([date_interval],12,10)),'day',-364)
and
DATEADD(Date(SUBSTR([date_interval],37,10)),'day',-364)

Friday Jeeza
На самом деле, правильный prompt - это важная часть работы с сетками.
Вот эту картинку собирал в PowerPoint, потому что не умею в картиночные промпты =)
Коллега Антон вот умеет в музыкальные сетки и прикольно получается - а для меня это вообще темный лес как и создание музыки =)

А ты чем пользуешься и для каких задач?

Фича, которую очень ждали многие (и мы внутри Яндекс тоже), вот теперь можно разгуляться 😃

ClickHouse 25.7 - Features for BI
Уже две недели как вышел 25.7, а у меня только руки дошли посмотреть, что же там интересного появилось

1. Возрадуйстесь, финансисты, теперь в ClickHouse есть IRR и NPV =) на самом деле, буквально месяц назад меня спрашивали из команды финансов, что вот в PowerBI можно сделать IRR, а у нас нельзя, доколе? =) постараемся поддержать внутри DataLens побыстрее

2. Ускорение count() на 30% с GROUP BY (если у вас в датасете одна строчка что-то значит сама по себе)

3. Очередная порция оптимизации JOINS!
- RIGHT and FULL
- INNER JOIN такой же быстрый, как оператор IN!! (но пока медленнее, если у IN берется индекс)

4. ClickHouse Client Agent - Ну и как же без AI.
Теперь в clickhouse-client встроена AIшка, которая пишет скрипты и умеет создавать / менять таблички по человеческому вводу. Себе в поддержку выполняет всякие селекты метаданных и тому подобное. То есть в клиенте вместо SQL просто пишешь словами, что надо сделать и он пишет тебе скрипт, ты проверяешь - если ок - запускаешь. Выглядит интересно, надо понять только, можно ли подкладывать свою модельку, а не дорогущий Claude =)

Небольшие приятные фичи за прошлый месяц.

Мой фаворит - ввод из буфера значений в параметр =)

А как вам в целом лучше было бы узнавать о новых фичах в BI-продукте?
- Попапами в продукте?
- Текстовыми анонсами в канале / чатике?
- Видосиками?

Friday Joke.
В этот раз не про данные, но прям очень понравилось =D

При этом, Ферма внес ощутимый вклад в теорвер

To watch.Pantheon.
Небольшой анимационный сериал, местами с прекрасными визуальными образами (напомнили Айснера), чтобы развивать насмотренность, с пелевинскими мотивами и этическими дилеммами, человек или компьютер.
ИИ сложно создать до конца с сознанием, проще сознание человека загрузить...

Смотрю всё на английском обычно, чтобы не совсем уж time killing, тут он не сложный.

- почему ты тут советуешь комиксы, фильмы, мультики?
- верю, что это часть повышения насмотренности

FrAIday joke.

На самом деле, часто AI очень капитански помогает с анализом графика / дашборда. Нужно давать больше контекста про бизнес, модель и в идеале давать возможность итеративно искать инсайты.

Кажется, AI, наконец, заставит всех вложить ресурсы в дата каталоги и DQ =)

Иерархия с барчартами в Галерее
Сорян, запамятовал, исправляюсь.
Выложили в Галерею дэшик с иерархией для финансовой отчётности, можно развернуть, посмотреть логику кода, переиспользовать с любой ирерахией с нумерацией строк

Пишите, какие типы визуализаций еще могут быть полезны в финансовой отчётности.

Про WaterFall в строках помню, но есть нюансы - при большой вложенности это Адово смотрится, то есть красиво выглядит только на небольших ненастоящих данных =)

How to. Убрать лишнее из ClickHouse
Тут ранее пост выкладывал про набор полезных скриптов в ClickHouse, мне пришел фидбек, что надо много шагов выполнять, потом объединять итоги, чтобы общую картинку сделать.
Поэтому сделал для удобства единый дэшик в галерею, куда вставляете табличку, лимиты по данным и логам - и voila, профиль таблички, полезность полей, примеры значений, ну в общем всё для того, чтобы почистить и правильно отсортировать вашу витрину.

Из интересного, для погружения в Editor:
- Двухшаговые селекторы с кнопкой
- Много датасетов и запросов в табличке

Запускается на любом CH, просто введите свои креды

В общем, Enjoy!

How to. Get new Ideas?
Хороший блог у продукта datawrapper, очень классно для насмотренности и логического объяснения, что можно и что не стоит делать на чартах. Например, разные скейлы на чартах. Всем советую добавить в закладочки =)