How to. Make Plan vs Actual
Простой и понятный чарт исполнения план-факт.
Формулы смотрите на How to дэше

Урок Цифры
Провёл во второй раз "Урок Цифры" у ребенка в классе. Тема злободневная: ИИ.

Основные тезисы:
- Дети в 7м классе пока дети, это чудесно 💜 О том, что ИИ сильно влияет на весь мир пока не задумвыаются
- Юзают ИИ для решения домашки, не всегда вдумчиво
- Одна девочка юзает правильно - уточняет, почему у нее ничего не получилось и ответ не сходится и просит разъяснений
- Сложные темы, типа температуры, вероятностей - не зашли еще, хотя сейчас в школах с 7 класса уже ТВиМС


А в прошлом году был урок про Такси, когда спросил, знает ли кто-то, что такое "граф", ответ из зала улыбнул: ну это кто-то Богатый =)

Злободневненько
Как знал, что понадобится 😃

How to Editor. All in One

Во-первых, тут в коментах попросили расписать пример, как сделать чатик в DataLens (не надо повторять! =) попросили для действительно полезной штуки), сделал статью, видосик тут

Во-вторых, в основную статью про Editor добавил последний нераскрытый пункт - как делать JS-селекторы на базе датасетов, кажется, теперь есть единая точка входа, как делать те или иные вещи в Editor от A до Я

+ Основная Дока
+ Демо дэш с примерами и кодом

Friday Joke.
Just very very Cute.

Посыпаю голову пеплом =)
Совсем забыл рассказать, сегодня стартует ежегодный фестиваль DataLens.
Насыщенная неделя с онлайн и оффлайн контентом, очень крутой состав спикеров (я в том числе).
Будут выступать клиенты и партнеры, некоторые кейсы и идеи прям вообще огонь, но спойлерить не буду ;-)

Ну и как обычно: конкурсы и призы, как небольшие мотиваторы к действию =)

Friday joke
А вообще, задачка: какие типы визуализаций можно и/или стоит отрисовывать с помощью рекурсии? =)

ClickHouse. What's new
Наконец выбрал вечер посмотреть, что нового в ClickHouse появилось, оно того стоило!!!

25.10
Удобства
1. равенство с учётом null: <=>, null <=> = null = True
2. LIMIT N BY DIM1, оставить только N первых записей по DIM1, без оконок! пример в feedle
5. LIMIT -100. Милота - можно брать LIMIT с конца =)

Оптимизации
3. Ооо, крутое, enable_lazy_columns_replication, позволяет делать JOIN сильно оптимальнее, если JOIN по разряженному полю, типа табличка 100М строк JOIN сама на себя за 8 секунд, то есть JOIN не будет сначала все перемножать и потом считать.
4. SET enable_join_runtime_filters, просто ТОП! вместо JOIN, если табличка относительно небольшая, будет подзапрос и в большую табличку передастся PREWHERE! Это решает вопросы с RLS, с моделькой звезды в ClickHouse. Надо прям потестить, кто-нибудь пробовал? Х2 к скорости вроде.

25.11
Удобства
1. LIMIT 0.3 - 30% от выборки =) OFFSET 0.5 - OFFSET первой половины записей

Оптимизации
2. Проекции как способ вторичной сортировки - хороший способ ускорения, но очень дорогой, надо хранить все данные еще раз. ClickHouse представил _part_offset указатель, где проекция делается не на все данные, а на указание, в каких партах искать те или иные отсортированные по другому полю данные. То есть читаться партов будет больше, но для каких-то небольших выборок попадание будет хорошее, а хранить все данные, как в полной проекции, не придется.
3. Проекция с GROUP BY теперь используется как источник для DISTINCT! Долой медленные справочники =)

Header NY Edition
А еще, ближе к новому году, чтобы поднять немного пользователям настроение, уже несколько лет подряд внутри Яндекса включаем на дашбордах гирлянды Деда Мороза, он выглядывает из-за лого соответствующего бизнеса =)

Так как чарт централизованный, это делается по флагу, удобно, быстро, все дэши получают новогодний вайб =)

Главное, не забыть убрать елку до марта отключить после праздников.

How To. Make any DB function call
Давно ждал эту функциональность в DataLens и теперь она доступна во всех вариантах.
Набор формул из которых вы можете вызывать любые функции, которые нативно есть в базе данных.
Из того, что прям круто-круто и теперь можно проводить второй вебинар про ClickHouse - uniqMerge, а вообще, ниже примеры с комментами.

-- CH - читаем из словаря categories атрибут category_name по полю category_id, если не найден, проставляем константу other
DB_CALL_STRING('dictGetStringOrDefault','categories','category_name',[category_id],'other')

-- Работа с JSON
-- CH, взять из json поля json_field атрибут last_order_date из объекта category
DB_CALL_STRING('JSONExtractString',[json_field],'category','last_order_date')

-- PG - взять из json атрибут возвраст и возвращаемый тип будет int
DB_CALL_INT('JSON_VALUE',[json_field],'$.age')

-- CH посчитать hash с солью
DB_CALL_STRING('hex',DB_CALL_STRING('SHA1',[salt_param] + [some_id]))

-- CH оставить только уникальные значения в списке значений
DB_CALL_ARR('arrayCompact',[arr_field])

-- CH - использование bittest для проверки, проверяет, равна ли 1 четвертая цифра в int_field, удобно, когда в одном атрибуте зашито много значений
DB_CALL_BOOL('bitTest',[int_field],4)

-- CH, средневзвешенное
DB_CALL_AGG_FLOAT('avgWeighted',[amount],[weight_field])

-- CH, корреляция
DB_CALL_AGG_FLOAT('corr',[x],[y])

-- CH, работа с агрегациями uniqState
DB_CALL_AGG_INT('uniqMerge',[uniqStateField])

How to. Spend time during freeze
Сегодня в Москве на улице фриз (-14), возможно, у тебя в компании уже тоже =D
Если так - можно немного выдохнуть до нового года и побаловаться.
Виталий Лифанов прислал в Галерею работ DataLens игры, которые победили в фестивале. Можно покопаться в коде поиграть после планирования 1ого спринта '26 =)

How to. Not to make FinDash for CFO
~2014 год (После 20 и 22 года предыдущие немного смешались, сорри). CIO приходит и говорит, блин, CFO хочет дэшик про наш финансовый портфель, все данные уже есть, ваще задача небольшая, давайте сделаем ему iPad красивый со всеми метриками по тому, где какие кредитные линии открыты, средние ставки, ну в общем прям чтобы было удобно! (Политика, все дела)
Я отвечаю - ну если с данными все ок, да, погрузимся в метрики, разберемся с сетевыми доступами, пусть будет 1 месяц. 🥲

- Пошли в блок фин контроля. оказалось, с данными вообще все плохо в ERP, никто не вдет нормально, с платежами не закрывают вовремя. То есть, получить фин состояние T-1 нереально, а W-1 можно.... в Excel..
- Сделали первую версию-прототип, на данных Excel, пошли пару недель к CFO
- Он не дурак, состоялся диалог:

- А Завтра данные обновлятся, когда транш пройдет?
- Не, тут с данными плохо
- А как так? а как же ERP?
- Ну финики не вносят, бухгалтера выравнивают раз в месяц =/
- То есть не в IT дело?
- Не
- Идите, исправляйте процессы вместе

- Спустя пару месяцев - данные полились, поняли, что частично криво в экселе считали, пересобрали датасет
- Сделали классный дэшик, даже оффлайн еще работал, вообще супер!
- на встрече с CFO:

- Молодцы, жаль, что через квартал, но прям хорошо полезно, правда есть одно но...
- Что такое?
- А можно вместо графиков вот тут и тут и вообще везде -- таблички

Через месяц компания отказалась от одной из самых бессмысленных и дорогих кредитных линий, в тч благодаря правильно посчитанным в итоге метрикам, А iPad со средними ставками CFO носил на встречу с банками, чтобы "давить" цифровизацией =)

Выводы:
- Everybody Lies
- Узнавайте цель и проблематику на берегу, что на самом деле нужно ЛПР
- 90% времени это данные, процессы, люди, 10 - рисование

Friday cry.
Цвета. Интересно, почему они решили инверсию цветов суши и моря сделать?🤯

+ Upd. хехе, сверху масштаб, а снизу приписка, что масштаб не соблюдён =)

Наконец! =)
Если честно, пока не выкатили API во внешний (по отношению к Yandex) мир, не мог с чистым сердцем сказать, что DataLens подойдет всем, раз уж Яндекс только на нем сидит 4 года. Вот теперь прямо могу сказать: в DataLens можно поднимать аналитику для любой компании с любым уровнем зрелости Data.

А Маша из Маркета в прошлом году тизерно уже рассказывала, сколько у нас внутри всяких автоматизаций вокруг API уже есть.