Merge Движок в ClickHouse
Умный UNION для нескольких разноплановых табличек, которые не поJOINены, но очень хочется аналиизровать их вместе.
TLDR

CREATE TABLE all_goods_movements
ENGINE = Merge(default, 'warehouse_movements|sales|purchase_orders');

Позволяет смотреть все 3 таблицы, как будто одну, со всеми оптимизациями ClickHouse, даже если поля не совпадают.

Разъяснительный пост на примере 3 таблиц (закупка, остатки, продажа).

Сложность 1/3
Полезность 3/3

В Маркете у нас в такую табличку лились несколько срезов по Маркетингу, потому что приезжали в разное время, но тогда еще Merge не был таким умным и срезы приходилось выравнивать по полям.😔

Экскурсия в ЦОД
Сегодня были на экскурсии в ЦОД Яндекса, фотки внутри делать нельзя, а вот инфы много интересной узнал, некоторая вообще 🔥.

- 15 лет назад работал в Русал, это очень большой потребитель ЭЭ, не задумывался, но ЦОДам тоже нужно ооочень много ЭЭ! Особенно AI, то есть GPU.

- Сколько кондеров в ЦОДах Яндекса - 1, в спортзале, а так сервера охлаждаются просто воздухом с улицы!

- есть такие UPS, которые представляют из себя просто крутящийся с высокой скоростью цилиндр весом 150кг, когда он срабатывает, он выдает 600КВт!

Вообще, очень сложный производственный объект, так вот куда наши таблички ClickHouse складируются =)

На фотке электрика вводная к ЦОДу

Гениальная манипуляция обученными нашими нейронками в головах =)

ClickHouse + YandexDisk = ⚡️
Как сделать в DataLens датасет из ClickHouse + Эксельки? =)

Утро понедельника - самое оно попробовать что-то новое. В видео рассказаны основные моменты, как подружить в одном источнике ClickHouse и Excel с Яндекс Диска (и не только). По шагам расписал на дэшике.

На самом деле не только DataLens и не только Excel с Диска, возможности безграничны =)

Сложность 1.5/3
Полезность 2/3

Как мы переезжали из Tableau.
Вообще, думал, что все давно уже решили задачу замены BI системы, но вопросы в личку приходят внезапные, решил тут прикопать наш с Ромой доклад. Глобально ничего бы даже не менял =)

Кратко:
- Все реализуемо
- Сделайте прокси отчет-отчет
- Организуйте ученьки
- Бритва Оккама вам в помощь
- Не ломайте нейронки юзеров

Viz in DataLens. Poll.
Тут для одной задачи нарисовал прототип, как может выглядеть P&L или какая-то другая форма фин отчетности в DataLens. У "Настеньки и Графики" увидел в посте про барчарты тонкие - понравилось, добавил их сюда.
В итоге получилось вот так, но до переиспользования еще надо документировать, вот это вот всё - стоит ли?

⚡️- Доделывать
🔥 - Просто прикольно =)

Friday 13th Joke
А долго у тебя в компании запрашивать доступ из BI до БД? =)

С South Hub. Запомнились идеи. Саша Крайнов:
- AI необходимое, но не достаточное условие, чтобы остаться в рынке
- Да кто ж его знает, как и для чего его правильно использовать, мы сейчас примерно в 1992 году относительно WWW
- услуги человек-человек останутся, но это будет скорее luxury сегмент, то есть сильно дороже, чем аналогичные услуги, предоставляемые роботом

Он уточнил disclaimer, что он тот еще футуролог 🤣

Случился тут диалог на днях, с бывшим коллегой Никитой, он теперь в другой компании, но DataLens помнит и ценит =D

- Юра, подскажи, плз, а как сделать карточку футболиста в DataLens?
- Ну можно вот так и вот так в стандарте
- А мне вот еще нужно...
- А зачем это всё? Радар так вообще моветон!
- Ты что! Спорт-аналитика это прям крутая штука, это много математики и в целом спрос большой...

В общем получил небольшой ликбез и поделал взамен несколько визов околоспортивных, делюсь примерами кода с вами.

PS А радар-чарт правда оказался популярной штукой, в NBA изначально =)

Friday Joke
Все мы немного Фронтэндеры
опять z-index слетел

Step Chart. В Стандарте и без Editor
Пропустил тут знаковое событие - ставка немного пошла вниз. Пошел на сайт ЦБ РФ - а там Step Chart, наверное, одно из немногих мест, где Step Chart к месту =) В стандартном наборе визуализаций DataLens этого вида чарта нет (ну в целом оно правда редко бывает нужно), но захотелось понять, можно ли повторить без Editor и JS. Получилось =)

Примерчик с кодом

Big Data Mountain Quiz
Готовил тут Квиз вокруг данных в Яндексе. На сколько же упрощают реализацию идей разные модельки. В данном случае все картинки попросил в Шедевруме, делал описание и говорил, какой объект должен быть голубым а потом просто добавлял в промт:
черно-белая гуашь в стиле Уилла Айснера*

* Уилл Айснер это один из "отцов" комиксов как таковых, у меня есть в бумажном виде графический роман "Контракт с Богом", прочёл в PDF и не сдержался

Nice small feature
Тут убираю старый тестовый кластер CH в Облаке и очень понравилась фича - видны все связанные объекты из BI тут же.

Судя по названиям, можно отключать =D

Уточни, если что-то непонятно и неопределенность больше 0.1
На днях моя сестра Катя (она вообще медик и работает в Лаборатории, но AI юзает похлеще многих айтишников) переслала пост, про концепцию передачи в промте идеи неопределенности, если ты не уверен в том, что до конца правильно описал алгоритмически задачу

если у тебя есть вопросы как вытягивать названия полей или название table_column уточни, не выдумывай
если неопределенность в ответе больше 0.1 - задай уточняющий вопрос

вчера попробовал на достаточно сложной задачке, которую делал впервые - это прям очень классно, моделька проверила всю логику, пример json и сказала, что да, есть недочеты, вот тут ты имел ввиду А и тут Б? и только после этого написала код.

#AI

Friday Joke.

Я занимаюсь BI 1 год и Javascript 7 лет, итого 17 лет.

Radar Chart не только в спорт аналитике, но и у ребёнка на карточках Naruto. 😂

CH 25.6
Вчера выложили запись нового релиза CH, отсмотрел, рассказываю, что показалось интересным с точки зрения BI или Data поставок

1) Консистентность SELECT с подзапросами, если в таблицу постоянно что-то льется, snapshot теперь один на все подзапросы одной и той же таблицы.

2) Запись в Merge движок! ооо, прям интересно, как это может быть использовано, всегда воспринимал Merge только как SELECT-вьюху. Типа можно в какой-то момент стопнуть одну таблицу и начать заливать в следующую

Merge(db,'table_\d+$',auto) 
-- будет лить в последнюю табличку по порядку

3) Performance 1. Для Distributed табличек - поменяли место сериализации данных на машинах - стали параллелить сериализацию -40% к времени выполнения!

4) Performance 2. Добавили управление количеством запросов в настройках WORKLOAD, то есть можно еще лучше потюнить запросы, которые идут к DWH источникам, например и к Аналитическим, в зависимости от важности

5) Performance 3. Проверка и использование нескольких проекций, а не одной. Не тестировал еще на своем кейсе, но у меня была проблема в разных проекциях: group by 1, group by 1,2 group by 1,2,3 и в случае выбора 1 и/или 2 бралась все равно проекция 1,2,3 и это прям было больно

6) Performance 4. ch dig - офигенская тула по мониторингу CH, там есть раздел Slow Queries 😈 и Flame Graph для того, чтобы понять, где именно в Query самый медленный кусок!

7) Nice. Новая Веб мордочка к серверу приятная, монитор, WebSQL UI, Дока, Удобно быстро что-то без SQL Manager пописать и посмотреть состояние сервера в целом =)

Привет! Вот тут буду рассказывать, как и где оптимизировать ClickHouse и DataLens, чтобы дэшики открывались быстрее. Будет много информации и полезный чек-лист в итоге, присоединяйтесь. 😈😂

https://yandex.cloud/ru/events/1285

Friday Joke
- Юр, а DataLens умеет рисовать 3D-чарты?
- ** ****** ***?
- А если очень надо?
- AI, нарисуй мне 3D-чарт Lego в виде чарта Editor

Пожалуйста, не делайте 3D-чарты для задач, где они не нужны =) То есть практически никогда =)

SundAI joke.
Сестра подарила шутку =) Ну, во-первых, ребята молодцы, ловят волну хайпа =)
А вообще, сюрные мысли в голову полезли. Кофе, который обжаривают на перегретых Nvidia H200, но его стоимость определять задачками, которыми были заняты видюхи, пока жарили кофе. Если очередной hello, world писали - обычный прайс, а если решали задачи Давида Гильберта - 20х к стоимости и ожидаемое тонкое послевкусие =)

Уже через час. 🙈
После встречи напишу, где искать все материалы =) но лучше приходите =)