ЧГК. Вопрос зрителям. =)
Читаю книжку по истории математики. Как вы думаете, почему тут 2 таблички? И почему цвета разные?

Это положительные (красные) и отрицательные (чёрные) числа. Хотя в Европе отрицательные числа математики окончательно признали только в 17 веке, это палочки использовал Сунь Цзы при планировании битв еще в 5 веке до н.э.

И вопрос со звездочкой - почему горизонтальные есть и вертикальные, тут прям сложно, как ящик с усами =)

Для удобства чередования цифр для чтения

Friday Joke.
Всем спокойных выходных. =)

Mermaid. Диаграммы, блок-схемы, Гантт и многое другое внутри Текстового виджета DataLens.
Как встроить диаграмму процесса твоей компании внутрь DataLens за 5 минут и 0 рублей =)

Блин, опять забыл добавить титры в видос, каюсь, будут со следующего видео =)

Friday joke.
А как у вас с серым DWH? С подстольными серверами MySQL? Купленными отдельно лицензиями 'более удобного' BI продукта? =)

Быстро для Ad-hoс загрузить через clickhouse-client 15GB файлик =)

Чтобы себе не забыть, пример итоговый вчера насобирал из 2х issues и доки. AI не давал тоже сразу все нужные параметры =/

cat large.csv | tr '\r\n' '\n' | clickhouse-client --host YOUR_HOST \
                  --secure \
                  --input_format_allow_errors_num=200000 \
                  --user YOUR_USER \
                  --format_csv_delimiter=";" \
                  --database db1 \
                  --format_csv_allow_single_quotes=0 \
                  --port 9440 \
                  --password YOUR_PASS \
                  --query="INSERT INTO YOUR_TABLE FORMAT CSV"

PS - внутри КХ занимает в сжатом виде всего 1G =)

Крутое, что долго ждали и вот =)
Сейчас идет большая конфа Яндекса - Data & ML 2B, на ней сделали пару анонсов очень крутых о DataLens

- Появилась Gallery (hello, Tableau) - и там уже можно скачать Виджет Карты дашбордов 🤌
- Воркбуки можно экспортировать - импортировать ⚡️, чтобы быстро переносить между инсталляциями, помню, как долго мы ждали такую фичу заливки дэшей без толстого клиента (hello, again)
- Как у взрослых (hello, SAP), появилась сертификация, я даже немного принимал участие в проверке вопросов 🙈

Проводил месяц назад вебинар ребятам из Lenta Tech на предмет ClickHouse около BI (обещал с прошлого года, стыдно!), вот вчера наконец отдал Лене призы победителям квиза и теперь можно поныть =)

- Юнислайд прикольный продукт сделали, если вы хотите не просто в тишину болтать, а устроить движ =) из 100+ участников 50 отвечали активно

- Тайминги - наше всё, из контента успели только 1/3 обсудить, почему - пункт 3

- Надо понимать, кто придет, на сколько сложные темы быстро будут поняты и тп, в данном случае вроде Айтишники, но не Аналитики и не дата ребята

- В целом - я за то, чтобы пройти 15 слайдов из 50, но чтобы пришедшие поняли контент, тут такая простая юзер стори "давайте сделаем дэш" не работает, про ClickHouse можно пояснять часами =)

// Хотел обкатать материал перед таким же докладом открытым, но теперь пытаюсь понять, как определить аудиторию =)

Красная черепаха.
- Посмотрели с ребёнком этот красивый и трогающий мультик.
- При чём тут визуализация, Юр?
- В этой анимации нет ни одного слова, весь смысл передается только картинкой. И в хорошей визуализации должно быть так же - смысл должен считываться с минимальным пояснениями!

Вводная
Конференция. На стенде Яндекс Облака стоит нейробар, где через большой телек можно заказать себе коктейль безалкогольный. Одна конференция Ритейловая, другая - для промышленности.

Техника
YaGPT с фронтом -> Трекер -> YDB и потом DataLens

Что получилось
И вроде датасет один, но визуализации и метрики под сегменты рынка получились совсем разные. О как.

Merge Движок в ClickHouse
Умный UNION для нескольких разноплановых табличек, которые не поJOINены, но очень хочется аналиизровать их вместе.
TLDR

CREATE TABLE all_goods_movements
ENGINE = Merge(default, 'warehouse_movements|sales|purchase_orders');

Позволяет смотреть все 3 таблицы, как будто одну, со всеми оптимизациями ClickHouse, даже если поля не совпадают.

Разъяснительный пост на примере 3 таблиц (закупка, остатки, продажа).

Сложность 1/3
Полезность 3/3

В Маркете у нас в такую табличку лились несколько срезов по Маркетингу, потому что приезжали в разное время, но тогда еще Merge не был таким умным и срезы приходилось выравнивать по полям.😔

Экскурсия в ЦОД
Сегодня были на экскурсии в ЦОД Яндекса, фотки внутри делать нельзя, а вот инфы много интересной узнал, некоторая вообще 🔥.

- 15 лет назад работал в Русал, это очень большой потребитель ЭЭ, не задумывался, но ЦОДам тоже нужно ооочень много ЭЭ! Особенно AI, то есть GPU.

- Сколько кондеров в ЦОДах Яндекса - 1, в спортзале, а так сервера охлаждаются просто воздухом с улицы!

- есть такие UPS, которые представляют из себя просто крутящийся с высокой скоростью цилиндр весом 150кг, когда он срабатывает, он выдает 600КВт!

Вообще, очень сложный производственный объект, так вот куда наши таблички ClickHouse складируются =)

На фотке электрика вводная к ЦОДу

Гениальная манипуляция обученными нашими нейронками в головах =)

ClickHouse + YandexDisk = ⚡️
Как сделать в DataLens датасет из ClickHouse + Эксельки? =)

Утро понедельника - самое оно попробовать что-то новое. В видео рассказаны основные моменты, как подружить в одном источнике ClickHouse и Excel с Яндекс Диска (и не только). По шагам расписал на дэшике.

На самом деле не только DataLens и не только Excel с Диска, возможности безграничны =)

Сложность 1.5/3
Полезность 2/3

Как мы переезжали из Tableau.
Вообще, думал, что все давно уже решили задачу замены BI системы, но вопросы в личку приходят внезапные, решил тут прикопать наш с Ромой доклад. Глобально ничего бы даже не менял =)

Кратко:
- Все реализуемо
- Сделайте прокси отчет-отчет
- Организуйте ученьки
- Бритва Оккама вам в помощь
- Не ломайте нейронки юзеров

Viz in DataLens. Poll.
Тут для одной задачи нарисовал прототип, как может выглядеть P&L или какая-то другая форма фин отчетности в DataLens. У "Настеньки и Графики" увидел в посте про барчарты тонкие - понравилось, добавил их сюда.
В итоге получилось вот так, но до переиспользования еще надо документировать, вот это вот всё - стоит ли?

⚡️- Доделывать
🔥 - Просто прикольно =)

Friday 13th Joke
А долго у тебя в компании запрашивать доступ из BI до БД? =)

С South Hub. Запомнились идеи. Саша Крайнов:
- AI необходимое, но не достаточное условие, чтобы остаться в рынке
- Да кто ж его знает, как и для чего его правильно использовать, мы сейчас примерно в 1992 году относительно WWW
- услуги человек-человек останутся, но это будет скорее luxury сегмент, то есть сильно дороже, чем аналогичные услуги, предоставляемые роботом

Он уточнил disclaimer, что он тот еще футуролог 🤣

Случился тут диалог на днях, с бывшим коллегой Никитой, он теперь в другой компании, но DataLens помнит и ценит =D

- Юра, подскажи, плз, а как сделать карточку футболиста в DataLens?
- Ну можно вот так и вот так в стандарте
- А мне вот еще нужно...
- А зачем это всё? Радар так вообще моветон!
- Ты что! Спорт-аналитика это прям крутая штука, это много математики и в целом спрос большой...

В общем получил небольшой ликбез и поделал взамен несколько визов околоспортивных, делюсь примерами кода с вами.

PS А радар-чарт правда оказался популярной штукой, в NBA изначально =)

Friday Joke
Все мы немного Фронтэндеры
опять z-index слетел