Привет! Меня зовут Юра, этот первый пост будет пополняться основными концепциями, чего в целом есть в канале.
О себе
E-learing -> РУСАЛ -> ТПЛЮС -> Ростелеком -> СИБУР -> Яндекс-Маркет -> Cloud

КХ, CH - Clickhouse (Клик), очень крутая система, чтобы над ней работали сотни аналитиков и бизнес-пользователей

ГП, GP- Greenplum(гринплам), не для аналитики постоянных запросов, но хранилища для

ПГ, PG - PostgreSQL(Постгрес)

ДЛ, DL - DataLens (ДатаЛенс), родной Яндекс BI инструмент

MVP (ЭмВиПИ) - Minimum Viable Product, Минимальный жизнеспособный продукт, что-то, что можно уже потыкать и попробовать, с тз хранилища и BI - прототип работающий

В Канале будет про то
1) как строить последний слой хранилища, чтобы оно всегда хорошо и быстро работало, вн зависимости от внешних и внутренних обстоятельств =)
2) Как выстраивать процессы вокруг данных
3) Как делать интересные и полезные визуализации, даже если просят табличку в эксель

Поучаствовал в BI Show, очень интересный опыт и формат: в течение получаса 4 вендора делали параллельно дашборд по постановке.
* Русский BI взрослеет, прям видно, что уже зрелые инструменты соревновались
* Дело было оффлайн, желающих было сильно больше, организаторы сказали, что были отказы, это недоработка, конечно
* Почерпнул несколько интересных идей пообсуждать как фичи
* Продолжаю гнуть линию, что Котлеты отдельно, мухи отдельно, DWH\DM и BI надо разделять

Табличка, но всё-таки BI. Жизнь заиграла новыми красками с JS =) Не только внутри Я =)

Вот так можно теперь и во внешнем DataLens, осталось немного до Ready-to-Share код проверить =)

Подробности, почему это круто так анализировать, как это влияет на когнитивную нагрузку на мозг - в Демо дэше DL очень скоро =)

Если что, видосик с демо дэша для BI Show вчерашнего =)

Weekend series.
Очень советую, прям в восторге, не только от сюжета, но и от поведения, идей для продуктов, генерации идей, етс. Задумайтесь, что самое важное - идея и продажа продукта или разработчик биоса?

Halt and catch Fire. Сериал про зарождение компов в 80х + Драма, это не Кремниевая долина, сразу скажу =)

Поднимите руку, кто помнит рыбок в PowerBI? =D

⚬ Минимизируйте картинки и инфографику в бизнес дашбордах, это ни разу не помогает
⚬ Инфографика сама по себе полезный инструмент, для донесения результатов исследований - вот там было бы прикольно дать людям не просто картинку, а интерактивность и чтобы кодить не надо было =)

А пост про то, как теперь, в мире ИИ, создать за 30 минут с нуля визуализацию и она уже будет не просто картинкой, а готовой функцией, которую можно переиспользовать и динамически менять, не написав при этом ни строчки кода.

Datalens - Всегда открыто говорит, что и на что потратил и что отправил в вашу базу данных.
Тут вдруг понял, что эта фича мало в каком BI инструменте есть, а мы просто привыкли =)
Это сильно облегчает анализ производительности и проверки (Аудита, например, для настоящих аудиторов!) того, как данные запрашиваются.

На любом чарте три точки справа сверху -> Инспектор -> Voila =)

Ночные идеи
Теперь с GPT можно прям стильные stacked barchart в Datalens делать =)

Классно, когда математику фигурных скобок за тебя машина придумала =)

Как манипулируют людьми? =)
В визуализации данных мы часто подчёркиваем, что цвета, яркость, размеры шрифтов - всё работает, потому что так работает наш мозг. Но особенности нашего мозга можно использовать для разных вещей.
С ребенком смотрим сериал 'Хочу всё знать' и там серия про торговые центры откликнулась, как хороший инструмент управления поведением.

// для меня многие вещи были открытием, а парфюмерия так вообще, теперь понятно, почему приходится через тонну ароматов проходить каждый раз =)

Что посоветуете еще посмотреть в части видео контента про управление поведением? =)

Интерфейсы
Они могут быть разными и раздражать или наоборот нравиться удобством. Но быть очевидными для потребителя.

Ребенку заказывал вредную еду на вечер, увидел вот такое в интерфейсе - пока не введешь 2 раза "Соуса не надо" - заказ сделать нельзя.

Показалось странным, это как если бы официант в кафе у вас спрашивал 2 раз,
- какой соус хотите
- не надо
- а второй соус какой хотите?

UPD - Мне пояснили, я нерепрезентативен, механика сделана, чтобы люди точно не забыли выбрать 2 соуса и не жаловались =)

Только что попробовал llm X Clickhouse

ммммм - как будто НАДО прикручивать внутрь хранилища любого =)

Лендинг дашбордов.
Небольшой видосик, как собрать лендинг (главная или карта дашбордов) для того, чтобы пользователи перестали пользоваться неактуальной аналитикой =)

Ставь ⚡️, если хочешь повторить и нужен код =)
Лайк шер приветствуется =D

И как можно прицепить YaGPT для поиска аналитических инструментов за 2 клика O_o

Привет!

Новые чарты на Демо-дашборде Editor Datalens!

⚈ Таблица анализа отклонений Период к периоду - позволяет найти быстро, что же произошло вчера в вашем бизнесе

⚈ Долгожданная Pivot-таблица в дашборде, позволяет накликать любые разрезы и метрики не переходя в редактирование чарта.

Смотрите Видео, применяйте код, приходите с пожеланиями!

Clickhouse 25.4
Тут ребята из ClickHouse опять сделали кучу крутых оптимизаций, вот выжимка, что применимо в BI продуктах для скорости/стабильности ваших дэшиков =)

🛡 Random Early Drop on Overload
КХ начинает дропать рандомные приходящие запросы, чтобы ограничить полный DDOS системы. Было как-то пару лет назад, когда у нас кешировалка потеряла все кэши утром, когда спрос на аналитику высокий; Вдруг 400 человек смогли заDDOSить нашу инсталляцию за час примерно.

🛡 CPU Workload Balancer
- Ооо, я давно хотел разобраться, как сделать в одной инсталляции КХ и работу с DWH источниками стабильную и чтобы аналитикам можно было какие-то Ad-hoc с минимальным TTL грузить, но был страх, что они убьют КХ. Теперь можно задавать вес пользователю для Ad-hoc табличек поменьше =)

⚡ Lazy Materialization
- ТОП! про фичу скриншот!Сначала читаем нужные колонки по WHERE и оттуда берем всю инфу по условиям и только потом читаем остальные столбцы по уже отфильтрованным parts! Мега штука, когда у вас сортировка есть / хорошая фильтрация. Уже в 25.4, но всем, у кого ClickHouse в Production очень советую ждать LTS версий =)
Скорость увеличивается в десятки раз, но надо еще будет научиться кушать =)

⚡ Dynamic Sharding for JOINs
- Если мы делаем JOIN по 2м таблицам с одинаковым PK (Primary Key) то ClickHouse будет иначе параллелизировать запросы, выводя интервалы значений по первичным ключам каждому потоку - Join более эффективный получается, тк потоки не зависят друг от друга вообще

⚡ Correlated Subqueries
- EXISTS в PostgreSQL лет 10 назад сильно изменил у меня один пайплайн по скорости =) Теперь надо понять, как это прицепить еще в BI по скорости и стоит ли =) Но точно можно писать более понятные запросы к небольшим таблицам через подзапросы =)

Вообще, советую смотреть видосики с презентаций, они поднимают настроение сами по себе =)

Friday, oh, Wednesday Joke =)
Всем хороших выходных, отдохнуть, почитать и попробовать AI где-то в процессах на даче и в путушествиях =)

Просто для себя больше - постоянно забываю, как JSON обрабатывать в CH.
Яндекс Трекер через CH так льется по умолчанию =)

SELECT
    -- Get value for some Key
    JSONExtractString(
        -- Pivot it Down to Rows
        arrayJoin(
        -- Make JSON Array
            JSONExtractArrayRaw(
        -- clean string for JSON
        replace(
            replace(value, '''', '"'),
             -- if from Py - remove None
            'None','null')
        )), 'id') AS param_value
FROM
(
    -- some JSON Data, for example, from Tracker
    SELECT '[{"id": "67e950e83e4ff5384392841b", "settingsId": 5, "clockStatus": "PAUSED", "violationStatus": "NOT_VIOLATED", "warnThreshold": None, "failedThreshold": 86400000, "warnAt": None, "failAt": "2025-03-31T14:10:47.767+0000", "startedAt": "2025-03-30T14:10:47.766+0000", "pausedAt": "2025-03-30T14:14:52.508+0000", "stoppedAt": None, "pausedDuration": 0, "toFailTimeWorkDuration": None, "spent": 244742, "previousSLAs": [], "startShiftedByPause": "2025-03-30T14:10:47.765+0000", "failIn": None}, {"id": "67e950e83e4ff5384392841a"}]' AS value
)

Продолжаю смотреть шикарный сериал (Остановись и гори). Вспомнилось при просмотре этой серии.

На 2 или 3 курсе, на программировании, надо было придумать ПО, которому нужна БД, написать интерфейс (вроде Delphi), и связь с БД, показать, что получилось и написать доку. Работа в парах.
Мои друзья Тема и Гарик сели готовиться, идеи генерить, придумали автоматизировать прокат машин. В итоге так увлеклись концепцией, интерфейсом, дизайном, картинками и кнопочками, что до БД не добрались... В итоге на показ подготовили порядок кнопок, которые надо протыкать, чтобы якобы писать в БД и забирать из БД инфу.
Препод похвалил: молодцы, вот, смотрите все, как надо делать продукты, которые продаются. Ржали потом всем потоком, когда зачет получили =)

А я купил Ораклу за 300 рублей на двух дисках на Царицынском РР, поставил дома на компе и показал концептуально, что софт должен отдельно от БД стоять, а ПО даже и не помню, про что было =)

Давайте расскажу про важность поддержки нейронных связей и привычку.

В 2022 году мы перезжали из Tableau в DataLens, у нас были сжатые сроки, ограниченный функционал на тот момент. Dream Team Команда с разных юнитов, все бежали в одну сторону, проводили обучения, а кто-то перекладывал еще и данные (привет, экстракты, лучше ими не пользоваться).

Вроде получалось потихоньку, но чего-то не хватало, люди не жаловались, но и не говорили ”о – прям как в Tableau”.

И тут Даня Шевцов принес первую версию заголовка Дашборда, которая была прям очень похожа на то, что мы делали в Tableau. Это был WOW эффект, любой дашборд стал восприниматься «родным», даже если дальше было не совсем так же.

Элемент с лого был на столько привычен нейронным связям пользователей, что сам по себе повышал узнаваемость дэша и сглаживал дальнейшее использование. И вот тут мы услышали отзывы, что класс, всё работает как раньше =)

По сравнению с Tableau заголовок шаблонизируемый, например, на новый год мы туда одним кликом добавляем Деда Мороза или меняем логотип Юнита (привет, редизайн Маркета), вообще, включать картинки по облачной ссылке – это очень правильное решение =)

С тех под дашборды без заголовка скорее стали редкостью.

в Демо-дашборде он тоже есть