Через тернии к Визам
592 subscribers
99 photos
19 videos
42 links
Про DWH, CH, BI и автоматизации рядом
Канал это место для дискуссий =D То есть не стесняемся задавать вопросы, уточнять и говорить свое фи.

Канал ведёт Юра, который любит данные, оптимизации в БД и визуализацию

Большие посты тут
https://датавиз.рф
Download Telegram
Channel name was changed to «Через тернии к Визам»
Привет! Меня зовут Юра, этот первый пост будет пополняться основными концепциями, чего в целом есть в канале.
О себе
E-learing -> РУСАЛ -> ТПЛЮС -> Ростелеком -> СИБУР -> Яндекс-Маркет -> Cloud

КХ, CH - Clickhouse (Клик), очень крутая система, чтобы над ней работали сотни аналитиков и бизнес-пользователей

ГП, GP- Greenplum(гринплам), не для аналитики постоянных запросов, но хранилища для

ПГ, PG - PostgreSQL(Постгрес)

ДЛ, DL - DataLens (ДатаЛенс), родной Яндекс BI инструмент

MVP (ЭмВиПИ) - Minimum Viable Product, Минимальный жизнеспособный продукт, что-то, что можно уже потыкать и попробовать, с тз хранилища и BI - прототип работающий

В Канале будет про то
1) как строить последний слой хранилища, чтобы оно всегда хорошо и быстро работало, вн зависимости от внешних и внутренних обстоятельств =)
2) Как выстраивать процессы вокруг данных
3) Как делать интересные и полезные визуализации, даже если просят табличку в эксель
👍5🦄51
Поучаствовал в BI Show, очень интересный опыт и формат: в течение получаса 4 вендора делали параллельно дашборд по постановке.
* Русский BI взрослеет, прям видно, что уже зрелые инструменты соревновались
* Дело было оффлайн, желающих было сильно больше, организаторы сказали, что были отказы, это недоработка, конечно
* Почерпнул несколько интересных идей пообсуждать как фичи
* Продолжаю гнуть линию, что Котлеты отдельно, мухи отдельно, DWH\DM и BI надо разделять
🔥5👍2🦄1
Media is too big
VIEW IN TELEGRAM
Табличка, но всё-таки BI. Жизнь заиграла новыми красками с JS =) Не только внутри Я =)

Вот так можно теперь и во внешнем DataLens, осталось немного до Ready-to-Share код проверить =)

Подробности, почему это круто так анализировать, как это влияет на когнитивную нагрузку на мозг - в Демо дэше DL очень скоро =)

Если что, видосик с демо дэша для BI Show вчерашнего =)
🔥5🦄2
Weekend series.
Очень советую, прям в восторге, не только от сюжета, но и от поведения, идей для продуктов, генерации идей, етс. Задумайтесь, что самое важное - идея и продажа продукта или разработчик биоса?

Halt and catch Fire. Сериал про зарождение компов в 80х + Драма, это не Кремниевая долина, сразу скажу =)
🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Поднимите руку, кто помнит рыбок в PowerBI? =D

Минимизируйте картинки и инфографику в бизнес дашбордах, это ни разу не помогает
Инфографика сама по себе полезный инструмент, для донесения результатов исследований - вот там было бы прикольно дать людям не просто картинку, а интерактивность и чтобы кодить не надо было =)

А пост про то, как теперь, в мире ИИ, создать за 30 минут с нуля визуализацию и она уже будет не просто картинкой, а готовой функцией, которую можно переиспользовать и динамически менять, не написав при этом ни строчки кода.
🔥2
Datalens - Всегда открыто говорит, что и на что потратил и что отправил в вашу базу данных.
Тут вдруг понял, что эта фича мало в каком BI инструменте есть, а мы просто привыкли =)
Это сильно облегчает анализ производительности и проверки (Аудита, например, для настоящих аудиторов!) того, как данные запрашиваются.

На любом чарте три точки справа сверху -> Инспектор -> Voila =)
👍4
Ночные идеи
Теперь с GPT можно прям стильные stacked barchart в Datalens делать =)

Классно, когда математику фигурных скобок за тебя машина придумала =)
🔥2
Media is too big
VIEW IN TELEGRAM
Как манипулируют людьми? =)
В визуализации данных мы часто подчёркиваем, что цвета, яркость, размеры шрифтов - всё работает, потому что так работает наш мозг. Но особенности нашего мозга можно использовать для разных вещей.
С ребенком смотрим сериал 'Хочу всё знать' и там серия про торговые центры откликнулась, как хороший инструмент управления поведением.

// для меня многие вещи были открытием, а парфюмерия так вообще, теперь понятно, почему приходится через тонну ароматов проходить каждый раз =)


Что посоветуете еще посмотреть в части видео контента про управление поведением? =)
3
Clickhouse in BI. Hint 1.

Чтобы ускорить ваши дэши на 25% в части работы с SELECT и выборке полей с детализациями надо всего лишь...

Обрезать ваши данные на 25% =D

• Положить читаемые колонки в табличку с LowCardinality. Это мало стоит в ETL процессе, но значительно ускоряет работу со справочниками до 10тыс значений

💚 Хорошо поможет категории товаров, товары для некоторых отраслей, готовая продукция в крупном производстве, етс

💔 Не стоит класть комментарий к заказу, текст оффера маркетплейса (если вы большой игрок), название товаров крупного ритейла


CREATE TABLE lc_t
(
id UInt16,
strings LowCardinality(String)
)
ENGINE = MergeTree()
ORDER BY ID


В этом случае на диске будут храниться не строки, а id, а сами тексты будут подтягиваться из словаря налету
Кажется не очевидным, но вот места вы так не сэкономите. А вот чтение очень хорошо, в наших исследованиях на 25% быстрее.
Please open Telegram to view this post
VIEW IN TELEGRAM
👌42🦄1