Через тернии к Визам
588 subscribers
99 photos
18 videos
41 links
Про DWH, CH, BI и автоматизации рядом
Канал это место для дискуссий =D То есть не стесняемся задавать вопросы, уточнять и говорить свое фи.

Канал ведёт Юра, который любит данные, оптимизации в БД и визуализацию

Большие посты тут
https://датавиз.рф
Download Telegram
Очень классно у ребят получилось!
У ребенка (7 класс) сейчас в школе уже ТВиМС, тут будет подспорье 😃
Forwarded from Data-comics
Предзаказ книги открыт! 📕

Ура! Книга становится все более реальной!
Вот уже на сайте читай-города можно сделать предзаказ нашей детской датавиз книги "Кристина в стране диаграмм"!!
*писки восторга*

Это был долгий путь - длинною почти в полтора года - от первых скетчей персонажей, до раскадровок, текстов, работы с иллюстратором, создания полезных учебных материалов для детей!

Ааа!))) Спасибо за вашу поддержку!
Пойду еще покричу от радости!))) Скоро скоро (середина ноября) книга будет в бумажном виде! И можно будет ее потрогать! Ура!

На картинке уже видно финальную обложку (спасибо что голосовали!), мне так нравится что буква С похожа на донат-чарт 😆 и вообще - дивное ощущение - видеть свое имя на обложке книги!

Страничка предзаказа:
https://www.chitai-gorod.ru/product/kristina-v-strane-diagramm-3127795

😍😍😍
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10👍3
Новое слово
Много лет пробую разные способы обучения аналитиков /инженеров / бизнес-пользователей.
Понятно, база (технарь, гуманитарий) очень сильно влияет на скорость усвоения материалов, но в последнее время понял, что еще важен возраст, культурные особенности. Разные поколения взрослых совсем по-разному воспринимают информацию.
- Делаю короткие видео - жалуются на то, что нет вики
- Делаю вики - говорят, много текста, пусть будет TLDR
- Делаю видос на час - говорят, много, пусть будут пункты на 10 минут.

Все люди разные и у всех свои паттерны потребления знаний. Как тебе лучше всего получать новые знания вокруг своей работы? Напишешь в комментарии?
8
How to. make Business LODs and Windows
В документациях к BI-инструментам есть примеры, как использовать LOD-формулы, но они не всегда хорошо транслируются на реальные бизнес-кейсы, надо еще переводить с языка примера на логику того, что же тебе требуется.
Решил попробовать собрать бизнес-кейсы различных LODов с которыми приходят для реализации, кажется, так будет нагляднее.
Буду дополнять на этой страничке
Если принесете свои use cases - будет классно =)

- сколько было клиентов с > чем 1 заказом
- сколько sku товаров было и в плане и в факте
- как посчитать среднюю без выбросов > 90 персентиля
- средний % плохого стока за последнюю неделю
🔥71
ClickHouse what's new
Дошли руки отсмотреть видео по последним версиям ClickHouse, в том числе 25.8 LTS, то есть после тестов ее можно в прод.

Полезное
25.8
1. Колонка _table, можно управлять фильтром и значениями в merge как slice колонкой
2. Векторный индекс, production-ready.
3. Движок YTSaurus, возможность подключить в качестве внешнего источника очень крутой Яндексовый инструмент, когда у вас ну очень много данных =)

Скорость
25.8
1. Теперь индексы в табличке будут перед применением отсортированы по размеру на диске. то есть, у нас 10 000 партов, первый легкий индекс сначала быстро применится - останется 1300 партов, а только за ним более тяжелый и уже только на 1300 заголовков будет применяться.

25.9
2. Звучит как мега-огонь, в CH появился JOIN Reordering, надо тестить.
SET query_plan_optimize_join_order_limit = 10;
SET allow_statistics_optimize = 1;
👍4
How to. Find Root Causes
Сходил тут в осенний трекинг с Пашей и принес хороший пример неполноты данных из источников.

Приложение к часам понятно визуализирует данные: длина, подъем, спуск, геокарта, пульс. И вроде всё ок. Но почему так медленно? Если переносить на язык бизнеса, эффективность операций ужасна, даже если брать YoY на эти же даты - мы как будто шли очень плохо.

Разгадка на фотке в первом комментарии: погода в этом году очень необычная, на 2/3 маршрута выпало 30-50 см снега.

То есть, если бы мы строили какую-то важную аналитику на этих данных, нам надо было бы
• отметить на маршруте смену покрытия и температуру
• дополнить датасетом по осадкам за последнюю неделю
• если аналитический инструмент позволяет, добавить текстовые комментарии на отрезок времени, объясняющий причину отклонения скорости. К сожалению, в приложении к часам этой информации нет.

Старайтесь давать бизнесу весь требуемый контекст, который поможет находить действительную причину событий.
5👍5
Некоторых вещей ждешь долго, но знаешь, на сколько они важны и полезны для BI-Аналитика, который понимает, что цвета должны везде означать одно и то же, что больше 3х цифр в числах нашему мозгу смотреть неудобно. И когда выходит фича, экономящая часы кликов лишних - ❤️
Please open Telegram to view this post
VIEW IN TELEGRAM
🙏2
Forwarded from Yandex DataLens
🟥 Общие настройки полей датасетов

В датасетах появляется новая колонка для настройки полей:
- настройка форматирования (для чисел)
- выбор цветов (для измерений)

Настройка доступна в зависимости от типа поля (строка/число и тп) и наличия агрегации (показатель/измерение).

Настройки применяются при использовании этих полей в чартах, построенных по этому датасету.

Новая функциональность сократит время создания качественной аналитики, убрав необходимость настройки на уровне чартов.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥93👍3🙏1
Friday Joke
Тут на прошлой неделе придумывал способ убирать "выбросы" выше 99 персентиля на уровне BI.
Штош, советую всем это делать ну уровне источника, заранее продумав, как убирать в зависимости от фильтров эти значения🥴
😁8
Поиграем в шарады =)
В картинке из Шедеврума зашифровано слово X - пришлите в ответах на пост картинку, какой вид X кажется вам самым удобным =)
2
How to. Рассказать подробнее о метрике, если она какая-то нетривиальная. Проблема всех текстовых элементов на дэше - они нужны 1-2 раза, после этого нейронки в головах запоминают логику и больше на текст не хочется смотреть, а место уже занято. Очень хорошо, когда можно убирать всю доп информацию в подсказки, которые не занимают место, но всегда к ним можно обратиться без лишних кликов. В прошлом году внутри Яндекса i-ки и вопросики как реализованная фича заняли первое место при оценке полезности среди BI-команд, во как =)
👍6🙏1
Real Firday Fun
Самые спортивные и крутые биайщики в Астане - у них даже специальный стадион для бега есть =)
BI Group. Как думаете, какой BI инструмент они используют?
DataLens
🔥8😁3👍1
Интересный доклад от Вовы про то, на сколько важен внутри Яндекса rich-заголовок дэша (про который рассказывал тут) со всем сопутствующим
2
Forwarded from Yandex for Analytics
🐚 Как сделать дашборд лучшим местом для общения

BI-аналитику мало собрать идеальную панель. Нужно ещё сделать так, чтобы дашборд оставался живым и актуальным, даже если автор уже давно пересел за новые проекты. А ещё нужно обеспечить понятные и простые механизмы фидбэка для новых пользователей.

👳 Как вдохнуть жизнь в дашборд и превратить его в удобное пространство для коммуникации, рассказал в докладе на Data Driven Владимир Дмитриев, руководитель команды Core BI. А самое главное из его выступления мы перенесли в карточки

📺 Полный доклад Владимира смотрите на ютубе или в VK Видео. Материал будет полезен BI-аналитикам, дата-инженерам, а также руководителям аналитических отделов и тимлидам.

🔢 Другие выступления с трека Data to Artifacts конференции Data Driven тоже можно найти на ютубе или в VK Видео.

Подписывайтесь:
💬 @Yandex4Analytics
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
5🔥2
Small Nice Feature
Иногда маленькие и полезные фичи вызывают больше WOW эффект, чем крупное изменение =)
Очень не хватало при сохранении объекта сразу создавать папки внутри модалки. И теперь оно есть в DataLens
9🔥7👍4🎉3😁2
Friday Joke
На этой неделе мы работали ровно 1/2 недели - если смотреть WoW* =)

Всем хороших выходных

*WoW - Week Over Week
😁16