#вакансия #system #analyst #хранилищеданных #datagovernance #удалёнка #sql
Вакансия: Системный аналитик/Архитектор данных
Локация: вся Россия
Уровень зарплаты: 90 000 – 170 000 (на руки)
Формат работы: полная удалёнка
Компания: Data Generation

На крупный проект в нефтегазовой области ищем Системного аналитика.

Вам предстоит: ✌️
• Погрузится в архитектуру данных компании и разобрать её «по полочкам»
• Готовить логические и физические модели информационных систем
• Выявить и описать ключевые взаимосвязи атрибутов, сущностей и показателей
• Участвовать в развитии инструментария управления данными - Data governance
• Проведение бизнес и системного анализа источников данных
• Взаимодействовать с командой ETL разработки и подразделения ML
Технологии: GreenPlum, NiFi, Informatica EDC, Alteryx connect, Jira, Confluence, PostgeSQL, Oracle

От вас мы ждём: 🧐

• хорошее знание SQL,
• понимание что такое хранилище данных и как его готовить, тебя не пугают слова логическая/физическая/концептуальная модели данных,
• ты готов развиваться и впитывать много новых знаний
• а еще для тебя важна дружественная атмосфера и команда экспертов в своей области

Мы предлагаем: 🤝

• Команду профи с богатым опытом в крутых технологичных проектах с европейской корпоративной культурой
• Прозрачный карьерный рост и классный коллектив
• Программу личного развития, включающая внешнее и внутреннее обучение
• Удалённую работу, мы предоставим все необходимое
• Достойное годовое премирование на основании твоих результатов
• Все «по-белому»

Для связи 📩
телеграмм @Datageneration_hrbot, почта: [email protected]

Котятки🐱,
Иногда мне кажется, что из меня вышел бы неплохой тестировщик, - так часто я ловлю всякие баги в любом ПО.
Поломать Tableau - это даже уже не челлендж)
Линк на видео с типичными и распространёнными ошибками по Tableau:
https://youtu.be/JgHQWUXg2aA

​​📈Дата-сторителлинг в одной картинке

Какой ROI от проектов аналитики? Всегда интересно посмотреть, как это оценивают в наших компаниях, а не в западных исследованиях. Qlik опубликовали анкеты номинантов конкурса Data Transformation Awards, которые посчитали эффективность применения аналитики. Например:
• снижение оттока клиентов с 75% до 45% (в «Русская рыбная компания»)
• рост точности прогнозирования спроса на продукты c 45% до 85%, при этом в период локдауна показатель сохранился на уровне 75-80% (в Reaton, food-дистрибутор из Прибалтики)
• расширение ассортимента на 18% YoY и сохранении уровня сервиса по наличию товара благодаря аналитике запасов (в «Торговая сеть ТехноНИКОЛЬ»)
• 300 сотрудников Газпромнефть со своими аналитическими задачами прошли внутреннюю «Школу аналитики» и разработали 800 приложений самостоятельно
• экономия на привлечении внешних специалистов примерно 160 млн тенге (~27 637 862 рублей) за 1 год (в «Сбербанк Казахстан»)
Посмотреть скриншоты решений и другие проекты (их там 17), а также проголосовать можно на сайте конкурса: https://dataliteracy.ru/qlik-award-2021?utm_source=tg&utm_medium=post&utm_campaign=dashboardets#projects

How-to-Design-an-effective-BI-Strategy-for-your-organisation.pdf

Your Modern Business Guide To Data Analysis Methods And Techniques

1) What Is Data Analysis?
2) Why Is Data Analysis Important?
3) Types Of Data Analysis Methods
4) Top Data Analysis Techniques To Apply
5) Data Analysis In The Big Data Environment

https://www.datapine.com/blog/data-analysis-methods-and-techniques/

Котятки🐱,
В этом сезоне тема с BI и NoSQl -базами меня триггерит, и после связки Tableau+Mongo я плавно перешла к Power BI+MongoDB.
Линк: https://medium.com/@alameerashraf/data-visualization-using-power-bi-and-mongodb-e694328220b5

⚡️28 сентября, вторник: Qlik Data Transformation Day 2021
 
Как внедрить подход data-driven в компании? Как выстроить аналитику, чтобы она помогала бизнесу расти? Своим опытом на конференции поделятся компании, у которых это уже работает и приносит пользу.
 
Что будет:
Кейсы data-driven менеджмента от крупных и не очень компаний, сессия вопросов и ответов, нетворкинг. 
 
Для кого:
Для всех, кто работает с данными, аналитикой и развитием аналитической культуры: аналитиков, BI-архитекторов, дата-инженеров, CDO, CIO, руководителей бизнес-блоков.
 
Программа:
 
1. BI для цифровой трансформации: Сбербанк
2. Культура BI-разработки + как и зачем развивать self-service аналитику: Билайн и X5 Group
3. Централизация финансовой отчетности: Ростелеком
4. Аналитика в управлении фондом: Сколково 
5. Монетизация IoT данных транспортной компании: Омникомм
6. Единый BI в металлургии: Евраз Маркет
7. Техническая сессия 
 
Регистрация на он-лайн трасляцию (очная уже закрыта)

Котятки🐱,
Пятничный вечер уже наступил, а я всё ещё напряженно всматриваюсь в то, как визуализирует связи Alteryx connect в своём режиме Nexus.
Увы, в BI- инструментах нечто подобное есть только в модулях, связанных с каталогами, где как раз можно отследить data lineage. Для целей визуализации же графы в BI весьма и весьма ущербны.
Виды диаграмм графов в Power BI:
https://www.sqlservercentral.com/blogs/power-bi-with-different-network-visualizations
Практический кейс использования графов в Power BI для определения связанных товаров (знаменитое, "чаще всего с этим товаром покупают... ") :https://finance-bi.com/blog/power-bi-basket-analysis/
Сетевая диаграмма Qlik , над которой я медитировала когда-то, но не поняла, люблю я её или нет: https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/Visualizations/VisualizationBundle/network-diagram.htm

Котятки,
Я временно живу в отеле, и его проблемы- мои проблемы). Задаваясь вопросом, какая аналитика нужна отелю, можно отталкиваться как от размера отеля, так и от направления/функции.
Бутик-отели/мини-отели/B&B.
Базовые потребности:
-комплексная аналитика на одном листе (в народе - "дашборд для директора")
- готовые шаблоны с релевантными KPI;
-user friendly интерфейс и возможность работы с аналитикой с наименьшей data- грамотностью;
Трудности, если практики аналитики не было:
-отсутствие системы сбора данных/хранилищ/баз данных;
-отчетность в формате "на эксельках"/бумажном формате;
-отсутствие практик data prep/DQ, искажённые данные.
Особенности: чем меньше отель, тем больше у него всё "на виду", выше управляемость, и тем меньше потребности как в детальной мониторинговой аналитике, так и в аналитических дашбордах, которые позволяют "спросить данные", - вживую можно получить ответ быстрее.
Какую аналитику можно предложить:
-стандартные показатели: заполняемость, ADR, количество сдаваемых номеров, RevPAR, общий доход от номеров
-маркетинг: аналитика по разным каналам рекламы/бронирования, стоимость каналов, биллинг турагентов(редко, так как это больше применимо к крупным курортным отелям) ;
-прогнозы: отчет по причитающимся платежам, несбалансированные бронирования, сезонность, прогноз загрузки+прогноз ресурсов
-финансовая и управленческая "стандартная" аналитика: налоги, p&l, сверки и балансы.
Почему BI-аналитика?
Если честно, ответ на этот вопрос зависит от IT- ландшафта, коннекторов и стоимости разработки и поддержки аналитики. На рынке существуют как готовые сервисы в формате "подключи к готовому шаблону" так и PMS-системы со встроенной аналитикой и всяких Hotel Management-систем по Saas-модели.
BI- решения в таких условиях можно рассматривать в нескольких условиях:
-источников много и они полуструктурированные, надо их вместе собрать и связать, выстроив единую модель (фактически, это услуги по внедрению аналитики, а не построению дашбордов) ;
-"мы особенные": есть потребности, которые не удовлетворить стандартными шаблонами;
-нужно дёшево: купить один раз построение дашборда на десктопной версии BI- ПО и обучение по его построению для личных нужд владельца в отдельных случаях может быть дешевле других вариантов, особенно если ПО для управления отелем имеет API.
Что почитать:
1. Про самостоятельное построение метрик:
https://dashthis.com/blog/how-to-create-a-hotel-dashboard/
2. Подборочка примеров дашбордов для B&B:
https://www.clicdata.com/examples/hospitality/
3. Про классы систем, построение аналитики, интеграции и вендоров с BI- мордочками и без них, которые работают на отельчики: https://www.altexsoft.com/blog/hospitality-business-intelligence/
4. Видос с примером дашика на Qlik с источником Opera pms(это Oracle, если что):
https://youtu.be/C-9zSJDszaM

Котятки🐱,
Я продолжаю жить в отеле и мучить персонал:)
‌Рассматривать аналитическую обвязку любого предприятия можно как по направлениям/департаментам, так и по бизнес-процессам. В истории с отелем, как и любым предприятием с фронт-офисом, можно привязаться к клиенту и рассмотреть его data-journey, что поможет идентифицировать точки "создания данных" и грамотно выстроить DQ , понимая особенности создания этих данных. Термин очень расплывчатый: иногда под ним понимают data pipeline с привязкой к бизнес-процессам, а иногда - набор практик и инструментов подбора оптимальных визуализаций и способах ориентации в параметрах диаграмм.
Практику описания data journey я однажды применяла на производственном предприятии, но, на мой взгляд, там это менее эффективно, так как нет центрального "зёрна"- клиента, от которого можно отталкиваться при data-journey.
Пример data-journey в отеле:
‌https://insights.shijigroup.com/the-data-journey-in-a-hotel/

Котятки🐱,
Когда я искала, чем бы поудачнее нарисовать граф, открыла для себя по-другому мир визуализаций на питоне: при встрече с библиотекой Voilá, которая превращает Jupiter notebook в дашборд, мой мир содрогнулся.
Зачем нам это нужно: BI- инструменты покрывают большую часть потребностей в предобработке и визуализации данных, но, увы, не все. Есть узкий спектр задач (например, те же фарм.исследования или биология), где нужно что-то особенное.
Какие библиотеки нам помогут перейти от графиков к дашбордам:
https://www.datarevenue.com/en-blog/data-dashboarding-streamlit-vs-dash-vs-shiny-vs-voila
Про Voilá:
https://analyticsindiamag.com/complete-guide-to-voila-to-turn-a-jupyter-notebook-into-a-standalone-web-application/
Про Holoviz в целом:
https://holoviz.org/
Про Panel, которая имитирует объекты:
https://panel.holoviz.org/
Гайд по комбо Alrair+Panel:
https://towardsdatascience.com/how-to-build-a-time-series-dashboard-in-python-with-panel-altair-and-a-jupyter-notebook-c0ed40f02289
Практическое видео, где на одном даше сравнивают несколько библиотек:
https://youtu.be/mZOIeOeswB0

Марафон «Скетчинг для создания дашбордов»
Когда: 1 – 12 ноября
Что это: 10-дневный онлайн-марафон для получения навыков скетчинга, прототипирования и быстрого создания набросков идей в области визуализации и анализа данных.
Организаторы: Qlik и DataYoga
Чему вы научитесь:
✔️Узнаете возможности цифровых и аналоговых способов скетчинга на понятных примерах (в том числе из опыта «билайн», «Газпром нефть», Novartis).
✔️Научитесь общаться на языке образов и метафор, применяя на практике необходимые принципы работы с визуальной информацией.
✔️Научитесь скетчить путь пользователя в интерактивных отчётах, визуализировать варианты реализации дашбордов, подбирать визуальный контент и пиктограммы, проверять гипотезы и общаться с помощью визуализаций.

Участие бесплатно, регистрация тут: https://dataliteracy.ru/sketchdata

Котятки🐱,
В продолжение темы скетчинга: ловим статью про редизайн дашборда от Екатерины Благиревой из GlowByte. В ней:
-практический пример, как использовать скетчинг;
-кейс с трансформацией диаграмм и графиков;
Ну и вишенкой на торте служит идеальный пример трансформации системы навигации: от громоздких фильтров на пол-экрана – к лаконичной панели в левой части экрана с графическими элементами.
Линк:
https://vc.ru/u/639152-glowbyte/313236-kak-v-alfa-banke-upravlyayut-klientskim-opytom-sovmestnyy-proekt-s-glowbyte-consulting

Котятки, всём привет🐱!
Я чуть подвисла со своим вдохновением пока, и активно канал не веду. А всё потому, что днями и ночами ищу к себе в команду прекрасного человека (ов) , уровень junior/middle. Направления: BI + системный анализ.
Мои преимущества:
-у меня талант учить и развивать людей в короткие сроки без посягательств на work-life balance;
-я стараюсь, чтобы всегда было весело и интересно (ну или 100% не скучно);
-у меня страсть ко всему новому, поэтому предложения в стиле "пошли щупать Azure" будут поступать часто.
Преимущества моей компании: платят в рынке (конкретная цифра зависит от навыков) , развивают, вкладывают, много шутят, помогают, поддерживают и ценят (да так, что отпустили меня на 3 недели в отпуск с первого захода😇) Техника норм, стек разный, но околохранилищный.
От тебя:
-умение открыть бобра и что-то там написать;
-умение открыть pycharm и что-то там написать;
-умение написать git status, прочитать, что он вернёт и перевести на русский классический;
-сакральное знание как пользоваться sql- запросом explain хоть в какой-нибудь БД;
-тяга к прекрасному (желательно, к клику, но подойдёт и любой другой BI-ка).
Резюме (комментарии, пожелания) слать сюда: @Datageneration_hrbot
P.s. удалёночка, гибридный график не предлагаю, ибо сама не фанат офиса.

Котятки🐱,
Я немного перестала грустить со вчерашнего дня, и задалась тем же вопросом, что и год назад: что делать, если пользователи хотят вводить данные прямо в BI (в таблицы или в дашборды) так, чтобы данные улетали в базу? Например, какие-нибудь комментарии?
Ответ для Power BI:
https://www.youtube.com/watch?v=WgIhsF7kEjI&ab_channel=BIElite
Ответ для Tableau через Tableau Prep:
https://www.springml.com/blog/writing-to-external-databases-the-missing-piece-in-the-tableau-prep-functionality/
Ответ для Tableau, если у вас есть деньги и вы можете протащить через безопасников надстройки:
https://appsfortableau.infotopics.com/extensions-for-tableau/writebackextreme/
P.S. Спасибо за ту поддержку, которую накидали мне в бот канала/бот резюме. Я расчувствовалась, и хандрить больше не буду.

Котятки,
Темки, про которые я хочу говорить, связаны с прекрасным.
Погнали.
Знаки и символы
-Проект Symbolikon: символы и знаки из различных культур и мифологий в виде иконок.
Находится тут: https://symbolikon.com/
Мне нравится раздел с Мирами Лавкрафта: https://symbolikon.com/downloads/category/lovecraftian-mythos-symbols/
Просмотр бесплатный, скачивание в высоком качестве платное.
-Noun Project: сток коллекций иконок с разметкой по ассоциативным тегам. Я обычно для своих дашиков (внутренних, не коммерческих) скачиваю коллекциями.
Находится тут: https://thenounproject.com/
Использование знаков и символов в Big data с точки зрения семиотики:
https://www.researchworld.com/big-data-semiotics-big-answers-powered-by-meaning/
Исследование про визуализацию неопределенности и примеры того, как дополнение визуализации дополнительными элементами/знаками помогает придавать им абсолютно другой смысл (см. слайд 7 и далее):
https://sunzhida.github.io/reading_note/3.pdf

​​Объединение Data Studio и Looker.

Появились новости по Looker после того как Google его купил за 2.6 млрд.

@BigQuery

При работе с дашбордами мы традиционно следуем критериям функциональности, репрезентативности и фокусировки на наиболее важных выводах. В отличие от презентации, где график играет роль визуального подтверждения, дашборд с его совокупностью функций позволяет расширить роль графика, наделяя его ролью проводника в исследовании данных.
Сложно полностью согласиться со статьёй ниже, так как она акцентирует внимание на статике, однако в ней заложены неплохие смыслы про саму идею иллюстраций, визуализаций и визуальных исследований:
https://hbr.org/2016/06/visualizations-that-really-work

Среда Semiotic для визуализации данных поддерживает ровно противоположную идею, чем та, на которой базируется весь data viz с его строгими правилами подбора визуализаций.
Это среда визуализации данных на основе React воплощает принцип, согласно которому методы визуализации данных не должны ограничиваться тем, как мы изначально форматируем данные, или первоначальным предположением о том, как эти данные должны отображаться.
Про это интересно будет читать, и ещё интереснее – в это потыкать:
https://medium.com/@Elijah_Meeks/introducing-semiotic-for-data-visualization-88dc3c6b6926