BI & Big Data
266 subscribers
23 photos
2 files
133 links
Канал компании CoreWin. Бизнес-аналитика и Big Data: новости, тенденции и инструменты.

@BBDfeedback_bot - напишите нам.
Download Telegram
Как вы оцениваете свой уровень знания темы BI & BigData?
anonymous poll

Средний уровень (сталкивался в работе) – 17
👍👍👍👍👍👍👍 40%

Новичок (понимаю разницу между BI и BigData) – 14
👍👍👍👍👍👍 33%

Не знаком с темой – 11
👍👍👍👍👍 26%

Профи (могу вести этот канал лучше вас)
▫️ 0%

👥 42 people voted so far.
BI может оставить принцип Парето в прошлом

...во всяком случае, в продажах.

Известно, что 20% клиентов приносят 80% оборота. И в эти 20% обычно попадает "крупная рыба". Но современные BI-системы эффективно обрабатывают не только Big, но и "Small" Data. Следовательно, компании могут обращать внимание на клиентов, которые генерируют меньшие объёмы продаж.

Michael Immenschuh, менеджер по формированию ценовой политики Hewlett-Packard, говорит: "Мы сконцентрировались на 1000 самых крупных клиентов, но ведь число клиентов HP исчисляется миллионами, а о них мы не знали почти ничего".

Именно поэтому BI уже сейчас менят ценовые и маркетинговые политики лидеров рынка. И, возможно, правило 80/20 останется в прошлом.

Подробнее: goo.gl/YnVin5
Телеком-операторы не справляются с Big Data

В Украине только-только внедрили 4G, а мировые провайдеры уже поняли, что не готовы к 5G. Точнее, к тому потоку данных, который идёт через их сети.

Операторы предлагают всё больше услуг, борясь с конкурентами, но и их инфраструктура требует всё больших вливаний. Растёт объём потребляемых данных, но выручка с каждого бита падает.

Чтобы поддержать мобильный трафик, который будет расти в геометрической прогрессии благодаря 5G и IoT, потребуется от $130 млрд до 150 млрд инвестиций. И дабы не оказаться через пару лет в «минусе», провайдерам нужно сконцентрироваться на своей способности обрабатывать и анализировать данные.

Источник: goo.gl/QNkWVe
5 недостатков BI, или как лгут цифры.

Да, цифры лгут. Равно как и аналитика. Но как?

1. Усечённый график.

Измените точку отсчёта - изменятся пропорции.

2. Преувеличенное масштабирование.

Увеличив масштаб графика, легко спрятать "неугодные" периоды.

3. Использование только части данных.

Пытайтесь не обрезать, а агрегировать.

4. «Дикий» словарь.

Используйте принятые выражения и отображения. Отойдя от словаря, вы только запутаете потребителя.

5. Бермудский круг.

Сумма секторов круговой диаграммы должна равняться 100%.
——————————
Так что будьте внимательны. Не лгите в своих отчётах, даже неумышленно. И всегда внимательно читайте отчёты, которые направляют вам. Возможно, в них есть ошибка.

Детальнее: bit.ly/2LDokYp
​​Озеро данных (Data Lake)

Один из подходов к сбору данных называется озеро данных (data lake). Это, по сути, альтернатива складу данных (data warehouse). Суть в том, чтобы собирать как можно больше данных на одной платформе, не сильно переживая за их структуру.

Есть и минусы.

Во-первых, для обработки данных из разных источников потребуется ETL.
Во-вторых, такие озёра, как правило, организовывают подрядчики, да и часть данных принадлежит не вам (например, данные из социальных сетей).

С другой стороны, только с помощью озера можно как-то обработать неструктурированные данные. В среднем, наличие озера повышает рентабельность на 9%.

Что же делать? Как вариант - обзавестись и складом, и озером. Схема "источники > озеро > ETL > склад" сегодня выглядит одной из самых жизнеспособных.
История BigData

Иногда, чтобы понять настоящее, необходимо хорошенько взглянуть на прошлое. Поэтому сегодня мы обратимся к истории BI.

Впервые этот термин был упомянут в 1865 году и касался ценности информации как актива. Но в современном понимании BI появился в 1958-м, когда исследователь IBM
В 1970-м SAP запустил продукт аналитики для розничной торговли, в это же время Nielsen предложил Data Marts – ПО, которое предоставляло схожую аналитику.

В 70-80-х годах развитие получили Data Warehouses. Отцами этого похода называют Bill Inmon и Ralph Kimball.
​​Ключевым же моментом стала конференция The Multiway Data Analysis Consortium (Рим, 1988 год). В ходе конференции стало ясно, что BI должен стать проще в использовании и ближе к бизнес-пользователю.

В начале 2000-х благодаря активности разработчиков появился первый drag'n'drop интерфейс. Чуть позже BI начал перемещаться в облако и обрёл веб-интерфейс.

Из последних достижений стоит отметить появление мобильных приложений и возможность использовать внешнее ПО прямо в дэшборде.
​​Культура данных (Data Literacy)

Всё больше компаний задумываются над тем, насколько грамотно их персонал умеет работать с данными. Это не только повышает квалификацию сотрудников, но и позволяет сократить расходы на управление данными.

В данном контексте под грамотностью подразумевается возможность извлекать из данных релевантную информацию; читать, понимать и относиться к ним как к информации.

Первым шагом к увеличению такой грамотности является подготовка культуры компании к обучению персонала. Для этого следует обеспечить:

▪️обучение высшего руководящего звена
▪️вовлечение сотрудников на примере руководства
▪️широкий доступ к данным для всех сотрудников
▪️наличие платформы для безопасного доступа к данным
▪️воспитание критичного мышления к результатам анализа

В прошлом году мировой объём инвестиций в Big Data составил $150 миллиардов, и, конечно, вопрос их эффективности имеет большое значение. Повышение грамотности персонала как раз призвано её увеличить.
​​Аналитика и аналитик

Система анализа строится не только на сборе данных и работе с ними, не только на инструментах анализа, но и на людях, которые и несут в себе основную добавочную стоимость.

Как же распознать современного аналитика?

▫️Он выявляет слабые стороны и предлагает методы их устранения.
▫️Он определяет рыночные тенденции и конкурентное положение компании.
▫️Он считает эффективность корпоративных расходов.

Современному аналитику недостаточно знать статистику или экономический анализ. Необходим опыт работы в IT, знание BI и SQL.

Современный аналитик - это дорогостоящий актив, который приносит максимальную прибыль, находясь в эффективных условиях.

Чтобы понять, насколько ваша компания готова к BI, рекомендуем пройти краткий тест от компании Tableau - лидеров BI-рынка.
​​Как Big Data меняет игровую индустрию

Для начала капля статистики:

🔸ежедневно 2 млрд игроков генерируют 50 ТБ данных
🔸игры в соц.сетях добавляют ещё 150 ГБ данных в день
🔸за 1 типичный месяц Electonic Atrs хостит 2,5 млрд игровых сессий, а это 50 млрд игровых минут

Где-то там кроются ценнейшие схемы поведения, причины продолжить игру и отказаться от неё, недовольство геймплеем и восхищением им. Поэтому Big Data можно смело использовать для улучшения:

1) дизайна – Starcraft и Zynga уже анализируют поведение пользователей перед выпуском обновлений
2) персонализированной рекламы – чтобы не раздражать, а привлекать
3) Freemium’а

Freemium – условно-бесплатные игры – самый лакомый кусок пирога. Big Data позволяет отследить поведение новичка, узнать, на каком моменте он прекращает играть, что именно мотивирует его покупать встроенные товары и повысить конверсию бесплатных аккаунтов в платные.
​​Big Data: мифы и факты

Big Data, как и любая отрасль знаний, пропитана большим количеством мифов.

1. Big Data вездесущ. По статистике Gartner, около 73% компаний так или иначе смотрят в сторону Big Data, но только 13% внедрили реальные решения.

2. Big Data - это большие объёмы данных. Утверждение верно только частично. На самом деле, Big Data формируют 5 составляющих: объём данных, скорость получения новых данных, разнообразие типов данных, ценность данных, достоверность данных.

3. С помощью Big Data можно спрогнозировать всё. Это невозможно в принципе.

4. Big Data - это дорого и только для крупных игроков. Реально же многие продукты подходят и для маленьких фирм.

5. Big Data заменят Data Warehouse. Нет, эти инструменты решают разные задачи.

6. Big Data не нуждается в интеграции. Всё зависит от проекта, иногда как раз наоборот.

7. Все данные ценны. Это не так, в ваших хранилищах, скорее всего, полно "мусора".

8. Big Data только для аналитиков. Благодаря современными технологиям и бизнес-пользователи могут изучать большие массивы данных.

9. Hadoop заменит in-memory. Нет, эти инструменты, как правило, используют вместе.
​​Изживут ли себя централизованные базы данных?

API-технология стала надёжным инструментом для интеграции IT-систем. Она же может существенно облегчить жизнь при работе c Big Data. Из очевидных плюсов:

- API позволяет сэкономить: не нужны хранилища данных и дата-инженеры
- данные поступают в режиме реального времени, т.е. анализ становится более точечным

Но внедрить такой подход непросто. У данных должна быть аннотация или маркер, по которому аналитик их корректно распознает. Да и организовать доступ (например, через шлюз) к таким данным - задача не из простых.

Тем не менее, именно благодаря API мы стоим на пороге дата-революции и конца эры централизированных баз данных.
​​Big Data и Time Management

Без тайм-менеджмента уже не обходится ни одна современная компания. Сбор информации о времени сотрудников и её аналитика может помочь:

▫️контролировать сроки выполнения задач
▫️установить их приоритетность
▫️увидеть вовлечённость сотрудников
▫️найти слабые моменты в планировании

С другой стороны, факт наблюдения и сбора данных о деятельности персонала может значительно понизить его лояльность и мотивацию. Поэтому, чтобы не давить на сотрудников, рекомендуется:

▪️ определить цель внедрения
▪️ разработать детальный и прозрачный план внедрения
▪️ не скрывать факт сбора информации
▪️ дать сотрудникам свободу выбора
▪️ определить, какую информацию каждый из них может запретить собирать
▪️наладить обратную связь от сотрудников и реагировать на неё
▪️ помнить, что стандартизированные политики - не лучший выход

Отдайте предпочтение индивидуальному подходу.
​​Особенности восприятия дэшборда

После этапов подключения данных, их подготовки и анализа наступает этап презентации результатов. Сейчас стандартом в мире бизнес-аналитики является метод презентации типа дэшборд. Исследователи Политеха им. Петра Великого (Россия), университета Восточной Финляндии и команда Tableau провели ряд исследований, дабы определить, какими правилами руководствуется мозг, обрабатывая дэшборд. И как это может помочь проектировать более эффективные дэшборды.

Были использованы методики отслеживание движения глаз, скорость и точность ответов на тестовые вопросы.

Выделены следующие психико-физиологические закономерности:

1. Большинство людей читают дэшборд слева направо и сверху вниз (как книгу или газету).
2. Количество элементов влияет на время фиксации внимания на каждом из элементов.
3. Время фиксации можно коррелировать стимулами.
4. В среденем на дэшборд фиксируется 10 реакций на стимулы.
5. Тип графика не влияет на время фиксации внимания.

Подтверждены следующие механизмы привлечения внимания через стимулы:

1. Большие итоговые цифры.
2. Повторяющиеся графические элементы.
3. Наличие форм, схожих с человеком (емоджи, лица).
4. Выделение контрастом.

Поэтому перед дизайном дэшборда определите, на какие вопросы он должен ответить. И уже в ходе дизайна расставляйте стимулы так, чтобы ответы на эти вопросы были очевидными.
​​Устранение "тёмных" данных

Один из подходов к решению проблемы Big Data - это минимизация хранимых данных. А именно "тёмных" данных. Это данные, которые хранятся, но никем не используются, подобно мусору. Так что компании пытаются хранить только полезные им данные, отметая всё ненужное.

Чтобы применить такую же политику, необходимо пройти несколько шагов.

▪️Определить, какие данные стоит собирать.
▪️Внедрить проверку данных, которые вводят пользователи в систему.
▪️Внедрить прогресивное управление данными с прогресивными протоколами работы с базами данных.
▪️Определите правила удаления ненужных данных. И начать удалять.

Такой подход не только снизит нагрузку на вычислительные мощности и на базы данных, но и может выстроить культуру работы с данными по всему предприятию.
​​Несколько фактов о восприятии

Эти факты были обнаружены несколькими исследованиями, хотя все они базируются на законе Ствинеса, а именно: зависимость силы ощущения от интенсивности раздражителя описывается степенной функцией.

- когда объект окружен большими объектами, он и сам кажется больше, и наоборот
- чем ближе линии, тем меньшей кажется разница их длины
- человек пытается найти симметрию во всем
- аннотация может кардинально изменить восприятие
- столбиковая диаграмма лучшая для сравнения величин
- круговая диаграмма - лучший инструмент для оценки пропорций
- люди читают круговую диаграмму по-разному: определяют площадь зоны, длину окружности и угол зоны
- линейная диаграмма подчёркивает тренд
- между столбцами в столбиковой диаграмме человек подсознательно рисует линию и пытается определить тренд
- 3D не даёт лучшего восприятия, но требует больше ресурсов для отображения
- размер, цвет точки, уровень рассеивания влияет на восприятия диаграммы рассеивания
- оттенки одного цвета сливаются
- те, кто склонны к контролю, лучше воспринимают контейнеры
- интерактивность и анимация улучшает восприятие

Восприятие - одна из успешных областей науки, так что нас ещё ждут новые открытия.
​​Данные никогда не спят

Потенциал Big Data только растёт. Используя все преимущества, компании должны включать аналитику в свое стратегическое видение и использовать её для принятия более быстрых решений.

Отчёт Глобального института McKinsey (MGI), "Эра аналитики: конкуренция в мире, управляемом данными", показывает, что спектр приложений и возможностей вырос и будет расширяться. Учитывая скорость появления новых технологий, теперь вопрос для компаний заключается в том, как интегрировать новые возможности в свои операции и стратегии. Как позиционировать себя в мире, где аналитика может продвигать целые отрасли.

Ведущие компании используют возможности аналитики не только для улучшения операционной деятельности, но и для запуска совершенно новых бизнес-моделей. Многие пытаются получить реальную ценность от аналитики, но для этого надо пройти несколько этапов.

1️⃣ Первой задачей является включение данных и аналитики в основное стратегическое видение.

2️⃣ Следующим шагом будет разработка правильных бизнес-процессов и эффективное использование как талантов сотрудников, так и технологий.

Недостаточно просто наложить мощные технологические системы поверх существующих бизнес-операций. Все аспекты трансформации должны объединиться, чтобы реализовать весь потенциал данных и аналитики.
​​Reddit: сообщества BI

Сегодня я Вам расскажу, чего ещё можно почитать про #BI и #BigData, постоянно держа руку на пульсе. Например, у нас Вы можете почерпнуть самые интересные статьи за неделю, но как же обсуждение и просто проблемы специалистов, не описанных журналистами или в личных блогах? А как же почитать критику других людей? Или просто посмотреть с какими вопросами и проблемами сталкиваются BI специалисты по всему миру?
И вот что я Вам рекомендую - #Reddit. Кто-то из Вас вовсе не знаком с ним, кто-то знает, как платформу для мемасиков аля Пикабу, но не стоит забывать, что это портал, разделённый по интересам с многомиллионной аудиторией. То есть помимо смешных картинок и видео в нём можно найти любой профессиональный сабреддит (так тут называются разделы по тематике), где найти новости, почитать обсуждения и даже принять участий в жарких спорах в коментариях. Более того удобно сформировать интересную для себя ленту новостей и обсуждений.

Давайте я посоветую Вам сабреддиты 🔊 для человека, работающего или интересующегося BI 📊, чтобы не теряться в огромном мире информации.

▪️/r/BusinessIntelligence/- общий сабреддит по BI, который сразу встречает нас проблемами и вопросами BI-специалистов.
▪️/r/bigdata/ - этот сабреддит радует нас не только вопросами, но и множеством обучающих видео по теме.
▪️/r/tableau/ - вопросы, обсуждения, новые визуализации и советы по платформе Tableau.
▪️/r/dataisbeautiful/ - отличное место для того, чтобы найти новые идеи и посмотреть, как другие специалисты делают “красивую” визуализацию.
▪️/r/dataisugly - веселиться тоже нужно. Очень хорошо разбавит ленту профессиональным юмором и “вырви-глаз” визуализациями, чтобы никогда так не делать :)