​​CEO и основатель DataRoot Labs Макс Фролов — ментор на Global Hack Weekend 2018!

DataRoot Labs — лаборатория с фокусом на исследованиях в области Artificial Intelligence и большим объемом данных. Лаборатория является одним из крупнейших исследовательских центров в Украине в своем сегменте. Макс Фролов — лектор на курсе «Data Science & Engineering» в DataRoot University. Возглавил рейтинг молодых предпринимателей до 25 лет "Новые имена" от медиа ресурса MC.Today.

#GHW 2018 — это экстремальный катализатор роста. 1000 участников под одной крышей и только 48 часов для создания продукта.

Команда-победитель поедет на WEB Summit в Лиссабон.

Даты: 23-25 ноября
Регистрация по ссылке: https://ghw.com.ua/

​​Советы аналитку

Даже опытные аналитки часто входят в определенный режим работы и иногда забывают о прописных истинах #визуализации Вот некоторые из них:

1️⃣ Выбирайте нужный тип графика в зависимости от типа данных. Для анализа во времени – линейный график, для сравнения групп – столбиковая диаграмма, для анализа данных в пространстве – карта.
2️⃣ Держите креативность в узде. В ходе дизайна дэшборда легко увлечься и нарисовать что-то очень красивое. Но не стоит забывать, что визуализация должна быть в первую очередь понятной. И только потом красивой.
3️⃣ Простота – залог успеха. Пытайтесь делать несколько простых графиков, а не показать на одном графике всё. Сделать график перегруженным проще, чем кажется.
4️⃣ Не забывайте выставлять иерархии данных. Только с ними у пользователя появится возможность проваливаться вниз и видеть данные от общего к частному.

Это азы, которые усваиваются при первых же дэшбордах. Если вы уже давно занимаетесь визуализацией, то я рекомендую познакомиться с Дзен мастерами данных. Дзен мастера – это программа для лучших аналитиков от компании Tableau.
Доступны сайты и твитер-страницы мастеров, их также можно найти на Tableau Public. Обычно они весьма отзывчивы и готовы помочь.

​​Жуткое Deep Learning 👻

Пока все заканчивают праздновать Хэллоуин, расскажем вам о нескольких весьма устрашающих вариациях deep learning.

🎃 Nightmare Machine. Исследователи MIT обучили AI преобразовывать фотографии людей (и не только) в монстров и жуткие дома. Зачем - не до конца понятно, но вы можете помочь машине в обучении тут.

🎃 Deep Empathy. Другая группа из MIT "скормила" машине фото Сирии. В результате AI преобразовывает всем знакомые города в развалины. Цель проекта - поднять уровень сочувствия у людей по всему миру и тем самым бороться с войной. Присоединиться к обучению AI можно тут.

🎃 Norman. Прототипом этой машины стал психопат из фильма Хичкока "Психо". Её обучили на Reddit, а именно на самой тёмной его ветке. В резльтате получился первый ИИ-психопат. Он видит на картинках теста Роршаха только смерть и убийства. Сейчас исследователи пытаются его вылечить. Вы можете помочь Норману тут.

​​Тренды BI в 2019

Появляются первые прогнозы 📈 в сфере бизнес аналитики на 2019.

Топ 5️⃣ самых вероятных трендов в бизнес-аналитике:

Пятое место - #культура данных, подразумевается возможность коллектива извлекать из данных релевантную информацию.

Четвертое место - #управление данными, с вступлением в силу GDPR многие аспекты управления данными стали обязательными.

Третье место - простой в использовании (#self-service) BI. Тренд, который остается уже много лет подряд. BI должен быть доступен бизнес-пользователям.

Второе место - #обнаружение данных. Решения типа data #discovery предлагают пользователям интерактивный графический пользовательский интерфейс, базирующийся на архитектуре in-memory.

Первое место - #качество данных и управление им. Построение системы чистки, проверки данных, которые используются для аналитики.

По сравнению с 2016 годом больше всего веса приобрел тренд #подготовки данных для бизнес-пользователей. Это говорит о том, что управленцы стали значительно ближе к BI.

Больше всего веса потерял тренд интегрированной системы аналитики и управления производительностью. 🌍 двигается в сторону разьединения систем, поскольку все чаще они используются для разных целей.

​​Что такое инсайт или BI vs Machine Learning

Психологией остается необъясненным такой феномен, как озарение, или инсайт. Инсайт - это так называемый эффект "Ага!" или "Эврика!". Момент, когда мозг и психика неожиданно выдают решение проблемы и после именно этого момента решение кажется очевидным.
Некоторые исследователи выделяют именно феномен инсайта, как основу для эффекта "черного лебедя".

Другой аспект инсайта заиграл новыми красками с развитием #MachineLearning. Именно с развитием этой технологии стало понятно, насколько инсайт влияет на картину 🌍. Именно он обеспечивает гибкость в восприятии мира. Чтобы это осознать вот два примера.

1️⃣ Музыка, написанная #AI. Машинное обучение позволяет только создавать музыку в определённом жанре, стиле. В определенном смысле только пародировать исполнителей. Одна из таких "пародий" на Beatles.

2️⃣ Если AI обучить на пейзажах моря, то море он будет видеть во всем. Также с цветами и другими изображениями. Видео тут.

Одним из первых исследователей #инсайт был Пуанкаре. Он выделил такие этапы обработки задачи человеком:

1️⃣ Подготовка. Исследование нового материала, обработка и планирование, обдумывание задач. Период осознанной концентрации над проблемой.
2️⃣ Инкубация. Отвлечение от задачи, когда «ментальные события» начинают происходить непроизвольно, без контроля сознания.
3️⃣ Озарение. Вспышка осознания, что решение проблемы найдено.
4️⃣ Проверка. Контроль сознания за найденным решением, отбор идей и проверка гипотез.

Если первый, четвертый и возможно второй этапе можно воссоздать в программе, то Озарение пока что воссоздать не удалось.

Именно поэтому аналитика (#BI) еще долго не сойдет со сцены. Роль BI как раз и состоит в представлении данных в таком виде, чтобы повысить вероятность инсайта. Чтобы возгласы "Ага!" звучали все чаще.

​​Сегодня хотим посоветовать любопытнейший сайт – Diagrammm by Roman Sverdan.
Там собраны примеры диаграмм для визуализации информации, а также советы, как их лучше оформить и где лучше использовать.

Визуализация стала современным инструментом коммуникации, который раскрывает содержание данных. С его помощью поток цифр становится ясным и последовательным образом. Это экономит время, подчёркивает значимую информацию, помогает сформировать видение. И чем важнее запрос, тем точнее должны быть данные и сама визуализация.

Diagrammm был разработан как онлайн-источник правил и подсказок. Его можно рассматривать как справочник советов о том, как правильно и адекватно разрабатывать различные типы визуализаций. Описаны фундаментальные принципы хорошей информационной графики.

Ресурс предлагает организованные, структурированные и подробные руководства о том, как сделать визуальный продукт последовательным, надёжным и точным. Кроме того, предоставлен список ссылок, книг и других дополнительных материалов, которые использовались в качестве источников информации.

Diagrammm будет полезен для широкой аудитории - как для опытных пользователей визуализации данных, так и начинающих специалистов. Первые смогут улучшить свои навыки, а последние буду учиться сразу делать «правильную» визуализацию.

Сайт полностью создан и управляется нашим соотечественником, который является информационным дизайнером из Львова.

​​Big Data и спасение мира

Несколько проектов #BigData, которые пытаются быть полезными 🌍 и человечеству.

Conservation International. Цель проекта - защита биологического разнообразия, платформа мониторит состояние флоры в тропических лесах.

Conservation.io - это мобильное приложение, созданное для учёных, природоохранных организаций и менеджеров ресурсов, чтобы помочь 🗣 общественность о том, что делается для охраны внешней среды.

GTOPP - это программа, которая маркирует морских живтоных и анализирует эти массивы данных. Цель - понять поведение животных и обеспечить лучшую охрану среды их обитания.

Bumble Bee Watch - это краудсорсинговый проект, который записывает местоположение и виды пчёл.

State of the Polar Bear - проект по исследованию здоровья популяции белых медведей.

Опрос пользователей BI

Сегодня хотим поговорить про статью, в которой была собрана аналитика по поводу частых проблем, с которыми сталкивается специалист #BI.

В ней представлены результаты исследования, проведённого в августе #2018 года. Была надежда, что, выявив текущие проблемы, можно найти и способы их устранения.

Опрос был отправлен случайным лицам в LinkedIn с заголовками, которые включают BI. Всего было собрано 93 ответа, некоторые из них оказались неполными и были удалены из анализа. Общее количество полных ответов составило 58.

Результаты опроса представлены ниже, конечно же, в форме графиков.

​​Big Data личности в LinkedIn

Рекомендуем вам обратить внимание на #LinkedIn. Это не только инструмент поиска полезных контактов, но и отличная площадка для 🎓 и поддержания актуальной ленты новостей, особенно профильных. Рекомендуем рассмотреть этих специалистов, чтобы подписаться на них и просматривать их посты.

Bernard Marr - один из самых успешных авторов книг о Big Data, консультант, публикуется в Forbes, Data Science Central, Smart Data Collective.

DJ Patil - в прошлом аналитик данных Белого Дома, сейчас аналитик LinkedIn.

Dennis R. Mortensen - основатель компаний Visual Revenue, evonax и Canvas Interactive.

Christian Chabot - основатель Tableau, автор технологии VizQL

Jules Polonetsky - в прошлом глава безопасности данных AOL. Специалист в областях онлайн-использование данных, цифровой безопасности, мобильных данных.

Carla Gentry - менеджер из маркетинга компании Samtec. На своей странице делится своим опытом (более 20 лет) в сфере аналитики в сфере маркетинга.

​​8 шуток о аналитиках

В этот пятничный вечер хочу поделиться с вами шутками о нас, аналитиках.

1️⃣ Аналитики делятся на два типа:
1. Те, кто умеет экстраполировать неполные данные.

2️⃣ Аналитик тратит 80% времени на подготовку данных и 20% времени жалуется на то, что данные надо подготовить.

3️⃣ В мире есть 10 типа людей: те, кто понимает двоичный код и те, кто нет.

4️⃣ Упрямый шеф - это тот, у ктотрого стандартное отклонение равно нулю.

5️⃣ Две случайные переменные разговаривали в баре. Они думали что были дискретными, но лепет их был непрерывным.

6️⃣ Как случайная переменная попала в клуб? Показав липовый i.i.d.

7️⃣ Физик, математик и аналитик пошли на охоту. Они заметили оленя и прецелились. Физик стреляет и промахивается на 10 метров вправо. Стреляет Математик и промахивается на 10 метров влево. Аналитик бросает оружие с криками "прямо в точку, ребята!".

8️⃣ Почему курица перешла дорогу? Настолько простой вопрос не требует ответа и оставлен для того, чтобы бизнесс-заказчик сам сделал вывод.

Надеюсь, вы немного 🤣 . Удачного вечера пятницы и приятных выходных!

​​Big Data – всё только начинается

Сейчас большинство крупных 🏢 уже признают необходимость аналитики больших объемов данных, но большинство из них еще не реализовали технологии #BigData в полной мере. По исследованиям Snowflake, MicroStrategy, Wipro и Harvard Business Review Analytic Services. Исследование показало, что во многих компаниях все решения принимаются не на базе данных. Более того, компаниям сложно предоставить полезную аналитику, ту, которая приведет к полезным решениям.

В опросе приняли участие около 730 руководителей крупного бизнеса. Некоторые основные пункты.

▪️ большинство компаний предоставляют стандартные отчеты, а не доступ к данным и инструмент исследования данных
▪️ компании до сих пор не используют встроенную аналитику (#embedded #analytics)
▪️ только треть респондентов признали, что эффективно используют свои данные
▪️ столько же признало, что не построили эффективную инфраструктуру под аналитику
▪️ основные барьеры по мнению респондентов: отсутствие сплоченного коллектива, сила привычки к традиционному подходу, отсутствие необходимых навыков, сопротивление переменам.

​​5 причин, почему BI важен для IoT

В сегодняшнем, ориентированном на потребителя, цифровом мире, многие владельцы бизнеса и менеджеры подвергаются бомбардировке данными. Компании ищут способы получить больший контроль, понимание своих данных. Особенно это актуально для большого количества машинных данных от интернета вещей, или #IoT. Именно в этом контексте #BI позволяет превратить этот «чемодан без ручки» в прибыльный актив.

Наличие визуализации данных интернета вещей позволяет:

1️⃣ Принимать производственные (и не только) решения на базе датчиков со станков и прочих активов, в том числе и мониторинг технического состояния актива.
2️⃣ Более эффективно прогнозировать отгрузки и коррелировать продажи в живом времени, применяя информацию о выработке и простоях.
3️⃣ Повышение производительности, как актива, так и цеха в целом путем балансировки нагрузки на активы.
4️⃣ Прогнозирование нагрузки на производство и балансировка активов в будущих периодах.
5️⃣ Постоянный мониторинг метрик позволяет уничтожить «левое» производство в цеху.

Преимущества бизнес-аналитики в реальном 🕓 многочисленны, осязаемы и очевидны, что позволяет предприятиям принимать более быстрые и разумные решения. Например, отправлять уведомления клиентам в течение нескольких минут после поломки оборудования или адаптация планов производства на 2-3 месяца вперед с учетом всплесков рынка.

​​Red Hat запустит open source решение для управления данными

Red Hat объявила о своем намерении предоставлять услуги передачи данных в гибридных облачных вычислительных средах, приобретя NooBaa, поставщика программного обеспечения для управления данными (#DataManagement) .

Ranga Rangachari, вице-президент и генеральный менеджер по инфраструктуре хранения Red Hat, говорит, что, хотя #RedHat уже много лет предоставляет программное обеспечение для хранилищ данных, приобретение NooBaa знаменует переход в сферу управления данными.

«Теперь мы сможем переносить и копировать данные», - говорит Рангачари.

Рангачари говорит, что в рамках этой стратегии Red Hat сделает программное обеспечение для управления данными NooBaa доступным по лицензии с открытым исходным кодом.

Степень, в которой Red Hat сможет использовать NooBaa в качестве проекта с открытым исходным кодом, ориентированного на управление данными, еще неизвестна. Фактически, IBM, которая планирует приобрести Red Hat в следующем году, вместе с множеством других поставщиков, предлагают собственные решения по управлению данными. #IBM пообещала позволить Red Hat разработать свою стратегию в качестве независимой организации.

​​Пищевая цепочка анализа данных

В информационную эру данные становятся таким же ценным ресурсом, как нефть.

Визуализация помогает понять и проанализировать сложные данные, а современные технологии дали новый формат коммуникации – информационные панели (#дэшборды).

Кто в реальности пользуется дашбордами, помогают ли они увеличить прибыль компании?

Cуществует 🖐🏻 уровней и сотрудников, перед которыми стоят различные задачи.

1️⃣ Исполнители
2️⃣ Аналитики
3️⃣ Руководители
4️⃣ Топ-менеджеры
5️⃣ Собственники

Если сопоставить эту «пищевую цепь» принятия решений с объемами информации, которая проходит через людей, то получится такая картина: чем больше важных решений принимает человек, тем меньше данных он способен анализировать. Это глобальное нарушение симметрии между теми, кто имеет доступ к данным, и теми, кто имеет право действовать.

​​Кейс #BigData в #Retail

Как обеспечить рост повторных покупок и снизить стоимость удержания постоянных клиентов❓ На этот вопрос в авторской колонке отвечает Алексей Шиховец, эксперт курса Нетологии «Big Data: основы работы с большими массивами данных»

Описание проблемы.

Нужно было понять интересы аудитории каждого бренда, чтобы персонализировать email-рассылки, обеспечить рост повторных покупок и снизить стоимость удержания постоянных клиентов.

Какие данные собирали❓

Источники: Magento и Shopify, обратная связи и статистика по 📧 рассылкам.
Собиралась информация о покупках, составе корзины, среднем чеке, времени заказов, частоте покупки того или иного товара у постоянных клиентов.

Ожидаемый итог - максимально персонализированный подход и наиболее оптимальные каналы для коммуникаций, время, частоту, товар или группу товаров для рекомендации по правильной цене.

Информация о предыдущих покупках, а также отклике на коммуникации позволяет определить: оптимальный размер скидки, время жизни клиента и его общую ценность (LTV), вероятность повторных 💵 .

Схема реализации и архитектура платформы описана блок-схемой ниже, в форме изображения.

Результаты:

На примере трех интернет-магазинов с ассортиментом более 500 товаров были обработаны данные 100 тысяч потребителей, включая данные об активностях в email-рассылках, на сайте и в онлайн-рекламе.

Запускт от 40 до 100 полностью автоматизированных рекламных кампаний для каждого бренда ❕

Удалось поднять повторные продажи примерно в три раза, при этом open rate писем увеличился в среднем на 70%, а конверсия из получивших письмо выросла на 83%.

​​Ошибки в данных и #визуализация

Известные примеры, такие как «квартет Энскомба» , подчеркивают, что визуализация позволяет людям обнаруживать паттерны в данных, которые в противном случае могли бы быть не обнаружены в сводной статистике. Такое визуальное восприятие особенно важно при анализе данных, где аналитики могут использовать #визуализации (такие как гистограммы) для выявления проблем с качеством данных.

Тем не менее, эти визуализации имеют параметры (например размер ячейки гистограммы или непрозрачность меток) которые оказывают большое влияние на окончательный внешний вид диаграммы, но редко несут в себе цель выделить ❕ свойства исследуемых наборов данных.

В научной работе Michael Correll, Mingwei Li, Gordon Kindlmann и Carlos Scheidegger, сотбрудников #Tableau описан тот факт, что недостатки данных по-разному влияют на особенности визуализаций, и что некритическая установка параметров проектирования визуализаций может скрывать визуальные сигнатуры этих недостатков.

В результате выявлено, что простые визуализации, которые предназначены для быстрого подтверждения того, что конкретный размер набора данных относительно свободен от недостатков –лучший способ выявления ошибок. Рекомендуется проводить 🕙регулярные краткие проверки на целостность данных. Аналитику не рекомендуется взаимодействовать или иным образом изменять дизайн этих предварительных визуализаций, поскольку широкий класс визуализаций, которые, по-видимому, достоверно суммируют данные, но затрудняют обнаружение недостатков в них.