Big Sound вместо Big Data?
Группа исследователей в Virginia Tech считают, что если преобразовать Big Data в звук, то люди смогут интуитивно определять отклонения. Гипотеза состоит в том, что обнаружить их в пространстве проще, чем на 2D-изображении.
Для проверки этой теории были отобраны данные о верхних слоях атмосферы, конвертированные с помощью технологии 3D-звука и выведенные на 129 динамиков.
Детальнее: https://www.networkworld.com/article/3265456/big-data-business-intelligence/to-understand-big-data-convert-it-to-sound.html
Группа исследователей в Virginia Tech считают, что если преобразовать Big Data в звук, то люди смогут интуитивно определять отклонения. Гипотеза состоит в том, что обнаружить их в пространстве проще, чем на 2D-изображении.
Для проверки этой теории были отобраны данные о верхних слоях атмосферы, конвертированные с помощью технологии 3D-звука и выведенные на 129 динамиков.
Детальнее: https://www.networkworld.com/article/3265456/big-data-business-intelligence/to-understand-big-data-convert-it-to-sound.html
Network World
To understand big data, convert it to sound
The sonification of big data will help people better understand and analyze big data, as well as detect anomalies in the data, say researchers at Virginia Tech.
9 способов увеличить прибыль с помощью BI-инструментов:
1. Предоставлять актуальные BI-отчёты для клиентов.
2. Вовлечь неструктурированные данные в анализ.
3. Увеличить эффективность кадров.
4. Уменьшить время на обработку отчётов сотрудниками.
5. Улучшить работу с клиентами, выявив негативные отзывы на ранних этапах.
6. Спрогнозировать новые каналы притока оборота.
7. Автоматизировать прогнозирование и бюджетирование.
8. Встроить BI-аналитику на сайт, портал или мобильное приложение.
9. Переместить акцент со сбора данных на их анализ.
Подробно: https://www.cio.com/article/3254646/business-intelligence/9-ways-to-get-more-value-from-business-intelligence.html
1. Предоставлять актуальные BI-отчёты для клиентов.
2. Вовлечь неструктурированные данные в анализ.
3. Увеличить эффективность кадров.
4. Уменьшить время на обработку отчётов сотрудниками.
5. Улучшить работу с клиентами, выявив негативные отзывы на ранних этапах.
6. Спрогнозировать новые каналы притока оборота.
7. Автоматизировать прогнозирование и бюджетирование.
8. Встроить BI-аналитику на сайт, портал или мобильное приложение.
9. Переместить акцент со сбора данных на их анализ.
Подробно: https://www.cio.com/article/3254646/business-intelligence/9-ways-to-get-more-value-from-business-intelligence.html
CIO
9 ways to get more value from business intelligence in 2018
Improved customer relations, increased employee productivity, new revenue streams — big benefits await those who breathe new life into their business intelligence strategies.
Лямбда и Каппа: два типа архитектур для обработки Big Data.
Многие из вас (если не все) сталкивались с ситуацией, когда системы обработки данных начинают не справляться с их потоком. Нервы напрягаются, стулья шатаются, головы летят.
Этого можно избежать, если сделать выбор в пользу Лямбды или Каппы и начать готовиться до того, как наступит кризис.
Если кратко, архитектура типа Лямбда состоит из:
1. Пакетоного слоя.
2. Потокового слоя
3. Слоя обслуживания.
+ стабильно и корректно работает с историческими данными
+ хороший баланс скорости и стабильности
+ легко масштабируема
- возможно, нужно будет кодить
- «ест» много ресурсов
- повторная обработка пакетов не всегда оптимальна
- результирующие данные сложно мигрировать или трансформировать
С другой стороны, Каппа не использует пакетный слой и сразу вводит данные в потоковый. Отсутствие пакетного слоя грозит меньшей стабильностью, но приносит дополнительную выгоду:
+ возможность построение real time систем
+ повторная обработка нужна только при изменении кода
+ требуется меньше ресурсов
Подробнее о Лямбда и Каппа: https://towardsdatascience.com/a-brief-introduction-to-two-data-processing-architectures-lambda-and-kappa-for-big-data-4f35c28005bb
Многие из вас (если не все) сталкивались с ситуацией, когда системы обработки данных начинают не справляться с их потоком. Нервы напрягаются, стулья шатаются, головы летят.
Этого можно избежать, если сделать выбор в пользу Лямбды или Каппы и начать готовиться до того, как наступит кризис.
Если кратко, архитектура типа Лямбда состоит из:
1. Пакетоного слоя.
2. Потокового слоя
3. Слоя обслуживания.
+ стабильно и корректно работает с историческими данными
+ хороший баланс скорости и стабильности
+ легко масштабируема
- возможно, нужно будет кодить
- «ест» много ресурсов
- повторная обработка пакетов не всегда оптимальна
- результирующие данные сложно мигрировать или трансформировать
С другой стороны, Каппа не использует пакетный слой и сразу вводит данные в потоковый. Отсутствие пакетного слоя грозит меньшей стабильностью, но приносит дополнительную выгоду:
+ возможность построение real time систем
+ повторная обработка нужна только при изменении кода
+ требуется меньше ресурсов
Подробнее о Лямбда и Каппа: https://towardsdatascience.com/a-brief-introduction-to-two-data-processing-architectures-lambda-and-kappa-for-big-data-4f35c28005bb
Medium
A brief introduction to two data processing architectures — Lambda and Kappa for Big Data
Big Data, Internet of things (IoT), Machine learning models and various other modern systems are becoming an inevitable reality today…
Распространённые типы дэшбордов
BI-аналитики часто задаются вопросом: какой дэшборд построить? Как этот конкретный набор данных стоит представить визуально?
Чтобы ответить на него, следует определить два фактора: для кого составляется дэшборд и что он показывает.
А потом уже выбрать один из трёх типов.
1. Стратегический дэшборд
Отображает основные (ключевые) показатели. Отчёт для собственников, которым не нужны детали. Навигационная карта капитана корабля, по ней сверяется курс компании.
2. Аналитический дэшборд
Тот случай, когда вы копали-копали и нашли таки тот самый золотой инсайт. И теперь надо его донести, презентовать и обьяснить коллегам и руководителю. Выделить самое важное. Обычно это самые «нагруженные» дэшборды.
3. Операционный дэшборд
Тут всё просто. Представьте месячный или квартальный отчёт в Excel, который составляют все. Представили? А теперь он же, но интерактивный и обновляется автоматически. Это и есть операционный дэшборд.
Детальнее:
https://blog.canworksmart.com/three-types-of-dashboards
https://www.bidashboard.org/types.html
https://www.techadvisory.org/2015/08/three-types-of-business-dashboards/
BI-аналитики часто задаются вопросом: какой дэшборд построить? Как этот конкретный набор данных стоит представить визуально?
Чтобы ответить на него, следует определить два фактора: для кого составляется дэшборд и что он показывает.
А потом уже выбрать один из трёх типов.
1. Стратегический дэшборд
Отображает основные (ключевые) показатели. Отчёт для собственников, которым не нужны детали. Навигационная карта капитана корабля, по ней сверяется курс компании.
2. Аналитический дэшборд
Тот случай, когда вы копали-копали и нашли таки тот самый золотой инсайт. И теперь надо его донести, презентовать и обьяснить коллегам и руководителю. Выделить самое важное. Обычно это самые «нагруженные» дэшборды.
3. Операционный дэшборд
Тут всё просто. Представьте месячный или квартальный отчёт в Excel, который составляют все. Представили? А теперь он же, но интерактивный и обновляется автоматически. Это и есть операционный дэшборд.
Детальнее:
https://blog.canworksmart.com/three-types-of-dashboards
https://www.bidashboard.org/types.html
https://www.techadvisory.org/2015/08/three-types-of-business-dashboards/
Canworksmart
Three Types of Dashboards
The three types of dashboards are strategic, analytical, operational dashboard. Each type provides essential information for their purpose.
"Грязные" данные и как с ними бороться
Любой аналитик сталкивается в работе с "грязными" - не приведёнными к единому формату - данными. На их очистку может уходить больше времени, чем на сам анализ.
Как показала практика и исследования Experian, человеческий фактор - основная причина появления таких данных. На втором месте - разрозненные источники, мешающие их скомпилировать и проанализировать. Завершают список естественные динамические изменения при работе с информацией.
Основные методы решения:
▫️ стандартизация работы с данными в компании
▫️ постановка "правильных" бизнес-процессов
▫️ доверие аналитику
Подробнее в статье: goo.gl/rh18Fq
Любой аналитик сталкивается в работе с "грязными" - не приведёнными к единому формату - данными. На их очистку может уходить больше времени, чем на сам анализ.
Как показала практика и исследования Experian, человеческий фактор - основная причина появления таких данных. На втором месте - разрозненные источники, мешающие их скомпилировать и проанализировать. Завершают список естественные динамические изменения при работе с информацией.
Основные методы решения:
▫️ стандартизация работы с данными в компании
▫️ постановка "правильных" бизнес-процессов
▫️ доверие аналитику
Подробнее в статье: goo.gl/rh18Fq
corewin.com.ua
"Грязные" данные: причины и методы решений | CoreWin
Как показала практика, процесс подготовки данных – основная часть работы. Обнаружение ошибок, преобразование структуры и очистка. Про ETL-системы и взаимодействие аналитиков.
Доброе утро. Сегодня мы проведём небольшой опрос, проанализируем читательский состав :) @vote
BI & Big Data via @vote
Как вы оцениваете свой уровень знания темы BI & BigData?
anonymous poll
Средний уровень (сталкивался в работе) – 17
👍👍👍👍👍👍👍 40%
Новичок (понимаю разницу между BI и BigData) – 14
👍👍👍👍👍👍 33%
Не знаком с темой – 11
👍👍👍👍👍 26%
Профи (могу вести этот канал лучше вас)
▫️ 0%
👥 42 people voted so far.
anonymous poll
Средний уровень (сталкивался в работе) – 17
👍👍👍👍👍👍👍 40%
Новичок (понимаю разницу между BI и BigData) – 14
👍👍👍👍👍👍 33%
Не знаком с темой – 11
👍👍👍👍👍 26%
Профи (могу вести этот канал лучше вас)
▫️ 0%
👥 42 people voted so far.
BI & Big Data via @like
BI может оставить принцип Парето в прошлом
...во всяком случае, в продажах.
Известно, что 20% клиентов приносят 80% оборота. И в эти 20% обычно попадает "крупная рыба". Но современные BI-системы эффективно обрабатывают не только Big, но и "Small" Data. Следовательно, компании могут обращать внимание на клиентов, которые генерируют меньшие объёмы продаж.
Michael Immenschuh, менеджер по формированию ценовой политики Hewlett-Packard, говорит: "Мы сконцентрировались на 1000 самых крупных клиентов, но ведь число клиентов HP исчисляется миллионами, а о них мы не знали почти ничего".
Именно поэтому BI уже сейчас менят ценовые и маркетинговые политики лидеров рынка. И, возможно, правило 80/20 останется в прошлом.
Подробнее: goo.gl/YnVin5
...во всяком случае, в продажах.
Известно, что 20% клиентов приносят 80% оборота. И в эти 20% обычно попадает "крупная рыба". Но современные BI-системы эффективно обрабатывают не только Big, но и "Small" Data. Следовательно, компании могут обращать внимание на клиентов, которые генерируют меньшие объёмы продаж.
Michael Immenschuh, менеджер по формированию ценовой политики Hewlett-Packard, говорит: "Мы сконцентрировались на 1000 самых крупных клиентов, но ведь число клиентов HP исчисляется миллионами, а о них мы не знали почти ничего".
Именно поэтому BI уже сейчас менят ценовые и маркетинговые политики лидеров рынка. И, возможно, правило 80/20 останется в прошлом.
Подробнее: goo.gl/YnVin5
Cloud Data Integration Software | Matillion
The death of the 80-20 rule: The future of business intelligence - Cloud Data Integration Software | Matillion
As managers, we all know—and live by—the so-called ‘80-20' rule. 20% of the customers generate 80% of the revenues. 20% of the products contribute 80% of the profit. And so on. But is the future of business intelligence going to change how we view that rule?…
Телеком-операторы не справляются с Big Data
В Украине только-только внедрили 4G, а мировые провайдеры уже поняли, что не готовы к 5G. Точнее, к тому потоку данных, который идёт через их сети.
Операторы предлагают всё больше услуг, борясь с конкурентами, но и их инфраструктура требует всё больших вливаний. Растёт объём потребляемых данных, но выручка с каждого бита падает.
Чтобы поддержать мобильный трафик, который будет расти в геометрической прогрессии благодаря 5G и IoT, потребуется от $130 млрд до 150 млрд инвестиций. И дабы не оказаться через пару лет в «минусе», провайдерам нужно сконцентрироваться на своей способности обрабатывать и анализировать данные.
Источник: goo.gl/QNkWVe
В Украине только-только внедрили 4G, а мировые провайдеры уже поняли, что не готовы к 5G. Точнее, к тому потоку данных, который идёт через их сети.
Операторы предлагают всё больше услуг, борясь с конкурентами, но и их инфраструктура требует всё больших вливаний. Растёт объём потребляемых данных, но выручка с каждого бита падает.
Чтобы поддержать мобильный трафик, который будет расти в геометрической прогрессии благодаря 5G и IoT, потребуется от $130 млрд до 150 млрд инвестиций. И дабы не оказаться через пару лет в «минусе», провайдерам нужно сконцентрироваться на своей способности обрабатывать и анализировать данные.
Источник: goo.gl/QNkWVe
insideBIGDATA
Telecoms Unprepared for Big Data Evolution
The next stage of the big data revolution, coupled with the rollout of fifth-generation mobile technology, should present a golden opportunity to the telecommunications sector. The question is [...]
5 недостатков BI, или как лгут цифры.
Да, цифры лгут. Равно как и аналитика. Но как?
1. Усечённый график.
Измените точку отсчёта - изменятся пропорции.
2. Преувеличенное масштабирование.
Увеличив масштаб графика, легко спрятать "неугодные" периоды.
3. Использование только части данных.
Пытайтесь не обрезать, а агрегировать.
4. «Дикий» словарь.
Используйте принятые выражения и отображения. Отойдя от словаря, вы только запутаете потребителя.
5. Бермудский круг.
Сумма секторов круговой диаграммы должна равняться 100%.
——————————
Так что будьте внимательны. Не лгите в своих отчётах, даже неумышленно. И всегда внимательно читайте отчёты, которые направляют вам. Возможно, в них есть ошибка.
Детальнее: bit.ly/2LDokYp
Да, цифры лгут. Равно как и аналитика. Но как?
1. Усечённый график.
Измените точку отсчёта - изменятся пропорции.
2. Преувеличенное масштабирование.
Увеличив масштаб графика, легко спрятать "неугодные" периоды.
3. Использование только части данных.
Пытайтесь не обрезать, а агрегировать.
4. «Дикий» словарь.
Используйте принятые выражения и отображения. Отойдя от словаря, вы только запутаете потребителя.
5. Бермудский круг.
Сумма секторов круговой диаграммы должна равняться 100%.
——————————
Так что будьте внимательны. Не лгите в своих отчётах, даже неумышленно. И всегда внимательно читайте отчёты, которые направляют вам. Возможно, в них есть ошибка.
Детальнее: bit.ly/2LDokYp
business.com
Five Common Downfalls of Data Visualizations
Misleading visuals lead to misinformation and, ultimately,mistrust. Avoid these five common mistakes when creating charts and other visualizations.
Озеро данных (Data Lake)
Один из подходов к сбору данных называется озеро данных (data lake). Это, по сути, альтернатива складу данных (data warehouse). Суть в том, чтобы собирать как можно больше данных на одной платформе, не сильно переживая за их структуру.
Есть и минусы.
Во-первых, для обработки данных из разных источников потребуется ETL.
Во-вторых, такие озёра, как правило, организовывают подрядчики, да и часть данных принадлежит не вам (например, данные из социальных сетей).
С другой стороны, только с помощью озера можно как-то обработать неструктурированные данные. В среднем, наличие озера повышает рентабельность на 9%.
Что же делать? Как вариант - обзавестись и складом, и озером. Схема "источники > озеро > ETL > склад" сегодня выглядит одной из самых жизнеспособных.
Один из подходов к сбору данных называется озеро данных (data lake). Это, по сути, альтернатива складу данных (data warehouse). Суть в том, чтобы собирать как можно больше данных на одной платформе, не сильно переживая за их структуру.
Есть и минусы.
Во-первых, для обработки данных из разных источников потребуется ETL.
Во-вторых, такие озёра, как правило, организовывают подрядчики, да и часть данных принадлежит не вам (например, данные из социальных сетей).
С другой стороны, только с помощью озера можно как-то обработать неструктурированные данные. В среднем, наличие озера повышает рентабельность на 9%.
Что же делать? Как вариант - обзавестись и складом, и озером. Схема "источники > озеро > ETL > склад" сегодня выглядит одной из самых жизнеспособных.
История BigData
Иногда, чтобы понять настоящее, необходимо хорошенько взглянуть на прошлое. Поэтому сегодня мы обратимся к истории BI.
Впервые этот термин был упомянут в 1865 году и касался ценности информации как актива. Но в современном понимании BI появился в 1958-м, когда исследователь IBM
Иногда, чтобы понять настоящее, необходимо хорошенько взглянуть на прошлое. Поэтому сегодня мы обратимся к истории BI.
Впервые этот термин был упомянут в 1865 году и касался ценности информации как актива. Но в современном понимании BI появился в 1958-м, когда исследователь IBM
В 1970-м SAP запустил продукт аналитики для розничной торговли, в это же время Nielsen предложил Data Marts – ПО, которое предоставляло схожую аналитику.
В 70-80-х годах развитие получили Data Warehouses. Отцами этого похода называют Bill Inmon и Ralph Kimball.
В 70-80-х годах развитие получили Data Warehouses. Отцами этого похода называют Bill Inmon и Ralph Kimball.
Ключевым же моментом стала конференция The Multiway Data Analysis Consortium (Рим, 1988 год). В ходе конференции стало ясно, что BI должен стать проще в использовании и ближе к бизнес-пользователю.
В начале 2000-х благодаря активности разработчиков появился первый drag'n'drop интерфейс. Чуть позже BI начал перемещаться в облако и обрёл веб-интерфейс.
Из последних достижений стоит отметить появление мобильных приложений и возможность использовать внешнее ПО прямо в дэшборде.
В начале 2000-х благодаря активности разработчиков появился первый drag'n'drop интерфейс. Чуть позже BI начал перемещаться в облако и обрёл веб-интерфейс.
Из последних достижений стоит отметить появление мобильных приложений и возможность использовать внешнее ПО прямо в дэшборде.
Культура данных (Data Literacy)
Всё больше компаний задумываются над тем, насколько грамотно их персонал умеет работать с данными. Это не только повышает квалификацию сотрудников, но и позволяет сократить расходы на управление данными.
В данном контексте под грамотностью подразумевается возможность извлекать из данных релевантную информацию; читать, понимать и относиться к ним как к информации.
Первым шагом к увеличению такой грамотности является подготовка культуры компании к обучению персонала. Для этого следует обеспечить:
▪️обучение высшего руководящего звена
▪️вовлечение сотрудников на примере руководства
▪️широкий доступ к данным для всех сотрудников
▪️наличие платформы для безопасного доступа к данным
▪️воспитание критичного мышления к результатам анализа
В прошлом году мировой объём инвестиций в Big Data составил $150 миллиардов, и, конечно, вопрос их эффективности имеет большое значение. Повышение грамотности персонала как раз призвано её увеличить.
Всё больше компаний задумываются над тем, насколько грамотно их персонал умеет работать с данными. Это не только повышает квалификацию сотрудников, но и позволяет сократить расходы на управление данными.
В данном контексте под грамотностью подразумевается возможность извлекать из данных релевантную информацию; читать, понимать и относиться к ним как к информации.
Первым шагом к увеличению такой грамотности является подготовка культуры компании к обучению персонала. Для этого следует обеспечить:
▪️обучение высшего руководящего звена
▪️вовлечение сотрудников на примере руководства
▪️широкий доступ к данным для всех сотрудников
▪️наличие платформы для безопасного доступа к данным
▪️воспитание критичного мышления к результатам анализа
В прошлом году мировой объём инвестиций в Big Data составил $150 миллиардов, и, конечно, вопрос их эффективности имеет большое значение. Повышение грамотности персонала как раз призвано её увеличить.
Аналитика и аналитик
Система анализа строится не только на сборе данных и работе с ними, не только на инструментах анализа, но и на людях, которые и несут в себе основную добавочную стоимость.
Как же распознать современного аналитика?
▫️Он выявляет слабые стороны и предлагает методы их устранения.
▫️Он определяет рыночные тенденции и конкурентное положение компании.
▫️Он считает эффективность корпоративных расходов.
Современному аналитику недостаточно знать статистику или экономический анализ. Необходим опыт работы в IT, знание BI и SQL.
Современный аналитик - это дорогостоящий актив, который приносит максимальную прибыль, находясь в эффективных условиях.
Чтобы понять, насколько ваша компания готова к BI, рекомендуем пройти краткий тест от компании Tableau - лидеров BI-рынка.
Система анализа строится не только на сборе данных и работе с ними, не только на инструментах анализа, но и на людях, которые и несут в себе основную добавочную стоимость.
Как же распознать современного аналитика?
▫️Он выявляет слабые стороны и предлагает методы их устранения.
▫️Он определяет рыночные тенденции и конкурентное положение компании.
▫️Он считает эффективность корпоративных расходов.
Современному аналитику недостаточно знать статистику или экономический анализ. Необходим опыт работы в IT, знание BI и SQL.
Современный аналитик - это дорогостоящий актив, который приносит максимальную прибыль, находясь в эффективных условиях.
Чтобы понять, насколько ваша компания готова к BI, рекомендуем пройти краткий тест от компании Tableau - лидеров BI-рынка.
Как Big Data меняет игровую индустрию
Для начала капля статистики:
🔸ежедневно 2 млрд игроков генерируют 50 ТБ данных
🔸игры в соц.сетях добавляют ещё 150 ГБ данных в день
🔸за 1 типичный месяц Electonic Atrs хостит 2,5 млрд игровых сессий, а это 50 млрд игровых минут
Где-то там кроются ценнейшие схемы поведения, причины продолжить игру и отказаться от неё, недовольство геймплеем и восхищением им. Поэтому Big Data можно смело использовать для улучшения:
1) дизайна – Starcraft и Zynga уже анализируют поведение пользователей перед выпуском обновлений
2) персонализированной рекламы – чтобы не раздражать, а привлекать
3) Freemium’а
Freemium – условно-бесплатные игры – самый лакомый кусок пирога. Big Data позволяет отследить поведение новичка, узнать, на каком моменте он прекращает играть, что именно мотивирует его покупать встроенные товары и повысить конверсию бесплатных аккаунтов в платные.
Для начала капля статистики:
🔸ежедневно 2 млрд игроков генерируют 50 ТБ данных
🔸игры в соц.сетях добавляют ещё 150 ГБ данных в день
🔸за 1 типичный месяц Electonic Atrs хостит 2,5 млрд игровых сессий, а это 50 млрд игровых минут
Где-то там кроются ценнейшие схемы поведения, причины продолжить игру и отказаться от неё, недовольство геймплеем и восхищением им. Поэтому Big Data можно смело использовать для улучшения:
1) дизайна – Starcraft и Zynga уже анализируют поведение пользователей перед выпуском обновлений
2) персонализированной рекламы – чтобы не раздражать, а привлекать
3) Freemium’а
Freemium – условно-бесплатные игры – самый лакомый кусок пирога. Big Data позволяет отследить поведение новичка, узнать, на каком моменте он прекращает играть, что именно мотивирует его покупать встроенные товары и повысить конверсию бесплатных аккаунтов в платные.
Big Data: мифы и факты
Big Data, как и любая отрасль знаний, пропитана большим количеством мифов.
1. Big Data вездесущ. По статистике Gartner, около 73% компаний так или иначе смотрят в сторону Big Data, но только 13% внедрили реальные решения.
2. Big Data - это большие объёмы данных. Утверждение верно только частично. На самом деле, Big Data формируют 5 составляющих: объём данных, скорость получения новых данных, разнообразие типов данных, ценность данных, достоверность данных.
3. С помощью Big Data можно спрогнозировать всё. Это невозможно в принципе.
4. Big Data - это дорого и только для крупных игроков. Реально же многие продукты подходят и для маленьких фирм.
5. Big Data заменят Data Warehouse. Нет, эти инструменты решают разные задачи.
6. Big Data не нуждается в интеграции. Всё зависит от проекта, иногда как раз наоборот.
7. Все данные ценны. Это не так, в ваших хранилищах, скорее всего, полно "мусора".
8. Big Data только для аналитиков. Благодаря современными технологиям и бизнес-пользователи могут изучать большие массивы данных.
9. Hadoop заменит in-memory. Нет, эти инструменты, как правило, используют вместе.
Big Data, как и любая отрасль знаний, пропитана большим количеством мифов.
1. Big Data вездесущ. По статистике Gartner, около 73% компаний так или иначе смотрят в сторону Big Data, но только 13% внедрили реальные решения.
2. Big Data - это большие объёмы данных. Утверждение верно только частично. На самом деле, Big Data формируют 5 составляющих: объём данных, скорость получения новых данных, разнообразие типов данных, ценность данных, достоверность данных.
3. С помощью Big Data можно спрогнозировать всё. Это невозможно в принципе.
4. Big Data - это дорого и только для крупных игроков. Реально же многие продукты подходят и для маленьких фирм.
5. Big Data заменят Data Warehouse. Нет, эти инструменты решают разные задачи.
6. Big Data не нуждается в интеграции. Всё зависит от проекта, иногда как раз наоборот.
7. Все данные ценны. Это не так, в ваших хранилищах, скорее всего, полно "мусора".
8. Big Data только для аналитиков. Благодаря современными технологиям и бизнес-пользователи могут изучать большие массивы данных.
9. Hadoop заменит in-memory. Нет, эти инструменты, как правило, используют вместе.
Изживут ли себя централизованные базы данных?
API-технология стала надёжным инструментом для интеграции IT-систем. Она же может существенно облегчить жизнь при работе c Big Data. Из очевидных плюсов:
- API позволяет сэкономить: не нужны хранилища данных и дата-инженеры
- данные поступают в режиме реального времени, т.е. анализ становится более точечным
Но внедрить такой подход непросто. У данных должна быть аннотация или маркер, по которому аналитик их корректно распознает. Да и организовать доступ (например, через шлюз) к таким данным - задача не из простых.
Тем не менее, именно благодаря API мы стоим на пороге дата-революции и конца эры централизированных баз данных.
API-технология стала надёжным инструментом для интеграции IT-систем. Она же может существенно облегчить жизнь при работе c Big Data. Из очевидных плюсов:
- API позволяет сэкономить: не нужны хранилища данных и дата-инженеры
- данные поступают в режиме реального времени, т.е. анализ становится более точечным
Но внедрить такой подход непросто. У данных должна быть аннотация или маркер, по которому аналитик их корректно распознает. Да и организовать доступ (например, через шлюз) к таким данным - задача не из простых.
Тем не менее, именно благодаря API мы стоим на пороге дата-революции и конца эры централизированных баз данных.
