8 новых #BigData технологий #2018 года
Прошёл 2018 год, и я готов подвести итоги. Представляю 8 новых инструментов работы с большими данными, которые появились в минувшем году:
▫️Tableau Prep. Разработчик ПО аналитики Tableau Software стремится сократить время на подготовку данных. Tableau Prep облегчает задачи объединения, формирования и очистки данных для последующего анализа.
▫️Streaming Ledger (Data Artisans). Программное решение Streaming Ledger, предложенное компанией Data Artisans, даёт возможность обрабатывать сериализуемые ACID-транзакции, использующие потоковые данные.
▫️Magnitude Gateway. Платформа, которая обеспечивает мгновенный доступ к операционным и аналитическим данным, где бы они ни находились.
▫️Periscope Data Engine. Позволяет устранить самые трудные ETL-процессы (извлечения, преобразования и загрузки), помогая быстрее осуществить загрузку данных в информационные системы.
▫️Splunk Industrial Asset Intelligence. Splunk IAI нацелен на применение в сфере промышленного IoT, включая производственную, транспортную и нефтегазовую отрасли, а также энергетику и коммунальное хозяйство.
▫️SQream DB v3. Компания SQream выпустила новый релиз своего хранилища и базы данных SQream DB с GPU-ускорителями.
▫️Teradata Vantage. Vantage представляет собой платформу «всеобъемлющего анализа данных» и включает Teradata SQL Engine, ядром которого служит Teradata Database, которая может обрабатывать ряд задач ретроспективной (descriptive), прогнозной и предписывающей аналитики, требующих интегрированных данных.
▫️TimescaleDB. Это база данных временных рядов с открытым исходным кодом, способная обрабатывать громадные объёмы машинно-генерируемых данных.
Прошёл 2018 год, и я готов подвести итоги. Представляю 8 новых инструментов работы с большими данными, которые появились в минувшем году:
▫️Tableau Prep. Разработчик ПО аналитики Tableau Software стремится сократить время на подготовку данных. Tableau Prep облегчает задачи объединения, формирования и очистки данных для последующего анализа.
▫️Streaming Ledger (Data Artisans). Программное решение Streaming Ledger, предложенное компанией Data Artisans, даёт возможность обрабатывать сериализуемые ACID-транзакции, использующие потоковые данные.
▫️Magnitude Gateway. Платформа, которая обеспечивает мгновенный доступ к операционным и аналитическим данным, где бы они ни находились.
▫️Periscope Data Engine. Позволяет устранить самые трудные ETL-процессы (извлечения, преобразования и загрузки), помогая быстрее осуществить загрузку данных в информационные системы.
▫️Splunk Industrial Asset Intelligence. Splunk IAI нацелен на применение в сфере промышленного IoT, включая производственную, транспортную и нефтегазовую отрасли, а также энергетику и коммунальное хозяйство.
▫️SQream DB v3. Компания SQream выпустила новый релиз своего хранилища и базы данных SQream DB с GPU-ускорителями.
▫️Teradata Vantage. Vantage представляет собой платформу «всеобъемлющего анализа данных» и включает Teradata SQL Engine, ядром которого служит Teradata Database, которая может обрабатывать ряд задач ретроспективной (descriptive), прогнозной и предписывающей аналитики, требующих интегрированных данных.
▫️TimescaleDB. Это база данных временных рядов с открытым исходным кодом, способная обрабатывать громадные объёмы машинно-генерируемых данных.
Мемы о Big Data
Сегодня я решил поделиться своей коллекцией мемов про аналитику и большие данные.
Весёлого вторника 😜
Сегодня я решил поделиться своей коллекцией мемов про аналитику и большие данные.
Весёлого вторника 😜
Может ли Big Data спасти старые военные самолёты?
Для американских ВВС 2018 год оказался настоящим испытанием: аварийные посадки грузовых суден, потери пропеллера, снятие бомбардировщиков с эксплуатации.
Причина происходящего чаще всего одна и та же. Средний возраст самолёта в парке ВВС - 28 лет, а бомбардировщики B-52 и вовсе перешагнули 50-летний рубеж.
Will Roper, помощник секретаря ВВС по закупкам, технологиям и логистике, пытается изменить положение дел с помощью data mining и искусственного интеллекта. И он уже добился первых результатов.
AI сообщает о деталях, требующих замены, до того, как их состояние начнёт представлять угрозу. Более 100 алгоритмов работают для обеспечения безопаности С-5 и ещё 40 "экзаменуют" В-1. Каждый алгоритм интерпретирует информацию, генерируемую отдельными системами, например, температурными датчиками, колёсами и шасси.
Целью же является внедрение подобных технологий и для работы с новым парком машин. Roper надеется, что вместе с AI в ВВС США придёт ещё одна технология - 3D-печать.
Для американских ВВС 2018 год оказался настоящим испытанием: аварийные посадки грузовых суден, потери пропеллера, снятие бомбардировщиков с эксплуатации.
Причина происходящего чаще всего одна и та же. Средний возраст самолёта в парке ВВС - 28 лет, а бомбардировщики B-52 и вовсе перешагнули 50-летний рубеж.
Will Roper, помощник секретаря ВВС по закупкам, технологиям и логистике, пытается изменить положение дел с помощью data mining и искусственного интеллекта. И он уже добился первых результатов.
AI сообщает о деталях, требующих замены, до того, как их состояние начнёт представлять угрозу. Более 100 алгоритмов работают для обеспечения безопаности С-5 и ещё 40 "экзаменуют" В-1. Каждый алгоритм интерпретирует информацию, генерируемую отдельными системами, например, температурными датчиками, колёсами и шасси.
Целью же является внедрение подобных технологий и для работы с новым парком машин. Roper надеется, что вместе с AI в ВВС США придёт ещё одна технология - 3D-печать.
4 необычные альтернативы круговой диаграмме
Работая в области визуализации данных, вы слышите всевозможные мнения на счёт круговых диаграммах. Некоторым они действительно нравится. Некоторые считают, что их никогда не следует использовать. Математик Джон Тьюки считал, что для любого набора данных круговая диаграмма – не лучший способ визуализации. В отличие от Тьюки, теоретик дизайна Эдвард Туфте, сказал: «Единственный худший дизайн, чем круговая диаграмма, это несколько круговых диаграмм. Я не считаю, что круговые диаграммы никогда не следует использовать. Я просто думаю, что их следует использовать реже».
Опираясь на такой исторический базис и на мой опыт визуализации, хочу обратить внимание на несколько альтернатив круговой диаграмме.
1. Гантели
Одним из наиболее распространенных способов не весьма удачного использования круговых диаграмм, является использование многих из них вместе для отображения изменений во времени или по категориям. Если основная мысль, которую вы хотите донести своему зрителю, является вариацией, полезно знать, что люди действительно хороши в обнаружении и оценке расстояния между объектами. Диаграмма гантелей, также известная как диаграмма ДНК, является отличным способом показать изменения, используя визуальную длину.
Работая в области визуализации данных, вы слышите всевозможные мнения на счёт круговых диаграммах. Некоторым они действительно нравится. Некоторые считают, что их никогда не следует использовать. Математик Джон Тьюки считал, что для любого набора данных круговая диаграмма – не лучший способ визуализации. В отличие от Тьюки, теоретик дизайна Эдвард Туфте, сказал: «Единственный худший дизайн, чем круговая диаграмма, это несколько круговых диаграмм. Я не считаю, что круговые диаграммы никогда не следует использовать. Я просто думаю, что их следует использовать реже».
Опираясь на такой исторический базис и на мой опыт визуализации, хочу обратить внимание на несколько альтернатив круговой диаграмме.
1. Гантели
Одним из наиболее распространенных способов не весьма удачного использования круговых диаграмм, является использование многих из них вместе для отображения изменений во времени или по категориям. Если основная мысль, которую вы хотите донести своему зрителю, является вариацией, полезно знать, что люди действительно хороши в обнаружении и оценке расстояния между объектами. Диаграмма гантелей, также известная как диаграмма ДНК, является отличным способом показать изменения, используя визуальную длину.
Вот великолепный пример диаграммы гантелей, который отражает увеличение числа женщин в Палате представителей в разрезе партии (США).
2. Бамп-график
Дисперсия может быть не важна для вас. Может быть, вы хотите показать рейтинг среди категорий с течением времени. Тогда обратите внимание на специальную версию линейного графика, называемого бамп-графиком. Вот та же информация, что и в предыдущем примере, выраженная немного по-другому.
Дисперсия может быть не важна для вас. Может быть, вы хотите показать рейтинг среди категорий с течением времени. Тогда обратите внимание на специальную версию линейного графика, называемого бамп-графиком. Вот та же информация, что и в предыдущем примере, выраженная немного по-другому.
Вот пример эффективного бамп-графика, который показывает рейтинги популярности новых автомобильных цветов и то, как они изменились за 16 лет.
3. Treemap
Основным аргументом против круговой диаграммы является то, что люди плохо воспринимают различия между градусами углов. Treemap карты облегчают это, используя площадь вместо углов для обозначения пропорции. Используя те же данные, но данные в формате Treemap.
Основным аргументом против круговой диаграммы является то, что люди плохо воспринимают различия между градусами углов. Treemap карты облегчают это, используя площадь вместо углов для обозначения пропорции. Используя те же данные, но данные в формате Treemap.
4. Вафельница
Вафельница - это действительно забавная диаграмма и, вероятно, моя любимая альтернатива круговым диаграммам, и не только потому, что она названа в честь еды. Она обычно состоит из 100 квадратов, представляющих целое, её можно заштриховать или заполнить на основе отношения нескольких частей к целому, как круговую диаграмму, - но она также хорош для отображения одного процента. Ключевым плюсом является её разнообразие. Она может показывать отдельные части целого и сравнивать отдельные проценты, но еще одно преимущество, аналогичное treemap, заключается в том, что пропорции более четко представлены областью, а не углами.
Вафельница - это действительно забавная диаграмма и, вероятно, моя любимая альтернатива круговым диаграммам, и не только потому, что она названа в честь еды. Она обычно состоит из 100 квадратов, представляющих целое, её можно заштриховать или заполнить на основе отношения нескольких частей к целому, как круговую диаграмму, - но она также хорош для отображения одного процента. Ключевым плюсом является её разнообразие. Она может показывать отдельные части целого и сравнивать отдельные проценты, но еще одно преимущество, аналогичное treemap, заключается в том, что пропорции более четко представлены областью, а не углами.
