Может ли Big Data спасти старые военные самолёты?
Для американских ВВС 2018 год оказался настоящим испытанием: аварийные посадки грузовых суден, потери пропеллера, снятие бомбардировщиков с эксплуатации.
Причина происходящего чаще всего одна и та же. Средний возраст самолёта в парке ВВС - 28 лет, а бомбардировщики B-52 и вовсе перешагнули 50-летний рубеж.
Will Roper, помощник секретаря ВВС по закупкам, технологиям и логистике, пытается изменить положение дел с помощью data mining и искусственного интеллекта. И он уже добился первых результатов.
AI сообщает о деталях, требующих замены, до того, как их состояние начнёт представлять угрозу. Более 100 алгоритмов работают для обеспечения безопаности С-5 и ещё 40 "экзаменуют" В-1. Каждый алгоритм интерпретирует информацию, генерируемую отдельными системами, например, температурными датчиками, колёсами и шасси.
Целью же является внедрение подобных технологий и для работы с новым парком машин. Roper надеется, что вместе с AI в ВВС США придёт ещё одна технология - 3D-печать.
Для американских ВВС 2018 год оказался настоящим испытанием: аварийные посадки грузовых суден, потери пропеллера, снятие бомбардировщиков с эксплуатации.
Причина происходящего чаще всего одна и та же. Средний возраст самолёта в парке ВВС - 28 лет, а бомбардировщики B-52 и вовсе перешагнули 50-летний рубеж.
Will Roper, помощник секретаря ВВС по закупкам, технологиям и логистике, пытается изменить положение дел с помощью data mining и искусственного интеллекта. И он уже добился первых результатов.
AI сообщает о деталях, требующих замены, до того, как их состояние начнёт представлять угрозу. Более 100 алгоритмов работают для обеспечения безопаности С-5 и ещё 40 "экзаменуют" В-1. Каждый алгоритм интерпретирует информацию, генерируемую отдельными системами, например, температурными датчиками, колёсами и шасси.
Целью же является внедрение подобных технологий и для работы с новым парком машин. Roper надеется, что вместе с AI в ВВС США придёт ещё одна технология - 3D-печать.
4 необычные альтернативы круговой диаграмме
Работая в области визуализации данных, вы слышите всевозможные мнения на счёт круговых диаграммах. Некоторым они действительно нравится. Некоторые считают, что их никогда не следует использовать. Математик Джон Тьюки считал, что для любого набора данных круговая диаграмма – не лучший способ визуализации. В отличие от Тьюки, теоретик дизайна Эдвард Туфте, сказал: «Единственный худший дизайн, чем круговая диаграмма, это несколько круговых диаграмм. Я не считаю, что круговые диаграммы никогда не следует использовать. Я просто думаю, что их следует использовать реже».
Опираясь на такой исторический базис и на мой опыт визуализации, хочу обратить внимание на несколько альтернатив круговой диаграмме.
1. Гантели
Одним из наиболее распространенных способов не весьма удачного использования круговых диаграмм, является использование многих из них вместе для отображения изменений во времени или по категориям. Если основная мысль, которую вы хотите донести своему зрителю, является вариацией, полезно знать, что люди действительно хороши в обнаружении и оценке расстояния между объектами. Диаграмма гантелей, также известная как диаграмма ДНК, является отличным способом показать изменения, используя визуальную длину.
Работая в области визуализации данных, вы слышите всевозможные мнения на счёт круговых диаграммах. Некоторым они действительно нравится. Некоторые считают, что их никогда не следует использовать. Математик Джон Тьюки считал, что для любого набора данных круговая диаграмма – не лучший способ визуализации. В отличие от Тьюки, теоретик дизайна Эдвард Туфте, сказал: «Единственный худший дизайн, чем круговая диаграмма, это несколько круговых диаграмм. Я не считаю, что круговые диаграммы никогда не следует использовать. Я просто думаю, что их следует использовать реже».
Опираясь на такой исторический базис и на мой опыт визуализации, хочу обратить внимание на несколько альтернатив круговой диаграмме.
1. Гантели
Одним из наиболее распространенных способов не весьма удачного использования круговых диаграмм, является использование многих из них вместе для отображения изменений во времени или по категориям. Если основная мысль, которую вы хотите донести своему зрителю, является вариацией, полезно знать, что люди действительно хороши в обнаружении и оценке расстояния между объектами. Диаграмма гантелей, также известная как диаграмма ДНК, является отличным способом показать изменения, используя визуальную длину.
Вот великолепный пример диаграммы гантелей, который отражает увеличение числа женщин в Палате представителей в разрезе партии (США).
2. Бамп-график
Дисперсия может быть не важна для вас. Может быть, вы хотите показать рейтинг среди категорий с течением времени. Тогда обратите внимание на специальную версию линейного графика, называемого бамп-графиком. Вот та же информация, что и в предыдущем примере, выраженная немного по-другому.
Дисперсия может быть не важна для вас. Может быть, вы хотите показать рейтинг среди категорий с течением времени. Тогда обратите внимание на специальную версию линейного графика, называемого бамп-графиком. Вот та же информация, что и в предыдущем примере, выраженная немного по-другому.
Вот пример эффективного бамп-графика, который показывает рейтинги популярности новых автомобильных цветов и то, как они изменились за 16 лет.
3. Treemap
Основным аргументом против круговой диаграммы является то, что люди плохо воспринимают различия между градусами углов. Treemap карты облегчают это, используя площадь вместо углов для обозначения пропорции. Используя те же данные, но данные в формате Treemap.
Основным аргументом против круговой диаграммы является то, что люди плохо воспринимают различия между градусами углов. Treemap карты облегчают это, используя площадь вместо углов для обозначения пропорции. Используя те же данные, но данные в формате Treemap.
4. Вафельница
Вафельница - это действительно забавная диаграмма и, вероятно, моя любимая альтернатива круговым диаграммам, и не только потому, что она названа в честь еды. Она обычно состоит из 100 квадратов, представляющих целое, её можно заштриховать или заполнить на основе отношения нескольких частей к целому, как круговую диаграмму, - но она также хорош для отображения одного процента. Ключевым плюсом является её разнообразие. Она может показывать отдельные части целого и сравнивать отдельные проценты, но еще одно преимущество, аналогичное treemap, заключается в том, что пропорции более четко представлены областью, а не углами.
Вафельница - это действительно забавная диаграмма и, вероятно, моя любимая альтернатива круговым диаграммам, и не только потому, что она названа в честь еды. Она обычно состоит из 100 квадратов, представляющих целое, её можно заштриховать или заполнить на основе отношения нескольких частей к целому, как круговую диаграмму, - но она также хорош для отображения одного процента. Ключевым плюсом является её разнообразие. Она может показывать отдельные части целого и сравнивать отдельные проценты, но еще одно преимущество, аналогичное treemap, заключается в том, что пропорции более четко представлены областью, а не углами.
Вот еще один пример вафельницы, которая точно отображает сравнительные показатели выживаемости для видов рака.
Надеюсь, вы смогли почерпнуть для себя новые типы диаграмм, которые помогут вам. И, для справедливости, я оставлю здесь классическую круговою диаграмму, родом из excel.
Как #BigData меняют сферу туризма и путешествий.
Бронирование
Многие из нас теперь используют сайты сравнения цен и сайты для бронирования, а не идут в турагентства на центральной улице 🛣. Собирая данные из социальных сетей и анализируя то, что людям нравится или не нравится, компании могут использовать целевую рекламу с индивидуальными сообщениями.
И это не просто перевод на их сайт, где используются #BigData и аналитика. Чтобы веб-сайт создавал для вас наилучшую сделку, он должен иметь огромную базу данных для 🔎, а также потому, что существует множество веб-сайтов, предлагающих то же самое, они должны быть уверены, что делают это быстро. Например, одна немецкая туристическая компания создала свою собственную систему Big Data, чтобы она могла обрабатывать 1000 запросов в секунду, выполняя поиск 18 миллиардов предложений и предоставляя ответ потребителю в течение секунды!
Аэропорт
Это не просто цифровые платформы, которые могут использовать Big Data, чтобы повлиять на ваше путешествие; аэропорты также собирают информацию. Big Data используются в аэропорту, чтобы измерить количество людей, находящихся в настоящее время в здании, и какие районы наиболее загружены в режиме реального времени.
Они также собирают данные, основанные на передвижениях людей через ворота безопасности, отслеживая, как далеко люди уходят от своих ворот отправления и в каком направлении люди естественным образом 🚶🏻♂️, они могут составить более точные планы и подготовиться к тому, где разместить магазины и рестораны.
Гостиница
Отели также используют Bib Data для улучшения качества обслуживания клиентов. В интернете легко узнать, хороший отель или нет, так как многие люди оставляют отзывы и рекомендации. Отели, собирающие эти данные, могут определить, где могут быть их слабые стороны, а затем могут найти пути для улучшения ситуации.
Они также могут анализировать поведение потребителей и социальные сети, чтобы узнать, чего хотят их клиенты в определенное время года. Узнав, чего на самом деле хочет клиент, отель может узнать, на что обратить внимание, и обеспечить лучшее обслуживание и качество обслуживания клиентов.
BigData действительно революционизируют в индустрию туризма, и это оказывает огромное влияние на наше путешествие, от бронирования отпуска до его фактического посещения. И собираемые данные будут только расти и, будем надеяться, улучшать наш опыт ✈️
Бронирование
Многие из нас теперь используют сайты сравнения цен и сайты для бронирования, а не идут в турагентства на центральной улице 🛣. Собирая данные из социальных сетей и анализируя то, что людям нравится или не нравится, компании могут использовать целевую рекламу с индивидуальными сообщениями.
И это не просто перевод на их сайт, где используются #BigData и аналитика. Чтобы веб-сайт создавал для вас наилучшую сделку, он должен иметь огромную базу данных для 🔎, а также потому, что существует множество веб-сайтов, предлагающих то же самое, они должны быть уверены, что делают это быстро. Например, одна немецкая туристическая компания создала свою собственную систему Big Data, чтобы она могла обрабатывать 1000 запросов в секунду, выполняя поиск 18 миллиардов предложений и предоставляя ответ потребителю в течение секунды!
Аэропорт
Это не просто цифровые платформы, которые могут использовать Big Data, чтобы повлиять на ваше путешествие; аэропорты также собирают информацию. Big Data используются в аэропорту, чтобы измерить количество людей, находящихся в настоящее время в здании, и какие районы наиболее загружены в режиме реального времени.
Они также собирают данные, основанные на передвижениях людей через ворота безопасности, отслеживая, как далеко люди уходят от своих ворот отправления и в каком направлении люди естественным образом 🚶🏻♂️, они могут составить более точные планы и подготовиться к тому, где разместить магазины и рестораны.
Гостиница
Отели также используют Bib Data для улучшения качества обслуживания клиентов. В интернете легко узнать, хороший отель или нет, так как многие люди оставляют отзывы и рекомендации. Отели, собирающие эти данные, могут определить, где могут быть их слабые стороны, а затем могут найти пути для улучшения ситуации.
Они также могут анализировать поведение потребителей и социальные сети, чтобы узнать, чего хотят их клиенты в определенное время года. Узнав, чего на самом деле хочет клиент, отель может узнать, на что обратить внимание, и обеспечить лучшее обслуживание и качество обслуживания клиентов.
BigData действительно революционизируют в индустрию туризма, и это оказывает огромное влияние на наше путешествие, от бронирования отпуска до его фактического посещения. И собираемые данные будут только расти и, будем надеяться, улучшать наш опыт ✈️
Аналитики всё чаще приходят к программистам за советом. Нашли канал @smart_dev. Авторы публикуют свежие новости веб-разработки, статьи и переводы.
Плюс есть чат, в котором разбираются кейсы из собеседований или рабочие задачи @smart_dev_chat.
Плюс есть чат, в котором разбираются кейсы из собеседований или рабочие задачи @smart_dev_chat.
Обработка живой речи (#NLP) в бизнес-аналитике (#BI)
Обработка естественной речи - это область информатики и компьютерной лингвистики, связанная с взаимодействием между человеческим (естественным) языком и компьютером. Обработка естественной речи направлена на то, чтобы помочь компьютерам использовать семантические структуры информации - контекст в данных - для понимания смысла.
NLP уже проник в повседневную жизнь. Наиболее распространенными примерами естественного языка являются такие технологии, как Alexa, Siri и Google Assistant, которые распознают шаблоны в речи, чтобы вывести смысл и дать соответствующий ответ. Другим распространенным примером NLP в действии являются поисковые системы в Интернете. Когда вы вводите фразу в поисковую систему, она будет отображать предложения, основанные на других аналогичных режимах поиска.
Сегодня поставщики бизнес-аналитики (BI) предлагают интерфейс визуализации на естественном языке, чтобы пользователи могли естественным образом взаимодействовать со своими данными, задавая вопросы так, как они о них думают.
Обработка естественной речи открывает анализ данных для всех уровней пользователей, от начинающих до продвинутых аналитиков, потому что использование технологии не требует глубоких знаний инструмента BI.
Возможности естественного языка в инструментах BI позволяют людям получать информацию, просто общаясь со своими данными. По мере развития NLP в индустрии бизнес-аналитики, эта технология разрушит барьеры использования аналитики в организациях и изменит способы взаимодействия людей с данными.
Обработка естественной речи - это область информатики и компьютерной лингвистики, связанная с взаимодействием между человеческим (естественным) языком и компьютером. Обработка естественной речи направлена на то, чтобы помочь компьютерам использовать семантические структуры информации - контекст в данных - для понимания смысла.
NLP уже проник в повседневную жизнь. Наиболее распространенными примерами естественного языка являются такие технологии, как Alexa, Siri и Google Assistant, которые распознают шаблоны в речи, чтобы вывести смысл и дать соответствующий ответ. Другим распространенным примером NLP в действии являются поисковые системы в Интернете. Когда вы вводите фразу в поисковую систему, она будет отображать предложения, основанные на других аналогичных режимах поиска.
Сегодня поставщики бизнес-аналитики (BI) предлагают интерфейс визуализации на естественном языке, чтобы пользователи могли естественным образом взаимодействовать со своими данными, задавая вопросы так, как они о них думают.
Обработка естественной речи открывает анализ данных для всех уровней пользователей, от начинающих до продвинутых аналитиков, потому что использование технологии не требует глубоких знаний инструмента BI.
Возможности естественного языка в инструментах BI позволяют людям получать информацию, просто общаясь со своими данными. По мере развития NLP в индустрии бизнес-аналитики, эта технология разрушит барьеры использования аналитики в организациях и изменит способы взаимодействия людей с данными.
Диаграмма размаха: что и к чему
В этом посте я попробую разобрать такую распространенную диаграмму, как диаграмму размаха или ящик-с-усиками (box-and-whiskers). Она часто присутствует как стандартный инструмент визуализации во многих решениях. Но, как показывает моя практика, прочитать её могут далеко не все. Не говоря уже о использовании в отчетах.
В этом примере я сравниваю продолжительность жизни небольшого неслучайного набора животных. Есть два основополагающих подхода к формированию диаграммы размаха: базовый (техника Mary Spear) - и продвинутый (техника John Tukey)
Базовый подход
Шаг 1. Рассчитать квартили.
Квартили разбивают набор данных на 4 отрезка. Q1, медиану, Q3 (приблизительно) расположены на 25-м, 50-м и 75-м процентилях соответственно. Нахождение медианы требует нахождения среднего числа, когда значения упорядочены от наименьшего к наибольшему. При наличии четного количества точек данных два числа в середине усредняются.
Здесь медиана - средняя продолжительность жизни кошки и собаки.
ПРИМЕЧАНИЕ. Если при четном наборе значений два в середине будут разными, нижнее из двух значений будет в 50-м процентиле и не будет таким же показателем, как медиана.
Как только медиана будет найдена, найдите другие квартили таким же образом: среднее значение в нижнем наборе значений (Q1), затем среднее значение в верхнем наборе (Q3)
В этом посте я попробую разобрать такую распространенную диаграмму, как диаграмму размаха или ящик-с-усиками (box-and-whiskers). Она часто присутствует как стандартный инструмент визуализации во многих решениях. Но, как показывает моя практика, прочитать её могут далеко не все. Не говоря уже о использовании в отчетах.
В этом примере я сравниваю продолжительность жизни небольшого неслучайного набора животных. Есть два основополагающих подхода к формированию диаграммы размаха: базовый (техника Mary Spear) - и продвинутый (техника John Tukey)
Базовый подход
Шаг 1. Рассчитать квартили.
Квартили разбивают набор данных на 4 отрезка. Q1, медиану, Q3 (приблизительно) расположены на 25-м, 50-м и 75-м процентилях соответственно. Нахождение медианы требует нахождения среднего числа, когда значения упорядочены от наименьшего к наибольшему. При наличии четного количества точек данных два числа в середине усредняются.
Здесь медиана - средняя продолжительность жизни кошки и собаки.
ПРИМЕЧАНИЕ. Если при четном наборе значений два в середине будут разными, нижнее из двух значений будет в 50-м процентиле и не будет таким же показателем, как медиана.
Как только медиана будет найдена, найдите другие квартили таким же образом: среднее значение в нижнем наборе значений (Q1), затем среднее значение в верхнем наборе (Q3)
Шаг 2. Используя эти 5 точек сформировать диаграмму.
Весьма простой подход, который дает быстрый результат и, обычно, не требует больших затрат сил и времени. Именно такой подход мы часто видим, когда эту диаграмму используют не задумываясь, для красоты.
Весьма простой подход, который дает быстрый результат и, обычно, не требует больших затрат сил и времени. Именно такой подход мы часто видим, когда эту диаграмму используют не задумываясь, для красоты.
