В сентябре исполнится год как операторы фискальных данных в России начали собирать данные о покупках. В конце июня 2017 года Платформа ОФД выпустила обзор потребительской активности россиян за июнь. В июле выпустила обзор про наличные и безналичные платежи россиян.

Также в июле, следом за Платформой, своей статистикой поделился Первый ОФД, рассказав о динамике среднего чека. Обзоры опубликованы на сайтах операторов.

Будем внимательно наблюдать за дальнейшим развитием данного сегмента у ОФД.

А пока посмотрим какие тренды в обработке больших данных задают мировые гиганты: технология дифференциальной приватности от Google и Apple.

В сентябре прошлого года Apple начала испытания новой технологии пользовательских данных, а теперь внедряет её в своих новых продуктах. Технология решает насущную проблему: понять пользователей, не шпионя за ними.

Чтобы размыть данные пользователей, технология добавляет в анализируемые данные пользователей статистический шум. Технология называется дифференциальной приватностью. Еще год назад этот термин был известен лишь ученым, а сегодня данной технологией пользуются Microsoft и Uber. Так компании могут создавать свои продукты и анализировать данные, но не привязывая их к конкретным людям.

Современные инструменты анализа способны находить связи в больших базах данных. Поэтому они способны идентифицировать личность там, где нужна анонимность. Это и беспокоит экспертов.

Например, два года назад исследователи из Массачусетского технологического института обнаружили, что можно идентифицировать покупателей магазинов, связав учетные записи социальных сетей с данными кредитных карт или временем совершения покупок.

«Люди даже не представляют, как легко их данные могут перестать быть анонимными», – считает основатель стартапа LeapYear Technologies (разрабатывает софт для анонимизации данных) Исхан Неруркар.

Apple часто критикуют за отставание от конкурентов – например, от Google, которая сделала большой шаг вперед в распознавании образов и языков для виртуальных помощников и беспилотных автомобилей. Пока доступ к данным помогал таким компаниям как Google развивать искусственный интеллект, Apple мешала собственная политика конфиденциальности. До сегодняшнего дня корпорация не собирала данные пользователей, но, чтобы преуспеть в эру искусственного интеллекта, Apple предстоит этим заняться, констатирует доцент Калифорнийского университета Эбхрадип Гуха Тхакурта. До января 2017 г. он участвовал в разработке систем конфиденциальности Apple. Одним из главных достоинств искусственного интеллекта он называет дифференциальную приватность.

Раньше Apple анализировала, как люди используют эмодзи и сленг на iPhone. Теперь же корпорация старается получить больше данных о состоянии здоровья пользователя и посещенных ими веб-страницах, рассказала инженер-программист Apple Кэйт Скиннер. С помощью дифференциальной приватности Apple уже защищает миллионы записей, которые получает от компьютеров Apple, iPhone и iPad. Появление новых функций всегда сопровождается усилением конфиденциальности, заверил представитель Apple.

Google – один из первых разработчиков дифференциальной приватности. Компания использует её для размытия данных браузера Chrome. Но технология зачастую страдает от неточности и подходит не для всех видов анализа. «В некоторых случаях мы даже не можем ответить на вопросы, ответы на которые разработчики хотят услышать», – рассказывает разработчик технологии приватности в Google Йонатан Зунгер.

А Microsoft совместно с San Diego Gas & Electric работают над пилотным проектом, который сделает доступными для исследователей данные «умных» счетчиков потребления. Эти данные не будут привязаны ни к одному из клиентов, обещает корпорация (Ведомости).

#bigdata #анализ #данные #обработка #apple #google
@ofd24 (https://t.iss.one/ofd24)