​​Коллаборация года в IT — Microsoft разрешил Google ассистенту управлять Xbox Onе

Кто-нибудь помнит голосового помощника Cortana? Разработчики Microsoft представили его в 2014 году и, кажется, с тех пор о технологии никто не вспоминал. А ведь за эти годы Google и Apple подсадили пользователей на умных помощников — машина бронирует столики, отвечает на звонки, ведет записи и не научилась только белье из химчистки забирать (а жаль). В общем, Microsoft эту гонку проиграл.

Но это не конец — Microsoft понял, что лояльность пользователей важнее, чем попытки спасти Cortana, поэтому запустил интеграцию продуктов Google в свои системы. Начали с простого — позволили ассистенту управлять Xbox One — запускать игры, ставить на паузу, регулировать громкость. Теперь игровая приставка стала еще одним подопечным голосового помощника. Пока функция доступна в бете, но полноценный запуск назначен на эту осень.

Вероятно, это вопрос времени, когда мы сможем управлять компьютером через Google ассистента и получим полноценную поддержку помощника в Windows 10. В конце концов, какая разница через кого отдавать команды, если пользователь все равно сидит на винде.

Прочитал в Forbes статью на злободневную тему и пересказываю:

Существует технология, о который вы, возможно, слышали. Это OCR — оптическое распознавание символов. Даже если не слышали, то точно использовали, например, когда наводили камеру смартфона на текст для автоматического перевода.

Технология умеет не только это — крупные компании с помощью OCR переводят бумажные документы в цифру: обрабатывают входящие заявки от клиента и оцифровывают архивы. Но правда в том, что OCR уже давно может больше. И случилось это в тот момент, когда OCR заработал на базе ИИ.

Итак, как было раньше: OCR работает только на ограниченном наборе документов, обязательно определенного формата и качества. Он извлекает текст, но если поле хоть немного не вписывается в шаблон, результат желает оставлять лучшего. Многие компании к этому привыкли и живут дальше — в конце концов, ускорение работы на 20% уже неплохо.

Но где ИИ, там и будущее. OCR с использованием машинного обучения больше не ограничено правилами — система научилась думать. Она беспрерывно обучается в процессе, расширяя свои возможности в зависимости от нужд клиента. Если поле вдруг не подходит под стандарт (документ перевернут, на фото есть блики), алгоритмы все равно справятся с задачей — достаточно показать им примеры работы оператора в подобных ситуациях.

Однако и это еще не все. Можно выйти за рамки классического OCR и внедрить в работу системы NLP. Тогда алгоритмы учатся не только читать текст, но и понимать его. Системе не требуется подсказывать, где в тексте ФИО, дата, а где адрес человека — она уже умеет это делать, превосходя точность человека. В многостраничных документах такие функции являются необходимыми.

Развитие технологий уже повлияло на рынок — теперь мало создавать шаблоны, чтобы удержать клиента. Конкурентное преимущество за тем, кто обеспечит распознавание любых документов на уровне человека, в том числе для рукописного текста. Кстати, возможность распознавать его — тоже заслуга машинного обучения.

​​Думаю, вы уже догадались, в Dbrain мы пилим свой OCR — версию с пометкой АI.

О том как мы создали OCR на базе ИИ и кто наши клиенты — я расскажу на вебинаре. Это хороший повод познакомиться и поговорить. Зову тех, кто вынужден работать с докуменами, и евангелистов ИИ. В общем, всех!

​​История, в которой есть все — расизм, незаконный сбор данных, большая корпорация и… скидки в Starbucks.

В истории с распознаванием лиц есть один нюанс — оно работает с разным качеством для разных рас. Американское правительство выяснило, что фотографии афроамериканцев узнаются системой почти в 100 раз хуже, чем белых. Почему так — вопрос для отдельного поста. Сейчас же важно, что Google решил исправить ситуацию, однако выбрал для этого интересный, но крайне неэтичный способ.

Агентство Randstand наняло для радужной компании подрядчиков — они отправились собирать фотографии лиц на улицах Атланты, кампусах колледжей и фестивалях в Лос-Анджелесе. Фокус группа — люди с темным цветом кожи. А все потому, что распознавалка от Google, которая отвечает за разблокировку в будущем смартфоне Pixel 4, плохо на них работает.

Сотрудники предлагали прохожим поиграть с телефоном пару минут: протестировать новое приложение и сыграть в селфи-игру в обмен сертификат на $5 в Starbucks. В это время смартфон собирал сканы лиц. Среди тех, к кому подходили, бездомные и студенты, которые не подозревали, что помогают обучать нейросетки.

Персональные данные за стаканчик кофе — вот вам и технологичное будущее.

​​Сворачивайте свои камеры и тепловизоры, надевайте шапочки из фольги. Потому что теперь понадобится только Wi-Fi или любой другой излучатель, чтобы видеть вас сквозь стены.

Исследователи научились распознавать действия по отражению волн wi-fi роутера. Алгоритм получает сырые данные и генерирует цифровую модель скелета человека. Он видит живой объект за стеной и определяет базовые действия, которые предварительно ему скормили в датасете. К примеру, рукопожатие.

Чуть-чуть теории: как работает дальномер — он отправляет волну в инфрокрасном спектре (читай, лазер) и засекает время возврата. Время умножаем на скорость света = наше расстояние. Аналогичное свойство можно делать с любой волной, например, радио.

Но чтобы построить картинку нужна очень сложная математическая модель отражения сигнала. Однако к чему это в 2019 году, если можно подрубить ИИ.

Результаты выглядят очень красиво, исследователи смогли распознать базовые действия в темноте, через стену. Потенциал огромный, главный — решение проблемы приватности. В Европе нельзя снимать людей на камеру, даже если они работают на вашем заводе, потому что это нарушает их права. А вот раздать Wi-Fi им точно можно. Скоро спрятаться можно будет только в клетке Фарадея.

​​Короткий опрос подписчиков показал — многие тут не догадываются, что кроме канала про нейросетки, я еще чем-то занимаюсь. Пора познакомиться.

Короткое досье: меня зовут Леша Хахунов, я сооснователь ИТ-компании Dbrain. Уже 4 года я живу в мире машинного обучения, а последние два года мы с командой активно пилим продукт, который бы ускорил процессы, связанные с обработкой документов. Еще мы тестируем как люди могут дополнять несовершенство нейросетей и дообучать их в процессе работы.

Завтра (22 октября) в 19:00 на вебинаре я расскажу, победит ли ИИ бумажные документы, хватит ли ему нейронов, что разобрать наш почерк и многое другое. И, конечно, отвечу на вопросы, заданные во время встречи.

Присоединяйтесь — https://events.webinar.ru/15043133/DbrainOCR

И уже постоянная рубрика о дипфейках:

Калифорния решила бороться с ИИ-подделками на законодательном уровне. Пока в двух сферах — порно и политике.

В штате запретили использовать лицо человека в создании контента без его согласия. Другими словами, если вы вдруг увидели ролик эротического содержания, в котором, очевидно, не участвовали — можно идти в суд. Второй закон запретил размещать дипфейки с политическим кандидатом за 60 дней до голосования.

Если еще не видели ролик, где Марк Цукерберг уверенным голосом заявляет, что владеет всеми нами, исправляйтесь. Марк, может, и думает так, но в реальности никогда такого не говорил.

Мое мнение — закон должен быть, вопрос в том, будет ли он действовать. Кажется, что от технологии deep fake спасет только нейронка Anti Deep Fake, которая способна увидеть обман на видео. Почти уверен что через полгода у YouTube эта функция станет нативной.

Netflix знает, что вы делитесь учеткой с друзьями, и хочет это прекратить

Аналитики стриминговой платформы знают, что мы делимся аккаунтами с близкими, чтобы сэкономить на подписке. В компании даже посчитали недобросовестных пользователей — их много, но точные цифры не разглашаются.

Как вы думаете, сколько существует способов узнать вас? Раньше для идентификации на сайте вы передавали куки. Но время шло и законы о персональных данных становились строже — так появилась потребность определять человека без жесткого идентификатора. Способ, придуманный до машинного обучения — сбор подробной информации о железе пользователя и ряд быстрых вычислений с точностью 1/100000-1/200000.

Но потом появился ИИ, который и надумал использовать Netflix. Они берут всю информацию, какую могут узнать о человеке: как он жмет на клавиатуру, в какое время заходит, какое было подключение, какие видео листал, а дальше нейросеть анализирует данные и учится различать всю компанию друзей под одним аккаунтом. К слову, такой подход уже используется для контроля человека в банковских приложениях. И чуть ли не главный критерий там — это проверка скорости ввода символов в рамках пароля.

Так что в будущем не рассчитывайте, что машина купится на то, что вы любите посмотреть «Во все тяжкие» и «Секс в большом городе» одновременно с двух экранов.

​​Отдыхаете? А ИИ — нет:

➖ Хакер взломал роботов в японском отеле — искусственный персонал убирает комнаты, проверяет гостей через фейс-рекогнишн и выполняет другие задачи в стиле “принеси-подай”. Несколько месяцев назад программист предупреждал владельцев, что роботов легко хакнуть и подключиться к их камерам, если добраться до его спины. Руководство отеля его проигнорировало. В итоге неравнодушный пользователь обнародовал уязвимость и только после этого ПО роботов обновили.

➖ Программисты из компании Security Research Labs (специализируется на кибербезопасности) написали программы для голосовых помощников Amazon и Google с вредоносным ПО, суть которого — записывать разговоры 24/7. Завернули все это в простенькие приложения-гороскопы и отправили на одобрение. Хотели проверить, как корпорации заботятся о безопасности. К сожалению, лже-гороскопы легко одобрили. В конце концов, создатели сами написали в службу поддержки и рассказали об угрозе.

➖ Вышло первое за 5 лет обновление поисковика Google, в котором появилась новая система обработки естественного языка BERT — она понимает контекст поискового запроса. Алгоритм анализирует слова в запросе не одно за другим, а одновременно, получая полный контекст и учитывая союзы и предлоги. Подробности — гуглите.

➖ Google Brain Team научила нейросети слышать запахи. Понадобился датасет из 5 тысяч молекул запахов с описанием и связка их с дискрипторами. Так ИИ научился предсказывать аромат и классифицировать его. Представьте систему, которая будет предупреждать людей об утечке газа, чуять химикаты в воздухе и придумывать ароматы для парфюмеров. Она вот-вот появится.

➖ Роботизированная рука от OpenAI научилась собирать кубик Рубика, вот только никто ее этому не учил. Благодаря визуальным датчикам и алгоритмам рука сама пришла к тому, как решить головоломку. Это шаг в сторону самообучаемого ИИ, который тренирует скилы без помощи людей.

​​Борьба с системами распознавания лиц набирает обороты. Тут вам и проекторы, и тату, и маски на лицо. Свежая новость — Facebook тоже взялся за цифровые трансформации, чтобы хакнуть собственный фейс-рекогнишн.

Задача ставилась так — давайте научим сеть модифицировать изображение лица с сохранением позы, света и остальных признаков, которые человек используем для распознавания личности, но допустим изменение маленьких деталей (чуть-чуть поправим нос, глаза, губы).

Этого оказалось достаточно, чтобы сломать распознавалку. Но что куда интереснее — разработчики обманули не только машину. Человеку и самому тяжело отличить человека. Особенно сильно это ощущается на примере кинозвезд: мозг замечает изменения в лице, но не может точно сказать, что не так.

Единственный способ хакнуть систему распознавания — это заточить оружие именно на этой системе. Так и сделал Facebook — он сам создал нейросеть, которая ломает фейс-рекогнишн, чтобы найти слабые места и прокачать их, пока этого не сделал какой-нибудь русский хакер. Это война аналогичная «вирус-антивирус» — одна сторона создает яд, а другая — ищет противоядие. Только в этом случае по обе стороны баррикад — одна и та же армия.

Facebook предусмотрительно готовится к будущему.

​​Cамый частый вопрос, который задают мне на конференциях: AI — это очередной хайп по типу крипты и виртуальной реальности или наше будущее?

Для ответа достаточно посмотреть последние презентации ИТ-гигантов — очередная из них, компании Adobe, которая отдает львиную долю выступлений на новые продукты, в которые интегрировала машинное обучение.

Теперь коротко о том, почему Adobe — это уже давно не только Photoshop. Вот чем компания занимается сейчас:
➖ About Face — уже рассказывал об этом. Отец всех поддельных фотографий делает инструмент для борьбы с ними.
➖All in — возможность совмещать несколько фотографий с общим контекстом, чтобы перестать пытаться влезать в широкоформат объектив. Штука классная, похожая на прокаченную версию панорамы.
➖Sweet Talk — упрощенный способ анимации персонажей на основе аудиодорожки. Крайне актуально для блогеров (привет, Mygap). Использовать легко — пишем голос, берем любое лицо, а дальше нейросетка решает, как это все совместить.

Но если Adobe вам мало, вспомните презентации Google, Apple, Microsoft — они все больше напоминают соревнования, у кого ML круче. И это те компании, которые должны по идее делать B2C, а значит их задача решать не узкие кейсы, а добиваться качественных результатов на задачах с большой вариативностью (представьте, сколько языков нужно выучить Siri, чтобы элементарно сказать погоду). ИИ-лаборатории, в которые они вкладываются, производят не только умных помощников, но и решают фундаментальные задачи, например, учат машину думать и анализировать мир без подсказок человека.

Отвечая на вопрос — будущее не за телефонами с тремя камерами или изогнутым экраном. Оно за ML — методом, который позволит решать задачи по-новому. Это не хайп, а медленный путь в сингулярность.

​​Нейросеть сама догадалась, что мы крутимся вокруг Солнца

Ученые попытались заставить нейросеть думать в парадигме земного восприятия. Мол, вот планеты — тут Солнце, тут Марс. Мы собираем данные по ним сотни лет, скажи, что как движется. Алгоритм быстро смекнул, что люди — не центр мира, а Земля крутится вокруг Солнца.

Почему у меня смешанные чувства от этой новости — я считаю, что если уж мы начали заниматься машинным обучением, то пора бы для многих задач отказаться от интерпретируемости результатов. Зачастую мы не понимаем логику алгоритмов и пытаемся подогнать ответы под наши представления о мире. Поэтому и ждем от ИИ понятных формул в стиле “E = mc2” — потому что только так можем контролировать происходящее. К примеру, нейросети давно выиграли людей в распознавании образов. Алгоритм отличает лица без понятий “глаза, нос, уши”. Для него — это непонятные нам признаки. Он делает это по-своему и лучше людей.

Наступят времена, когда машины смогут рассчитать траекторию полета корабля на Марс и вычисления будут отличаться от того, что представляли себе люди. Для многих областей, в том числе физике, где все понятия мы придумали сами, понятных нам элементов вроде энергии или ускорения, может просто не быть.

Короче, не надо искать объяснения результатам — собрали данные, поставили задачу, а нейросеть уже сама разберется. Мы не откроем ничего нового, если заставим машину думать, как люди.

​​Вернулся с последним дайджестом этой осени:

➖ Чемпион по го решил уйти из профессии из-за непобедимого ИИ. По словам южнокорейца, алгоритмы стали настолько совершенны, что ни у кого нет шансов их одолеть. Спасибо DeepMind за это. 

➖ Однако ИИ не только убивает профессии, но и создает новые. В администрации Нью-Йорка открылась вакансия уполномоченного по делам алгоритмов. Он будет отвечать за политику города по отношению к ИИ. Думаю, через пару лет придется расширяться до департамента. 

➖ Так опасен ли ИИ для человека? На этот вопрос ответил Debater от IBM, задача которого побеждать в спорах. На выступлении в Кембридже ИИ сначала сказал, что у машины нет морали, поэтому человечеству крышка, а затем утешил зрителей, заявив, что технологии продвинут людей на новую ступень развития, ускорив все рабочие процессы. Правда, по словам ИИ, многие потеряют работу. Представляю реакцию студентов. 

➖ Лаборатория Alphabet X создала самообучающегося робота, который выполняет повседневные задачи. Правда, пока ему доверили только сортировку мусора, чтобы прокачивать скиллы. Как бы он не эволюционировал и не двинул на создателей армией униженных сородичей. 

➖ А вот робопсы из Boston Dynamics отправились служить родине. Полицейские приняли их в свои ряды и уже отправляют на задания — например, обследовать место преступления. А потом повторится сюжет «Черного зеркала» и робопсы будут охотиться за повстанцами, пережившими восстание машин. 

➖ Ну и какой выпуск без Google? Вышел Smart Compose — это ИИ, который анализирует написанный текст и предлагает, как закончить предложение. Да, он понимает, о чем вы пишите, анализирует ваш стиль и предлагает лаконичные концовки. Пока только в бете и не для всех, но будем ждать релиза.

​​Что происходит в Китае?

📹 Тотальная слежка:

Повсеместное использование распознавания лиц в Поднебесной приносит свои плоды — на днях ИИ поймал преступницу, которой удавалось скрываться от полиции 20 лет. В 90-х она грабила и убивала людей. В систему загрузили фотографию той поры и распознавание сработало моментально — преступница работала в магазине торгового центра, где камеры натыканы на каждом шагу. Ее уже задержали.

Что дальше? Фото, ДНК, голос или даже походка скоро станут главными инструментами, позволяющими найти вас за несколько часов в любой точки мира.

🎙 ИИ читает по губам:

Китайские разработчики обучили нейросеть понимать беззвучную речь. Она расставляет точки на лице и читает по губам. Пока она понимает только простые команды в стиле «включи WiFi» и предназначена для глухонемых, которые тоже хотят пользоваться голосовыми помощниками.

Что дальше? Кто сказал, что китайские власти не трудятся над подобной системой для подключения к камерам. Можно не только распознавать лица, но и записывать разговоры в моменты, когда нельзя это делать с телефона.

🚔 За дипфейк отправят в тюрьму:

В Калифорнии уже запретили имитировать чиновников с помощью технологий, теперь под угрозой и национальная безопасность Китая. Там в силу вступил закон, запрещающий распространение дипфейков без специальной пометки. Теперь это уголовное преступление.

Что будет дальше? Дипфейки — опасная штука, они могут запросто убедить человека в том, чего на самом деле не было. Поэтому появляется все больше разработок, которые разоблачают фейковые видео. Но отследить автора будет непросто — особенно если он хочет избежать наказания.

Дорогой Санта,
Дорогой канал,

Конец года выдался очень плотным. Последний месяц я не успевал делать посты для тебя, мой друг. Но я точно исправлюсь в новом году :)
Вначале января подведем итоги 2019 в мире AI - выберем самую хайповую технологию, провал года, самый обсуждаемый кейс и мой субъективный топ новостей, которые нельзя было пропустить.

В 2020 мы будем и дальше знакомить тебя с событиями в области ИИ. А пока - счастливого Нового года!

​​Вы не ждали, а я принес. Сегодня в дайджесте — ИИ собирает мебель из ИКЕА, Марк больше не хочет пользоваться Android и первые шаги Mozilla в разработке голосовых помощников:

— Прежде чем робот пойдет собирать мебель за людей и проклянет инструкции ИКЕА, его надо обучить. Для этого исследователи создали симулятор, который без остановки учится собирать цифровую мебель. Пока самую простую, но когда ИИ прокачает скиллы, его отправят управлять реальными роботами — а там и заживем.

— Facebook вкладывается в разработку VR-шлемов и умных экранов, для которых нужна операционная система для работы с пользователем. Сейчас на всех продуктах Марка под капотом стоит Android, но скоро это изменится. Глава социальной сети устал покупать софт у конкурентов и решил создать собственный. Давай, Марк, мы в тебя верим.

— Mozilla запустила голосового помощника для браузера с лисой — пока в бете. Для его активации надо скачать расширение и нажать большую кнопку. Машина выполняет поисковые запросы, включает видео и музыку и открывает сайты из закладок по просьбе человека. Будут тестировать на преданных юзерах, а там и до полноценного релиза недалеко.

​​В прошлом году я начал вести этот канал, а в этом планирую пробовать новые форматы (готовьтесь). Пока собрал самые интересные новости 2019 года, которые вы могли пропустить в канале:

➖ Год начинался с победы ИИ в Starcraft и закончился ей же. К концу года AlphaStar получила высший рейтинг, победила чемпиона мира и завязала с карьерой.

➖ В Финляндии к изучению машинного обучения подключили пенсионеров, доказав, что с Data Science даже моя бабушка справится. О чем я не успел написать, а надо было — в конце прошлого года северная страна пообещала миллионам гражданам Евросоюза бесплатный практический курс по ИИ. Лучше подарка под елку и не придумаешь.

➖ Ванговал, как люди будут скрываться за фотографиями ненастоящих, сгенерированных нейросеткой. Тогда я сказал, что в наш век тотальной слежки технология станет популярной, и не прогадал. Каждая вторая новость 2019 была про GAN’ы, а в Facebook создают целое направление, которое отвечает за бан фейковых профилей, где на аватарках стоят плоды творчества нейросетки с сайта thispersondoesnotexist.com.

➖ Безусловный лидер среди улучшения изображений с помощью ИИ — это Adobe. Почему — читайте здесь, и здесь. Забавно, что компания также сделала инструмент для распознавания фотошопа на фото. Знали бы они, что начнется спустя пару месяцев, когда мир узнает о дипфейках.

➖ Так ли нам нужно распознавание лиц на улицах? Рассказал о том, что ловить преступников с помощью камер не так уж и эффективно, зато собирать данные удобно.

➖ Предсказывал смещение фокуса с ресерча в компании OpenAI после того, как оттуда ушел Маск и пришел Майкрософт. Но вроде обошлось — компания жива и подарила миру ИИ, который генерирует тексты не хуже копирайтеров. Приятно, когда твои пессимистичные прогнозы не сбываются.

➖ Рассказал, как Netflix пытается с помощью алгоритмов запретить юзерам делить учетную запись с друзьями, но пока плохо получается. Тогда в компании не говорили, сколько теряют на любителях раздавать пароли, но к концу года сказали — $9,1 млрд. Чую, кому-то придется вложиться в разработку.

В комментарии пишите, чем вам запомнился прошлый год — обсудим.