Продолжаем тему искуственного интеллекта и морали. Из примера со скрепками мы поняли, что умные машины должны быть запрограммированы не только на эффективное выполнение задач, но и на гуманное поведение. Но как запрограммировать мораль? С очевидными правилами вроде "Нельзя убивать людей" всё понятно. Но реальные жизненные дилеммы намного сложнее. К тому же, у разных людей разные понятия о том, что такое хорошо, а что такое плохо. Так какие принципы поведения тогда зашивать в машину?

В июле прошлого года MIT Media Lab запустила интересный тест. В нём вы должны принять решение за беспилотную машину, которая несётся со сломанными тормозами. Ехать прямо и сбить маму с ребенком или свернуть влево и сбить мужчину? Врезаться в бетонную преграду и убить пассажира или свернуть и убить пешехода? Классическая "дилемма вагонетки", примененная к действительно актуальной проблеме. Этот тест прошли 1,3 миллиона человек, а его создатели получили 18 миллионов ответов на моральные дилеммы - неплохой материал для моделирования "коллективной морали". На основе этих данных учёные из MIT и Карнеги-Мелон разработали систему для принятия этических решений. Неплохая идея, но полученная система в итоге этична настолько же, насколько и полтора миллиона случайных людей из интернета, желающих поиграться в машину-убийцу. Её решения отображают стереотипы общества: к примеру, она скорее убьет бездомного или преступника, чем обычного человека.

https://theoutline.com/post/2401/what-would-the-average-human-do

А вот сам тест, если не видели - покликайте, забавная штука: https://moralmachine.mit.edu. Когда я проходил его год назад, я долго мучился на некоторых вопросах, оценивая, чьи жизни важнее. А теперь решил пройти ещё раз и только сейчас заметил, что почти в каждом примере приходится выбирать между убийством людей, которые нарушают правила дорожного движения (переходят на красный), и тех, кто не нарушает правила. Это сильно упростило задачу - я просто каждый раз выбирал убивать тех, кто нарушает правила. Действительно, мораль уже вшита в формальные правила поведения на дороге. Нарушаешь ПДД - рискуешь жизнью. Исходя из того же принципа, я легко сделал выбор между "врезаться в отбойник, убив пассажира" и "свернуть, спасти пассажира, убить пешехода". Пешеход ни в чем не виноват. Если он не нарушает правила движения, он не должен страдать от неполадок беспилотной машины. А вот её пассажиры, садясь в машину, принимают на себя риски, в том числе и связанные с отказом тормозов. Логично?

Research Risks

via xkcd.com/1904

Наткнулся на великолепное видео из двух частей о нейронных сетях и том как они работают:
https://youtu.be/aircAruvnKk

В видео подробно расскажут:
— Что такое слои;
— Что такое нейроны;
— Как происходит распознавание рукописных чисел;
— Каким образом здесь участвует математика;
— Как происходит обучение нейронки.

В общем, это одно из лучших видео на английском, что я видел на тему объяснения принципа работы ML, очень рекомендую 💖

P.S. Настолько мне понравилось, что вспомнился прекрасный пост о принципе работы технологии блокчейн, на русском и текстом, который уже точно много кто видел, но если вам интересно то вот на него ссылка (текст правда очень понятный):
https://tjournal.ru/41306

P.P.S. Спасибо всем кто подписался, если вы вдруг задавались вопросом, а что это за чувак ведет этот канал, так вот — это не анонимный канал, а что я за чувак описано тут:
https://t.iss.one/denissexy/519

Киев не отстаёт от мировых трендов: власти города установили 5000 камер наблюдения и до конца года поставят ещё 3000. Но самое интересное это то, что киевская система видеонаблюдения теперь тоже использует распознавание лиц. Я поговорил с директором IT-департамента городской администрации и узнал некоторые интересные подробности.

— Распознавание лиц сейчас работает на двух станциях метро, но до конца года будет на всех станциях и железнодорожном вокзале.
— Данные с камер уже использовали в 30 уголовных делах.
— Благодаря камере с Вокзальной полиция нашла преступника, который был в розыске 15 лет.
— Доступ к камерам имеют МВД, СБУ и Нацгвардия.
— На всё это на данный момент потратили ~$4,5 млн.

Подробности и видео: https://medium.com/@politehnik/kyiv-surveillance-system-74f83ceb8737

Мрачная новость: хакеры взломали элитную британскую клинику пластической хирургии. В их руки попали истории лечения пациентов, их имена, фото операций "до и после", в том числе таких как увеличение груди и гениталий. Вы представляете, насколько это чувствительные данные?

Хакеры утверждают, что среди пациентов есть даже члены королевской семьи. Если клиника не заплатит выкуп, хакеры угрожают слить все данные в публичный доступ. Это уже не первый подобный взлом этой группировки, они уже взламывали медицинские заведения с целью вымогательства, и так же использовали журналистов для шантажа своих жертв (публикации, подобные этой на Daily Beast, создают дополнительное давление на жертв взломщиков). Не факт, что взломанные базы в итоге опубликуют, но для клиники это в любом случае полный провал.

Казалось бы, что с того нам, обычным людям? А вы подумайте, что о вас знает ваша клиника (больница, медцентр etc). Думаете, там кто-то сильно парится защитой от взлома? Остальное додумайте сами.

https://www.thedailybeast.com/hackers-steal-photos-from-plastic-surgeon-to-the-stars-claim-they-include-royals

Фидбек от читателя на предыдущий пост. Умный дом, говорили они.

Пароль как средство аутентификации не идеален - его можно подобрать или украсть. Где-то его заменяют биометрией - я, например, захожу в своё банковское приложение по отпечатку пальца. Специалисты рекомендуют использовать для важных логинов двухфакторную аутентификацию. Её принцип основан на том, что для входа нужно не только знать что-то (пароль, секретный код), но и иметь - доступ к номеру телефона, смартфон со специальным приложением, физическое устройство или ту же биометрию - отпечаток пальца, распознавание лица или сетчатки. Все эти способы имеют свои сильные и слабые стороны. К примеру, доступ к вашим SMS можно получить через уязвимость SS7, а если к тому же телефону привязана и почта, то можно сбросить и пароль.

Команда разработчиков из Флориды предложила интересную альтернативу традиционным способам двухфакторной авторизации. Второй фактор здесь - распознавание образа, который вы задаёте сами. Это может быть любой предмет - браслет, часы, брелок, ваша обувь, жвачка, сигареты, тату или даже узор на одежде. Этакий физический QR-код. Можно настроить распознавание только определенной части предмета - камня на браслете или части брелка. Тогда если даже взломщик узнает ваш пароль и завладеет вашим секретным предметом, он не сможет авторизоваться под вашим логином. Тестирование показало, что способ перспективный: ложных срабатываний было очень мало, а многие люди оказались не против использовать это приложение вместо обычного пароля.

Подробнее: https://arxiv.org/pdf/1710.07727.pdf

via https://www.theregister.co.uk/2017/10/25/pixie_2fa_project/

FAQ по видам двухфакторной авторизации (какие виды 2FA существуют, их ограничения, плюсы и минусы): https://t.iss.one/brodetsky/952

Хэллоуин во вторник, но многие отмечают его сегодня, так что новость будет тематическая. В MIT разработали нейросеть, генерирующую страшные истории. Её обучили на текстах с соответствующего сабреддита (r/nosleep), а работает она так: берёт случайный кусок текста и дальше начинает "фантазировать" исходя из того, что она видела при обучении. Её истории можно дополнять в твиттере, так что на выходе получается интересная коллаборация: нейросеть, обученная на коллективном разуме реддита, плюс коллективный разум из твиттера. Примеры историй по ссылке: https://shelley.ai. Я вот читаю некоторые и думаю: ну правда, иногда встречаешь настолько ужасно написанные человеческие тексты, что нейросеть и то лучше написала бы.

Кстати, в прошлом году шутники из MIT создали нейросеть, генерирующую страшные лица (и зловещие фильтры для фото). Вот это правда криповая фигня, понятная и без языкового барьера: https://nightmare.mit.edu/

Давно не было ничего прикольного про генеративные нейросети (GAN). Исправляюсь! Вот видео, в котором GAN генерирует портреты несуществующих людей.

Другие интересные посты про GAN:

Что это вообще такое и как GAN рисуют картины, неотличимые от человеческих
GAN рисуют несуществующих котиков
GAN рисует портреты несуществующих людей XIX века
GAN создают джаз

Пожалуй, пора открывать в канале рубрику bullshit news. Все мы знаем, как устроена экономика онлайн-СМИ - больше просмотров, больше денег. Погоня за кликами неизбежно приводит к тому, что даже хорошие издания вынуждены писать про всякую малозначимую чепуху, чтобы не "прососать" трафик (ситуация, когда все написали про инфоповод, а ты - нет). Единственные институты, которые должны фильтровать и ранжировать контент по значимости и важности (т.е. СМИ с профессиональными редакторами), не справляются с этой задачей. В итоге вместо познавательных и объясняющих материалов люди читают маркетинговый буллшит, misreporting или вообще fake news.

В июле разработчики Facebook создали двух чатботов, обучили их на массиве реальных человеческих диалогов и с помощью reinforcement learning запрограмировали их на переговоры (т.е. боты должны были научиться обмениваться информацией про некую игру и принимать в ней совместные решения; подробности не так важны, на самом деле). После некоторого количества итераций эксперимент с естественным языком зашёл в тупик. Боты общались друг с другом и понимали друг друга (в машинном смысле этого слова, конечно). Но тексты их диалогов были нечитаемыми для людей. Вот как это выглядело:
Bob: i can i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to

Ну и вы наверное помните, как СМИ освещали эту тему. "Чатботы Facebook изобрели собственный язык", "инженеры Facebook в панике" и прочий буллшит про скайнет. Типичный пример misreporting - ситуации, когда журналисты пишут про то, в чём сами не разобрались.

Но сегодня я собрался задвинуть телегу по другом случаю. Слышали, недавно в Саудовской Аравии выдали гражданство роботу Софи? Вот это круто, правда? Роботы с гражданством, прикиньте)) Фантастика просто)))

Нет. Это просто маркетинговый трюк. Саудовская Аравия - богатая нефтяная страна, которая хочет привлекать западных инвесторов (но привлекать особо нечем). Зато их соседи - ОАЭ -постоянно пиарятся на теме футурологии. То роботов-полицейских анонсируют, то введут пост "министра искусственного интеллекта". Правда, что там дальше происходит со всей этой футурологией, никто из СМИ не следит, обычно просто перепечатывают пресс-релизы с красивыми фото и забывают про ОАЭ до следующего пресс-релиза.

Так вот, сауды эту фишку просекли, провели у себя саммит с красивым названием Future Investment Initiative, позвали туда людей из Hanson Robotics со своей говорящей куклой и презентовали свой ответ соседям: мол, мы настолько прогрессивные, что стали первой в мире страной, которая дала гражданство роботу. И неважно, что робот этот - просто кукла с компьютером в голове. И неважно, что Саудовская Аравия - авторитарная страна, которая в рейтингах гражданских свобод стабильно плетется где-то на дне, между Сомали и Суданом. Кстати, там только вчера разрешили женщинам посещать стадионы. Да просто задайте себе вопрос: что это значит вообще, дали компьютеру гражданство? Он что теперь, будет платить налоги? Или пойдет в армию? Или будет голосовать на выборах? Таких подробностей, конечно же, нет, потому что всё "гражданство" - это красивая картинка для СМИ. Мол, смотрите, инвесторы и все остальные, какая у нас прогрессивная страна. В которой, правда, кроме нефти и авторитаризма особо и нет ничего.

Есть такое понятие "псевдособытие" - это событие, которое происходит только ради того, чтобы быть освещенным в СМИ. Ради хайпа, если выражаться современным языком. Проплаченные митинги, акции гражданских активистов, пресс-конференции - это всё примеры псевдособытий. Вот эта история с "гражданством" робота - идеальное псевдособытие. Инстаграм киевской перепички, который бесплатно раскрутили полезные дураки из СМИ - такое же псевдособытие. И самое печальное, что эту чушь про робота в моей ленте репостили даже неглупые люди - журналисты и предприниматели, которые как раз должны уметь критически читать новости и отличать стоящий инфоповод от маркетингового вброса.

Сегодня на этом всё, до встречи в следующем выпуске рубрики bullshit news.

Японские учёные научились обманывать систему распознавания образов, изменяя всего один пиксель в изображении из 32 на 32 пикселей. То есть буквально, вы показываете нейросети кошку, а она определяет её как собаку, и так далее.

Вы спросите - ну и зачем так делать? А представьте, что будет, если так обмануть камеру беспилотного авто? К примеру, заставить её увидеть совсем другой знак. В общем, применений у таких атак много, так что учёные все правильно делают - ищут слабые места нейросетей до того, как это сделает кто-нибудь плохой. Вот здесь публикация с иллюстрациями, здесь новость доступным языком. А вообще я об этом уже писал ранее, так что ниже просто репостну свой пост.

Сейчас будет длинный, но интересный пост про ИИ. Когда нейросеть распознаёт образ, она не видит "образы" в привычном для нас смысле. Нейросеть - это черный ящик. Внутри него находятся несколько слоёв коэффициентов ("нейронов"), которые определенным образом меняются в зависимости от того, что подают на вход. Допустим, мы научили нейросеть распознавать лошадей, показав ей несколько миллионов фото. Если теперь подать на её вход любое изображение, нейросеть преобразует его в многослойный набор коэффициентов и сравнит с теми наборами, которые получались, когда ей показывали лошадей.

"Лошадь" или любой другой образ для нейросети - это не картинка, а набор чисел. И вот здесь начинается интересное. Потому что образ "страус" может преобразовываться внутри нейросети в очень похожий набор чисел. И если, зная это, совсем немного подправить изображение лошади (изменение будет даже незаметным для человека), нейросеть вместо лошади распознает страуса. Или любой другой образ. Для этого даже не надо знать, как нейросеть устроена внутри - её можно обмануть не открывая "чёрный ящик", просто показывая картинки и записывая её реакцию.

Вот подробная статья в Popular Science с иллюстрациями, не поленитесь посмотреть. Вжух - и нейросеть видит вместо здания страуса, вместо панды - обезьяну, а вместо одних дорожных знаков - совсем другие. Исследуют это всё в целях безопасности, а один из заказчиков исследования - армия США.
https://www.popsci.com/byzantine-science-deceiving-artificial-intelligence

Подобным атакам подвержены и системы распознавания речи. Учёные разработали специальные голосовые команды, которые для человеческого уха звучат как белый шум, но при этом голосовые ассистенты (вроде Siri или Google Now) их слышат и распознают. Встроив скрытую команду в выпуск радио, ТВ, или в Youtube-ролик, злоумышленнники могут направить людей на вредоносный сайт, украсть их личные данные или деньги. Это не фантастика: недавно в Техасе домашние устройства Alexa некоторых телезрителей отреагировали на голосовую команду, которую произнёс ведущий местной передачи. Правда, мой смартфон эти команды не распознал. Но на деморолике всё работает, посмотрите: https://www.hiddenvoicecommands.com/demo

Подробнее: https://www.theatlantic.com/technology/archive/2017/01/the-demon-voice-that-can-talk-to-your-smartphone/513743/

Посты по теме:

В чём проблема "чёрного ящика" ИИ и как её можно решить:
https://t.iss.one/brodetsky/608, https://t.iss.one/brodetsky/510

Как исследователи научились копировать алгоритмы машинного обучения из "черного ящика": https://t.iss.one/brodetsky/565

Как работает перенос стиля с помощью нейросетей в приложениях вроде Prisma:
https://t.iss.one/brodetsky/642

В продолжение темы.

Fooling Neural Networks in the Physical World with 3D Adversarial Objects
https://www.labsix.org/physical-objects-that-fool-neural-nets/

Профессор Нью-Йоркского университета Джулиан Тогелиус даёт советы журналистам, пишущим об искусственном интеллекте:
— Не ищите универсальных экспертов. ИИ — большая сфера: мало кто разбирается одновременно в глубоком обучении, распространении ограничений и стохастической оптимизации. Если тема статьи — «современные наработки в ИИ», спросите исследователей из нескольких подотраслей.
— «Искусственного интеллекта» не существует. ИИ — набор методов разработки. Нейросеть для шахмат не рисует кошек, а нейросеть для рисования не играет в шахматы. Ошибочно считать, что «искусственный интеллект „Гугла“ водит машины и пишет стихи»: это несколько программ для решения узкоспециализированных задач.
— Большинство новых идей — развитие старых. Современное машинное обучение основано на работах из 80-х и 90-х, а базовые концепции были заложены ещё в 40-х. Прочитайте статью 1950 года Алана Тьюринга. Спросите опытных исследователей, прежде чем писать о «прорыве в науке»: возможно, это надстройка над старой идеей.
— Иногда искусственный интеллект знает ответы. Разработчики игр, программ-переводчиков и роботов закладывают в систему информацию о предметной области. К примеру, часть ответов голосовых ассистентов заранее прописаны редакторами. Узнайте, как поведёт себя программа, если изменить запрос или переформулировать проблему.

5 минут на чтение

В последнем номере Wired вышел большой текст о том, как в Китае внедряют систему "социальных кредитов". Это такая расширенная версия кредитного рейтинга, которая учитывает не только финансовую историю гражданина, но и разные социальные факторы: не нарушает ли человек закон, что он покупает, с кем дружит, что пишет в соцсетях. Реакция западного читателя на такие инициативы ожидаема - "Большой брат", "Оруэлл", "цифровой тоталитаризм". Как это будет работать на самом деле, пока непонятно - система заработает на полную мощность только через три года. По крайней мере, сейчас шумиха вокруг этих рейтингов кажется преувеличенной. В Китае, кстати, люди вообще менее трепетно относятся к защите персональных данных и правительственной слежке. Но звучит всё это действительно зловеще:

"У людей с низким рейтингом будет медленнее работать интернет, они не смогут посещать некоторые рестораны, клубы и прочие заведения. Им запретят свободно выезжать за границу. Рейтинг будет влиять на возможность взять что-либо в аренду, получить кредит и даже социальные льготы. Граждане с низким рейтингом не смогут устроиться на определенные должности, например, в государственных органах, СМИ или юриспруденции, где надежность, разумеется, является обязательным критерием. Если у вас низкий рейтинг, то вы не сможете получить образование в частных учебных заведениях или отдать туда своих детей."

TLDR: китайские власти хотят управлять поведением миллионов граждан с помощью частных корпораций и цифровой слежки. Будущее прекрасно! 👁

https://www.wired.co.uk/article/chinese-government-social-credit-score-privacy-invasion

перевод: https://rb.ru/story/social-credit-score/

via fb.com/iorish

Если хотите понять что-то про технологию, обращайте внимание на то, что о ней говорят разработчики, а не футурологи или пиарщики. Их комментарии всегда интереснее и глубже. На днях поделюсь другими интересными заметками от разработчиков нейросетей, а пока - главное из интервью с Яном ЛеКуном, руководителем разработки искусственного интеллекта в Facebook (и одним из главных специалистов по ИИ в мире).

Медиа плохо освещают тему ИИ - в основном из-за непонимания того, что происходит в области на самом деле. Ещё недавно ни одна статья про ИИ не обходилась без картинки Терминатора. Но ситуация постепенно улучшается.

Мы очень далеки от создания действительно умных машин. Все успешные кейсы применения ИИ - беспилотные машины, интерпретация медицинских изображений, го и так далее - это очень "узкие" интеллекты, натренированные для выполнения единственной задачи. Создание супермощной программы, играющей в го, не приближает нас к созданию общего ИИ. Это совершенно другая проблема.

Мы пока не можем научить машины познавать мир так, как это делают люди или животные. Да, в некоторых областях машины превосходят человека по производительности, но если говорить в терминах общего ИИ, мы пока не приблизились даже к крысе.

Reinforcement learning, примененный при создании AlphaGo Zero - перспективный метод разработки ИИ, но не универсальный. Он хорошо работает в тех ситуациях, которые можно смоделировать и прогнать на компьютере в ускоренном режиме - как это сделали с AlphaGo Zero, когда через нейросеть за несколько недель обучения прогнали миллионы игр в го. В реальном мире время нельзя так ускорить. Это ключевая задача для науки и техники - научить машины строить модели реального мира.

К примеру, когда человек впервые садится за руль, он уже знает, что нельзя съезжать в кювет или въезжать в дерево. Если обучать машину вождению только с помощью reinforcement learning, она врежется в дерево 40 000 раз, прежде чем поймёт, что это плохая идея. Так что неправильно считать, что только reinforcement learning - путь к моделированию интеллекта.

https://www.theverge.com/2017/10/26/16552056/a-intelligence-terminator-facebook-yann-lecun-interview

Недавно в Венеции прошла крупнейшая конференция по computer vision - ICCV 2017. На Techcrunch сделали подборку из 13 интересных исследований, представленных на конференции. Темы разработок - улучшение мобильных и портретных фото, генерация изображений по описанию, копирование художественного стиля на лету, описание изображений естественным языком, подсчёт людей на фото и даже заглядывание за угол с помощью анализа света. Полезно почитать, чтобы быть в курсе, над чем сейчас работают лучшие специалисты по компьютерному зрению.

https://techcrunch.com/gallery/dispatches-from-the-cutting-edge-of-computer-vision/

Давно никто не брался за Ютуб! Вот журналист и художник Джеймс Бридл разворошил осиное гнездо Youtube Kids. Многие родители включают детям их любимые мультики на ютубе, потому что это самый простой и быстрый способ получить доступ к этому типу видео-контента, особенно на мобайле. Включают и отвлекаются на свои дела, в то время как дети смотрят "Свинку Пеппу" или "Щенячий патруль". А зря!

Дело в том, что ребенок не видит большой разницы между оригинальным мультиком, разработанным мегакорпорацией, в которой цеха рисерчеров анализируют детскую психологию, и "пародиями". А учитывая, что оригинальные мультфильмы выкладывают в общий доступ в ограниченном количестве, дети (и родители) постоянно ищут новый контент, порой не очень разборчиво.

Оказалось (внезапно!), что создатели детского видео-контента уже давно в курсе этих особенностей медиа-потребления и научились его недобросовестно эксплуатировать. Помимо ожидаемых нарушений авторского права и низкокачественных пиратских копий оригинальных серий есть целые жанры имитаций и ада с интеграцией высокочастотных поисковых запросов в название видео.

Статья - маст-рид как для исследователей медиа и платформ, так и просто для родителей (особенно тех, которые легкомысленно относятся к общению ребенка с планшетом). - https://bit.ly/2zp9eNx

Бонус-треки по теме:

NYT про адский контент, который прорывается через фильтры Youtube kids - https://nyti.ms/2zsjtma

The Outline про поддельную свинку Пеппу, которая пугает детей - https://bit.ly/2iE5gsj

Ежегодно кибермошенники с помощью фишинга выуживают из карманов доверчивых пользователей интернета 16 миллиардов долларов. Новозеландская организация Netsafe, занимающаяся безопасностью в сети, запустила интересный проект. Re:scam - это нейросеть, обученная отвечать на фишинговые письма. Пользователи форвордят фишинг на адрес Re:scam, нейросеть определяет тип фишинга (банковский, знакомства, наследство), входит в роль и начинает вести со спамерами бессмысленную переписку, отнимая их время. Как это выглядит, можно посмотреть здесь: https://youtu.be/jPajqAJWiNA или на сайте rescam.org

Проект красивый, хотя проблему фишинга он, конечно, не решит. И сразу возникает вопрос: как долго ждать аналогичной нейросети для мошенников, которая разводит доверчивых людей на деньги? А может такие нейросети уже есть? По крайней мере, на сайтах знакомств большинство горячих красоток, которые пишут первыми - это боты, так работает эта индустрия.

Ранее писал здесь про парня, который написал скрипт для телефонного DDOS мошенников: https://t.iss.one/brodetsky/857
И про чувака, который написал смешной скрипт для троллинга надоедливых телемаркетеров: https://t.iss.one/brodetsky/68

Ну и пост про троллинг спамеров будет неполным без этого смешного выступления на TED, посмотрите, если не видели: https://youtu.be/_QdPW8JrYzQ