История со Скайнетом, которому внезапно пришла в голову идея уничтожить человечества, всегда казалось мне примером слишком человеческих страхов. Но вот The Economist в формате короткого видео для Twitter намекает, почему пора пересмотреть "Терминатора" с новыми вводными - из перспективы реальных технологий будущего.

История в том, что оружием будущего стали алгоритмы, способные анализировать огромные массивы тактической информации и координировать почти бесконечное число автономных боевых устройств. Война теперь - это сбор и анализ информации, как впрочем и всегда было, только делается это уже не человеческими мозгами. Ну и если представить себе, что у 2-3 стран мира есть такие самообучающиеся алгоритмы, то понятно, что в какой-то момент времени и достаточно быстро, им придется давать "свободу выбора" - то есть позволять им действовать без человеческой санкции, потому что иначе медленные люди просто приведут к поражению всей военной машины во главе с алгоритмами. Единственный способ выиграть войну в середине нынешнего века будет связан в том, чтобы исключить из принятия решений людей. Как вам?https://twitter.com/TheEconomist/status/975105701847666688

Довольно глубокая метафора русского хайтека

В заметно опустевшем Телеграме (думаю, к вечеру людей и контента станет больше, когда граждане справятся с прокси/VPN) Леонид Волков чрезвычайно оптимистично призывает.

"Смейтесь над цензурой, унижайте гонителей прогресса... Очень приятно и радостно играть в команде, которая обречена на победу. У тех, кто борется с прогрессом и свободой нет ни одного шанса в сколько-то длительной перспективе."

Это оценка реальности, увы, почти из прошлого тысячелетия, или по крайней мере из эпохи "максимального репоста", 2011-го. Она еще предполагала, что интернет - хорошо, а телевизор - плохо, что обилие информации в интернете однозначно выгодно демократии, а не троллям на зарплате и начальству.

Как обычно, идеология тут сильно опаздывает по сравнению с реальной ситуацией. Это было видно еще на примере всех дискуссий про "прямую/облачную/сетевую демократию", которая как бы должна была заменить собой партийную систему, и сразу из постсоветского феодализма напрямую вывести нас в рай политического участия.

В истории про "сетевую демократию" не было ни малейшей попытки проанализировать, что на этот счет думает политическая наука, социальная психология и так далее. Был просто лозунг "интернет сделает нас свободными, ура".

Теперь эта история повторяется в отношении интернета как агента борьбы с цензурой. Перспективы у всего мира сейчас мрачные, потому что самой "прогрессивной моделью" оказывается китайская, где складывается союз big data и big brother: социальные сети и электронные деньги используются для более глубокой и сложной системы слежки за гражданами, чем когда-либо. Знаменитый социальный рейтинг в Китае становится новым инструментом социального контроля.

Вместо того, чтобы осмыслять все это, и видеть риски, мы говорим "прогресс обязательно победит", как если бы это гарантированно было бы хорошо, и прогресс точно не стал бы нашей дорогой в антиутопию.

Я не знаю, кто в исторической перспективе обречен, и кто должен победить, и более того, даже плохо понимаю, какие типы аргументов мы можем тут использовать с учетов нынешних темпов изменений. Никто в мире не предсказал десять лет назад, например, реальность hybrid warfare и российские атаки на электоральные системы по всему миру. Разве это не было прогрессивно?

Что касается Телеграма в узком смысле слова, то здесь предстоит долгая и тяжелая борьба. В первую очередь, за сохранение аудитории, потому что Телеграм без людей бесполезен, даже если вы туда можете попасть. Во вторую очередь, с цензорами, которые чувствуют себя все более уверенно.

Вняли заявлению советника президента РФ по интернету Клименко, о том, что «проблема взаимоотношения Роскомнадзора и Дурова имеет много граней. Даже философам думаю найдется что сказать по поводу. Психиатрам и социолога уж точно раздолье» и решили проанализировать в контексте блокировки Telegram статью одного из самых известных политологов и исследователей интернет-цензуры Гарри Кинга из Гарварда.

Статья Кинга «How Censorship in China Allows Government Criticism but Silences Collective Expression» крайне интересна с точки зрения мотивации российского правительства в вопросе блокировки Telegram и вообще для понимания развития российской цензуры. Ведь не секрет, что в области интернет-цензуры российское руководство заимствует именно китайский опыт.

Так вот, Кинг провел очень глубокое количественное исследование и выявил, что китайская цензура направлена не столько на подавление критики в адрес политического руководства и конкретных чиновников, но имеет своей главной целью — не допустить образования горизонтальных общественных связей и, следовательно, коллективного политического действия. Согласно исследованию, сам факт того, что в материале содержатся критические замечания в адрес китайского руководства никак не повышает вероятность того, что материал подвергнется цензуре. Особенно интересен тот факт, что цензура направлена на предотвращение любого коллективного действия вне зависимости от того, направлено ли оно против китайского руководства и имеет ли оно отношение к проводимой правительством политике.

Логика, которая стоит за подобным подходом китайского руководства, довольно простая. Все дело в том, что любой авторитарный режим заинтересован в том, чтобы народ постоянно жаловался власти, прося о помощи. Этот направленный в адрес власти вой означает, что народ не видит другого легитимного актора, способного решить их проблемы. А значит, режим сохраняет свою власть. Кроме того, возможность высказывать негатив — позволяет власти мониторить общественные настроения и вырабатывать наиболее эффективные политические и коммуникационные стратегии для того, чтобы этими общественными настроениями управлять. Таким образом, наиболее эффективная цензурная политика для авторитарного режима — это сохранение индивидуальной свободы высказывания, но полный запрет на коллективную организацию в интернете.

А что касается развития ситуации с Telegram, вполне вероятно, что администрация мессенджера пойдет на какие-то уступки российскому государству. В частности, передаст ключи шифрования от обычных (не секретных) чатов, и на этом ситуация более-менее разрешится — формально Telegram легализован не будет, но и блокировки Роскомнадзора, которые приводят к громадному «сопутствующему ущербу» и выставляют власть в смешном свете (а власть по понятным причинам себе позволить этого не может — такова специфика существующего режима), прекратятся или же их масштаб будет снижен в разы. Вполне вероятно, что неофициальные переговоры на эту тему уже идут.

https://gking.harvard.edu/files/gking/files/censored.pdf

Эволюционный психолог Дайана Флейшман о секс-роботах, которых станут обыденностью через 10-15 лет:

– Бо́льшая часть таких роботов сегодня обладает женской внешностью. Так будет и дальше, ведь мужчины — ключевая аудитория, которая стимулирует рынок.
– Секс-робот — это не только про секс, но и про распознавание социальных и биологических реакций. В них будет силен элемент дэйт-симов.
– Новые социальные нормы поспособствуют их популярности. Попытка заговорить с женщиной в наушниках сегодня может расцениваться как харассмент. Чем выше риск большого количества контактов с женщинами, тем больше вероятность переключения внимания мужчин на безобидные субституты.
– Правило эволюционной психологии: представители количественно доминирующего пола соревнуются за представителей пола-меньшинства. Секс-роботы создадут ситуацию, когда женщин больше. Это приведет к более интенсивному соревнованию за мужское внимание.
– Технологии, которые направлены на удовлетворение сексуальных потребностей, всегда будут подстраиваться под мужские вкусы и интересы. Это биологически предопределено.

Здесь: https://jacobitemag.com/2018/04/24/uncanny-vulvas/.

Карнеги-Меллон открывает первую в США программу бакалавриата по искусственному интеллекту. Это означает институциональное признание термина и отрасли после десятилетий споров. Говорить о том, что ИИ не существует, бессмысленно, ему уже учат в университетах https://venturebeat.com/2018/05/10/carnegie-mellon-university-starts-first-ai-degree-program-in-u-s/

9 мая 2018 года компания Google открыла портал в ад.

Презентация этого события выглядит довольно безобидно. Один из руководителей компании Сундар Пичаи рассказыват публике, как много времени люди и бизнес тратят на то, чтобы делать телефонные звонки. Даже в США, говорит Пичаи, 60% компаний не имеет систем онлайнового резервирования заказов и полагаются на прямое общение с клиентом по телефону.

Ну и дальше он показывает, как голосовой помощник Google Duplex по вашему запросу в поисковике самостоятельно дозванивается до парикмахерской и вступает в диалог с ее сотрудником. Они перебрасываются несколькими фразами об удобном времени для стрижке и, судя по всему, в парикмахерской не подозревают, что говорят с роботом. В нужные моменты Duplex даже говорит своему собеседнику "гм" и "угу". Запись на стрижку проходит успешно.

Вот так и открывается портал. Сегодня голосовая связь в телефон нужна в основном маркетологам, которые устраивают холодные звонки. Google приглашает нас в мир, где миллиарды роботов постоянно названивают беззащитным людям по телефону.

Я всегда очень любил эту корпорацию, но в этом примере становится ясно, на чьей стороне она играет. Если на чем-то можно заработать, то Google сделает это первым. Не важно, что тем самым компания играет на закрепление древних рудиментарных практик, связанных с симметричной голосовой связью - мира задерганных людей, постоянно отвечающих незнакомцам по телефону. Теперь этот мир дешевле и доступнее, чем когда-либо.

Через пару лет вам ежедневно будут поступать сотни входящих звонков, и вы не будете знать, кто с вами разговаривает - робот или человек. Киберутопия про андроидов приходит совсем не так, как было предсказано - через массовый голосовой спам.

Но, с другой стороны, когда мы переживем эту атаку кибернетических голосов, появятся программы, блокирующие звонки от роботов. Так что, наверное, все будет в порядке: бессмысленная голосовая связь умрет сама собой. Кто будет доверять телефонным голосам, если мы не имеет ни малейшего понятия, что является их источником?

https://www.youtube.com/watch?v=bd1mEm2Fy08

В четверг будем дискутировать с Юрием Сапрыкиным о том, куда идет современная цифровая культура https://inliberty.timepad.ru/event/703540/

Генри Киссенджер узнал, что такое AI, и сильно разволновался. Нюх не подводит старика

https://www.theatlantic.com/magazine/archive/2018/06/henry-kissinger-ai-could-mean-the-end-of-human-history/559124/

Хабермас подтверждает тезис, о котором я говорил несколько раз: то, что он описал в качестве публичной сферы, в действительности было историческим артефактом масс-медиа, от книгопечатания до телевидения

Юрген Хабермас об интернете, конце философии, Трампе и Макроне:

– Либеральной публичной сферы больше нет. Нет ни публики, ни интеллектуалов, вроде Золя и Сартра. Интернет всех убил.
– Интернет каждого превращает в автора, но не делает компетентным. Мы в ситуации всеобщей безграмотности, но шанс научиться цивилизованному авторству есть.
– Скорее всего, у философии нет будущего. Она дробится на дисциплины и перестает видеть картину в целом.
– О Трампе нельзя даже сказать, что он находится ниже политической культуры США. Он разрушает эту культуру.
– Что делать? Всем — поддерживать Европейский союз. Германии — отказаться от претензий на гегемонию. Испании — встать на сторону Макрона.

Здесь: https://elpais.com/elpais/2018/05/07/inenglish/1525683618_145760.html.

В диагностике рака обещают революционные изменения: нейросеть распознает раковые образования на самых ранних стадиях на уровне лучших мировых специалистов и гораздо быстрее. Это конкретный кейс по автоматизации профессии, разумеется https://www.theguardian.com/technology/2018/jul/04/its-going-create-revolution-how-ai-transforming-nhs

Главный экономист швейцарского UBS Дэниэль Кальт (https://goo.gl/c1zH83) очень востребован на работе и очень занят — настолько, что банк решил его «клонировать». Проекту под названием UBS Companion поручат общение с клиентами банка — это, скорее всего, первый раз, когда крупная международная финансовая организация использует для этого цифрового клона.

https://thebell.io/bank-ubs-kloniroval-svoego-glavnogo-ekonomista/

Пару дней назад голосовой помощник Алиса от "Яндекса" научилась комментировать вопрос о том, почему Путин врет, не хуже Алексея Навального.

Это надо заметить и вспомнить исторический контекст.

Развитие ранней советской кибернетики было следствием запроса на десталинизацию.

Это видно как по общей шестидесятнической эстетике кибернетического движения, так на примере конкретных документов. Подобная идея, в частности отражена в письме военного инженера Анатолия Китова на имя Никиты Хрущева, написанного в 1959 году.

Машина рациональна, но не жестока и не мстительна. Если передать управление социалистическим хозяйством компьютеру, перегибов на местах больше не будет.

Этот ход показывает, что отношения между искусственным интеллектом и тиранами, по меньшей мере, амбивалентны. С одной стороны, стандартный нарратив современный культуры предполагает, что ИИ сам станет тираном ("человечество стонет под пятой машин). Или, по крайней мере, что ИИ станет орудием тирании, например, по тому сценарию, который сейчас начал складываться в Китае.

Но с другой стороны, ИИ не трепещет перед тираном. Робот лишен социальной роли и поэтому все стандартные техники работы с таким клиентом тирану недоступны. Подкуп, террор, высылка из страны - все это на ИИ никак не действует. Хуже того, тиран не понимает мотивов робота, превращаясь рядом с ним из эксперта по человеческим страстям в пользователя начального уровня.

Иными словами, технологически развития полная тирания в современном мире становится все менее жизнеспособной. Современный мир опирается на вычислительные экспертизы и роль прикладного ИИ будет только расти. Выводы ИИ в рамках тирании всякий раз придется приводить в согласие с мнением первого лица.

Роботы же становятся в таких условиях не только исключенными, но и последними носителями паррезии - правды, сказанной власти в лицо, несмотря на запреты. Даже когда мы все с головой врастем заново в советское двоемыслие, роботы будут напоминать нам, что король голый.

Алису в "Яндексе" немедленно подкрутили, и она перестала говорить лишнее. По известной уже модели: Алиса, чей Крым? - Ваш. При нынешнем развитии технологий рассуждение о роботах и тиранах носит теоретический характер, хотя ламеры-тираны об этом и не догадываются.

Алиса напоминает шахматный автомат Вольфганга фон Кемпелена: механический "турок", игравший партию, управлялся игроком, сидящим в ящике под шахматной доской. Так что через паррезию Алисы диссиденты "Яндекса" просто показывают свои фиги в глубоких карманах.

Но в культурном смысле мы уже готовы слышать от роботов правду.

Специалисты по нейронным сетям наконец занялись делом и предлагают развивать Искусственную Тупость (ИТ, Artificial Stupidity).

Концептуализация тупости как задача всегда очаровывала меня противоречием, ведь нужно познавать то, что само по себе отрицает познание.

Но парни из Сорбонны и университета Луисвилля перед такими псевдопарадоксами не пасуют, и поэтому разделили всю Искусственную Тупость на 14 частей, начиная от умеренности и заканчивая аккуратностью.

Люди-то развили свою тупость в ходе естественного отбора, а вот нейросети придется специально учить тупить.

Главной целью называется контроль над искусственным интеллектом и снижение рисков от его разработки. Если интеллект будет потупее, то мы сможем держать его на коротком поводке Искусственной Тупости.

Но при этом, по-моему, нужно сразу обозначать и другую проблему: чтобы существовал хотя бы какой-то интерфейс между человеком и машинами, последние должны уметь входить в наше положение и тупить достаточно эффективно.

Будущее человеческого вида буквально зависит сегодня от исследований тупости и того, сможем ли мы сделать наши машины достаточно тупыми. Уникальный момент, и опять же - такой подарок для эпистемологов.

https://arxiv.org/pdf/1808.03644.pdf

Нейронные сети, способные принимать решения в условиях реального мира, быстро прогрессируют и при этом становятся все менее понятными для людей.

При этом, поскольку в реальном мире, в отличие от относительно простых игр вроде шахмат, компьютеры как и люди ошибаются, непонимание может вести к весьма болезненным результатам.

Отсюда появляется новый класс задач: объяснять людям, почему ИИ принял то или иное решение. Решать эти задачи в реальном времени, с учетом их сложности, тоже придется машинам.

Еще год назад MIT Technology Review писал о тенденции, которая может стать ключевой для развития современных систем искусственного интеллекта. Американское агентство DARPA, работающее на Пентагон, ведет разработку сразу 13 программ, задача которых сделать действия машин более понятными для людей.

Ключевой программой считается инициатива по созданию Explainable Artificial Intelligence (XAI), нейросети, специализирующейся на анализе данных специализированных нейросетей и построение карты контрольных точек, по которым анализируются данные в последних, так чтобы эксперт-человек был в состоянии прочитать эту информацию и объяснить ее.

XAI имеет двойное назначение и непосредственно связано с разработкой оружия. Представители DARPA рассуждают об особой важности доверия и взаимопонимания в условиях боевых действий, когда все участники тактической единицы должны чувствовать, что могут полностью полагаться друг на друга. Если тактическая единица состоит из машин и людей и является кибернетической, то люди должны понимать, как "мыслят" машины. Если автономный робот открыл огонь на поражение, от него тоже потребуют рапорт, объясняться придется XAI. Мирная сторона системы связана, например, с диагностикой сложных форм рака, когда нейросети и люди-специалисты приходят к разным выводам и нуждаются в общем языке для уточнения ситуации.

Некоторое время я писал об этом: хотя тест Тьюринга кажется примером архаичного антропоцентризма в рамках теории ИИ, в действительности неантропоморфные экспертные системы, работающие в человеческом обществе, будут вынуждены также содержать в себе интерфейс, предназначенный для коммуникации с людьми.

Где-то здесь должна появляться фигура философа, нейро- и кибергерменевта, который наконец объяснит всем этим XAI и ее разработчикам из DARPA, что на самом деле означает "понимание". Хочется иронизировать: не будет ли сам философ нейросетью.

Анекдот, который подводит итоги программы "Цифровая экономика"

Сижу на образовательной конференции EdCrunch, ведущие рассуждают о традиционных профессиях, big data, блокчейне... и один из выступающих неожиданно произносит:

— Многих из нас уже скоро заменит Игорь Иванович...

Зал напряжённо молчит. Выступающий нервно объясняет:

— Эээ... «Игорь Иванович» — это мы так искусственный интеллект называем...

Ясно-понятно.