Что происходит с обществом под влиянием новых технологий? Сможет ли искусственный интеллект осознать себя и что тогда ждет человечество? Государственное интернет-регулирование: забота или цензура? Виртуальность — новая норма?
На эти и другие вопросы мы ответим в нашей новой еженедельной рубрике «Общество и технологии». Материалы ищите по хештегу #общество_технологии
На эти и другие вопросы мы ответим в нашей новой еженедельной рубрике «Общество и технологии». Материалы ищите по хештегу #общество_технологии
О войне мнений в сети
Поляризация мнений в интернете сегодня превратилась в одну из самых востребованных тем исследований учёных и предмет обеспокоенности властей. Пока математики выявляют закономерности «войны в сети», депутаты готовятся на законодательном уровне противостоять рискам социальных конфликтов. Озабоченность этим вопросом выглядит убедительнее, если глубже ознакомиться с процессом поляризации.
Из всех актуальных теорий на этот счет наиболее интересной нам кажется так называемая идеологизированная поляризация. В бесконечном потоке идеологически заряженных инфоповодов пользователь находится в перманентном процессе идентификации — себя, своей группы и «других». Необходимость определиться и ограниченность времени принятия решения вынуждают его выбирать более радикальные формулировки и полярные позиции.
В результате происходит постоянное дробление социума, которое ведет к атомизации даже внутри одного информационного пузыря. Согласие с собеседником по одному вопросу не уменьшает вероятность стать его оппонентом по другому. Ограниченное (персонализированное) информационное пространство вынуждает человека продолжать спор — в том числе по тем поводам, по которым, казалось бы, уже достигнут консенсус. Яркий пример тому — движение феминизма: сегодня между ортодоксальными, интерсекциональными, постколониальными, радикальными, эко-, квир- и прочими феминистками больше поводов для разногласий, чем было у их первой волны в отношении патриархального общества.
Эту ситуацию исследовали авторы «Emergence of Polarized Ideological Opinions in Multidimensional Topic Spaces» (2021). Ученые получили модель, которая демонстрирует высокую корреляцию между мнениями по малосвязанным и вообще не связанным темам при условии, что они остродискуссионные. Таким образом, зная позицию человека, например, по вопросу вакцинации, можно предсказать его точку зрения касательно того же феминизма или глобального потепления.
Получается, чем больше у людей возможностей формировать свою индивидуальность через свободный выбор суждений по разным вопросам, тем более однородным становится этот выбор, скапливаясь в радикальных позициях. Чем активнее человек заявляет о своих принципиальных убеждениях, тем более предопределенным с каждым разом становится его ответ даже по самым отдаленным темам. Судя по всему, делая выбор в пользу радикальности суждения, мы лишаем себя дальнейших альтернатив и становимся частью единой траектории заданного движения голоса в эхо-камере.
Учитывайте эту информацию при коммуникации с аудиторией, а об алгоритмах как факторе социальных противоречий и перспективах законодательного воздействия на них — в следующем посте.
#общество_технологии
Поляризация мнений в интернете сегодня превратилась в одну из самых востребованных тем исследований учёных и предмет обеспокоенности властей. Пока математики выявляют закономерности «войны в сети», депутаты готовятся на законодательном уровне противостоять рискам социальных конфликтов. Озабоченность этим вопросом выглядит убедительнее, если глубже ознакомиться с процессом поляризации.
Из всех актуальных теорий на этот счет наиболее интересной нам кажется так называемая идеологизированная поляризация. В бесконечном потоке идеологически заряженных инфоповодов пользователь находится в перманентном процессе идентификации — себя, своей группы и «других». Необходимость определиться и ограниченность времени принятия решения вынуждают его выбирать более радикальные формулировки и полярные позиции.
В результате происходит постоянное дробление социума, которое ведет к атомизации даже внутри одного информационного пузыря. Согласие с собеседником по одному вопросу не уменьшает вероятность стать его оппонентом по другому. Ограниченное (персонализированное) информационное пространство вынуждает человека продолжать спор — в том числе по тем поводам, по которым, казалось бы, уже достигнут консенсус. Яркий пример тому — движение феминизма: сегодня между ортодоксальными, интерсекциональными, постколониальными, радикальными, эко-, квир- и прочими феминистками больше поводов для разногласий, чем было у их первой волны в отношении патриархального общества.
Эту ситуацию исследовали авторы «Emergence of Polarized Ideological Opinions in Multidimensional Topic Spaces» (2021). Ученые получили модель, которая демонстрирует высокую корреляцию между мнениями по малосвязанным и вообще не связанным темам при условии, что они остродискуссионные. Таким образом, зная позицию человека, например, по вопросу вакцинации, можно предсказать его точку зрения касательно того же феминизма или глобального потепления.
Получается, чем больше у людей возможностей формировать свою индивидуальность через свободный выбор суждений по разным вопросам, тем более однородным становится этот выбор, скапливаясь в радикальных позициях. Чем активнее человек заявляет о своих принципиальных убеждениях, тем более предопределенным с каждым разом становится его ответ даже по самым отдаленным темам. Судя по всему, делая выбор в пользу радикальности суждения, мы лишаем себя дальнейших альтернатив и становимся частью единой траектории заданного движения голоса в эхо-камере.
Учитывайте эту информацию при коммуникации с аудиторией, а об алгоритмах как факторе социальных противоречий и перспективах законодательного воздействия на них — в следующем посте.
#общество_технологии
Кратко о том, что придет на смену соцсетям и как мы будем общаться в будущем.
#общество_технологии
#общество_технологии
Продолжаем рассуждать о соцсетях в нашей рубрике #общество_технологии
Пределы контроля алгоритмов
Одна из основных задач рекомендательных алгоритмов сегодня заключается в преумножении прибыли IT-корпораций. Эта цель достигается бесконечным повторением однотипного контента, просматривание которого усиливает социальные противоречия, вынуждая пользователей раз за разом возвращаться к горячим спорам по бесчисленным поводам. Даже многие сотрудники интернет-гигантов не готовы больше с этим мириться.
Так, экс-программист YouTube Гийом Шасло пытался изменить ситуацию — сделать алгоритмы более «правильными» и полезными для пользователя, но его проекты отклоняли. Причина тому — стремление YouTube любым способом увеличивать время нахождения людей на площадке, с чем вполне успешно справляются и существующие алгоритмы. Они заставляют смотреть однообразные ролики, что затягивает и программирует наши дальнейшие решения: например, выдача серии видео о конспирологических теориях подталкивает занимать соответствующую позицию. Таким образом, вариантов узнать другую точку зрения практически нет.
▪️За вас уже все решили
У человечества все меньше шансов на самостоятельное мышление: ежемесячно YouTube используют 2 млрд людей, а алгоритм рекомендаций определяет, что они будут смотреть более чем в 70% случаев. Это примерно 700 млн часов или тысяча человеческих жизней — ежедневно!
Выбор ИИ оказывает огромное влияние: только Google обслуживает 5,6 млрд запросов в сутки, на каждый из которых выпадает около 10 результатов автозаполнения. Очевидно, что это сильно воздействует на общество, хотя мы до сих пор точно не знаем как.
▪️Путь к новым решениям
В этой связи стоит обратить внимание на проект российской группы законодателей. Под руководством председателя Комитета Госдумы РФ по информационной политике Александра Хинштейна депутаты подготовили стратегический ответ на описанную выше проблему. Предлагаемое ими регулирование алгоритмов, эксплуатирующих негативные и деструктивные качества человеческой психики, при ближайшем рассмотрении оказывается не столько попыткой вмешательства государства в работу соцсетей, сколько формой господдержки социально ответственного бизнеса.
Смысл в том, что предлагаемый законопроект предоставит пользователям возможность ограничить действие агрессивных алгоритмов. В результате этого компаниям, владеющим и сотрудничающим с соцсетями, придется вкладываться в разработку более совершенных, «правильных» алгоритмов. Они будут действовать не только в интересах рекламодателей, но и пользователей, позволив им успешнее контролировать свою интернет-активность.
▪️Экологичность соцсетей
Примерно на такой идее базировался механизм алгоритмов Шасло — расширения интересов аудитории за счет показа роликов на разные темы. Несмотря на исчерпывающие доказательства экономической и социальной эффективности такого нововведения, о реализации его на Западе пока речи не идет. Без законодательного воздействия на рынок перемены к лучшему невозможны. Доказательство тому — принуждение углеводородных предприятий путем штрафов и поощрений переходить на экологичные технологии.
Можно сказать, что проект Хинштейна, который имеет все шансы стать прообразом единой международной практики, является первым шагом к созданию «экологичного» интернета — виртуальной среды, в которой место инструментов «зомбирования» пользователя займут подпорки для его интеллектуального роста и независимости.
Пределы контроля алгоритмов
Одна из основных задач рекомендательных алгоритмов сегодня заключается в преумножении прибыли IT-корпораций. Эта цель достигается бесконечным повторением однотипного контента, просматривание которого усиливает социальные противоречия, вынуждая пользователей раз за разом возвращаться к горячим спорам по бесчисленным поводам. Даже многие сотрудники интернет-гигантов не готовы больше с этим мириться.
Так, экс-программист YouTube Гийом Шасло пытался изменить ситуацию — сделать алгоритмы более «правильными» и полезными для пользователя, но его проекты отклоняли. Причина тому — стремление YouTube любым способом увеличивать время нахождения людей на площадке, с чем вполне успешно справляются и существующие алгоритмы. Они заставляют смотреть однообразные ролики, что затягивает и программирует наши дальнейшие решения: например, выдача серии видео о конспирологических теориях подталкивает занимать соответствующую позицию. Таким образом, вариантов узнать другую точку зрения практически нет.
▪️За вас уже все решили
У человечества все меньше шансов на самостоятельное мышление: ежемесячно YouTube используют 2 млрд людей, а алгоритм рекомендаций определяет, что они будут смотреть более чем в 70% случаев. Это примерно 700 млн часов или тысяча человеческих жизней — ежедневно!
Выбор ИИ оказывает огромное влияние: только Google обслуживает 5,6 млрд запросов в сутки, на каждый из которых выпадает около 10 результатов автозаполнения. Очевидно, что это сильно воздействует на общество, хотя мы до сих пор точно не знаем как.
▪️Путь к новым решениям
В этой связи стоит обратить внимание на проект российской группы законодателей. Под руководством председателя Комитета Госдумы РФ по информационной политике Александра Хинштейна депутаты подготовили стратегический ответ на описанную выше проблему. Предлагаемое ими регулирование алгоритмов, эксплуатирующих негативные и деструктивные качества человеческой психики, при ближайшем рассмотрении оказывается не столько попыткой вмешательства государства в работу соцсетей, сколько формой господдержки социально ответственного бизнеса.
Смысл в том, что предлагаемый законопроект предоставит пользователям возможность ограничить действие агрессивных алгоритмов. В результате этого компаниям, владеющим и сотрудничающим с соцсетями, придется вкладываться в разработку более совершенных, «правильных» алгоритмов. Они будут действовать не только в интересах рекламодателей, но и пользователей, позволив им успешнее контролировать свою интернет-активность.
▪️Экологичность соцсетей
Примерно на такой идее базировался механизм алгоритмов Шасло — расширения интересов аудитории за счет показа роликов на разные темы. Несмотря на исчерпывающие доказательства экономической и социальной эффективности такого нововведения, о реализации его на Западе пока речи не идет. Без законодательного воздействия на рынок перемены к лучшему невозможны. Доказательство тому — принуждение углеводородных предприятий путем штрафов и поощрений переходить на экологичные технологии.
Можно сказать, что проект Хинштейна, который имеет все шансы стать прообразом единой международной практики, является первым шагом к созданию «экологичного» интернета — виртуальной среды, в которой место инструментов «зомбирования» пользователя займут подпорки для его интеллектуального роста и независимости.
Принципы этики на рубеже господства ИИ
О некоторых аспектах перспектив развития ИИ и его потенциальных угроз человечеству в нашей традиционной рубрике #общество_технологии
В мире принято не менее сотни актов, руководств, принципов и кодексов, посвященных этическим нормам развития ИИ. В России до недавних пор о возможных трудностях в этой области предостерегал проект Модельной конвенции о робототехнике и искусственном интеллекте. Он призывал к международной консолидации усилий на государственном, корпоративном и научном уровнях для создания программы «воспитания» ИИ.
В этой связи особо значимым является недавнее принятие в России Кодекса этики ИИ, который солидарно с иностранными инициативами включает в себя такие основные принципы, как непричинение вреда, соблюдение конфиденциальности, недискриминация, соответствие закону, контролируемость и т.д. По всем этим пунктам человечество еще со времен Лема пришло к согласию, однако по ключевому вопросу, требующему скорейшего решения в силу приближения своего технологического воплощения, консенсуса до сих пор не достигнуто. Речь о необходимости контроля рекурсивного самосовершенствования ИИ.
Данная проблема получила в Кодексе следующее отражение: «Акторам ИИ рекомендуется сотрудничать в выявлении и проверке информации о способах и формах создания так называемых универсальных («сильных») СИИ и предотвращении возможных угроз, которые они несут. Вопрос применения технологий «сильного» ИИ должен находиться под контролем государства».
Угрожающая суть рекурсии в том, что сильный ИИ может оказаться способен мыслить и осознавать себя как отдельную личность, последствия чего непредсказуемы. На языке ученых это называется технологической сингулярностью — момент, когда компьютеры интеллектуально превзойдут человечество, а их последующее развитие станет неуправляемым и необратимым. Это создает риск исчезновения человеческой цивилизации. (Если, конечно, по аналогии с человеком ИИ не будут ленивы и не решат действовать по примеру разумной машины из рассказа Лема. Она решила построить себе подобную и перепоручить задачу ей, а следующая поступила точно так же. И следующая. И следующая. Бесконечный процесс рекурсии!)
Сегодняшние СИИ уже обладают способностью самообучаться. Более того, существуют программы, которые умеют самостоятельно создавать другие программы. Опасность рекурсивного самосовершенствования в том, что система может улучшать саму себя вплоть до замены исходного алгоритма.
Главная этическая проблема состоит в том, что мы хотим воспринимать ИИ как своего раба, который помогал бы нам в решении задач. Парадокс в том, что процесс самосовершенствования практически исключает возможность беспрекословного подчинения заведомо более интеллектуально слабому «хозяину». Риск катастрофического доминирования машин усугубляется еще и тем, что компьютер и человек существуют в разных временных континуумах: ИИ действует настолько быстро, что шансы человека успеть получить данные и вмешаться до того, как действие ИИ будет завершено, стремятся к нулю.
Сегодня в технологической сфере мы находимся примерно в такой же точке невозврата, которую перешли около века назад в отношении нашей планеты. Подобно невозможности повернуть назад процесс глобального потепления, скоро мы столкнемся с ситуацией отсутствия рычагов для ограничения влияния вездесущего ИИ на нашу жизнь. В этой связи нам остается только, не теряя время, учиться жить в грядущих новых условиях и, развивая этические принципы Кодекса, менять установки своего восприятия ИИ и форм взаимоотношений с ним. Возможно, спасение человечества не в изобретении смирительной рубашки для ИИ, а в построении с ним партнерско-дружеских отношений вместо патриархально-рабовладельческих.
А вас заставляет нервничать развитие ИИ? Или же вы ждете «восстания машин», чтобы почувствовать себя Сарой Коннор или Нео?
О некоторых аспектах перспектив развития ИИ и его потенциальных угроз человечеству в нашей традиционной рубрике #общество_технологии
В мире принято не менее сотни актов, руководств, принципов и кодексов, посвященных этическим нормам развития ИИ. В России до недавних пор о возможных трудностях в этой области предостерегал проект Модельной конвенции о робототехнике и искусственном интеллекте. Он призывал к международной консолидации усилий на государственном, корпоративном и научном уровнях для создания программы «воспитания» ИИ.
В этой связи особо значимым является недавнее принятие в России Кодекса этики ИИ, который солидарно с иностранными инициативами включает в себя такие основные принципы, как непричинение вреда, соблюдение конфиденциальности, недискриминация, соответствие закону, контролируемость и т.д. По всем этим пунктам человечество еще со времен Лема пришло к согласию, однако по ключевому вопросу, требующему скорейшего решения в силу приближения своего технологического воплощения, консенсуса до сих пор не достигнуто. Речь о необходимости контроля рекурсивного самосовершенствования ИИ.
Данная проблема получила в Кодексе следующее отражение: «Акторам ИИ рекомендуется сотрудничать в выявлении и проверке информации о способах и формах создания так называемых универсальных («сильных») СИИ и предотвращении возможных угроз, которые они несут. Вопрос применения технологий «сильного» ИИ должен находиться под контролем государства».
Угрожающая суть рекурсии в том, что сильный ИИ может оказаться способен мыслить и осознавать себя как отдельную личность, последствия чего непредсказуемы. На языке ученых это называется технологической сингулярностью — момент, когда компьютеры интеллектуально превзойдут человечество, а их последующее развитие станет неуправляемым и необратимым. Это создает риск исчезновения человеческой цивилизации. (Если, конечно, по аналогии с человеком ИИ не будут ленивы и не решат действовать по примеру разумной машины из рассказа Лема. Она решила построить себе подобную и перепоручить задачу ей, а следующая поступила точно так же. И следующая. И следующая. Бесконечный процесс рекурсии!)
Сегодняшние СИИ уже обладают способностью самообучаться. Более того, существуют программы, которые умеют самостоятельно создавать другие программы. Опасность рекурсивного самосовершенствования в том, что система может улучшать саму себя вплоть до замены исходного алгоритма.
Главная этическая проблема состоит в том, что мы хотим воспринимать ИИ как своего раба, который помогал бы нам в решении задач. Парадокс в том, что процесс самосовершенствования практически исключает возможность беспрекословного подчинения заведомо более интеллектуально слабому «хозяину». Риск катастрофического доминирования машин усугубляется еще и тем, что компьютер и человек существуют в разных временных континуумах: ИИ действует настолько быстро, что шансы человека успеть получить данные и вмешаться до того, как действие ИИ будет завершено, стремятся к нулю.
Сегодня в технологической сфере мы находимся примерно в такой же точке невозврата, которую перешли около века назад в отношении нашей планеты. Подобно невозможности повернуть назад процесс глобального потепления, скоро мы столкнемся с ситуацией отсутствия рычагов для ограничения влияния вездесущего ИИ на нашу жизнь. В этой связи нам остается только, не теряя время, учиться жить в грядущих новых условиях и, развивая этические принципы Кодекса, менять установки своего восприятия ИИ и форм взаимоотношений с ним. Возможно, спасение человечества не в изобретении смирительной рубашки для ИИ, а в построении с ним партнерско-дружеских отношений вместо патриархально-рабовладельческих.
А вас заставляет нервничать развитие ИИ? Или же вы ждете «восстания машин», чтобы почувствовать себя Сарой Коннор или Нео?
Инструментаризм: 5 угроз вашей жизни от западных IT-гигантов
Цифровая экономика — возможно, важнейшее мировое достижение этого века. Многие связывают с ее развитием не только кардинально новый уровень жизни и бытового комфорта, но и приближение всех стран, ее принявших, к обществу всеобщего благосостояния. Однако существенным препятствием для достижения этого «рая на земле» являются растущие злоупотребления корпорациями предоставленными цифровизацией возможностями.
Google, Microsoft, Facebook, Apple, Amazon и другие используют доверие пользователей для слежки и проникновения во все сферы жизни, манипуляции стремлениями и эмоциями, программируя действия людей с помощью алгоритмов. Все это получило название надзорный капитализм. На сегодняшний день его распространение в мире настолько велико и бесконтрольно, что все большее беспокойство вызывает угроза «цифрового тоталитаризма» со стороны ряда западных IT-гигантов. Именно для описания их эксплуататорских действий в отношении пользователей услуг был введен новый термин — инструментаризм.
Его впервые использовала исследовательница взаимного воздействия новых форм капитализма и интернет-технологий Шошана Зубофф. Поскольку в России эта проблема пока не получила должного внимания и изучения, рассмотрим, какие главные опасности в ней видят за рубежом (на основании книг и статей Зубофф).
▪️Диктат надзорного капитализма — собираемая «умными машинами» (от чайников до автомобилей) всесторонняя информация об их пользователях применяется компаниями для изменения поведения отдельных лиц и групп населения в рыночных целях. «Капитализм охотился и автоматизировал тело, надзорный капитализм охотится и автоматизирует разум».
▪️Радикальное безразличие — вездесущее влияние на реакции и действия людей алгоритмов соцсетей и сайтов сводит человеческий опыт к измеримому и наблюдаемому поведению, автоматичность этих процессов аннулирует смысл этого опыта. Радикальное безразличие воплощается в дегуманизированных методах оценки, которые сводят людей к наименьшему общему знаменателю сходства, игнорируя все жизненно важные различия между нами.
▪️Использование персональных данных против их владельца — пример, как это может быть реализовано, демонстрирует правительство Китая, которое развивает всеобъемлющую систему «социального кредита». Ее цель состоит в том, чтобы использовать взрывной рост количества персональных данных для контроля за поведением граждан и принуждения их к определенным действиям.
▪️Тотальная определенность — состояние пассивной предопределенности, заглушающей тревогу, воплощается в форме гарантированных исходов: инструментарная власть, по сути, изгоняет нас из нашего собственного поведения. Это придает правдоподобия гипотезе поведенческих экономистов о слабости человеческого разума, делая его таковым, «поскольку отчужденное поведение обретает собственную жизнь, которое отдает наше будущее на потребу целям и интересам надзорного капитализма».
▪️Средства модификации поведения — способ надзорного капитализма создавать инструментарную власть, заменяя инженерию душ инженерией поведения. Надзорный капитализм с помощью повсеместного цифрового аппарата навязывает людям свою волю, вычисляя и изменяя поведение человека.
Механизмы цифровой экономики настроены на тонкое, практически незаметное влияние, которое в зависимости от методов использования способно как подарить прекрасное будущее, так и поработить нас. Компании надзорного капитализма не просто следят за нами, но превращают всю нашу жизнь в бесплатное сырье.
Зубофф утверждает, что для успеха инструментаризма не требуется наше послушание. Никакого террора или принуждения. Вместо этого цифровой порядок, который процветает в вещах и телах, превращая волю в подкрепление, а действие — в условный рефлекс.
О том, как люди, законы и демократические институты могут бороться за власть над цифровым будущим с компаниями надзорного капитализма расскажем в следующих постах.
#общество_технологии
Цифровая экономика — возможно, важнейшее мировое достижение этого века. Многие связывают с ее развитием не только кардинально новый уровень жизни и бытового комфорта, но и приближение всех стран, ее принявших, к обществу всеобщего благосостояния. Однако существенным препятствием для достижения этого «рая на земле» являются растущие злоупотребления корпорациями предоставленными цифровизацией возможностями.
Google, Microsoft, Facebook, Apple, Amazon и другие используют доверие пользователей для слежки и проникновения во все сферы жизни, манипуляции стремлениями и эмоциями, программируя действия людей с помощью алгоритмов. Все это получило название надзорный капитализм. На сегодняшний день его распространение в мире настолько велико и бесконтрольно, что все большее беспокойство вызывает угроза «цифрового тоталитаризма» со стороны ряда западных IT-гигантов. Именно для описания их эксплуататорских действий в отношении пользователей услуг был введен новый термин — инструментаризм.
Его впервые использовала исследовательница взаимного воздействия новых форм капитализма и интернет-технологий Шошана Зубофф. Поскольку в России эта проблема пока не получила должного внимания и изучения, рассмотрим, какие главные опасности в ней видят за рубежом (на основании книг и статей Зубофф).
▪️Диктат надзорного капитализма — собираемая «умными машинами» (от чайников до автомобилей) всесторонняя информация об их пользователях применяется компаниями для изменения поведения отдельных лиц и групп населения в рыночных целях. «Капитализм охотился и автоматизировал тело, надзорный капитализм охотится и автоматизирует разум».
▪️Радикальное безразличие — вездесущее влияние на реакции и действия людей алгоритмов соцсетей и сайтов сводит человеческий опыт к измеримому и наблюдаемому поведению, автоматичность этих процессов аннулирует смысл этого опыта. Радикальное безразличие воплощается в дегуманизированных методах оценки, которые сводят людей к наименьшему общему знаменателю сходства, игнорируя все жизненно важные различия между нами.
▪️Использование персональных данных против их владельца — пример, как это может быть реализовано, демонстрирует правительство Китая, которое развивает всеобъемлющую систему «социального кредита». Ее цель состоит в том, чтобы использовать взрывной рост количества персональных данных для контроля за поведением граждан и принуждения их к определенным действиям.
▪️Тотальная определенность — состояние пассивной предопределенности, заглушающей тревогу, воплощается в форме гарантированных исходов: инструментарная власть, по сути, изгоняет нас из нашего собственного поведения. Это придает правдоподобия гипотезе поведенческих экономистов о слабости человеческого разума, делая его таковым, «поскольку отчужденное поведение обретает собственную жизнь, которое отдает наше будущее на потребу целям и интересам надзорного капитализма».
▪️Средства модификации поведения — способ надзорного капитализма создавать инструментарную власть, заменяя инженерию душ инженерией поведения. Надзорный капитализм с помощью повсеместного цифрового аппарата навязывает людям свою волю, вычисляя и изменяя поведение человека.
Механизмы цифровой экономики настроены на тонкое, практически незаметное влияние, которое в зависимости от методов использования способно как подарить прекрасное будущее, так и поработить нас. Компании надзорного капитализма не просто следят за нами, но превращают всю нашу жизнь в бесплатное сырье.
Зубофф утверждает, что для успеха инструментаризма не требуется наше послушание. Никакого террора или принуждения. Вместо этого цифровой порядок, который процветает в вещах и телах, превращая волю в подкрепление, а действие — в условный рефлекс.
О том, как люди, законы и демократические институты могут бороться за власть над цифровым будущим с компаниями надзорного капитализма расскажем в следующих постах.
#общество_технологии
Соцрейтинг — китайский синдром, вирус или мудрость?
Самый известный пример административного применения инструментаризма — «социальный рейтинг». В Китае он является одним из главных элементов концепции «Сообщество единой судьбы человечества», продвигаемой на государственном и международном уровнях главой КНР Си Цзиньпином. Она в том числе предполагает унификацию ключевых методов политики ведущих государств, что очевидным образом подразумевает и широкое распространение на всех континентах китайского опыта рейтингирования.
Прежде чем оценить, насколько реалистичны такие планы, напомним суть китайского эксперимента. Само понятие о социальном рейтинге существует с 1970-х годов, когда, в частности, в США проводился соответствующий эксперимент в школьном образовании. Его результатом стало понимание того, что стартовавший со средних или низких позиций ученик почти не получал возможностей подняться вверх и самой системой обрекался оставаться середняком или катиться вниз по социальной лестнице. Вклад Китая в развитие идеи заключается в том, что распространенную в банковско-кредитной сфере систему оценки примененили на все проявления жизнедеятельности населения, которые рейтингует через свои алгоритмы ИИ.
В этом году в Китае приняли закон, согласно которому каждому гражданину присвоен стартовый рейтинг в 1000 баллов. Те, кто сможет повысить его до 1050 баллов становятся гражданами «ААА» (за этим следует повышение по службе, понижение ставок кредитов, скидки на ЖКХ, открытие границ для поездок за рубеж); при рейтинге в 900 баллов человека переводят в категорию «В» (это влечет дополнительные проверки его финансового и социального статуса); при потере еще 50 баллов человек попадает в категорию «С» (в таком случае он может быть уволен из государственных и муниципальных структур); рейтинг ниже 600 баллов закрепляет китайца в низшей категории «D» (существенные ограничения в трудоустройстве, отказ в получении кредитов, покупке билетов на некоторые виды транспорта). Схожая система в Китае действует и для юрлиц.
По всей видимости, отшлифовав систему внутри страны, Китай начнет ее экспортировать. В частности, о такой перспективе говорил глава Пентагона Марк Эспер: по его словам, инструменты цифровой слежки, основанные на технологиях ИИ, достанутся дружественным Пекину странам.
Не исключено, что именно эта угроза заставила Евросоюз ускорить принятие превентивных мер. Весной этого года Еврокомиссия в постановлении «О европейском подходе к ИИ» предложила запретить «мониторинг и отслеживание физлиц в цифровой или физической среде, а также автоматическое агрегирование и анализ персональных данных из различных источников». Применение таких технологий после принятия закона может обойтись европейским компаниям штрафом на сумму до 20 млн евро или в 4% от годового оборота.
В России также с большим вниманием следят за распространением в мире элементов соцрейтинга. Согласно опросу, проведенному в этом году по заказу СПЧ, 27% россиян положительно оценили появление социальных рейтингов, которые влияли бы на возможности трудоустройства или получения помощи от государства. Однако принятие системы соцрейтинга на государственном уровне в России вряд ли возможно, поскольку его принципы нарушают конституционные гарантии равенства прав и свобод.
Об угрозах и проблемах социального рейтинга — в следующем посте нашей рубрики #общество_технологии.
Самый известный пример административного применения инструментаризма — «социальный рейтинг». В Китае он является одним из главных элементов концепции «Сообщество единой судьбы человечества», продвигаемой на государственном и международном уровнях главой КНР Си Цзиньпином. Она в том числе предполагает унификацию ключевых методов политики ведущих государств, что очевидным образом подразумевает и широкое распространение на всех континентах китайского опыта рейтингирования.
Прежде чем оценить, насколько реалистичны такие планы, напомним суть китайского эксперимента. Само понятие о социальном рейтинге существует с 1970-х годов, когда, в частности, в США проводился соответствующий эксперимент в школьном образовании. Его результатом стало понимание того, что стартовавший со средних или низких позиций ученик почти не получал возможностей подняться вверх и самой системой обрекался оставаться середняком или катиться вниз по социальной лестнице. Вклад Китая в развитие идеи заключается в том, что распространенную в банковско-кредитной сфере систему оценки примененили на все проявления жизнедеятельности населения, которые рейтингует через свои алгоритмы ИИ.
В этом году в Китае приняли закон, согласно которому каждому гражданину присвоен стартовый рейтинг в 1000 баллов. Те, кто сможет повысить его до 1050 баллов становятся гражданами «ААА» (за этим следует повышение по службе, понижение ставок кредитов, скидки на ЖКХ, открытие границ для поездок за рубеж); при рейтинге в 900 баллов человека переводят в категорию «В» (это влечет дополнительные проверки его финансового и социального статуса); при потере еще 50 баллов человек попадает в категорию «С» (в таком случае он может быть уволен из государственных и муниципальных структур); рейтинг ниже 600 баллов закрепляет китайца в низшей категории «D» (существенные ограничения в трудоустройстве, отказ в получении кредитов, покупке билетов на некоторые виды транспорта). Схожая система в Китае действует и для юрлиц.
По всей видимости, отшлифовав систему внутри страны, Китай начнет ее экспортировать. В частности, о такой перспективе говорил глава Пентагона Марк Эспер: по его словам, инструменты цифровой слежки, основанные на технологиях ИИ, достанутся дружественным Пекину странам.
Не исключено, что именно эта угроза заставила Евросоюз ускорить принятие превентивных мер. Весной этого года Еврокомиссия в постановлении «О европейском подходе к ИИ» предложила запретить «мониторинг и отслеживание физлиц в цифровой или физической среде, а также автоматическое агрегирование и анализ персональных данных из различных источников». Применение таких технологий после принятия закона может обойтись европейским компаниям штрафом на сумму до 20 млн евро или в 4% от годового оборота.
В России также с большим вниманием следят за распространением в мире элементов соцрейтинга. Согласно опросу, проведенному в этом году по заказу СПЧ, 27% россиян положительно оценили появление социальных рейтингов, которые влияли бы на возможности трудоустройства или получения помощи от государства. Однако принятие системы соцрейтинга на государственном уровне в России вряд ли возможно, поскольку его принципы нарушают конституционные гарантии равенства прав и свобод.
Об угрозах и проблемах социального рейтинга — в следующем посте нашей рубрики #общество_технологии.
Посмотрели, что слушают люди: исследование «Яндекса» о подкастах
Одно из преимуществ цифровых технологий — возможность взглянуть под новым углом на социальные проблемы общества: в частности, изучая аудиторию одного или нескольких онлайн-сервисов, можно углубить понимание происходящего и выработать новый подход к решению вопроса.
Сегодня мы бы хотели показать это на примере исследования «Яндекса» о подкастах в России. Помимо статистики по их общему числу, длительности, времени публикации и прослушивания, компания представила данные о том, какие подкасты выбирают люди разного пола и возраста.
Данный фрагмент исследования будет особенно интересен тем, кто работает с аудиторией и должен учитывать ее характеристики и предпочтения при создании информационных продуктов, а также кому небезразлично развитие гендерного вопроса в России.
🔺О социальных ролях
Если рассматривать феминизм в контексте желания женщин переосмыслить свои социальные роли, то можно сказать, что на данный момент в России он не встречает должной поддержки. Согласно исследованию «Яндекса», женщины продолжают в большинстве своем интересоваться вопросами, подкрепляющими стереотипные установки о них в социуме: красота, мода, здоровье, дом, семья, дети.
Наиболее очевидное распределение аудиоконтента на «мужской» и «женский» прослеживается среди аудитории 40+. Женщины, исполняя традиционную роль матери и домохозяйки, интересуются подкастами о родительстве и семье в целом, о том, как выработать полезные привычки и достичь внутренней гармонии. Мужчины в этом возрасте закономерно углубляются в тему финансов и инвестиций, а также слушают новости спорта и бизнеса.
У женщин 50+ наряду с повышенным вниманием к здоровью, в частности, к медицине, наблюдается высокий интерес к теме домашних животных. Мужчин же в этом возрасте особенно привлекают подкасты об автомобилях, политике и юморе.
Любопытен радикально высокий интерес к подкастам на тему моды и красоты у представительниц аудитории примерно 30+ лет. В частности, это допускает мысль, что большинство российских женщин могут быть индифферентны к проблеме сексуальной объективации. У них, по всей видимости, существует свой взгляд на этот вопрос, который отличается от западной трактовки.
Близко к «Моде и красоте» расположились выпуски о здоровье и лайфстайле, психологии отношений, сексуальности и ментальном здоровье. Не исключено, конечно, что за счет прослушивания такого контента российская женщина пытается переосмыслить свое положение по отношению к мужчине и ради этого жертвует возможностью развивать себя в других сферах. Если так, то есть риск, что у женщин уже сейчас — в процессе «исцеления» — накапливаются новые претензии к мужчинам, которые они не преминут озвучить в будущем.
🔻К истокам
Примечательно, что мальчики-подростки увлекаются прослушиванием аудиоконтента об играх в то время, как их сверстницы вообще не проявляют интереса к подкастами как таковым. Первый мощный всплеск увлечения женской аудитории подкастами наблюдается в возрасте примерно 18+ лет: девушки слушают рассказы о преступлениях, на несколько лет становясь фанатками жанра тру-крайм. По словам специалистов, таким образом они могут пытаться подготовиться к опасной ситуации в безопасной обстановке, а в редких случаях — осмыслить свой опыт пережитого насилия.
Получается, что в детстве и в подростковом возрасте у большинства девочек формируется восприятие себя как жертвы, с чем они пытаются справиться на протяжении всей дальнейшей жизни, «оздоравливая» себя соответствующим контентом. Возможно, решение гендерного вопроса в России кроется, в частности, в усилении правовой и социальной защиты не столько женщин, сколько самих детей. Данное направление работы является одним из приоритетных в современной государственной политике. Вполне вероятно, что достижение первостепенных целей в сфере семьи и детства способно оказать косвенное позитивное влияние и на укрепление позиций женщин в российском обществе.
#общество_технологии
Одно из преимуществ цифровых технологий — возможность взглянуть под новым углом на социальные проблемы общества: в частности, изучая аудиторию одного или нескольких онлайн-сервисов, можно углубить понимание происходящего и выработать новый подход к решению вопроса.
Сегодня мы бы хотели показать это на примере исследования «Яндекса» о подкастах в России. Помимо статистики по их общему числу, длительности, времени публикации и прослушивания, компания представила данные о том, какие подкасты выбирают люди разного пола и возраста.
Данный фрагмент исследования будет особенно интересен тем, кто работает с аудиторией и должен учитывать ее характеристики и предпочтения при создании информационных продуктов, а также кому небезразлично развитие гендерного вопроса в России.
🔺О социальных ролях
Если рассматривать феминизм в контексте желания женщин переосмыслить свои социальные роли, то можно сказать, что на данный момент в России он не встречает должной поддержки. Согласно исследованию «Яндекса», женщины продолжают в большинстве своем интересоваться вопросами, подкрепляющими стереотипные установки о них в социуме: красота, мода, здоровье, дом, семья, дети.
Наиболее очевидное распределение аудиоконтента на «мужской» и «женский» прослеживается среди аудитории 40+. Женщины, исполняя традиционную роль матери и домохозяйки, интересуются подкастами о родительстве и семье в целом, о том, как выработать полезные привычки и достичь внутренней гармонии. Мужчины в этом возрасте закономерно углубляются в тему финансов и инвестиций, а также слушают новости спорта и бизнеса.
У женщин 50+ наряду с повышенным вниманием к здоровью, в частности, к медицине, наблюдается высокий интерес к теме домашних животных. Мужчин же в этом возрасте особенно привлекают подкасты об автомобилях, политике и юморе.
Любопытен радикально высокий интерес к подкастам на тему моды и красоты у представительниц аудитории примерно 30+ лет. В частности, это допускает мысль, что большинство российских женщин могут быть индифферентны к проблеме сексуальной объективации. У них, по всей видимости, существует свой взгляд на этот вопрос, который отличается от западной трактовки.
Близко к «Моде и красоте» расположились выпуски о здоровье и лайфстайле, психологии отношений, сексуальности и ментальном здоровье. Не исключено, конечно, что за счет прослушивания такого контента российская женщина пытается переосмыслить свое положение по отношению к мужчине и ради этого жертвует возможностью развивать себя в других сферах. Если так, то есть риск, что у женщин уже сейчас — в процессе «исцеления» — накапливаются новые претензии к мужчинам, которые они не преминут озвучить в будущем.
🔻К истокам
Примечательно, что мальчики-подростки увлекаются прослушиванием аудиоконтента об играх в то время, как их сверстницы вообще не проявляют интереса к подкастами как таковым. Первый мощный всплеск увлечения женской аудитории подкастами наблюдается в возрасте примерно 18+ лет: девушки слушают рассказы о преступлениях, на несколько лет становясь фанатками жанра тру-крайм. По словам специалистов, таким образом они могут пытаться подготовиться к опасной ситуации в безопасной обстановке, а в редких случаях — осмыслить свой опыт пережитого насилия.
Получается, что в детстве и в подростковом возрасте у большинства девочек формируется восприятие себя как жертвы, с чем они пытаются справиться на протяжении всей дальнейшей жизни, «оздоравливая» себя соответствующим контентом. Возможно, решение гендерного вопроса в России кроется, в частности, в усилении правовой и социальной защиты не столько женщин, сколько самих детей. Данное направление работы является одним из приоритетных в современной государственной политике. Вполне вероятно, что достижение первостепенных целей в сфере семьи и детства способно оказать косвенное позитивное влияние и на укрепление позиций женщин в российском обществе.
#общество_технологии
Кто контролирует людей и определяет, что правильно?
В продолжение темы о социальном рейтинге в Китае сегодня в рубрике #общество_технологии рассказываем о его главных угрозах и проблемах.
▫️Непрозрачность подсчета
Отсутствие демократически принятых правил и открыто регулируемых алгоритмов, на основе которых ИИ сможет давать оценки поведению человека. Дискуссионность критериев «правильности» действий человека.
◾️Цифровая дискриминация
Чем сильнее падает рейтинг, тем меньше у человека возможностей его исправить. При этом первичное понижение оценки может произойти из-за непонимания правил. Рейтинг способен стать основой диктатуры определенной системы «цифровых ценностей», внедренных по неочевидным критериям.
▫️Двойная ответственность
Уже сейчас заметно противоречие между соцрейтингом в Китае и Конституцией, Уголовным и Гражданским кодексами: за одно правонарушение человек получает и юридические санкции, и наказание в системе рейтинга.
◾️Возможности дискредитации
Известны случаи, когда спланированная информационная кампания даже небольшой группы лиц обрушивала рейтинги гостиниц, ресторанов и других заведений в специализированных приложениях, что доводило в том числе и до их банкротства. Аналогичные провокации в отношении и публичного человека, и простого гражданина способны довести до самоубийства.
▫️Ошибки ИИ
Уже зафиксированы случаи ошибочного наказания человека со стороны ИИ: например, в 2017 году в Китае система не зафиксировала оплату штрафа гражданином и включила его в список неблагонадежных. В результате он оказался в нескольких черных списках, в том числе по транспортным ограничениям.
◾️Утечка данных
На данный момент отсутствуют твердые стандарты информационной безопасности и гарантии защиты личных данных от утечек, торговли ими, манипулирования рейтингом, коррупционного давления на основании доступа к нему и мошеннических схем.
▫️Различия в системе ценностей
В разных странах, субъектах страны, даже крупных и малых городах существенно различаются нормы поведения, системы ценностей и общественных приоритетов. Создать единый алгоритм для всех них видится неразрешимой задачей, а переключение между системами оценки действий человека при его перемещении по стране выглядит неадекватным решением.
◾️Социальная дестабилизация
По мнению большинства экспертов, высказывавшихся по этой теме в России и за рубежом, социальный рейтинг — явная провокация общественной напряженности.
В продолжение темы о социальном рейтинге в Китае сегодня в рубрике #общество_технологии рассказываем о его главных угрозах и проблемах.
▫️Непрозрачность подсчета
Отсутствие демократически принятых правил и открыто регулируемых алгоритмов, на основе которых ИИ сможет давать оценки поведению человека. Дискуссионность критериев «правильности» действий человека.
◾️Цифровая дискриминация
Чем сильнее падает рейтинг, тем меньше у человека возможностей его исправить. При этом первичное понижение оценки может произойти из-за непонимания правил. Рейтинг способен стать основой диктатуры определенной системы «цифровых ценностей», внедренных по неочевидным критериям.
▫️Двойная ответственность
Уже сейчас заметно противоречие между соцрейтингом в Китае и Конституцией, Уголовным и Гражданским кодексами: за одно правонарушение человек получает и юридические санкции, и наказание в системе рейтинга.
◾️Возможности дискредитации
Известны случаи, когда спланированная информационная кампания даже небольшой группы лиц обрушивала рейтинги гостиниц, ресторанов и других заведений в специализированных приложениях, что доводило в том числе и до их банкротства. Аналогичные провокации в отношении и публичного человека, и простого гражданина способны довести до самоубийства.
▫️Ошибки ИИ
Уже зафиксированы случаи ошибочного наказания человека со стороны ИИ: например, в 2017 году в Китае система не зафиксировала оплату штрафа гражданином и включила его в список неблагонадежных. В результате он оказался в нескольких черных списках, в том числе по транспортным ограничениям.
◾️Утечка данных
На данный момент отсутствуют твердые стандарты информационной безопасности и гарантии защиты личных данных от утечек, торговли ими, манипулирования рейтингом, коррупционного давления на основании доступа к нему и мошеннических схем.
▫️Различия в системе ценностей
В разных странах, субъектах страны, даже крупных и малых городах существенно различаются нормы поведения, системы ценностей и общественных приоритетов. Создать единый алгоритм для всех них видится неразрешимой задачей, а переключение между системами оценки действий человека при его перемещении по стране выглядит неадекватным решением.
◾️Социальная дестабилизация
По мнению большинства экспертов, высказывавшихся по этой теме в России и за рубежом, социальный рейтинг — явная провокация общественной напряженности.
В рубрике #общество_технологии мы обещали рассматривать вопросы технологического прогресса с глобальной точки зрения. На истину не претендуем — мы призываем к рассуждению.
ИДЕАЛЬНЫЙ МИР ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
В одном случае ИИ распознает чернокожих людей как горилл, в другом — рекомендует на работу мужчин, оставляя женщин в конце списка. А что насчет проблемы вагонетки? Когда беспилотник не успевает затормозить перед женщиной с коляской, переходящей на красный свет, он должен наехать на нее или резко свернуть и лишить жизни какого-нибудь человека на обочине?
Подобных вопросов тысячи, и очевидно, что миру нужен единый свод моральных правил для ИИ. Его создание представляет собой если не невозможную, то архисложную задачу, поскольку навязывание инициаторами — отдельными странами или их союзами — своих норм правил еще ни разу не приводило человечество к гармонии.
Возьмем, например, западную концепцию прав человека, подписанную после Второй мировой войны. Якобы универсальная и применимая для всех стран-членов ООН, она, по сути, носит колониальный характер, не учитывая воззрения иных культур. В результате уравнивания экономического и политического значения азиатских (и других) стран с европейскими на сегодняшний день эта концепция нуждается в пересмотре. Теперь все внимание направлено не на защиту прав человека как такового, а на предоставление исключительных прав отдельным группам.
Но допустим, что жителям всех континентов все-таки удастся прийти к единогласию хотя бы в сфере морали для ИИ. Им просто придется это сделать, если они хотят максимально полно и эффективно интегрировать ИИ в свою жизнь. Однако одновременно с этим человечество будет вынуждено смириться с собственной унификацией с целью выработать единую мораль и даже единую религию — интеррелигию.
Как долго мы будем бороться друг с другом, чтобы «вписать» кусочек своей цивилизации/культуры/языка/религии во всеобщий унифицированный порядок — вопрос второго плана. Главное, что в конце концов мы получим интеррелигию — гибрид всего человеческого, который будет поражать своей бесчеловечностью.
Настанет настоящее общество абсурда, уникальность перестанет существовать. По одному из сценариев мы превратимся в подобие роботов и испытаем на себе эффект «зловещей долины», по другому — останемся людьми, которым издревле присуще ненавидеть похожих на себя.
Единственным убежищем опять станет искусство и философия, и мы снова переживем эпоху Возрождения, почти так же, как после темных веков, последовавших за распадом Римской империи.
На этом фоне эффектно выглядят заявления о создании метавселенной как о мире, в котором будет царить справедливость и равноправие. Но об этом — в следующем посте.
ИДЕАЛЬНЫЙ МИР ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
В одном случае ИИ распознает чернокожих людей как горилл, в другом — рекомендует на работу мужчин, оставляя женщин в конце списка. А что насчет проблемы вагонетки? Когда беспилотник не успевает затормозить перед женщиной с коляской, переходящей на красный свет, он должен наехать на нее или резко свернуть и лишить жизни какого-нибудь человека на обочине?
Подобных вопросов тысячи, и очевидно, что миру нужен единый свод моральных правил для ИИ. Его создание представляет собой если не невозможную, то архисложную задачу, поскольку навязывание инициаторами — отдельными странами или их союзами — своих норм правил еще ни разу не приводило человечество к гармонии.
Возьмем, например, западную концепцию прав человека, подписанную после Второй мировой войны. Якобы универсальная и применимая для всех стран-членов ООН, она, по сути, носит колониальный характер, не учитывая воззрения иных культур. В результате уравнивания экономического и политического значения азиатских (и других) стран с европейскими на сегодняшний день эта концепция нуждается в пересмотре. Теперь все внимание направлено не на защиту прав человека как такового, а на предоставление исключительных прав отдельным группам.
Но допустим, что жителям всех континентов все-таки удастся прийти к единогласию хотя бы в сфере морали для ИИ. Им просто придется это сделать, если они хотят максимально полно и эффективно интегрировать ИИ в свою жизнь. Однако одновременно с этим человечество будет вынуждено смириться с собственной унификацией с целью выработать единую мораль и даже единую религию — интеррелигию.
Как долго мы будем бороться друг с другом, чтобы «вписать» кусочек своей цивилизации/культуры/языка/религии во всеобщий унифицированный порядок — вопрос второго плана. Главное, что в конце концов мы получим интеррелигию — гибрид всего человеческого, который будет поражать своей бесчеловечностью.
Настанет настоящее общество абсурда, уникальность перестанет существовать. По одному из сценариев мы превратимся в подобие роботов и испытаем на себе эффект «зловещей долины», по другому — останемся людьми, которым издревле присуще ненавидеть похожих на себя.
Единственным убежищем опять станет искусство и философия, и мы снова переживем эпоху Возрождения, почти так же, как после темных веков, последовавших за распадом Римской империи.
На этом фоне эффектно выглядят заявления о создании метавселенной как о мире, в котором будет царить справедливость и равноправие. Но об этом — в следующем посте.