Есть вещи, о которых мы даже не подозреваем | Брайан Томасик

Порой кажется, что сторонники эффективного альтруизма одержимы «квантифицированной эффективностью»: метриками, показывающими результативность чего-либо — будь то QALY на доллар, управление временем, результаты опросов или оптимизация диеты и физических упражнений. Квантификация полезна и часто может выявить серьёзные пробелы, которые можно упустить, если применять только качественное, а не количественное мышление. Также квантификация может привести к выводам, которые не были очевидны до обработки данных. Цифры позволяют проводить гораздо больше вычислений, чем способен делать наш мозг сам по себе.

В то же время я опасаюсь, что некоторые сторонники эффективного альтруизма слишком сильно увлекаются квантификацией и перестают видеть лес за деревьями. Стоит помнить принцип «мусор на входе, мусор на выходе»: метрики хороши лишь настолько, насколько хороши те рассуждения, на основании которых мы решили, что именно эти метрики стоит оптимизировать. Кроме того, они могут упускать какие-то ключевые соображения. Чрезмерно оптимизируя что-то по узким или даже довольно широким метрикам, вы можете приносить в жертву какие-то важные элементы ценного, которые просто не измерялись. Оптимизация по метрике может создавать иллюзию прогресса, в то время как более широкий взгляд на ситуацию показал бы, что всё гораздо более размыто, чем казалось. Порой качественное, масштабное мышление человеческого мозга лучше справляется с подобными макроуровневыми проблемами, чем другие из доступных нам инструментов. Холден Карнофски обсуждает этот и другие связанные вопросы в эссе «Passive vs. rational vs. quantified».

Одна из областей, в которых оптимизация по метрикам сталкивается с серьёзными трудностями, — это открытие, выражаясь словами диснеевской Покахонтас, «вещей, о которых ты даже не подозревал» [things you never knew you never knew]. Непонятно, как вообще строить метрики для измерения тех аспектов проблемы, о которых мы ещё даже не подумали*. Если мы слишком сильно оптимизируем свои нынешние цели, мы можем упустить важность того, чтобы отступить на шаг назад и посмотреть на картину в целом. Суженный фокус — одна из нескольких проблем, о которых говорят авторы статьи «Goals Gone Wild: The Systematic Side Effects of Over-Prescribing Goal Setting».

*. См. такие понятия как «тяжёлая неопределенность», «неизвестные неизвестности», «чёрные лебеди» и «неведение» — прим. пер.

Оригинал: Things you never knew you never knew (2013-2019)
Перевод: К. Кирдан (добавлены ссылки)

#Брайан_Томасик #эффективный_альтруизм

Напоминаем, что нас можно читать и во ВКонтакте: https://vk.com/reducing_suffering

Неизвестные неизвестности | Дэниел Розелл

Аналитики часто сталкиваются с ситуациями, неопределённость в которых глубока, но распознана. Есть множество методов для работы с экстремальной неопределённостью при оценке рисков (Cox 2012b). Но иногда мы даже не осознаём собственного незнания. Выражение «неизвестные неизвестности» [unknown unknowns] сравнительно новое, но сама идея древняя — ещё в диалоге «Менон» Сократ отмечает, что невозможно исследовать тему, которой вообще не осознаёшь. По определению, мы не осознаём неизвестных неизвестностей, поэтому обычно исключаем их из оценок рисков. Тем не менее, были предложены подходы к снижению нашего незнания, такие как образное мышление и развитие общественной дискуссии (подробнее об этом — в последней части книги) (Attenberg, Ipeirotis & Provost 2015). Неопределённость, связанную с незнанием, невозможно количественно измерить. Но признание ограниченности наших знаний — это проявление сократической мудрости, и оно улучшает коммуникацию рисков (Elahi 2011).

Любому знанию присуща неопределённость, но в формальных оценках рисков обычно делаются конкретные, часто количественные утверждения о степени уверенности в чём либо. Поэтому особенно важно включать в оценки рисков оговорки, которые отражали бы оценочные суждения аналитика о том, что известно и что в принципе можно знать. Аналитик может считать, что его оценка охватывает все существенные аспекты темы с достаточной точностью для того, чтобы дать окончательный ответ. Скорее всего такой аналитик представит результаты с минимумом оговорок. Тогда как более скептичный и скромный аналитик добавит оговорки к своим оценкам, чтобы читатели не переоценивали значимость результатов.

Источник: Daniel J. Rozell, Dangerous Science: Science Policy and Risk Analysis for Scientists and Engineers (2020), лицензия CC BY 4.0
Перевод: К. Кирдан

#рациональность #Дэниел_Розелл

Страдание машин: как изменится представление о морали и субъективном опыте

Способны ли животные помимо человека к переживаниям, таким как страдание? Может быть, мы никогда не будем знать наверняка. Но игнорирование возможности того, что животные страдают, может приводить к тяжелым моральным ошибкам. Со временем моральный круг — круг тех, о чьих переживаниях и интересах мы заботимся — расширялся, и животные получали всё больше нашего внимания.

Сейчас, по мере стремительного развития искусственного интеллекта, перед нами стоит ещё одна проблема — как понять, какие виды ИИ тоже способны к субъективным переживаниям, таким как страдание? Моральные ошибки в этой сфере могут оказаться ещё страшнее. Возможно, всё чаще есть смысл обращаться к принципу предосторожности: даже когда у нас нет доказательств способности ИИ к страданию, нам следует вести себя с ним так, как если бы он был способен.

#моральный_круг #искусственный_интеллект #сознание_и_сентиентность

Искусственный интеллект: Риски и этика принятия рисков | Томас Метцингер

Есть по крайней мере два вида эпистемического невежества и неопределенности, которые важны в контексте искусственного страдания. Во-первых, мы не знаем, что было бы каузально необходимым и/или достаточным, чтобы реализовался конкретный риск вроде этого. Во-вторых, мы не знаем, как этот конкретный риск может взаимодействовать с другими рисками, в частности с теми другими непонятными рисками, которые мы в настоящее время обозначаем как «среднесрочные», «долгосрочные» или «эпистемически неопределенные» риски. Конструктивный подход не может игнорировать этот вопрос.

Вот три ярких примера таких рисков:

- интеллектуальный взрыв через автономную и неконтролируемую самооптимизацию (часто используется термин «сверхинтеллект» [Bostrom, 2014]);
- взрыв страданий через создание синтетической феноменологии;
- появление автономных искусственных моральных агентов через применение технологий ИИ (например, продвинутых систем рассуждений, доказателей теорем и т.д.) в области решения самих этических проблем.

Позвольте мне проиллюстрировать этот момент. С 2018 по 2020 годы я работал в Европейской комиссии в Экспертной группе высокого уровня по искусственному интеллекту (HLEG AI), был соавтором «Руководящих этических принципов для надежного ИИ» [European Commission, 2019a] и «Рекомендаций по политике и инвестициям для надежного ИИ» [European Commission, 2019b]. После короткого внутреннего обсуждения все три вышеперечисленных риска были намеренно вычищены из итоговых документов, главным образом потому, что промышленные лоббисты восприняли углубленное рассмотрение среднесрочных или долгосрочных рисков как опасность для своего маркетингового нарратива, в котором «этика» служила элегантной социальной декорацией для масштабной инвестиционной стратегии. Интересно, однако, что даже многие из более просоциально ориентированных членов Экспертной группы по ИИ не понимали, что любой подлинно этический подход к максимизации общего блага всегда подразумевает этическую позицию не только по отношению к известным рискам, но и по отношению к «неизвестным неизвестным» и к самому принятию риска. Сами по себе моральные последствия принятия риска не являются свойствами, присущими любому из потенциальных исходов. К сожалению, подлинно этический подход требует также рационального рассмотрения эпистемически неопределенных рисков, которые, с учетом наших когнитивных искажений, часто интуитивно кажутся «просто научной фантастикой» или чем-то «нереалистичным» [European Commission, 2019a, Note 76]. Подлинная этика риска должна проводить различие между преднамеренным и непреднамеренным подверганием риску. Например, есть разница между добровольным принятием риска (на примере Экспертной группы по ИИ) и навязыванием риска самосознательным системам, которые сами приняли бы такой риск или тем, которые не приняли бы его (на примере будущего самосознательного ИИ).

Для перечисленных выше трех типов рисков, вывод состоит в том, что научное сообщество должно сначала самостоятельно прийти к приемлемому решению, поскольку соответствующие политические институты действуют в условиях когнитивных искажений, высокой степени ограниченности рациональности и сильной загрязненности промышленным лоббированием. Было бы интеллектуально нечестным и, следовательно, неэтичным для ученых предполагать, что политические институты, такие как Евросоюз, или крупные компании, занимающиеся разработкой ИИ, на самом деле смогут справиться с несколько более абстрактными проблемами вроде упомянутых выше. Поскольку научное сообщество тоже знает об этом более широком политическом контексте, это, к сожалению, переносит основное бремя этической ответственности на самих исследователей.

(Из статьи «Искусственное страдание: аргумент в пользу глобального моратория на синтетическую феноменологию».)

#Томас_Метцингер #искусственный_интеллект #x_риски #s_риски

О страданиях и их уменьшении | Николай Бердяев

Страшно несчастен человек на земле, страшно испуган, переживает ужас и агонию. И в таком же состоянии находится все живущее. <...> Основной, самый важный вопрос человеческого существования: как победить страдание, как вынести страдание, как не быть раздавленным страданием, как уменьшить количество страдания для всех людей и для всей жизни?

#Николай_Бердяев #благополучие_людей #животные