Мы не представляли сколь велик айсберг когнитивных искажений.
Наши представления о мире становятся все более кривыми.
Таков весьма неутешительный вывод о состоянии представлений человечества о мире и самих себе, впервые вербализован на уровне профильного госагенства технологической сверхдержавы - Национальным институтом стандартов и технологий США (NIST).
Авторы нового отчета NIST, озаглавленного «Towards a Standard for Identifying and Managing Bias in Artificial Intelligence», поставили перед собой такую задачу.
1. Среда взаимодействий отдельных людей и сообществ становится все более виртуальной (в моей терминологии это называется переходом человечества к иному типу культура – алгокогнитивная культура).
2. Цифровые следы людей в новой инфокоммуникационной среде глобальной сети превращаются в самый востребованный и дорогой товар.
3. За формирование этого товара отвечают алгоритмы, которые пытаются количественно оценивать поведение и высказывания людей. Эти оценки используются алгоритмами для классификации, сортировки, рекомендаций и принятия решений о жизни людей.
4. Но к сожалению, в основе алгоритмических оценок лежат неоднозначные по своей природе представления об устройстве мира и поведении людей, подчерпнутые алгоритмами из океана собираемых ими данных о людях – их настоящем и прошлом опыте.
5. Все обобщаемые алгоритмами данные об опыте людей насквозь пропитаны искажающими реальность ошибками, являющимися результатами когнитивных искажений людей.
6. Это ошибки переносятся (с мультиплицирующим эффектом) алгоритмами во все технологические процессы, автоматизирующие деятельность людей и принятие ими решений с применением ИИ-систем, что может вести к весьма вредным последствиям независимо от намерений их создателей.
7. Для снижения рисков вредных последствий вышеописанных процессов необходимо, в первую очередь, идентифицировать и классифицировать все типы когнитивных искажений, приводящих к ошибкам в данных об опыте людей.
В результате 1й систематической попытки такой классификации авторы пришли к следующим выводам (в моей интерпретация, - подробней и точнее см. отчет).
A. «Айсберг» когнитивных искажений оказался куда больше чем предполагалось.
B. Помимо статистически-вычислительных искажений, вносимых алгоритмами, и когнитивных искажений людей, чей опыт воплощен в исходные данные для алгоритмов, существует огромная нижняя часть «айсберга» - системообразующие когнитивные искажения институтов общества.
C. Эта лежащая в основе «айсберга» колоссальная по размерам область является результатом исторически сложившихся процедур и практик, кодирующих социокультурные предубеждения в миропонимании конкретных институтов общества. В результате этих когнитивных искажений, определенные социальные группы получают преимущества или привилегии, а другие оказываются в неблагоприятном положении или обесцениваются. И это не обязательно является результатом какого-либо сознательного предубеждения или дискриминации, а скорее следствием того, что большинство следует существующим правилам или нормам.
▶️ ️ Специалисты по ИИ умеют минимизировать статистически-вычислительные искажения.
▶️ ️ Психологи и специалисты по когнитивному мышлению учатся учитывать когнитивные искажения и шум при принятии решений отдельными людьми.
▶️ ️ Но для системообразующих когнитивных искажений институтов общества, к сожалению, пока не существует признанных систем их идентификации и классификации. И более того, - в разных обществах они по-разному идентифицируются.
Это значит, что:
✔️ нет пока способов предотвращения мультиплицирования махины когнитивных искажений институтов алгоритмами ИИ;
✔️ наши представления о мире, формируемые в рамках новой алгокогнитивной культуры, будут становиться все более кривыми (рост интеллектуальной слепоты и падение рациональности).
См. также мои посты по тэгам:
#Рациональность #КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
_______
Источник | #theworldisnoteasy
Наши представления о мире становятся все более кривыми.
Таков весьма неутешительный вывод о состоянии представлений человечества о мире и самих себе, впервые вербализован на уровне профильного госагенства технологической сверхдержавы - Национальным институтом стандартов и технологий США (NIST).
Авторы нового отчета NIST, озаглавленного «Towards a Standard for Identifying and Managing Bias in Artificial Intelligence», поставили перед собой такую задачу.
1. Среда взаимодействий отдельных людей и сообществ становится все более виртуальной (в моей терминологии это называется переходом человечества к иному типу культура – алгокогнитивная культура).
2. Цифровые следы людей в новой инфокоммуникационной среде глобальной сети превращаются в самый востребованный и дорогой товар.
3. За формирование этого товара отвечают алгоритмы, которые пытаются количественно оценивать поведение и высказывания людей. Эти оценки используются алгоритмами для классификации, сортировки, рекомендаций и принятия решений о жизни людей.
4. Но к сожалению, в основе алгоритмических оценок лежат неоднозначные по своей природе представления об устройстве мира и поведении людей, подчерпнутые алгоритмами из океана собираемых ими данных о людях – их настоящем и прошлом опыте.
5. Все обобщаемые алгоритмами данные об опыте людей насквозь пропитаны искажающими реальность ошибками, являющимися результатами когнитивных искажений людей.
6. Это ошибки переносятся (с мультиплицирующим эффектом) алгоритмами во все технологические процессы, автоматизирующие деятельность людей и принятие ими решений с применением ИИ-систем, что может вести к весьма вредным последствиям независимо от намерений их создателей.
7. Для снижения рисков вредных последствий вышеописанных процессов необходимо, в первую очередь, идентифицировать и классифицировать все типы когнитивных искажений, приводящих к ошибкам в данных об опыте людей.
В результате 1й систематической попытки такой классификации авторы пришли к следующим выводам (в моей интерпретация, - подробней и точнее см. отчет).
A. «Айсберг» когнитивных искажений оказался куда больше чем предполагалось.
B. Помимо статистически-вычислительных искажений, вносимых алгоритмами, и когнитивных искажений людей, чей опыт воплощен в исходные данные для алгоритмов, существует огромная нижняя часть «айсберга» - системообразующие когнитивные искажения институтов общества.
C. Эта лежащая в основе «айсберга» колоссальная по размерам область является результатом исторически сложившихся процедур и практик, кодирующих социокультурные предубеждения в миропонимании конкретных институтов общества. В результате этих когнитивных искажений, определенные социальные группы получают преимущества или привилегии, а другие оказываются в неблагоприятном положении или обесцениваются. И это не обязательно является результатом какого-либо сознательного предубеждения или дискриминации, а скорее следствием того, что большинство следует существующим правилам или нормам.
▶️ ️ Специалисты по ИИ умеют минимизировать статистически-вычислительные искажения.
▶️ ️ Психологи и специалисты по когнитивному мышлению учатся учитывать когнитивные искажения и шум при принятии решений отдельными людьми.
▶️ ️ Но для системообразующих когнитивных искажений институтов общества, к сожалению, пока не существует признанных систем их идентификации и классификации. И более того, - в разных обществах они по-разному идентифицируются.
Это значит, что:
✔️ нет пока способов предотвращения мультиплицирования махины когнитивных искажений институтов алгоритмами ИИ;
✔️ наши представления о мире, формируемые в рамках новой алгокогнитивной культуры, будут становиться все более кривыми (рост интеллектуальной слепоты и падение рациональности).
См. также мои посты по тэгам:
#Рациональность #КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
_______
Источник | #theworldisnoteasy
Мы не иррациональные обезьяны, а сверхэффективный суперкомпьютер.
Смена парадигмы иррациональности косвенно подтверждает вычислительную теорию разума.
Наша иррациональность (нерациональное поведение при принятии решений и осуществлении выбора) уникальна. Ни одно животное не способно действовать столь нерационально, выбирая, рискуя или сотрудничая. Люди – особый вид, иррациональность поведения которого (наряду с языком) превратила нас в царя природы и сверхразумное подобие Бога (кто бы еще из животных променял жизнь в раю на несколько укусов яблока - шутка, соответствующая реальности).
Разгадать природу нашей иррациональности психологи, экономисты и нейробиологи целенаправленно пытаются 60+ лет. В результате опубликованы тысячи научных статей и более двухсот монографий, присуждено несколько Нобелевских премий, проданы миллионы экземпляров мировых бестселлеров... 1
Но центральный вопрос экономики, психологии и нейробиологии принятия иррациональных решений – почему поведение людей при выборе вариантов столь предвзято, - по-прежнему открыт.
Установлено, что источником предвзятостей являются многообразные когнитивные искажения 2.
Но что за механизм их вызывает?
Согласно традиционным представлениям, механизм примерно таков - мозг функционирует, как несколько конкурирующих агентов 3:
• быстро и неосознанно на автомате решающей Системы 1
• и внимательно-задумчивой и потому медленной Системы 2
В результате внутренней конкуренции агентов возникают когнитивные искажения, ведущие к иррациональному поведению: странные финансовые решения; поступки, совершенные как бы в несознанке; импульсивные решения во вред себе (типа приема наркотиков) и т.д. 4
ОДНАКО!
В августовском выпуске Trends in Cognitive Sciences 5 публикуется новая работа отца нейроэкономики Пола Глимчера «Efficiently irrational: deciphering the riddle of human choice». Она подводит итог 10-летних исследований Глимчера, результаты которых могут кардинально поменять существующую научную парадигму объяснения иррациональности выбора людей в нейробиологии, психологии, экономике, социологии и политике.
Революционный вывод новой теории в том, что никакой иррациональности нет: мозг вовсе не максимизирует функцию полезности, а абсолютно рационально ищет компромисс между точностью своих вычислений и энергозатратами на них.
Сверхразумность Homo имеет высокую энергетическую цену (см. рис. ниже):
• Вычислительные потребности мозга около 10 ватт энергии в час (за сутки - 240 Вт)
• Для выработки 240 Вт требуется примерно 400 ккал энергии (около 20% суточной нормы поступающих с пищей калорий)
Это сверхэффективное энергопотребление мозга в сравнении с современными компьютерами, потребляющими в 30-100 раз больше энергии, но зато способными обеспечить высочайшую точность вычислений.
Чтобы повысить точность вычислений мозга на порядок, потребовалось бы 100 ватт энергии в час.
• За сутки энергопотребление составило бы 2400 Вт
• Для их выработки требуется примерно 4000 ккал энергии. Если этот объем калорий составит около 70% суточной потребности, то человеку потребуется ежедневно потреблять пищи, содержащей около 5600 ккал.
Т.е. для повышения точности вычислений лишь на 1 порядок, людям пришлось бы есть в 3 раза больше.
Реальность среды обитания не позволяла эволюции пойти на подобные энергозатраты мозга. Пришлось искать компромисс между точностью вычислений и энергопотреблением.
Как это делается в мозге, сам Глимчер рассказывает в часовой лекции 6.
И если Глимчер прав, это сильный (хоть и косвенный) аргумент в пользу вычислительной теории разума.
#Рациональность #КогнитивныеИскажения #ПринятиеРешений
_______
Источник | #theworldisnoteasy
Смена парадигмы иррациональности косвенно подтверждает вычислительную теорию разума.
Наша иррациональность (нерациональное поведение при принятии решений и осуществлении выбора) уникальна. Ни одно животное не способно действовать столь нерационально, выбирая, рискуя или сотрудничая. Люди – особый вид, иррациональность поведения которого (наряду с языком) превратила нас в царя природы и сверхразумное подобие Бога (кто бы еще из животных променял жизнь в раю на несколько укусов яблока - шутка, соответствующая реальности).
Разгадать природу нашей иррациональности психологи, экономисты и нейробиологи целенаправленно пытаются 60+ лет. В результате опубликованы тысячи научных статей и более двухсот монографий, присуждено несколько Нобелевских премий, проданы миллионы экземпляров мировых бестселлеров... 1
Но центральный вопрос экономики, психологии и нейробиологии принятия иррациональных решений – почему поведение людей при выборе вариантов столь предвзято, - по-прежнему открыт.
Установлено, что источником предвзятостей являются многообразные когнитивные искажения 2.
Но что за механизм их вызывает?
Согласно традиционным представлениям, механизм примерно таков - мозг функционирует, как несколько конкурирующих агентов 3:
• быстро и неосознанно на автомате решающей Системы 1
• и внимательно-задумчивой и потому медленной Системы 2
В результате внутренней конкуренции агентов возникают когнитивные искажения, ведущие к иррациональному поведению: странные финансовые решения; поступки, совершенные как бы в несознанке; импульсивные решения во вред себе (типа приема наркотиков) и т.д. 4
ОДНАКО!
В августовском выпуске Trends in Cognitive Sciences 5 публикуется новая работа отца нейроэкономики Пола Глимчера «Efficiently irrational: deciphering the riddle of human choice». Она подводит итог 10-летних исследований Глимчера, результаты которых могут кардинально поменять существующую научную парадигму объяснения иррациональности выбора людей в нейробиологии, психологии, экономике, социологии и политике.
Революционный вывод новой теории в том, что никакой иррациональности нет: мозг вовсе не максимизирует функцию полезности, а абсолютно рационально ищет компромисс между точностью своих вычислений и энергозатратами на них.
Сверхразумность Homo имеет высокую энергетическую цену (см. рис. ниже):
• Вычислительные потребности мозга около 10 ватт энергии в час (за сутки - 240 Вт)
• Для выработки 240 Вт требуется примерно 400 ккал энергии (около 20% суточной нормы поступающих с пищей калорий)
Это сверхэффективное энергопотребление мозга в сравнении с современными компьютерами, потребляющими в 30-100 раз больше энергии, но зато способными обеспечить высочайшую точность вычислений.
Чтобы повысить точность вычислений мозга на порядок, потребовалось бы 100 ватт энергии в час.
• За сутки энергопотребление составило бы 2400 Вт
• Для их выработки требуется примерно 4000 ккал энергии. Если этот объем калорий составит около 70% суточной потребности, то человеку потребуется ежедневно потреблять пищи, содержащей около 5600 ккал.
Т.е. для повышения точности вычислений лишь на 1 порядок, людям пришлось бы есть в 3 раза больше.
Реальность среды обитания не позволяла эволюции пойти на подобные энергозатраты мозга. Пришлось искать компромисс между точностью вычислений и энергопотреблением.
Как это делается в мозге, сам Глимчер рассказывает в часовой лекции 6.
И если Глимчер прав, это сильный (хоть и косвенный) аргумент в пользу вычислительной теории разума.
#Рациональность #КогнитивныеИскажения #ПринятиеРешений
_______
Источник | #theworldisnoteasy
