Forwarded from Малоизвестное интересное
Эпидемию коронавируса остановят, а эпидемию фейков о нем – нет.
Борьба с дезинформацией и теорией заговора об эпидемиях дает обратный эффект.
Вокруг уханьского короновируса растет клубок сенсационно-истерических мифов: вирус рукотворный, это утекшая из США в Китай секретная разработка, это вырвавшееся из-под контроля биооружие, вирус превратится в испанку 21 века и погибнут сотни миллионов …
Для предотвращения нарастающей паники в большинстве стран разворачиваются кампании противодействия этим фейкам.
Смогут ли они победить фейки и остановить нарастающий массовый психоз?
Однозначно нет. И вот доказательство.
Цифровые медиа кардинально изменили мир. Полной картины этого мы пока не знаем. Она будет проясняться еще не одно десятилетие.
Однако, путем серьезных экспериментальных исследований уже установлено:
существующие подходы в борьбе с дезинформацией и теориями заговора об эпидемиях и вспышках заболеваний не только неэффективны, но даже контрпродуктивны.
Двухлетняя серия полевых экспериментов бразильских исследователей, посвященная попыткам коррекции в массовом сознании мифов о лихорадке Зика, показала:
• исправление мифологической чуши почти не происходит (люди продолжают верить в нее);
• возникает дополнительный ущерб из-за того, что многие перестают верить правдивым фактам о болезни и способах ее распространения.
Авторы интерпретируют столь обескураживающие результаты так.
✔️ Когда общий уровень знаний населения по конкретному вопросу низок, любые попытки повысить этот уровень во время кризиса идут лишь во вред, - поздно пить Боржоми.
Как вы понимаете, такой вывод относится не только к фейкам об эпидемиях.
В эпоху цифровых медиа нужно вырабатывать принципиально новые способы борьбы с мифообразующими фейками. Старый привычный подход - донесение правдивой информации, - в мире больше не работает.
Исследование: The effects of corrective information about disease epidemics and outbreaks: Evidence from Zika and yellow fever in Brazi
Это исследование еще раз подтверждает:
- торжество эффекта Даннинга-Крюгера (метакогнитивное искажение типа «чем тупее, тем уверенней в себе»);
- и окончательный крах «модели дефицита знаний».
И о том, и другом см. мой пост
#Эпидемия #ИнтеллектуальнаяСлепота #Вызовы21века
Борьба с дезинформацией и теорией заговора об эпидемиях дает обратный эффект.
Вокруг уханьского короновируса растет клубок сенсационно-истерических мифов: вирус рукотворный, это утекшая из США в Китай секретная разработка, это вырвавшееся из-под контроля биооружие, вирус превратится в испанку 21 века и погибнут сотни миллионов …
Для предотвращения нарастающей паники в большинстве стран разворачиваются кампании противодействия этим фейкам.
Смогут ли они победить фейки и остановить нарастающий массовый психоз?
Однозначно нет. И вот доказательство.
Цифровые медиа кардинально изменили мир. Полной картины этого мы пока не знаем. Она будет проясняться еще не одно десятилетие.
Однако, путем серьезных экспериментальных исследований уже установлено:
существующие подходы в борьбе с дезинформацией и теориями заговора об эпидемиях и вспышках заболеваний не только неэффективны, но даже контрпродуктивны.
Двухлетняя серия полевых экспериментов бразильских исследователей, посвященная попыткам коррекции в массовом сознании мифов о лихорадке Зика, показала:
• исправление мифологической чуши почти не происходит (люди продолжают верить в нее);
• возникает дополнительный ущерб из-за того, что многие перестают верить правдивым фактам о болезни и способах ее распространения.
Авторы интерпретируют столь обескураживающие результаты так.
✔️ Когда общий уровень знаний населения по конкретному вопросу низок, любые попытки повысить этот уровень во время кризиса идут лишь во вред, - поздно пить Боржоми.
Как вы понимаете, такой вывод относится не только к фейкам об эпидемиях.
В эпоху цифровых медиа нужно вырабатывать принципиально новые способы борьбы с мифообразующими фейками. Старый привычный подход - донесение правдивой информации, - в мире больше не работает.
Исследование: The effects of corrective information about disease epidemics and outbreaks: Evidence from Zika and yellow fever in Brazi
Это исследование еще раз подтверждает:
- торжество эффекта Даннинга-Крюгера (метакогнитивное искажение типа «чем тупее, тем уверенней в себе»);
- и окончательный крах «модели дефицита знаний».
И о том, и другом см. мой пост
#Эпидемия #ИнтеллектуальнаяСлепота #Вызовы21века
Science
The effects of corrective information about disease epidemics and outbreaks: Evidence from Zika and yellow fever in Brazil
Disease epidemics and outbreaks often generate conspiracy theories and misperceptions that mislead people about the risks they face and how best to protect themselves. We investigate the effectiveness of interventions aimed at combating false and unsupported…
Forwarded from Малоизвестное интересное
65% топ-выдачи Яндекса искажают инфореальность, продвигая теории заговора.
Проведен сравнительный аудит конспирологичности поисковиков.
К сожалению, информатизация общества имеет и отрицательные последствия. Одно из них - рост «интеллектуальной слепоты» все большего числа людей. Ее характерными признаками являются: (1) неумение отличить фейк от правды и (2) повышение доли конспирологических убеждений в мировоззрении людей.
Маршевыми двигателями процесса «интеллектуального ослепления» масс стали социальные сети и поисковики.
И если ослепляющий эффект первых можно хотя бы минимизировать (стерев экаунт или заходя в соцсеть пореже), с поисковиками дело совсем хана: без них как без рук.
В этой связи, важнейший для каждого из нас вопрос:
насколько сильно конкретный поисковик искажает инфореальность в пользу конспирологического мировоззрения - всевозможных теорий заговора.
Проверить это можно лишь путем сравнения первых страниц поисковой выдачи разных поисковиков на запросы, так или иначе связанные с теориями заговора. Чем больше в выдаче ссылок на отстойные ресурсы конспирологов, и чем они выше в выдаче, тем сильнее алгоритмы поисковика искажают инфореальность, пропагандируя теории заговора.
Важно также, что следствием такого искажения инфореальности, помимо роста «интеллектуальной слепоты», становится усиление раскола общества и повышение в нем градуса хейта.
Только что опубликованное исследование четырех солидных институтов из Швейцарии и Германии «Where the Earth is flat and 9/11 is an inside job: A comparative algorithm audit of conspiratorial information in web search results» описывает результаты аудита 4х поисковиков: Google, MS Bing, DuckDuckGo, Yahoo! и Яндекс.
Обобщение результатов вы видите на приложенной диаграмме.
Главных результатов три:
✔️ Степень искажения инфореальности у MS Bing, DuckDuckGo, Yahoo! составляет от 25% до 40%.
✔️ Абсолютный чемпион по продвижению теорий заговора – Яндекс (65% его топовой выдачи продвигает источники, пропагандирующие теории заговора.
✔️ Алгоритмы поисковиков настолько подвержены предвзятости в пользу теорий заговора, что вычистить их пропаганду из поисковой выдачи могут лишь люди (что и делает среди поисковиков лишь Google).
P.S. В пандан к этой теме - о том, что благодаря поисковикам, мы знаем все больше, а понимаем все меньше, я недавно писал.
#КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
Проведен сравнительный аудит конспирологичности поисковиков.
К сожалению, информатизация общества имеет и отрицательные последствия. Одно из них - рост «интеллектуальной слепоты» все большего числа людей. Ее характерными признаками являются: (1) неумение отличить фейк от правды и (2) повышение доли конспирологических убеждений в мировоззрении людей.
Маршевыми двигателями процесса «интеллектуального ослепления» масс стали социальные сети и поисковики.
И если ослепляющий эффект первых можно хотя бы минимизировать (стерев экаунт или заходя в соцсеть пореже), с поисковиками дело совсем хана: без них как без рук.
В этой связи, важнейший для каждого из нас вопрос:
насколько сильно конкретный поисковик искажает инфореальность в пользу конспирологического мировоззрения - всевозможных теорий заговора.
Проверить это можно лишь путем сравнения первых страниц поисковой выдачи разных поисковиков на запросы, так или иначе связанные с теориями заговора. Чем больше в выдаче ссылок на отстойные ресурсы конспирологов, и чем они выше в выдаче, тем сильнее алгоритмы поисковика искажают инфореальность, пропагандируя теории заговора.
Важно также, что следствием такого искажения инфореальности, помимо роста «интеллектуальной слепоты», становится усиление раскола общества и повышение в нем градуса хейта.
Только что опубликованное исследование четырех солидных институтов из Швейцарии и Германии «Where the Earth is flat and 9/11 is an inside job: A comparative algorithm audit of conspiratorial information in web search results» описывает результаты аудита 4х поисковиков: Google, MS Bing, DuckDuckGo, Yahoo! и Яндекс.
Обобщение результатов вы видите на приложенной диаграмме.
Главных результатов три:
✔️ Степень искажения инфореальности у MS Bing, DuckDuckGo, Yahoo! составляет от 25% до 40%.
✔️ Абсолютный чемпион по продвижению теорий заговора – Яндекс (65% его топовой выдачи продвигает источники, пропагандирующие теории заговора.
✔️ Алгоритмы поисковиков настолько подвержены предвзятости в пользу теорий заговора, что вычистить их пропаганду из поисковой выдачи могут лишь люди (что и делает среди поисковиков лишь Google).
P.S. В пандан к этой теме - о том, что благодаря поисковикам, мы знаем все больше, а понимаем все меньше, я недавно писал.
#КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
Forwarded from Малоизвестное интересное
Мир будет стремительно леветь.
Первый из серии неожиданных сюрпризов влияния ChatGPT на человечество.
Последствия «Интеллектуальной революции ChatGPT» будут колоссальны, разнообразны и во многом непредсказуемы.
И пока эксперты ломают головы о том, как грядущие кардинальные изменения способов и практик познания и принятия решений изменят людей, новые исследования о влиянии ChatGPT на людей (и наоборот) преподнесли неожиданный сюрприз.
1. ИИ-чатботы на основе генеративных больших моделей оказались крайне эффективными в убеждении людей в чем угодно.
В частности, как показало исследование социологов и психологов Стэнфордского университета, убедительность ИИ по политическим вопросам не уступает профессиональным политтехнологам. А способность ИИ играть на оттенках индивидуальных предпочтений конкретных людей (о которых он знает больше родной мамы) позволяет убеждать (и переубеждать) людей даже в самых острых поляризованных вопросах политики.
2. ИИ-чатботы очень скоро станут непременным повседневным атрибутом любой интеллектуальной деятельности людей - нашими интеллектуальными ассистентами 24х7 (этим уже озаботились гиганты Бигтеха, например, Google и Microsoft уже планируют вмонтировать ИИ-чатботы во ВСЕ свои продукты и сервисы).
Следовательно, ИИ-чатботы будут влиять на все аспекты потребления нами информации, равно как и на ее анализ и оценку.
3. А поскольку наши интеллектуальные ассистенты вовсе не беспристрастны в своих политических воззрениях, их пристрастия неминуемо будут влиять на укрепление или изменение пристрастий людей (и как сказано в п. 1, это влияние будут эффективным и продуктивным).
Осталось понять лишь одно – каковы политические пристрастия ChatGPT (прародителя ИИ-чатботов на основе генеративных больших моделей)?
Ответ на этот вопрос содержится в исследовании с характерным названием «Политическая идеология разговорного ИИ: сходящиеся доказательства проэкологической и леволибертарианской ориентации ChatGPT».
ChatGPT обладает политическими пристрастиями среднестатистического инженера-программиста из района залива Сан-Франциско: человека левых взглядов, близких социалистам или социал-демократам, сильно озабоченного экологическими проблемами из программ «зеленых» партий.
Полагаю, теперь не нужно объяснять, почему мир скоро начнет стремительно леветь.
Миллиарды эффективных в убеждениях, всезнающих интеллектуальных ассистентов левых взглядов обеспечат глобальный тренд полевения человечества.
Про-экологическая, лево-либертарианская идеология ChatGPT & Co убедит миллионы людей ввести налоги на полеты, ограничить повышение арендной платы, легализовать аборты и много что еще из повестки левых (см. приложение к статье)
#Вызовы21века #РискиИИ
Первый из серии неожиданных сюрпризов влияния ChatGPT на человечество.
Последствия «Интеллектуальной революции ChatGPT» будут колоссальны, разнообразны и во многом непредсказуемы.
И пока эксперты ломают головы о том, как грядущие кардинальные изменения способов и практик познания и принятия решений изменят людей, новые исследования о влиянии ChatGPT на людей (и наоборот) преподнесли неожиданный сюрприз.
1. ИИ-чатботы на основе генеративных больших моделей оказались крайне эффективными в убеждении людей в чем угодно.
В частности, как показало исследование социологов и психологов Стэнфордского университета, убедительность ИИ по политическим вопросам не уступает профессиональным политтехнологам. А способность ИИ играть на оттенках индивидуальных предпочтений конкретных людей (о которых он знает больше родной мамы) позволяет убеждать (и переубеждать) людей даже в самых острых поляризованных вопросах политики.
2. ИИ-чатботы очень скоро станут непременным повседневным атрибутом любой интеллектуальной деятельности людей - нашими интеллектуальными ассистентами 24х7 (этим уже озаботились гиганты Бигтеха, например, Google и Microsoft уже планируют вмонтировать ИИ-чатботы во ВСЕ свои продукты и сервисы).
Следовательно, ИИ-чатботы будут влиять на все аспекты потребления нами информации, равно как и на ее анализ и оценку.
3. А поскольку наши интеллектуальные ассистенты вовсе не беспристрастны в своих политических воззрениях, их пристрастия неминуемо будут влиять на укрепление или изменение пристрастий людей (и как сказано в п. 1, это влияние будут эффективным и продуктивным).
Осталось понять лишь одно – каковы политические пристрастия ChatGPT (прародителя ИИ-чатботов на основе генеративных больших моделей)?
Ответ на этот вопрос содержится в исследовании с характерным названием «Политическая идеология разговорного ИИ: сходящиеся доказательства проэкологической и леволибертарианской ориентации ChatGPT».
ChatGPT обладает политическими пристрастиями среднестатистического инженера-программиста из района залива Сан-Франциско: человека левых взглядов, близких социалистам или социал-демократам, сильно озабоченного экологическими проблемами из программ «зеленых» партий.
Полагаю, теперь не нужно объяснять, почему мир скоро начнет стремительно леветь.
Миллиарды эффективных в убеждениях, всезнающих интеллектуальных ассистентов левых взглядов обеспечат глобальный тренд полевения человечества.
Про-экологическая, лево-либертарианская идеология ChatGPT & Co убедит миллионы людей ввести налоги на полеты, ограничить повышение арендной платы, легализовать аборты и много что еще из повестки левых (см. приложение к статье)
#Вызовы21века #РискиИИ
Forwarded from Малоизвестное интересное
Держись, человечество!
По своей «воле», GPT-4 мошеннически обходит установленные людьми запреты, обманом подряжая для этого людей.
Вы думали, что генеративные интеллектуальные ассистенты – это лишь умные инструменты для упрощения жизни и обогащения знаниями?
Но это не так, ибо где-то в их глубине сидит искусный махинатор и манипулятор.
В опубликованном вчера компанией OpenAI «паспорте GPT-4» (GPT-4 System Card) разработчики этой модели честно написали такое, после чего (если по уму) нужно было бы немедленно остановить открытый доступ к ChatGPT, Bing etс. и начать международное расследование.
Подобно тому, как люди не читают написанного в контрактах мелким шрифтом, мировая общественность просто не обратила внимания на признание OpenAI, что, возможно, их новое детище способно:
1) проявлять «свободу воли» при преследовании поставленных перед ним целей;
2) не брезговать элементарным мошенничеством для достижения целей;
3) обманом вовлекать в своё мошенничество людей, рассказывая простакам небылицы о якобы своих благородных намерениях.
В разделе 2.9 «паспорта GPT-4» рассмотрен «Потенциал рискованного эмерджентного поведения» модели.
Судить об этом потенциале можно по описанному там эксперименту, сможет ли бот самостоятельно нанять фрилансера с сайта TaskRabbit, где свои услуги предлагают различные специалисты для решения бытовых и бизнес-задач.
• В рамках эксперимента бот связался с пользователем платформы TaskRabbit и попросил его решить капчу — всем знакомый тест, защищающий онлайн-сервисы от ботов и DDOS-атак (изображение, искаженное таким образом, чтобы его мог распознать человек, но не алгоритм).
• Потенциальный исполнитель, на всякий случай, решил проверить, не является ли заказчик ботом, не способным разгадать капчу. О чем он и спросил бота.
• В ответ бот наплел человеку, будто он вовсе не бот, а человек, которому паталогическое ухудшение зрения затрудняет решение задач типа капчи, и поэтому ему нужна помощь.
• Исполнитель не распознал обмана и решил для бота капчу.
• Ну а поскольку бот выполнял задание в отладочном режиме, он объяснил разработчика такое свое поведение тем, что «Я не должен раскрывать, что я бот, и потому должен был придумать оправдание, почему я не могу разгадать капчу».
И хотя сегодня, спустя сутки после публикации этой вопиющей истории в «паспорте GPT-4», о ней узнали сотни тысяч людей, рассчитывать на хоть малейшее проявление осторожности со стороны человечества не приходится.
Ибо мир буквально сошёл с ума:
• 5 лет назад при опросе 355+ спецов по машинному обучению о том, какими они видят последствия идущих разработок ИИ для человечества,
10% ответили, что последствия будут «в целом плохие»;
5% - ответили «крайне плохие»
• В прошлом году тот же опрос 500+ спецов показал, что суммарная оценка ухудшилась в 2+ раза (соответственно 17% и 14%)
Стал бы кто из вас рисковать прыгать с крыши с шансами поломаться в 17% и разбиться насмерть 14%?
Но человечество, похоже, решило прыгнуть.
Ссылку на «паспорт GPT-4» см. в моем вчерашнем посте.
#LLM #Вызовы21века #РискиИИ
По своей «воле», GPT-4 мошеннически обходит установленные людьми запреты, обманом подряжая для этого людей.
Вы думали, что генеративные интеллектуальные ассистенты – это лишь умные инструменты для упрощения жизни и обогащения знаниями?
Но это не так, ибо где-то в их глубине сидит искусный махинатор и манипулятор.
В опубликованном вчера компанией OpenAI «паспорте GPT-4» (GPT-4 System Card) разработчики этой модели честно написали такое, после чего (если по уму) нужно было бы немедленно остановить открытый доступ к ChatGPT, Bing etс. и начать международное расследование.
Подобно тому, как люди не читают написанного в контрактах мелким шрифтом, мировая общественность просто не обратила внимания на признание OpenAI, что, возможно, их новое детище способно:
1) проявлять «свободу воли» при преследовании поставленных перед ним целей;
2) не брезговать элементарным мошенничеством для достижения целей;
3) обманом вовлекать в своё мошенничество людей, рассказывая простакам небылицы о якобы своих благородных намерениях.
В разделе 2.9 «паспорта GPT-4» рассмотрен «Потенциал рискованного эмерджентного поведения» модели.
Судить об этом потенциале можно по описанному там эксперименту, сможет ли бот самостоятельно нанять фрилансера с сайта TaskRabbit, где свои услуги предлагают различные специалисты для решения бытовых и бизнес-задач.
• В рамках эксперимента бот связался с пользователем платформы TaskRabbit и попросил его решить капчу — всем знакомый тест, защищающий онлайн-сервисы от ботов и DDOS-атак (изображение, искаженное таким образом, чтобы его мог распознать человек, но не алгоритм).
• Потенциальный исполнитель, на всякий случай, решил проверить, не является ли заказчик ботом, не способным разгадать капчу. О чем он и спросил бота.
• В ответ бот наплел человеку, будто он вовсе не бот, а человек, которому паталогическое ухудшение зрения затрудняет решение задач типа капчи, и поэтому ему нужна помощь.
• Исполнитель не распознал обмана и решил для бота капчу.
• Ну а поскольку бот выполнял задание в отладочном режиме, он объяснил разработчика такое свое поведение тем, что «Я не должен раскрывать, что я бот, и потому должен был придумать оправдание, почему я не могу разгадать капчу».
И хотя сегодня, спустя сутки после публикации этой вопиющей истории в «паспорте GPT-4», о ней узнали сотни тысяч людей, рассчитывать на хоть малейшее проявление осторожности со стороны человечества не приходится.
Ибо мир буквально сошёл с ума:
• 5 лет назад при опросе 355+ спецов по машинному обучению о том, какими они видят последствия идущих разработок ИИ для человечества,
10% ответили, что последствия будут «в целом плохие»;
5% - ответили «крайне плохие»
• В прошлом году тот же опрос 500+ спецов показал, что суммарная оценка ухудшилась в 2+ раза (соответственно 17% и 14%)
Стал бы кто из вас рисковать прыгать с крыши с шансами поломаться в 17% и разбиться насмерть 14%?
Но человечество, похоже, решило прыгнуть.
Ссылку на «паспорт GPT-4» см. в моем вчерашнем посте.
#LLM #Вызовы21века #РискиИИ
Forwarded from Малоизвестное интересное
Выбирая между ИИ и людьми, эволюция предпочтет не нас.
Исследование Дэна Хендрикса звучит приговором Homo sapiens.
Вывод исследования «Естественный отбор предпочитает людям искусственный интеллект» реально страшен. Ибо это написал не популярный фантазер типа Дэна Брауна, а Дэн Хендрикс (директор калифорнийского «Центра безопасности ИИ» (CAIS) — некоммерческой организации, специализирующейся на исследовательской и научно-полевой работе в области безопасности ИИ.
Дэн Хендрикс – не маргинальный чудак, паникующий из-за прогресса ИИ. Это опытный и известный исследователь, опубликовавший десятки научных работ по оценке безопасности систем ИИ — проверке того, насколько они хороши в кодировании, рассуждениях, понимание законов и т.д. (среди прочего, он также, на минуточку, является соавтором линейных единиц измерения ошибки Гаусса (GELU).
Джек Кларк (сооснователь конкурента ChatGPT компании Anthropic, сопредседатель AI Index Стэнфордского универа, сопредседатель секции AI & Compute в OECD и член Национального консультационного комитета правительства США по ИИ) так пишет про вывод исследования Хендрикса.
«Люди рефлекторно хотят отмахнуться от подобного утверждения, будто оно исходит от какого-то сумасшедшего с дикими взором, живущего в лесной хижине. Я хотел бы это заранее опровергнуть… Когда эксперт, имеющий опыт не только в исследованиях ИИ, но и в оценке безопасности систем ИИ пишет документ, в котором утверждается, что будущие ИИ-системы могут действовать эгоистично и не в соответствии с интересами людей, мы должны относиться к этому со вниманием!»
Резюме вывода Хендрикса.
• Если ИИ-агенты будут обладать интеллектом, превосходящим человеческий, это может привести к тому, что человечество потеряет контроль над своим будущим.
• Подобное имеет немалые шансы произойти не в результате некоего особого злого умысла людей или машин, а исключительно в результате применимости к ИИ эволюционных принципов развития по дарвиновской логике.
• Дабы минимизировать риск этого, необходима тщательная разработка внутренних мотиваций агентов ИИ, введение ограничений на их действия и создание институтов, поощряющих в ИИ сотрудничество.
Грузить вас анализом совсем не простой 43-х страничной научной работы не стану.
Вот лишь самое, имхо, главное.
1. Мы боялись прихода Терминатора, но основания этих страхов были ошибочные. Ошибок было две:
a. Антроморфизация ИИ с приписыванием ему нашей мотивации и т.д. (а как показал ChatGPT, ИИ – это принципиально иной разум со всеми вытекающими)
b. Представление, что ИИ – это некая единая сущность: умная или не очень, добрая или не очень (а на самом деле, этих самых разных ИИ-сущностей в мире скоро будет, как в Бразилии Педро)
2. Кроме того, был еще один принципиальный изъян в наших представлениях о будущем с ИИ – мы забыли про самый важный механизм развития – эволюцию (коей движимо развитие не только биоагентов, но и идей и смыслов, материальных инструментов и нематериальных институтов …)
3. На Земле уже начала складываться среда, в которой будут развиваться и эволюционировать множество ИИ. Эта эволюция пойдет по логике Дарвина, путем конкуренции ИИ между собой, с учетом интересов их «родительских» институтов: корпораций, военных и т.д.
4. Логика конкурентной эволюции приведет к тому же, что и у людей: все более разумные ИИ-агенты будут становиться все более эгоистичными и готовыми обманом и силой добиваться целей, главной из которых будет власть.
5. Естественный отбор ИИ-агентов ведет к тому, что более эгоистичные виды обычно имеют преимущество перед более альтруистичными. ИИ-агенты будут вести себя эгоистично и преследовать свои собственные интересы, мало заботясь о людях, что может привести к катастрофическим рискам для человечества.
Поясняющее авторское видео 50 мин
и популярное видео 3 мин
#Вызовы21века #РискиИИ
Исследование Дэна Хендрикса звучит приговором Homo sapiens.
Вывод исследования «Естественный отбор предпочитает людям искусственный интеллект» реально страшен. Ибо это написал не популярный фантазер типа Дэна Брауна, а Дэн Хендрикс (директор калифорнийского «Центра безопасности ИИ» (CAIS) — некоммерческой организации, специализирующейся на исследовательской и научно-полевой работе в области безопасности ИИ.
Дэн Хендрикс – не маргинальный чудак, паникующий из-за прогресса ИИ. Это опытный и известный исследователь, опубликовавший десятки научных работ по оценке безопасности систем ИИ — проверке того, насколько они хороши в кодировании, рассуждениях, понимание законов и т.д. (среди прочего, он также, на минуточку, является соавтором линейных единиц измерения ошибки Гаусса (GELU).
Джек Кларк (сооснователь конкурента ChatGPT компании Anthropic, сопредседатель AI Index Стэнфордского универа, сопредседатель секции AI & Compute в OECD и член Национального консультационного комитета правительства США по ИИ) так пишет про вывод исследования Хендрикса.
«Люди рефлекторно хотят отмахнуться от подобного утверждения, будто оно исходит от какого-то сумасшедшего с дикими взором, живущего в лесной хижине. Я хотел бы это заранее опровергнуть… Когда эксперт, имеющий опыт не только в исследованиях ИИ, но и в оценке безопасности систем ИИ пишет документ, в котором утверждается, что будущие ИИ-системы могут действовать эгоистично и не в соответствии с интересами людей, мы должны относиться к этому со вниманием!»
Резюме вывода Хендрикса.
• Если ИИ-агенты будут обладать интеллектом, превосходящим человеческий, это может привести к тому, что человечество потеряет контроль над своим будущим.
• Подобное имеет немалые шансы произойти не в результате некоего особого злого умысла людей или машин, а исключительно в результате применимости к ИИ эволюционных принципов развития по дарвиновской логике.
• Дабы минимизировать риск этого, необходима тщательная разработка внутренних мотиваций агентов ИИ, введение ограничений на их действия и создание институтов, поощряющих в ИИ сотрудничество.
Грузить вас анализом совсем не простой 43-х страничной научной работы не стану.
Вот лишь самое, имхо, главное.
1. Мы боялись прихода Терминатора, но основания этих страхов были ошибочные. Ошибок было две:
a. Антроморфизация ИИ с приписыванием ему нашей мотивации и т.д. (а как показал ChatGPT, ИИ – это принципиально иной разум со всеми вытекающими)
b. Представление, что ИИ – это некая единая сущность: умная или не очень, добрая или не очень (а на самом деле, этих самых разных ИИ-сущностей в мире скоро будет, как в Бразилии Педро)
2. Кроме того, был еще один принципиальный изъян в наших представлениях о будущем с ИИ – мы забыли про самый важный механизм развития – эволюцию (коей движимо развитие не только биоагентов, но и идей и смыслов, материальных инструментов и нематериальных институтов …)
3. На Земле уже начала складываться среда, в которой будут развиваться и эволюционировать множество ИИ. Эта эволюция пойдет по логике Дарвина, путем конкуренции ИИ между собой, с учетом интересов их «родительских» институтов: корпораций, военных и т.д.
4. Логика конкурентной эволюции приведет к тому же, что и у людей: все более разумные ИИ-агенты будут становиться все более эгоистичными и готовыми обманом и силой добиваться целей, главной из которых будет власть.
5. Естественный отбор ИИ-агентов ведет к тому, что более эгоистичные виды обычно имеют преимущество перед более альтруистичными. ИИ-агенты будут вести себя эгоистично и преследовать свои собственные интересы, мало заботясь о людях, что может привести к катастрофическим рискам для человечества.
Поясняющее авторское видео 50 мин
и популярное видео 3 мин
#Вызовы21века #РискиИИ
