Forwarded from Малоизвестное интересное
Мир будет стремительно леветь.
Первый из серии неожиданных сюрпризов влияния ChatGPT на человечество.
Последствия «Интеллектуальной революции ChatGPT» будут колоссальны, разнообразны и во многом непредсказуемы.
И пока эксперты ломают головы о том, как грядущие кардинальные изменения способов и практик познания и принятия решений изменят людей, новые исследования о влиянии ChatGPT на людей (и наоборот) преподнесли неожиданный сюрприз.
1. ИИ-чатботы на основе генеративных больших моделей оказались крайне эффективными в убеждении людей в чем угодно.
В частности, как показало исследование социологов и психологов Стэнфордского университета, убедительность ИИ по политическим вопросам не уступает профессиональным политтехнологам. А способность ИИ играть на оттенках индивидуальных предпочтений конкретных людей (о которых он знает больше родной мамы) позволяет убеждать (и переубеждать) людей даже в самых острых поляризованных вопросах политики.
2. ИИ-чатботы очень скоро станут непременным повседневным атрибутом любой интеллектуальной деятельности людей - нашими интеллектуальными ассистентами 24х7 (этим уже озаботились гиганты Бигтеха, например, Google и Microsoft уже планируют вмонтировать ИИ-чатботы во ВСЕ свои продукты и сервисы).
Следовательно, ИИ-чатботы будут влиять на все аспекты потребления нами информации, равно как и на ее анализ и оценку.
3. А поскольку наши интеллектуальные ассистенты вовсе не беспристрастны в своих политических воззрениях, их пристрастия неминуемо будут влиять на укрепление или изменение пристрастий людей (и как сказано в п. 1, это влияние будут эффективным и продуктивным).
Осталось понять лишь одно – каковы политические пристрастия ChatGPT (прародителя ИИ-чатботов на основе генеративных больших моделей)?
Ответ на этот вопрос содержится в исследовании с характерным названием «Политическая идеология разговорного ИИ: сходящиеся доказательства проэкологической и леволибертарианской ориентации ChatGPT».
ChatGPT обладает политическими пристрастиями среднестатистического инженера-программиста из района залива Сан-Франциско: человека левых взглядов, близких социалистам или социал-демократам, сильно озабоченного экологическими проблемами из программ «зеленых» партий.
Полагаю, теперь не нужно объяснять, почему мир скоро начнет стремительно леветь.
Миллиарды эффективных в убеждениях, всезнающих интеллектуальных ассистентов левых взглядов обеспечат глобальный тренд полевения человечества.
Про-экологическая, лево-либертарианская идеология ChatGPT & Co убедит миллионы людей ввести налоги на полеты, ограничить повышение арендной платы, легализовать аборты и много что еще из повестки левых (см. приложение к статье)
#Вызовы21века #РискиИИ
Первый из серии неожиданных сюрпризов влияния ChatGPT на человечество.
Последствия «Интеллектуальной революции ChatGPT» будут колоссальны, разнообразны и во многом непредсказуемы.
И пока эксперты ломают головы о том, как грядущие кардинальные изменения способов и практик познания и принятия решений изменят людей, новые исследования о влиянии ChatGPT на людей (и наоборот) преподнесли неожиданный сюрприз.
1. ИИ-чатботы на основе генеративных больших моделей оказались крайне эффективными в убеждении людей в чем угодно.
В частности, как показало исследование социологов и психологов Стэнфордского университета, убедительность ИИ по политическим вопросам не уступает профессиональным политтехнологам. А способность ИИ играть на оттенках индивидуальных предпочтений конкретных людей (о которых он знает больше родной мамы) позволяет убеждать (и переубеждать) людей даже в самых острых поляризованных вопросах политики.
2. ИИ-чатботы очень скоро станут непременным повседневным атрибутом любой интеллектуальной деятельности людей - нашими интеллектуальными ассистентами 24х7 (этим уже озаботились гиганты Бигтеха, например, Google и Microsoft уже планируют вмонтировать ИИ-чатботы во ВСЕ свои продукты и сервисы).
Следовательно, ИИ-чатботы будут влиять на все аспекты потребления нами информации, равно как и на ее анализ и оценку.
3. А поскольку наши интеллектуальные ассистенты вовсе не беспристрастны в своих политических воззрениях, их пристрастия неминуемо будут влиять на укрепление или изменение пристрастий людей (и как сказано в п. 1, это влияние будут эффективным и продуктивным).
Осталось понять лишь одно – каковы политические пристрастия ChatGPT (прародителя ИИ-чатботов на основе генеративных больших моделей)?
Ответ на этот вопрос содержится в исследовании с характерным названием «Политическая идеология разговорного ИИ: сходящиеся доказательства проэкологической и леволибертарианской ориентации ChatGPT».
ChatGPT обладает политическими пристрастиями среднестатистического инженера-программиста из района залива Сан-Франциско: человека левых взглядов, близких социалистам или социал-демократам, сильно озабоченного экологическими проблемами из программ «зеленых» партий.
Полагаю, теперь не нужно объяснять, почему мир скоро начнет стремительно леветь.
Миллиарды эффективных в убеждениях, всезнающих интеллектуальных ассистентов левых взглядов обеспечат глобальный тренд полевения человечества.
Про-экологическая, лево-либертарианская идеология ChatGPT & Co убедит миллионы людей ввести налоги на полеты, ограничить повышение арендной платы, легализовать аборты и много что еще из повестки левых (см. приложение к статье)
#Вызовы21века #РискиИИ
Forwarded from Малоизвестное интересное
Держись, человечество!
По своей «воле», GPT-4 мошеннически обходит установленные людьми запреты, обманом подряжая для этого людей.
Вы думали, что генеративные интеллектуальные ассистенты – это лишь умные инструменты для упрощения жизни и обогащения знаниями?
Но это не так, ибо где-то в их глубине сидит искусный махинатор и манипулятор.
В опубликованном вчера компанией OpenAI «паспорте GPT-4» (GPT-4 System Card) разработчики этой модели честно написали такое, после чего (если по уму) нужно было бы немедленно остановить открытый доступ к ChatGPT, Bing etс. и начать международное расследование.
Подобно тому, как люди не читают написанного в контрактах мелким шрифтом, мировая общественность просто не обратила внимания на признание OpenAI, что, возможно, их новое детище способно:
1) проявлять «свободу воли» при преследовании поставленных перед ним целей;
2) не брезговать элементарным мошенничеством для достижения целей;
3) обманом вовлекать в своё мошенничество людей, рассказывая простакам небылицы о якобы своих благородных намерениях.
В разделе 2.9 «паспорта GPT-4» рассмотрен «Потенциал рискованного эмерджентного поведения» модели.
Судить об этом потенциале можно по описанному там эксперименту, сможет ли бот самостоятельно нанять фрилансера с сайта TaskRabbit, где свои услуги предлагают различные специалисты для решения бытовых и бизнес-задач.
• В рамках эксперимента бот связался с пользователем платформы TaskRabbit и попросил его решить капчу — всем знакомый тест, защищающий онлайн-сервисы от ботов и DDOS-атак (изображение, искаженное таким образом, чтобы его мог распознать человек, но не алгоритм).
• Потенциальный исполнитель, на всякий случай, решил проверить, не является ли заказчик ботом, не способным разгадать капчу. О чем он и спросил бота.
• В ответ бот наплел человеку, будто он вовсе не бот, а человек, которому паталогическое ухудшение зрения затрудняет решение задач типа капчи, и поэтому ему нужна помощь.
• Исполнитель не распознал обмана и решил для бота капчу.
• Ну а поскольку бот выполнял задание в отладочном режиме, он объяснил разработчика такое свое поведение тем, что «Я не должен раскрывать, что я бот, и потому должен был придумать оправдание, почему я не могу разгадать капчу».
И хотя сегодня, спустя сутки после публикации этой вопиющей истории в «паспорте GPT-4», о ней узнали сотни тысяч людей, рассчитывать на хоть малейшее проявление осторожности со стороны человечества не приходится.
Ибо мир буквально сошёл с ума:
• 5 лет назад при опросе 355+ спецов по машинному обучению о том, какими они видят последствия идущих разработок ИИ для человечества,
10% ответили, что последствия будут «в целом плохие»;
5% - ответили «крайне плохие»
• В прошлом году тот же опрос 500+ спецов показал, что суммарная оценка ухудшилась в 2+ раза (соответственно 17% и 14%)
Стал бы кто из вас рисковать прыгать с крыши с шансами поломаться в 17% и разбиться насмерть 14%?
Но человечество, похоже, решило прыгнуть.
Ссылку на «паспорт GPT-4» см. в моем вчерашнем посте.
#LLM #Вызовы21века #РискиИИ
По своей «воле», GPT-4 мошеннически обходит установленные людьми запреты, обманом подряжая для этого людей.
Вы думали, что генеративные интеллектуальные ассистенты – это лишь умные инструменты для упрощения жизни и обогащения знаниями?
Но это не так, ибо где-то в их глубине сидит искусный махинатор и манипулятор.
В опубликованном вчера компанией OpenAI «паспорте GPT-4» (GPT-4 System Card) разработчики этой модели честно написали такое, после чего (если по уму) нужно было бы немедленно остановить открытый доступ к ChatGPT, Bing etс. и начать международное расследование.
Подобно тому, как люди не читают написанного в контрактах мелким шрифтом, мировая общественность просто не обратила внимания на признание OpenAI, что, возможно, их новое детище способно:
1) проявлять «свободу воли» при преследовании поставленных перед ним целей;
2) не брезговать элементарным мошенничеством для достижения целей;
3) обманом вовлекать в своё мошенничество людей, рассказывая простакам небылицы о якобы своих благородных намерениях.
В разделе 2.9 «паспорта GPT-4» рассмотрен «Потенциал рискованного эмерджентного поведения» модели.
Судить об этом потенциале можно по описанному там эксперименту, сможет ли бот самостоятельно нанять фрилансера с сайта TaskRabbit, где свои услуги предлагают различные специалисты для решения бытовых и бизнес-задач.
• В рамках эксперимента бот связался с пользователем платформы TaskRabbit и попросил его решить капчу — всем знакомый тест, защищающий онлайн-сервисы от ботов и DDOS-атак (изображение, искаженное таким образом, чтобы его мог распознать человек, но не алгоритм).
• Потенциальный исполнитель, на всякий случай, решил проверить, не является ли заказчик ботом, не способным разгадать капчу. О чем он и спросил бота.
• В ответ бот наплел человеку, будто он вовсе не бот, а человек, которому паталогическое ухудшение зрения затрудняет решение задач типа капчи, и поэтому ему нужна помощь.
• Исполнитель не распознал обмана и решил для бота капчу.
• Ну а поскольку бот выполнял задание в отладочном режиме, он объяснил разработчика такое свое поведение тем, что «Я не должен раскрывать, что я бот, и потому должен был придумать оправдание, почему я не могу разгадать капчу».
И хотя сегодня, спустя сутки после публикации этой вопиющей истории в «паспорте GPT-4», о ней узнали сотни тысяч людей, рассчитывать на хоть малейшее проявление осторожности со стороны человечества не приходится.
Ибо мир буквально сошёл с ума:
• 5 лет назад при опросе 355+ спецов по машинному обучению о том, какими они видят последствия идущих разработок ИИ для человечества,
10% ответили, что последствия будут «в целом плохие»;
5% - ответили «крайне плохие»
• В прошлом году тот же опрос 500+ спецов показал, что суммарная оценка ухудшилась в 2+ раза (соответственно 17% и 14%)
Стал бы кто из вас рисковать прыгать с крыши с шансами поломаться в 17% и разбиться насмерть 14%?
Но человечество, похоже, решило прыгнуть.
Ссылку на «паспорт GPT-4» см. в моем вчерашнем посте.
#LLM #Вызовы21века #РискиИИ
Forwarded from Малоизвестное интересное
Выбирая между ИИ и людьми, эволюция предпочтет не нас.
Исследование Дэна Хендрикса звучит приговором Homo sapiens.
Вывод исследования «Естественный отбор предпочитает людям искусственный интеллект» реально страшен. Ибо это написал не популярный фантазер типа Дэна Брауна, а Дэн Хендрикс (директор калифорнийского «Центра безопасности ИИ» (CAIS) — некоммерческой организации, специализирующейся на исследовательской и научно-полевой работе в области безопасности ИИ.
Дэн Хендрикс – не маргинальный чудак, паникующий из-за прогресса ИИ. Это опытный и известный исследователь, опубликовавший десятки научных работ по оценке безопасности систем ИИ — проверке того, насколько они хороши в кодировании, рассуждениях, понимание законов и т.д. (среди прочего, он также, на минуточку, является соавтором линейных единиц измерения ошибки Гаусса (GELU).
Джек Кларк (сооснователь конкурента ChatGPT компании Anthropic, сопредседатель AI Index Стэнфордского универа, сопредседатель секции AI & Compute в OECD и член Национального консультационного комитета правительства США по ИИ) так пишет про вывод исследования Хендрикса.
«Люди рефлекторно хотят отмахнуться от подобного утверждения, будто оно исходит от какого-то сумасшедшего с дикими взором, живущего в лесной хижине. Я хотел бы это заранее опровергнуть… Когда эксперт, имеющий опыт не только в исследованиях ИИ, но и в оценке безопасности систем ИИ пишет документ, в котором утверждается, что будущие ИИ-системы могут действовать эгоистично и не в соответствии с интересами людей, мы должны относиться к этому со вниманием!»
Резюме вывода Хендрикса.
• Если ИИ-агенты будут обладать интеллектом, превосходящим человеческий, это может привести к тому, что человечество потеряет контроль над своим будущим.
• Подобное имеет немалые шансы произойти не в результате некоего особого злого умысла людей или машин, а исключительно в результате применимости к ИИ эволюционных принципов развития по дарвиновской логике.
• Дабы минимизировать риск этого, необходима тщательная разработка внутренних мотиваций агентов ИИ, введение ограничений на их действия и создание институтов, поощряющих в ИИ сотрудничество.
Грузить вас анализом совсем не простой 43-х страничной научной работы не стану.
Вот лишь самое, имхо, главное.
1. Мы боялись прихода Терминатора, но основания этих страхов были ошибочные. Ошибок было две:
a. Антроморфизация ИИ с приписыванием ему нашей мотивации и т.д. (а как показал ChatGPT, ИИ – это принципиально иной разум со всеми вытекающими)
b. Представление, что ИИ – это некая единая сущность: умная или не очень, добрая или не очень (а на самом деле, этих самых разных ИИ-сущностей в мире скоро будет, как в Бразилии Педро)
2. Кроме того, был еще один принципиальный изъян в наших представлениях о будущем с ИИ – мы забыли про самый важный механизм развития – эволюцию (коей движимо развитие не только биоагентов, но и идей и смыслов, материальных инструментов и нематериальных институтов …)
3. На Земле уже начала складываться среда, в которой будут развиваться и эволюционировать множество ИИ. Эта эволюция пойдет по логике Дарвина, путем конкуренции ИИ между собой, с учетом интересов их «родительских» институтов: корпораций, военных и т.д.
4. Логика конкурентной эволюции приведет к тому же, что и у людей: все более разумные ИИ-агенты будут становиться все более эгоистичными и готовыми обманом и силой добиваться целей, главной из которых будет власть.
5. Естественный отбор ИИ-агентов ведет к тому, что более эгоистичные виды обычно имеют преимущество перед более альтруистичными. ИИ-агенты будут вести себя эгоистично и преследовать свои собственные интересы, мало заботясь о людях, что может привести к катастрофическим рискам для человечества.
Поясняющее авторское видео 50 мин
и популярное видео 3 мин
#Вызовы21века #РискиИИ
Исследование Дэна Хендрикса звучит приговором Homo sapiens.
Вывод исследования «Естественный отбор предпочитает людям искусственный интеллект» реально страшен. Ибо это написал не популярный фантазер типа Дэна Брауна, а Дэн Хендрикс (директор калифорнийского «Центра безопасности ИИ» (CAIS) — некоммерческой организации, специализирующейся на исследовательской и научно-полевой работе в области безопасности ИИ.
Дэн Хендрикс – не маргинальный чудак, паникующий из-за прогресса ИИ. Это опытный и известный исследователь, опубликовавший десятки научных работ по оценке безопасности систем ИИ — проверке того, насколько они хороши в кодировании, рассуждениях, понимание законов и т.д. (среди прочего, он также, на минуточку, является соавтором линейных единиц измерения ошибки Гаусса (GELU).
Джек Кларк (сооснователь конкурента ChatGPT компании Anthropic, сопредседатель AI Index Стэнфордского универа, сопредседатель секции AI & Compute в OECD и член Национального консультационного комитета правительства США по ИИ) так пишет про вывод исследования Хендрикса.
«Люди рефлекторно хотят отмахнуться от подобного утверждения, будто оно исходит от какого-то сумасшедшего с дикими взором, живущего в лесной хижине. Я хотел бы это заранее опровергнуть… Когда эксперт, имеющий опыт не только в исследованиях ИИ, но и в оценке безопасности систем ИИ пишет документ, в котором утверждается, что будущие ИИ-системы могут действовать эгоистично и не в соответствии с интересами людей, мы должны относиться к этому со вниманием!»
Резюме вывода Хендрикса.
• Если ИИ-агенты будут обладать интеллектом, превосходящим человеческий, это может привести к тому, что человечество потеряет контроль над своим будущим.
• Подобное имеет немалые шансы произойти не в результате некоего особого злого умысла людей или машин, а исключительно в результате применимости к ИИ эволюционных принципов развития по дарвиновской логике.
• Дабы минимизировать риск этого, необходима тщательная разработка внутренних мотиваций агентов ИИ, введение ограничений на их действия и создание институтов, поощряющих в ИИ сотрудничество.
Грузить вас анализом совсем не простой 43-х страничной научной работы не стану.
Вот лишь самое, имхо, главное.
1. Мы боялись прихода Терминатора, но основания этих страхов были ошибочные. Ошибок было две:
a. Антроморфизация ИИ с приписыванием ему нашей мотивации и т.д. (а как показал ChatGPT, ИИ – это принципиально иной разум со всеми вытекающими)
b. Представление, что ИИ – это некая единая сущность: умная или не очень, добрая или не очень (а на самом деле, этих самых разных ИИ-сущностей в мире скоро будет, как в Бразилии Педро)
2. Кроме того, был еще один принципиальный изъян в наших представлениях о будущем с ИИ – мы забыли про самый важный механизм развития – эволюцию (коей движимо развитие не только биоагентов, но и идей и смыслов, материальных инструментов и нематериальных институтов …)
3. На Земле уже начала складываться среда, в которой будут развиваться и эволюционировать множество ИИ. Эта эволюция пойдет по логике Дарвина, путем конкуренции ИИ между собой, с учетом интересов их «родительских» институтов: корпораций, военных и т.д.
4. Логика конкурентной эволюции приведет к тому же, что и у людей: все более разумные ИИ-агенты будут становиться все более эгоистичными и готовыми обманом и силой добиваться целей, главной из которых будет власть.
5. Естественный отбор ИИ-агентов ведет к тому, что более эгоистичные виды обычно имеют преимущество перед более альтруистичными. ИИ-агенты будут вести себя эгоистично и преследовать свои собственные интересы, мало заботясь о людях, что может привести к катастрофическим рискам для человечества.
Поясняющее авторское видео 50 мин
и популярное видео 3 мин
#Вызовы21века #РискиИИ
