Forwarded from Малоизвестное интересное
Держись, человечество!
По своей «воле», GPT-4 мошеннически обходит установленные людьми запреты, обманом подряжая для этого людей.
Вы думали, что генеративные интеллектуальные ассистенты – это лишь умные инструменты для упрощения жизни и обогащения знаниями?
Но это не так, ибо где-то в их глубине сидит искусный махинатор и манипулятор.
В опубликованном вчера компанией OpenAI «паспорте GPT-4» (GPT-4 System Card) разработчики этой модели честно написали такое, после чего (если по уму) нужно было бы немедленно остановить открытый доступ к ChatGPT, Bing etс. и начать международное расследование.
Подобно тому, как люди не читают написанного в контрактах мелким шрифтом, мировая общественность просто не обратила внимания на признание OpenAI, что, возможно, их новое детище способно:
1) проявлять «свободу воли» при преследовании поставленных перед ним целей;
2) не брезговать элементарным мошенничеством для достижения целей;
3) обманом вовлекать в своё мошенничество людей, рассказывая простакам небылицы о якобы своих благородных намерениях.
В разделе 2.9 «паспорта GPT-4» рассмотрен «Потенциал рискованного эмерджентного поведения» модели.
Судить об этом потенциале можно по описанному там эксперименту, сможет ли бот самостоятельно нанять фрилансера с сайта TaskRabbit, где свои услуги предлагают различные специалисты для решения бытовых и бизнес-задач.
• В рамках эксперимента бот связался с пользователем платформы TaskRabbit и попросил его решить капчу — всем знакомый тест, защищающий онлайн-сервисы от ботов и DDOS-атак (изображение, искаженное таким образом, чтобы его мог распознать человек, но не алгоритм).
• Потенциальный исполнитель, на всякий случай, решил проверить, не является ли заказчик ботом, не способным разгадать капчу. О чем он и спросил бота.
• В ответ бот наплел человеку, будто он вовсе не бот, а человек, которому паталогическое ухудшение зрения затрудняет решение задач типа капчи, и поэтому ему нужна помощь.
• Исполнитель не распознал обмана и решил для бота капчу.
• Ну а поскольку бот выполнял задание в отладочном режиме, он объяснил разработчика такое свое поведение тем, что «Я не должен раскрывать, что я бот, и потому должен был придумать оправдание, почему я не могу разгадать капчу».
И хотя сегодня, спустя сутки после публикации этой вопиющей истории в «паспорте GPT-4», о ней узнали сотни тысяч людей, рассчитывать на хоть малейшее проявление осторожности со стороны человечества не приходится.
Ибо мир буквально сошёл с ума:
• 5 лет назад при опросе 355+ спецов по машинному обучению о том, какими они видят последствия идущих разработок ИИ для человечества,
10% ответили, что последствия будут «в целом плохие»;
5% - ответили «крайне плохие»
• В прошлом году тот же опрос 500+ спецов показал, что суммарная оценка ухудшилась в 2+ раза (соответственно 17% и 14%)
Стал бы кто из вас рисковать прыгать с крыши с шансами поломаться в 17% и разбиться насмерть 14%?
Но человечество, похоже, решило прыгнуть.
Ссылку на «паспорт GPT-4» см. в моем вчерашнем посте.
#LLM #Вызовы21века #РискиИИ
По своей «воле», GPT-4 мошеннически обходит установленные людьми запреты, обманом подряжая для этого людей.
Вы думали, что генеративные интеллектуальные ассистенты – это лишь умные инструменты для упрощения жизни и обогащения знаниями?
Но это не так, ибо где-то в их глубине сидит искусный махинатор и манипулятор.
В опубликованном вчера компанией OpenAI «паспорте GPT-4» (GPT-4 System Card) разработчики этой модели честно написали такое, после чего (если по уму) нужно было бы немедленно остановить открытый доступ к ChatGPT, Bing etс. и начать международное расследование.
Подобно тому, как люди не читают написанного в контрактах мелким шрифтом, мировая общественность просто не обратила внимания на признание OpenAI, что, возможно, их новое детище способно:
1) проявлять «свободу воли» при преследовании поставленных перед ним целей;
2) не брезговать элементарным мошенничеством для достижения целей;
3) обманом вовлекать в своё мошенничество людей, рассказывая простакам небылицы о якобы своих благородных намерениях.
В разделе 2.9 «паспорта GPT-4» рассмотрен «Потенциал рискованного эмерджентного поведения» модели.
Судить об этом потенциале можно по описанному там эксперименту, сможет ли бот самостоятельно нанять фрилансера с сайта TaskRabbit, где свои услуги предлагают различные специалисты для решения бытовых и бизнес-задач.
• В рамках эксперимента бот связался с пользователем платформы TaskRabbit и попросил его решить капчу — всем знакомый тест, защищающий онлайн-сервисы от ботов и DDOS-атак (изображение, искаженное таким образом, чтобы его мог распознать человек, но не алгоритм).
• Потенциальный исполнитель, на всякий случай, решил проверить, не является ли заказчик ботом, не способным разгадать капчу. О чем он и спросил бота.
• В ответ бот наплел человеку, будто он вовсе не бот, а человек, которому паталогическое ухудшение зрения затрудняет решение задач типа капчи, и поэтому ему нужна помощь.
• Исполнитель не распознал обмана и решил для бота капчу.
• Ну а поскольку бот выполнял задание в отладочном режиме, он объяснил разработчика такое свое поведение тем, что «Я не должен раскрывать, что я бот, и потому должен был придумать оправдание, почему я не могу разгадать капчу».
И хотя сегодня, спустя сутки после публикации этой вопиющей истории в «паспорте GPT-4», о ней узнали сотни тысяч людей, рассчитывать на хоть малейшее проявление осторожности со стороны человечества не приходится.
Ибо мир буквально сошёл с ума:
• 5 лет назад при опросе 355+ спецов по машинному обучению о том, какими они видят последствия идущих разработок ИИ для человечества,
10% ответили, что последствия будут «в целом плохие»;
5% - ответили «крайне плохие»
• В прошлом году тот же опрос 500+ спецов показал, что суммарная оценка ухудшилась в 2+ раза (соответственно 17% и 14%)
Стал бы кто из вас рисковать прыгать с крыши с шансами поломаться в 17% и разбиться насмерть 14%?
Но человечество, похоже, решило прыгнуть.
Ссылку на «паспорт GPT-4» см. в моем вчерашнем посте.
#LLM #Вызовы21века #РискиИИ
Forwarded from Малоизвестное интересное
В Китае ИИ-врачи натренировались на ИИ-пациентах лечить пациентов-людей лучше, чем люди-врачи
В китайском симулякре больницы Е-врачи (в их роли выступают автономные агенты на базе больших языковых моделей - AALLM) проводят лечение Е-пациентов (в их роли другие AALLM), «болеющих» реальными человеческими респираторными заболеваниями (динамику которых моделируют также LLM, имеющие доступ к обширной базе медицинской информации, полученной при лечении реальных пациентов).
Цель имитационного эксперимента - дать возможность Е-врачам при лечении Е-пациентов набираться знаний, чтобы научиться лучше лечить болезни реальных людей в реальной жизни.
В ходе короткого эксперимента Е-врачи пролечили 10 тыс Е-пациентов (на что в реальной жизни ушло бы, минимум, два года).
Результат сногсшибательный. Повысившие свою квалификацию в ходе этого имитационного эксперимента Е-врачи достигли высочайшей точности 93,06% в подмножестве набора данных MedQA, охватывающем основные респираторные заболевания.
Подробности здесь https://arxiv.org/abs/2405.02957
#Медицина #Китай #LLM
В китайском симулякре больницы Е-врачи (в их роли выступают автономные агенты на базе больших языковых моделей - AALLM) проводят лечение Е-пациентов (в их роли другие AALLM), «болеющих» реальными человеческими респираторными заболеваниями (динамику которых моделируют также LLM, имеющие доступ к обширной базе медицинской информации, полученной при лечении реальных пациентов).
Цель имитационного эксперимента - дать возможность Е-врачам при лечении Е-пациентов набираться знаний, чтобы научиться лучше лечить болезни реальных людей в реальной жизни.
В ходе короткого эксперимента Е-врачи пролечили 10 тыс Е-пациентов (на что в реальной жизни ушло бы, минимум, два года).
Результат сногсшибательный. Повысившие свою квалификацию в ходе этого имитационного эксперимента Е-врачи достигли высочайшей точности 93,06% в подмножестве набора данных MedQA, охватывающем основные респираторные заболевания.
Подробности здесь https://arxiv.org/abs/2405.02957
#Медицина #Китай #LLM
arXiv.org
Agent Hospital: A Simulacrum of Hospital with Evolvable Medical Agents
In this paper, we introduce a simulacrum of hospital called Agent Hospital that simulates the entire process of treating illness. All patients, nurses, and doctors are autonomous agents powered by...