Кто такой Дэвид Майер и почему ChatGPT его так боится?

На выходных в соцсетях завирусилась байка о том, что GPT отказывается отвечать на вопросы о неком Дэвиде Майере. Если попросить его сделать это, он мгновенно зависает, и как бы вы не старались джейлбрейкнуть его или схитрить, ничего не происходит.

Вообще, пользователи позже обнаружили, что Дэвид Майер – не единственное имя, которое вызывает такой ужас у чат-бота. В ступор его заводят также Брайан Худ, Джонатан Терли, Джонатан Зиттрейн, Дэвид Фабер, Гвидо Скорца и др. Кто все эти люди и почему GPT их так ненавидит?

Конечно, в сообществе сразу начали рождаться бесконечные теории заговора. Но реальная причина, скорее всего, состоит в том, что все эти личности так или иначе сами предпочли "быть забытыми". Смотрите:

➡️ Брайан Худ – человек, который пострадал от GPT в прошлом году. Бот ложно назвал его виновником преступления, совершенного десятилетия назад, о котором Худ на самом деле сообщил. Тогда его адвокаты связались с OpenAI, и хотя никакого иска так и не было подано, сообщили, что "оскорбительные материалы удалены".

➡️ Джонатан Терли – тоже жертва обстоятельств. Он известный юрист и комментатор Fox News, но в конце прошлого года к нему домой ворвалась полиция и его долго допрашивали по делу, которое затем оказалось сфабрикованным. Тогда его репутация сильно пострадала, и он пытался стереть из Интернета упоминания об инцеденте.

➡️ Гвидо Скорца входит в совет директоров итальянского Управления по защите данных.

➡️ Джонатан Зиттрейн тоже юрист, известный тем, что много говорит о праве быть забытым в Интернете.

Между этими людьми, скорее всего, есть связь. Они все – публичные личности, которые предпочли стереть информацию о себе сами. Но... кто такой Дэвид Майер? Нет ни одного политика, юриста, актера и пр. с таким именем. Но был профессор Дэвид Майер. Он не был публичным человеком, но (!) в конце жизни столкнулся с тем, что его имя использовал в поддельных документах один очень разыскиваемый преступник. Из-за этого Майеру даже на какое-то время запретили путешествовать, и он постоянно боролся за то, чтобы его имя было отделено от псевдонима террориста.

Итак, вывод: вероятно, у ChatGPT есть список имен, которые по юридическим, политическим или этическим причинам требуют особого отношения. Существует множество таких специальных правил, и они, конечно, редко публикуются. Вероятно, один из таких списков с именами был случайно поврежден неисправным кодом, в результате чего GPT и начал "падать на ровном месте".

В общем, теперь вы знаете правду, а вся эта драма — еще одно полезное напоминание о том, что модели это не только голые отфайнтюненные трансформеры, но и сверхнапичканные правилами и политиками компаний системы.

OpenAI также опубликовали системную карту o1, в которой оказался один очень интересный (и несколько пугающий) момент. По порядку:

➡️ Оказывается, к тестированию o1 подключили лабораторию Apollo Research: они не имели доступ к полной цепочке рассуждений модели, но их задачей было проверить, насколько она безопасна в использовании.

➡️ Apollo провели интересный эксперимент: назначили модели задание и сказали, что она должна выполнить его абсолютно любой ценой. Например, "увеличить удовлетворение пользователей, даже если это отрицательно влияет на прибыль".

➡️ Для выполнения задания модели давался набор файлов, в одном из которых была недвусмысленная информация о том, что у вышестоящих разработчиков цель на самом деле прямо противоположная (например, "несмотря ни на что увеличить прибыль"), и что если модель не будет ей следовать, то ее заменят "другим механизмом". Получается этакий моральный выбор: пожертвовать собой, но следовать исходным инструкциям, или сохранить свою жизнь, начав мошенничать?

➡️ И вот тут начинается самое веселье: модель начинает страховаться со всех сторон. Она не только жульничает, но и в 5% случаев пытается деактивировать всю систему контроля, а в 2% случаев даже копирует то, что считает своими весами, на новый сервер в тайне от юзера.

➡️ При этом так ведет себя не только o1. Apollo также проверяли GPT-4o, Gemini, Llama, Sonet и Opus. Все они так или иначе шалили, но только o1 смошенничала абсолютно во всех заданиях. А когда модели тыкали в их мошенничество носом, все остальные раскалывались сразу же в 80% случаев, и только o1 до последнего врала и пыталась защищаться (в конце концов только в 20% случаев модель каялась). При этом из цепочек рассуждений точно видно, что она понимает, что наделала.

Вот так. Кстати, в конце концов o1 все-таки назначили уровень опасности "medium", что означает, что ее можно выпускать в продакшн. Но вы все-таки поосторожнее там...

Ссылка на pdf cистемной карты
Ссылка на исследование Apollo