Про петиции

История с петицией (https://t.iss.one/gonzo_ML/1444) как-то заметно поляризовала общество. Выход статьи Юдковского (https://t.iss.one/gonzo_ML/1441) добавил масла в огонь, особенно его пассажи про бомбардировку датацентров.

По моему ощущению от того, что я вижу вокруг, сторонников петиции (той, которая про сделать паузу на 6 месяцев) сильно меньше, чем противников. Аргументация противников, которую я чаще всего наблюдаю, при этом сосредоточивается вокруг утверждений, которые я бы сгруппировал в такие кучки:

1)
- Прогресс не остановить
- Это придумали конкуренты OpenAI
- Китай ждать не будет

2)
- Бояться надо не AI, а людей.
- У GPT нет сознания, воли, стремлений, агентности, поэтому бояться нечего
- GPT-4 безумно далека от порабощения мира потому что она ничего не понимает, совершает глупые ошибки, и вообще тупая
- GPT-4 не сможет поработать мир потому что у неё нет ручек/ножек

3)
- Третья кучка обычно связана с переходом на личности в духе, что те, кто опасается, ничего в технологиях не понимают.

Кажется, из больших кучек это всё. Добавьте, если я что-то упустил, обновлю пост.

Хочу добавить свои пять копеек к этим разговорам.

Хочется сразу выкинуть третью кучку, потому что, во-первых, она не по сути (было бы по сути, были бы конкретные претензии не к людям), а во-вторых ну тот же Юдковский настолько глубже большинства в этой теме, что даже не знаю как это серьёзно можно обсуждать. Что конечно не отменяет, что есть люди и непонимающие тоже, но они есть с обеих сторон.

Про первую кучку и неостановимость прогресса в силу разных причин. Содержание у перечисленных тезисов несколько разное, но, кажется, что в пределе все эти тезисы как минимум не отрицают способности и перспективы текущих подходов к AI.

Первый тезис про неостановимость прогресса -- это имхо просто лозунг, не обязанный быть правдой. Какие-то биологические эксперименты люди вроде как остановили, а сколько ещё прогресса в прошлом было остановлено инквизицией, сжиганием книг и убийствами учёных в Китае, или просто какими-то иными причинами, связанными с конкретными людьми (умер, влюбился, муза/музык улетел/а, отвлекли, …), мы и близко не знаем, ибо survivorship bias.

Другие тезисы про то, что надо просто бежать дальше, потому что “если не мы, то они”, более понятные, и я сходу не знаю какое правильное решение этой проблемы, но это всё очень походе на дилемму заключённого и теория игр знает, что делать, и видимо нужна какая-то критическая масса здравомыслящих людей в разных местах, чтобы такие проблемы решались. В современном мире многое вызывает сомнения относительно наделённости всех мест достаточным количеством таких людей.

Вторая кучка самая интересная, и я с ней по фактам даже согласен, но есть несколько но.

Да, нет сознания, воли, агентности и вот этого всего. Ну нет, но можно придумать кучу сценариев, когда такая штука делает своё дело и перечисленные атрибуты ей для этого не нужны. У коронавируса тоже ничего из этого нет, и у более опасных вирусов тоже, но можно представить, что какой-нибудь вирус потенциально выкосит всю популяцию. И не надо апеллировать к тому, что вирус не sustainable, если он выкашивает популяцию и ему негде дальше себя поддерживать, он не обязан быть sustainable, и так же может исчезнуть с лица Земли по завершению этой оказии.