​​Что делать - скорость растет, впереди стена, уже не отвернуть, а подушки безопасности нет?
Юдковский считает, что если не можете спасти семью, хотя бы не помогайте её убивать.
Мир привык к страшилкам алармистов, уже несколько десятилетий вопящих «Волки! Волки!» по поводу грядущих экзистенциальных угроз человечеству.
Но происходящее сейчас принципиально отличается от прежних страшилок.
• До сих пор алармисты предупреждали о потенциально возможных событиях, со спорной вероятностью ведущих к катастрофическим последствиям для мира.
• Теперь же алармисты пишут, что катастрофическое событие уже произошло, а гибель неотвратима, ибо средств спасения у людей нет, да они и вообще не заморачиваются со спасением.

Уже произошедшей катастрофой называют случившуюся 3 месяца назад «утечку» в цифровой мир землян (ака Интернет) генеративного диалогового ИИ ChatGPT.

Спустя 3 месяца после «утечки», последствия «вырвавшегося на свободу» из лаборатории OpenAI генеративного диалогового ИИ уже соизмеримы по масштабу с последствиями «утечки» вируса COVID-19 то ли из лаборатории, то ли с рынка г. Ухань.

Вот как это описывают Андреа Миотти и Габриэль Альфур в активно обсуждаемом среди ИИ-профессионалов меморандуме «AGI in sight: our look at the game board»/

1) У человечества случилось озарение. Мир понял, что AGI на подходе, и с большой вероятностью это случится в ближайшие 5 лет.
✔️ Антропоморфизация ИИ сыграла с людьми злую шутку. Считая, что AGI будет человекоподобен, исследователи отодвигали возможность его создания до тех пор, когда научатся воспроизводить в машинах ключевые аспекты человеческого разума.
✔️ Оказалось же, что AGI вовсе не нужно быть человекоподобным - мыслить и понимать мир, подобно людям. И этот нечеловеческий ИИ может быть по-своему столь умел, чтобы бросить вызов многим интеллектуальным способностям людям, а затем и превзойти их.
✔️ Сейчас уже нет никаких принципиальных препятствий на пути превращения интеллектуальных агентов на основе больших языковых моделей в «AGI нечеловеческого типа».

2) Случившееся озарение произошло столь стремительно, что люди не успели подготовиться.
Никто не знает:
✔️ как сделать «AGI нечеловеческого типа» правдивым;
✔️ как предсказать появляющиеся у него эмерджентным образом новые способности;
✔️ как понять логику его работы и совершенствования.

3) Гонка за созданием «AGI нечеловеческого типа» уже началась и неостановима.
✔️ Выиграть ее хотят все мегакорпорации и правительства.
✔️ Хоть как-то замедлить ее не заинтересован никто (и никто даже не собирается сделать что-либо подобное).

Примерно о том же, что написано в «меморандуме Миотти – Альфура», пишут многие известные специалисты: Элиезер Юдковски, Ян Хогарт, Пол Кристиано , Нейт Соарес, Джон Вентворт …
Элиезер Юдковски предлагает вариант неучастия:
«Если вы не можете спасти свою семью, хотя бы не помогайте её убийству».

Но команда OpenAI опубликовала вчера обращение, в котором пишет, что не собирается сдаваться перед неотвратимо приближающимся «AGI нечеловеческого типа»:
«Успешный переход к миру со сверхразумом — это, пожалуй, самый важный — и обнадеживающий, и пугающий — проект в истории человечества. Успех далеко не гарантирован, и ставки (безграничные минусы и безграничные плюсы) объединят всех нас.»

#Вызовы21века #РискиИИ #AGI

Решается вопрос – будет ли на Земле один сверхразум или два.
США, ЕС и Япония против участия Китая на саммите по безопасности ИИ.
Но Великобритания возражает, ссылаясь на принцип «держите друзей близко, а врагов еще ближе».
Опубликованное сегодня воззвание Air Street Capital основательно подливает масла в огонь разгорающегося скандала вокруг приглашения Китая на мировой саммит по безопасности ИИ, который пройдет 1-2 ноября в Великобритании.

По мере приближения саммита правительство Великобритании, похоже, меняет курс и готовится пригласить Китай к участию, наперекор позиции своих основных союзников.

Авторы воззвания утверждают, что демократические страны мало что выиграют от вовлечения враждебного правительства, имеющего опыт подрыва международных институтов, особенно если учесть, что им еще предстоит прийти к согласию по многим из стоящих на кону вопросов.

В воззвании подробно расписаны 3 ключевых аргумента.

1. Китай придерживается подхода к регулированию ИИ, который мотивирован не столько искренней приверженностью безопасности, сколько политическим контролем.
2. Китай имеет долгую историю попыток подорвать многосторонние институты и технические стандарты.
3. Глобальное управление ИИ в настоящее время является несбыточной мечтой, поэтому демократическим странам следует сосредоточиться на достижении соглашений между собой, а не вовлекать враждебное правительство.

Этот кейс важен и показателен. Если Китай все же станет полноправным участником саммита – остается надежда на международную координацию Запада и Востока в развитии ИИ.
Если же нет – это будет окончательный разрыв Запада и Востока, влекущий создание на Земле двух видов ИИ, потом двух AGI, а затем и двух искусственных сверхразумов.

#Китай #ИИ #AGI