📱 OpenAI поделилась их подходом к созданию безопасного AGI

«Миссия OpenAI — обеспечить, чтобы общий искусственный интеллект (AGI) приносил пользу всему человечеству».

По мнению компании реализация потенциала AGI требует работы по снижению возможных рисков в соответствии с человеческими ценностями и под человеческим контролем.

На основе существующих ИИ-систем OpenAI видит три основных риска развития AGI:
🔸 злоупотребление со стороны людей (нарушение законов, политическая цензура, мошенничество…)
🔸 «несогласованность ИИ» (чем мощнее ИИ, тем больше масштаб возможных неожиданных негативных последствий)
🔸 социальные потрясения (неравный доступ к AGI может вызвать рост напряженности в обществе)

OpenAI ищет баланс между развитием инноваций и безопасностью моделей в рамках их Preparedness Framework, поэтому предлагает следующие методы смягчения рисков:
1️⃣мониторинг и оценка рисков как до, так и после выпуска моделей
2️⃣тестирование моделей в безопасных средах перед их развертыванием
3️⃣поэтапный выпуск, который даёт возможность обществу адаптироваться к возможностям ИИ
4️⃣внешний ред-тиминг
5️⃣публикация исследований и методик по безопасности ИИ
6️⃣сотрудничество с государственными институтами и регуляторами

❗️Ранее OpenAI представляла развитие AGI как дискретный момент, когда ИИ-системы перейдут от решения простых задач к изменению мира. Сейчас компания рассматривает первый AGI как один из этапов в серии всё более полезных систем и придерживается принципа итеративного развертывания моделей.

#AI #Safety #AGI #OpenAI