Forwarded from Малоизвестное интересное
Что делать - скорость растет, впереди стена, уже не отвернуть, а подушки безопасности нет?
Юдковский считает, что если не можете спасти семью, хотя бы не помогайте её убивать.
Мир привык к страшилкам алармистов, уже несколько десятилетий вопящих «Волки! Волки!» по поводу грядущих экзистенциальных угроз человечеству.
Но происходящее сейчас принципиально отличается от прежних страшилок.
• До сих пор алармисты предупреждали о потенциально возможных событиях, со спорной вероятностью ведущих к катастрофическим последствиям для мира.
• Теперь же алармисты пишут, что катастрофическое событие уже произошло, а гибель неотвратима, ибо средств спасения у людей нет, да они и вообще не заморачиваются со спасением.
Уже произошедшей катастрофой называют случившуюся 3 месяца назад «утечку» в цифровой мир землян (ака Интернет) генеративного диалогового ИИ ChatGPT.
Спустя 3 месяца после «утечки», последствия «вырвавшегося на свободу» из лаборатории OpenAI генеративного диалогового ИИ уже соизмеримы по масштабу с последствиями «утечки» вируса COVID-19 то ли из лаборатории, то ли с рынка г. Ухань.
Вот как это описывают Андреа Миотти и Габриэль Альфур в активно обсуждаемом среди ИИ-профессионалов меморандуме «AGI in sight: our look at the game board»/
1) У человечества случилось озарение. Мир понял, что AGI на подходе, и с большой вероятностью это случится в ближайшие 5 лет.
✔️ Антропоморфизация ИИ сыграла с людьми злую шутку. Считая, что AGI будет человекоподобен, исследователи отодвигали возможность его создания до тех пор, когда научатся воспроизводить в машинах ключевые аспекты человеческого разума.
✔️ Оказалось же, что AGI вовсе не нужно быть человекоподобным - мыслить и понимать мир, подобно людям. И этот нечеловеческий ИИ может быть по-своему столь умел, чтобы бросить вызов многим интеллектуальным способностям людям, а затем и превзойти их.
✔️ Сейчас уже нет никаких принципиальных препятствий на пути превращения интеллектуальных агентов на основе больших языковых моделей в «AGI нечеловеческого типа».
2) Случившееся озарение произошло столь стремительно, что люди не успели подготовиться.
Никто не знает:
✔️ как сделать «AGI нечеловеческого типа» правдивым;
✔️ как предсказать появляющиеся у него эмерджентным образом новые способности;
✔️ как понять логику его работы и совершенствования.
3) Гонка за созданием «AGI нечеловеческого типа» уже началась и неостановима.
✔️ Выиграть ее хотят все мегакорпорации и правительства.
✔️ Хоть как-то замедлить ее не заинтересован никто (и никто даже не собирается сделать что-либо подобное).
Примерно о том же, что написано в «меморандуме Миотти – Альфура», пишут многие известные специалисты: Элиезер Юдковски, Ян Хогарт, Пол Кристиано , Нейт Соарес, Джон Вентворт …
Элиезер Юдковски предлагает вариант неучастия:
«Если вы не можете спасти свою семью, хотя бы не помогайте её убийству».
Но команда OpenAI опубликовала вчера обращение, в котором пишет, что не собирается сдаваться перед неотвратимо приближающимся «AGI нечеловеческого типа»:
«Успешный переход к миру со сверхразумом — это, пожалуй, самый важный — и обнадеживающий, и пугающий — проект в истории человечества. Успех далеко не гарантирован, и ставки (безграничные минусы и безграничные плюсы) объединят всех нас.»
#Вызовы21века #РискиИИ #AGI
Юдковский считает, что если не можете спасти семью, хотя бы не помогайте её убивать.
Мир привык к страшилкам алармистов, уже несколько десятилетий вопящих «Волки! Волки!» по поводу грядущих экзистенциальных угроз человечеству.
Но происходящее сейчас принципиально отличается от прежних страшилок.
• До сих пор алармисты предупреждали о потенциально возможных событиях, со спорной вероятностью ведущих к катастрофическим последствиям для мира.
• Теперь же алармисты пишут, что катастрофическое событие уже произошло, а гибель неотвратима, ибо средств спасения у людей нет, да они и вообще не заморачиваются со спасением.
Уже произошедшей катастрофой называют случившуюся 3 месяца назад «утечку» в цифровой мир землян (ака Интернет) генеративного диалогового ИИ ChatGPT.
Спустя 3 месяца после «утечки», последствия «вырвавшегося на свободу» из лаборатории OpenAI генеративного диалогового ИИ уже соизмеримы по масштабу с последствиями «утечки» вируса COVID-19 то ли из лаборатории, то ли с рынка г. Ухань.
Вот как это описывают Андреа Миотти и Габриэль Альфур в активно обсуждаемом среди ИИ-профессионалов меморандуме «AGI in sight: our look at the game board»/
1) У человечества случилось озарение. Мир понял, что AGI на подходе, и с большой вероятностью это случится в ближайшие 5 лет.
✔️ Антропоморфизация ИИ сыграла с людьми злую шутку. Считая, что AGI будет человекоподобен, исследователи отодвигали возможность его создания до тех пор, когда научатся воспроизводить в машинах ключевые аспекты человеческого разума.
✔️ Оказалось же, что AGI вовсе не нужно быть человекоподобным - мыслить и понимать мир, подобно людям. И этот нечеловеческий ИИ может быть по-своему столь умел, чтобы бросить вызов многим интеллектуальным способностям людям, а затем и превзойти их.
✔️ Сейчас уже нет никаких принципиальных препятствий на пути превращения интеллектуальных агентов на основе больших языковых моделей в «AGI нечеловеческого типа».
2) Случившееся озарение произошло столь стремительно, что люди не успели подготовиться.
Никто не знает:
✔️ как сделать «AGI нечеловеческого типа» правдивым;
✔️ как предсказать появляющиеся у него эмерджентным образом новые способности;
✔️ как понять логику его работы и совершенствования.
3) Гонка за созданием «AGI нечеловеческого типа» уже началась и неостановима.
✔️ Выиграть ее хотят все мегакорпорации и правительства.
✔️ Хоть как-то замедлить ее не заинтересован никто (и никто даже не собирается сделать что-либо подобное).
Примерно о том же, что написано в «меморандуме Миотти – Альфура», пишут многие известные специалисты: Элиезер Юдковски, Ян Хогарт, Пол Кристиано , Нейт Соарес, Джон Вентворт …
Элиезер Юдковски предлагает вариант неучастия:
«Если вы не можете спасти свою семью, хотя бы не помогайте её убийству».
Но команда OpenAI опубликовала вчера обращение, в котором пишет, что не собирается сдаваться перед неотвратимо приближающимся «AGI нечеловеческого типа»:
«Успешный переход к миру со сверхразумом — это, пожалуй, самый важный — и обнадеживающий, и пугающий — проект в истории человечества. Успех далеко не гарантирован, и ставки (безграничные минусы и безграничные плюсы) объединят всех нас.»
#Вызовы21века #РискиИИ #AGI
Forwarded from Малоизвестное интересное
Мир будет стремительно леветь.
Первый из серии неожиданных сюрпризов влияния ChatGPT на человечество.
Последствия «Интеллектуальной революции ChatGPT» будут колоссальны, разнообразны и во многом непредсказуемы.
И пока эксперты ломают головы о том, как грядущие кардинальные изменения способов и практик познания и принятия решений изменят людей, новые исследования о влиянии ChatGPT на людей (и наоборот) преподнесли неожиданный сюрприз.
1. ИИ-чатботы на основе генеративных больших моделей оказались крайне эффективными в убеждении людей в чем угодно.
В частности, как показало исследование социологов и психологов Стэнфордского университета, убедительность ИИ по политическим вопросам не уступает профессиональным политтехнологам. А способность ИИ играть на оттенках индивидуальных предпочтений конкретных людей (о которых он знает больше родной мамы) позволяет убеждать (и переубеждать) людей даже в самых острых поляризованных вопросах политики.
2. ИИ-чатботы очень скоро станут непременным повседневным атрибутом любой интеллектуальной деятельности людей - нашими интеллектуальными ассистентами 24х7 (этим уже озаботились гиганты Бигтеха, например, Google и Microsoft уже планируют вмонтировать ИИ-чатботы во ВСЕ свои продукты и сервисы).
Следовательно, ИИ-чатботы будут влиять на все аспекты потребления нами информации, равно как и на ее анализ и оценку.
3. А поскольку наши интеллектуальные ассистенты вовсе не беспристрастны в своих политических воззрениях, их пристрастия неминуемо будут влиять на укрепление или изменение пристрастий людей (и как сказано в п. 1, это влияние будут эффективным и продуктивным).
Осталось понять лишь одно – каковы политические пристрастия ChatGPT (прародителя ИИ-чатботов на основе генеративных больших моделей)?
Ответ на этот вопрос содержится в исследовании с характерным названием «Политическая идеология разговорного ИИ: сходящиеся доказательства проэкологической и леволибертарианской ориентации ChatGPT».
ChatGPT обладает политическими пристрастиями среднестатистического инженера-программиста из района залива Сан-Франциско: человека левых взглядов, близких социалистам или социал-демократам, сильно озабоченного экологическими проблемами из программ «зеленых» партий.
Полагаю, теперь не нужно объяснять, почему мир скоро начнет стремительно леветь.
Миллиарды эффективных в убеждениях, всезнающих интеллектуальных ассистентов левых взглядов обеспечат глобальный тренд полевения человечества.
Про-экологическая, лево-либертарианская идеология ChatGPT & Co убедит миллионы людей ввести налоги на полеты, ограничить повышение арендной платы, легализовать аборты и много что еще из повестки левых (см. приложение к статье)
#Вызовы21века #РискиИИ
Первый из серии неожиданных сюрпризов влияния ChatGPT на человечество.
Последствия «Интеллектуальной революции ChatGPT» будут колоссальны, разнообразны и во многом непредсказуемы.
И пока эксперты ломают головы о том, как грядущие кардинальные изменения способов и практик познания и принятия решений изменят людей, новые исследования о влиянии ChatGPT на людей (и наоборот) преподнесли неожиданный сюрприз.
1. ИИ-чатботы на основе генеративных больших моделей оказались крайне эффективными в убеждении людей в чем угодно.
В частности, как показало исследование социологов и психологов Стэнфордского университета, убедительность ИИ по политическим вопросам не уступает профессиональным политтехнологам. А способность ИИ играть на оттенках индивидуальных предпочтений конкретных людей (о которых он знает больше родной мамы) позволяет убеждать (и переубеждать) людей даже в самых острых поляризованных вопросах политики.
2. ИИ-чатботы очень скоро станут непременным повседневным атрибутом любой интеллектуальной деятельности людей - нашими интеллектуальными ассистентами 24х7 (этим уже озаботились гиганты Бигтеха, например, Google и Microsoft уже планируют вмонтировать ИИ-чатботы во ВСЕ свои продукты и сервисы).
Следовательно, ИИ-чатботы будут влиять на все аспекты потребления нами информации, равно как и на ее анализ и оценку.
3. А поскольку наши интеллектуальные ассистенты вовсе не беспристрастны в своих политических воззрениях, их пристрастия неминуемо будут влиять на укрепление или изменение пристрастий людей (и как сказано в п. 1, это влияние будут эффективным и продуктивным).
Осталось понять лишь одно – каковы политические пристрастия ChatGPT (прародителя ИИ-чатботов на основе генеративных больших моделей)?
Ответ на этот вопрос содержится в исследовании с характерным названием «Политическая идеология разговорного ИИ: сходящиеся доказательства проэкологической и леволибертарианской ориентации ChatGPT».
ChatGPT обладает политическими пристрастиями среднестатистического инженера-программиста из района залива Сан-Франциско: человека левых взглядов, близких социалистам или социал-демократам, сильно озабоченного экологическими проблемами из программ «зеленых» партий.
Полагаю, теперь не нужно объяснять, почему мир скоро начнет стремительно леветь.
Миллиарды эффективных в убеждениях, всезнающих интеллектуальных ассистентов левых взглядов обеспечат глобальный тренд полевения человечества.
Про-экологическая, лево-либертарианская идеология ChatGPT & Co убедит миллионы людей ввести налоги на полеты, ограничить повышение арендной платы, легализовать аборты и много что еще из повестки левых (см. приложение к статье)
#Вызовы21века #РискиИИ
Forwarded from Малоизвестное интересное
Все так ждали сингулярности, - так получите!
Теперь каждый за себя, и за результат не отвечает никто.
Ибо вчера, уже не теоретически, а на практике началась гонка за интеллектуальное превосходство машин над людьми.
В один день произошло сразу 4 выдающихся события.
1. OpenAI объявил о выходе GPT-4
2. Anthropic объявил о выходе Claude
3. Google объявил о выходе PaLM-Med и PaLM API & MakerSuite
4. Adept (стартап из всего 25 сотрудников, бросивший вызов названным выше трём богатырям, и обещающий, что его цифровой помощник не просто «искусно говорящий чатбот», а действующий агент), сразу после показа демоверсии своего цифрового помощника получил венчурное финансирование в $350 млн.
То, что все это произошло в один день, говорит о скачкообразном изменении динамики гонки: типа, вы все ждали сингулярности, так получите.
Но кроме этого можно сделать два ключевых содержательных вывода:
1. Сопоставимый с человеческим интеллект создан, и теперь все деньги и таланты будут брошены на сверхчеловеческий интеллект.
2. Это поднимает ставки на такой уровень, что теперь в конкурентной борьбе
а) каждый за себя и ничем делиться не будет;
б) если в итоге этой гонки сильно пострадает человечество, так тому и быть, ибо мотивация выиграть гонку превалирует над избеганием экзистенциального риска.
Наверняка, многие захотят оспорить оба этих вывода.
Моя же логика в их основе такова.
Из отчета OpenAI следует:
1) GPT-4 проходит не только тест Тьюринга, но и куда более сложный тест по схеме Винограда (учитывающий здравый смысл и понимание контекста).
2) Делиться важными деталями своей разработки (об архитектуре, включая размер модели, оборудовании, обучающем компьютере, построении набора данных, методе обучения или подобном) авторы не будут из соображений конкуренции и безопасности. Думаю, не нужно объяснять, что также поступят и конкуренты.
#LLM #Вызовы21века #РискиИИ
Теперь каждый за себя, и за результат не отвечает никто.
Ибо вчера, уже не теоретически, а на практике началась гонка за интеллектуальное превосходство машин над людьми.
В один день произошло сразу 4 выдающихся события.
1. OpenAI объявил о выходе GPT-4
2. Anthropic объявил о выходе Claude
3. Google объявил о выходе PaLM-Med и PaLM API & MakerSuite
4. Adept (стартап из всего 25 сотрудников, бросивший вызов названным выше трём богатырям, и обещающий, что его цифровой помощник не просто «искусно говорящий чатбот», а действующий агент), сразу после показа демоверсии своего цифрового помощника получил венчурное финансирование в $350 млн.
То, что все это произошло в один день, говорит о скачкообразном изменении динамики гонки: типа, вы все ждали сингулярности, так получите.
Но кроме этого можно сделать два ключевых содержательных вывода:
1. Сопоставимый с человеческим интеллект создан, и теперь все деньги и таланты будут брошены на сверхчеловеческий интеллект.
2. Это поднимает ставки на такой уровень, что теперь в конкурентной борьбе
а) каждый за себя и ничем делиться не будет;
б) если в итоге этой гонки сильно пострадает человечество, так тому и быть, ибо мотивация выиграть гонку превалирует над избеганием экзистенциального риска.
Наверняка, многие захотят оспорить оба этих вывода.
Моя же логика в их основе такова.
Из отчета OpenAI следует:
1) GPT-4 проходит не только тест Тьюринга, но и куда более сложный тест по схеме Винограда (учитывающий здравый смысл и понимание контекста).
2) Делиться важными деталями своей разработки (об архитектуре, включая размер модели, оборудовании, обучающем компьютере, построении набора данных, методе обучения или подобном) авторы не будут из соображений конкуренции и безопасности. Думаю, не нужно объяснять, что также поступят и конкуренты.
#LLM #Вызовы21века #РискиИИ
