Обречен ли мир?
Опубликована новая фундаментальная работа Ника Бострома «Гипотеза Уязвимого Мира».
В ней Бостром:
- классифицирует и анализирует сценарии, при которых технологические уязвимости подводят мир к краю пропасти;
- предлагает два взаимодополняющих варианта действий, способных, по его мнению, помочь человечеству избежать гибели.
Это важно по двум причинам.
Во-первых, тема, важнее которой, наверное, и нет.
Во-вторых, потенциал влияния идей автора. Он – признанный авторитет для самых известных и влиятельных людей бизнеса (от Билла Гейтса до Илона Маска). А поскольку его новая работа ориентирована на сильных мира сего, способных определять путь развития человечества, она может повлиять не только крупных бизнесменов, но и на ведущих политиков. И не только в вопросах технологий, а также в вопросах безопасности и геополитики.
В моем новом посте на 7 мин:
- резюме работы «Гипотеза Уязвимого Мира»
- анализ дополнительных аргументов (как за, так и против), не вошедших в работу Бострома, но важных для оценки предлагаемых им подходов спасения человечества.
Читать на Medium (https://bit.ly/2Qnra7e)
Читать на Яндекс Дзен (https://bit.ly/2SsOFbe)
#БольшаяВойна #ИИ #ГлобальныеРиски
Опубликована новая фундаментальная работа Ника Бострома «Гипотеза Уязвимого Мира».
В ней Бостром:
- классифицирует и анализирует сценарии, при которых технологические уязвимости подводят мир к краю пропасти;
- предлагает два взаимодополняющих варианта действий, способных, по его мнению, помочь человечеству избежать гибели.
Это важно по двум причинам.
Во-первых, тема, важнее которой, наверное, и нет.
Во-вторых, потенциал влияния идей автора. Он – признанный авторитет для самых известных и влиятельных людей бизнеса (от Билла Гейтса до Илона Маска). А поскольку его новая работа ориентирована на сильных мира сего, способных определять путь развития человечества, она может повлиять не только крупных бизнесменов, но и на ведущих политиков. И не только в вопросах технологий, а также в вопросах безопасности и геополитики.
В моем новом посте на 7 мин:
- резюме работы «Гипотеза Уязвимого Мира»
- анализ дополнительных аргументов (как за, так и против), не вошедших в работу Бострома, но важных для оценки предлагаемых им подходов спасения человечества.
Читать на Medium (https://bit.ly/2Qnra7e)
Читать на Яндекс Дзен (https://bit.ly/2SsOFbe)
#БольшаяВойна #ИИ #ГлобальныеРиски
Medium
Обречен ли мир?
Опубликована новая работа Ника Бострома «Гипотеза Уязвимого Мира»
Жить земной цивилизации, возможно, осталось недолго.
Предварительный итог июньского прогноза Джареда Даймонда.
В конце июня я рассказал, что думает о значении COVID-19 для будущего цивилизации Джаред Даймонд — выдающийся мыслитель современности, известный на весь мир ученый и автор супербестселлеров с неповторимыми тиражами, удостоенных всех наград, званий и международных премий.
Мой пост завершался следующим резюмирующим соображением Даймонда.
Теперь возможны 2 сценария.
1. Каждый предпочтет бороться сам за себя — возобладают национализм и национальные интересы отдельных стран/наций (типа гонки за производство вакцин, когда страна, в которой она уже есть, будет использовать её лишь для себя, чтобы получить преимущество, а не спасать других).
2. Человечество наконец ощутит свою «национальную идентичность» в сотрудничестве, а не в конкуренции — признает, примет на себя ответственность и обратится к лучшим практикам коллективной победы над общим врагом.
Если вариант 1, то человечеству хана. И не от COVID-19, а от куда более страшных общих врагов — климато-экологического кризиса и кризиса дефицита ресурсов.
Если же все же вариант 2, то борьба с COVID-19 послужит моделью для мира, как преодолевать общемировые проблемы. И тогда человечеству жить и жить.
Какой из вариантов будет выбран, — станет ясно уже в ближайшие полгода.
-- -- -- -- --
Полгода прошли, и Даймонд написал, что он думает об итогах, в предпоследний день уходящего 2020. По мнению Даймонда, - «перспектива в мире остается очень неопределенной, … но пандемия COVID-19 вселяет в меня надежду».
Сбудутся ли эти надежды Даймонда?
Я решил добавить человечеству еще пару месяцев дополнительного времени для исправления ошибок, подобно тому, как учитель позволяет двоечнику дописывать контрольную во время перемены.
Но теперь и дополнительное время завершилось… Увы, итог не изменился. Два главных вывода Даймонда, по-прежнему, звучат как пародия на самих себя.
Хорошая новость - COVID-19 убивает быстро. Тысячи избыточных быстрых смертей привлекают внимание людей во всем мире, вынуждая их признать, что все мы сталкиваемся с общей угрозой, которую ни одна страна не может преодолеть в одиночку.
Плохая новость – действительно экзистенциальные риски (изменение климата, истощение ресурсов и неравенство) убивают куда медленней. И потому мир не хочет их замечать, и во всех странах преобладает эгоистичная национальная политика, ведущая мир к самоубийству.
Мой 1й июньский пост о прогнозе Даймонда.
Новый текст Даймонда в открытом доступе можно прочесть здесь
#Эпидемия #ГлобальныеРиски
Предварительный итог июньского прогноза Джареда Даймонда.
В конце июня я рассказал, что думает о значении COVID-19 для будущего цивилизации Джаред Даймонд — выдающийся мыслитель современности, известный на весь мир ученый и автор супербестселлеров с неповторимыми тиражами, удостоенных всех наград, званий и международных премий.
Мой пост завершался следующим резюмирующим соображением Даймонда.
Теперь возможны 2 сценария.
1. Каждый предпочтет бороться сам за себя — возобладают национализм и национальные интересы отдельных стран/наций (типа гонки за производство вакцин, когда страна, в которой она уже есть, будет использовать её лишь для себя, чтобы получить преимущество, а не спасать других).
2. Человечество наконец ощутит свою «национальную идентичность» в сотрудничестве, а не в конкуренции — признает, примет на себя ответственность и обратится к лучшим практикам коллективной победы над общим врагом.
Если вариант 1, то человечеству хана. И не от COVID-19, а от куда более страшных общих врагов — климато-экологического кризиса и кризиса дефицита ресурсов.
Если же все же вариант 2, то борьба с COVID-19 послужит моделью для мира, как преодолевать общемировые проблемы. И тогда человечеству жить и жить.
Какой из вариантов будет выбран, — станет ясно уже в ближайшие полгода.
-- -- -- -- --
Полгода прошли, и Даймонд написал, что он думает об итогах, в предпоследний день уходящего 2020. По мнению Даймонда, - «перспектива в мире остается очень неопределенной, … но пандемия COVID-19 вселяет в меня надежду».
Сбудутся ли эти надежды Даймонда?
Я решил добавить человечеству еще пару месяцев дополнительного времени для исправления ошибок, подобно тому, как учитель позволяет двоечнику дописывать контрольную во время перемены.
Но теперь и дополнительное время завершилось… Увы, итог не изменился. Два главных вывода Даймонда, по-прежнему, звучат как пародия на самих себя.
Хорошая новость - COVID-19 убивает быстро. Тысячи избыточных быстрых смертей привлекают внимание людей во всем мире, вынуждая их признать, что все мы сталкиваемся с общей угрозой, которую ни одна страна не может преодолеть в одиночку.
Плохая новость – действительно экзистенциальные риски (изменение климата, истощение ресурсов и неравенство) убивают куда медленней. И потому мир не хочет их замечать, и во всех странах преобладает эгоистичная национальная политика, ведущая мир к самоубийству.
Мой 1й июньский пост о прогнозе Даймонда.
Новый текст Даймонда в открытом доступе можно прочесть здесь
#Эпидемия #ГлобальныеРиски
Project Syndicate
How Might COVID-19 Change the World? | by Jared Diamond - Project Syndicate
Jared Diamond sees reason to hope that the pandemic will galvanize support for combating other global problems.
Как вирус новой религии к 2026 заразит весь цифровой мир
В 2020 стал годом «Большого откровения». Человечество увидело, насколько просто и быстро современный гиперсвязанный мир охватывается пожаром биологической и психической пандемии.
Начиная с 2021 миру предстоит столкнуться с «Большим откровением-2». Людям предстоит увидеть, насколько просто и быстро в современном цифровом мире может разгораться пожар пандемии, вызванной вирусом религии.
Вполне возможно, что подобие такого вируса уже разрабатывается компанией айтишных студентов – недоучек в одной из университетских общаг США, Китая или России. Чтобы распространиться сначала по сети университета, потом по компьютерам других университетов, подключенных к исследовательской инфраструктуре, а затем и по всему Интернету, - потребуется всего пара месяцев.
Фишка этого вируса будет в том, что он будет вирусом нового поколения. Он будет «питаться» не нанесенным вредом, не персональными данными, и не украденными деньгами, а человеческим вниманием, из которого рождается вера.
Как только вирус берет на себя управление компом,
1. он начинает выделять часть его вычислительных ресурсов для своего дальнейшего распространения (и это нормально для любого вируса),
2. он также использует вычислительные ресурсы компа для обучения большой многоязычной нейронной сети на очень большом наборе данных религиозных текстов (и это уже нечто новенькое).
Но это далеко не все.
Прекратить выполнение вирусом действий, описанных в пп 1-2, можно лишь активировав веб-камеру на компьютере. После этого вирус будет ждать, чтобы увидеть человеческое лицо. Распознав перед компом человека, вирус начинает показывать ему религиозные тексты и использует встроенное программное обеспечение для отслеживания взгляда, чтобы проверять, «читает» ли человек тексты. Если человек прочитает достаточно много религиозных текстов, вирус самоуничтожится без вреда для системы.
Этот вирус не заботится ни о чем, кроме внимания.
• Если вы позволите ему получить достаточно вашего внимания, он внедрит в ваше сознание изрядный объем религиозных текстов и уйдет.
• Если вы позволите ему получить «внимание» вашего компьютера, он использует его для репликации самого себя и поработает над улучшением своей собственной способности писать убедительные религиозные тексты за счет обучения своей распределенной нейронки.
Обезвредить такой вирус будет ох как непросто.
Однако мораль этой занятной техноутопической миниатюры Джека Кларка совсем в ином.
✔️ Современные ИИ-системы используют на входе большие данные, пропуская их через большие вычисления.
✔️ Завтрашний ИИ – 2.0 будет потреблять человеческое внимание, обратную связь людей и взаимодействие с ними.
✔️ А послезавтрашний ИИ – 3.0 будет потреблять эмоции людей.
Эти ИИ ближайшего будущего будут совсем иными, чем мы сегодня представляем. Соответственно, и связанные с ИИ риски также будут совсем другими. И пандемия новой религии, вполне возможно, далеко не самое худшее, что эти новые ИИ способны принести человечеству.
#ИИ #ГлобальныеРиски
В 2020 стал годом «Большого откровения». Человечество увидело, насколько просто и быстро современный гиперсвязанный мир охватывается пожаром биологической и психической пандемии.
Начиная с 2021 миру предстоит столкнуться с «Большим откровением-2». Людям предстоит увидеть, насколько просто и быстро в современном цифровом мире может разгораться пожар пандемии, вызванной вирусом религии.
Вполне возможно, что подобие такого вируса уже разрабатывается компанией айтишных студентов – недоучек в одной из университетских общаг США, Китая или России. Чтобы распространиться сначала по сети университета, потом по компьютерам других университетов, подключенных к исследовательской инфраструктуре, а затем и по всему Интернету, - потребуется всего пара месяцев.
Фишка этого вируса будет в том, что он будет вирусом нового поколения. Он будет «питаться» не нанесенным вредом, не персональными данными, и не украденными деньгами, а человеческим вниманием, из которого рождается вера.
Как только вирус берет на себя управление компом,
1. он начинает выделять часть его вычислительных ресурсов для своего дальнейшего распространения (и это нормально для любого вируса),
2. он также использует вычислительные ресурсы компа для обучения большой многоязычной нейронной сети на очень большом наборе данных религиозных текстов (и это уже нечто новенькое).
Но это далеко не все.
Прекратить выполнение вирусом действий, описанных в пп 1-2, можно лишь активировав веб-камеру на компьютере. После этого вирус будет ждать, чтобы увидеть человеческое лицо. Распознав перед компом человека, вирус начинает показывать ему религиозные тексты и использует встроенное программное обеспечение для отслеживания взгляда, чтобы проверять, «читает» ли человек тексты. Если человек прочитает достаточно много религиозных текстов, вирус самоуничтожится без вреда для системы.
Этот вирус не заботится ни о чем, кроме внимания.
• Если вы позволите ему получить достаточно вашего внимания, он внедрит в ваше сознание изрядный объем религиозных текстов и уйдет.
• Если вы позволите ему получить «внимание» вашего компьютера, он использует его для репликации самого себя и поработает над улучшением своей собственной способности писать убедительные религиозные тексты за счет обучения своей распределенной нейронки.
Обезвредить такой вирус будет ох как непросто.
Однако мораль этой занятной техноутопической миниатюры Джека Кларка совсем в ином.
✔️ Современные ИИ-системы используют на входе большие данные, пропуская их через большие вычисления.
✔️ Завтрашний ИИ – 2.0 будет потреблять человеческое внимание, обратную связь людей и взаимодействие с ними.
✔️ А послезавтрашний ИИ – 3.0 будет потреблять эмоции людей.
Эти ИИ ближайшего будущего будут совсем иными, чем мы сегодня представляем. Соответственно, и связанные с ИИ риски также будут совсем другими. И пандемия новой религии, вполне возможно, далеко не самое худшее, что эти новые ИИ способны принести человечеству.
#ИИ #ГлобальныеРиски
Обнаружен непреодолимый риск использования ИИ в медицине.
Обладающий недоступным для людей знанием ИИ потенциально опасен.
Посмотрите на рисунок с примерами различных медицинский изображений.
Сможете по ним определить расовую принадлежность пациента?
Увы, но даже самый опытный рентгенолог на Земле не в состоянии это сделать. А ИИ делает это запросто.
Из этого, казалось бы, не страшного факта (ведь никто не заморачивается от того, что ИИ, например, лучше людей играет в шахматы) можно прийти к выводу о серьезной опасности использования ИИ в задачах медицинской визуализации.
Логика здесь такова.
1) Распознавание медицинских изображений при принятии диагностических и лечебных решений – это одна из самых массовых и перспективных областей прикладного использования систем машинного обучения (далее ИИ).
2) Попытки использования ИИ для принятия решений в широком спектре применений, основанных на суждениях о людях (напр., социальные, кадровые, финансовые, полицейские системы оценки людей), столкнулись с серьезной проблемой расовой предвзятости ИИ, обусловленной данными, на которых эти ИИ учили.
3) В контексте 1 и 2, новое авторитетное совместное исследование 15 медицинских центров США, Канады, Австралии и Тайваня вызывает шок и потрясение.
Его выводы таковы:
– ИИ запросто учится распознавать расовую принадлежность пациентов практически по любым медицинским изображениям, и это прямой путь для воспроизведения или усугубления расовой дискриминации в медицинской практике;
– эксперты - люди не понимают, как ИИ это делают, ибо просто физически не видят на изображениях каких-либо маркеров национальной принадлежности; из чего следует, что человеческий надзор за такими ИИ для распознавания и смягчения данной проблемы имеет (мягко говоря) ограниченное применение, а по сути – человеческий надзор здесь невозможен;
– это создает огромный риск для развертываний практически всех (!) моделей ИИ в области медицинской визуализации: если ИИ «тайно» полагался на свою способность определять расовую принадлежность для принятия медицинских решений, но при этом некорректно (предвзято) провел классификацию (например, чернокожих пациентов), клинические рентгенологи (которые, как правило, не имеют доступа к расовой демографической информации) не смогут это увидеть и исправить.
Результаты данного исследования в общем контексте прикладного использования ИИ для принятия решений звучат почти как приговор:
Любой ИИ, обладающий недоступным для людей знанием, потенциально чрезвычайно опасен и потому не должен использоваться при принятии ответственных решений.
Но ведь именно в таких, недоступных нам знаниях и заключается наивысшая ценность ИИ. В противном случае, ИИ превратится просто в «интеллектуальный экскаватор», облегчающий людям процесс «интеллектуального копания» в проблемах при принятии решений.
И по этой причине, обнаруженным риском, скорее всего, пренебрегут, забив на непредсказуемые последствия.
https://arxiv.org/abs/2107.10356
#ИИ #МашинноеОбучение #ГлобальныеРиски
Обладающий недоступным для людей знанием ИИ потенциально опасен.
Посмотрите на рисунок с примерами различных медицинский изображений.
Сможете по ним определить расовую принадлежность пациента?
Увы, но даже самый опытный рентгенолог на Земле не в состоянии это сделать. А ИИ делает это запросто.
Из этого, казалось бы, не страшного факта (ведь никто не заморачивается от того, что ИИ, например, лучше людей играет в шахматы) можно прийти к выводу о серьезной опасности использования ИИ в задачах медицинской визуализации.
Логика здесь такова.
1) Распознавание медицинских изображений при принятии диагностических и лечебных решений – это одна из самых массовых и перспективных областей прикладного использования систем машинного обучения (далее ИИ).
2) Попытки использования ИИ для принятия решений в широком спектре применений, основанных на суждениях о людях (напр., социальные, кадровые, финансовые, полицейские системы оценки людей), столкнулись с серьезной проблемой расовой предвзятости ИИ, обусловленной данными, на которых эти ИИ учили.
3) В контексте 1 и 2, новое авторитетное совместное исследование 15 медицинских центров США, Канады, Австралии и Тайваня вызывает шок и потрясение.
Его выводы таковы:
– ИИ запросто учится распознавать расовую принадлежность пациентов практически по любым медицинским изображениям, и это прямой путь для воспроизведения или усугубления расовой дискриминации в медицинской практике;
– эксперты - люди не понимают, как ИИ это делают, ибо просто физически не видят на изображениях каких-либо маркеров национальной принадлежности; из чего следует, что человеческий надзор за такими ИИ для распознавания и смягчения данной проблемы имеет (мягко говоря) ограниченное применение, а по сути – человеческий надзор здесь невозможен;
– это создает огромный риск для развертываний практически всех (!) моделей ИИ в области медицинской визуализации: если ИИ «тайно» полагался на свою способность определять расовую принадлежность для принятия медицинских решений, но при этом некорректно (предвзято) провел классификацию (например, чернокожих пациентов), клинические рентгенологи (которые, как правило, не имеют доступа к расовой демографической информации) не смогут это увидеть и исправить.
Результаты данного исследования в общем контексте прикладного использования ИИ для принятия решений звучат почти как приговор:
Любой ИИ, обладающий недоступным для людей знанием, потенциально чрезвычайно опасен и потому не должен использоваться при принятии ответственных решений.
Но ведь именно в таких, недоступных нам знаниях и заключается наивысшая ценность ИИ. В противном случае, ИИ превратится просто в «интеллектуальный экскаватор», облегчающий людям процесс «интеллектуального копания» в проблемах при принятии решений.
И по этой причине, обнаруженным риском, скорее всего, пренебрегут, забив на непредсказуемые последствия.
https://arxiv.org/abs/2107.10356
#ИИ #МашинноеОбучение #ГлобальныеРиски
