Forwarded from Малоизвестное интересное
The Great AI Reckoning.
Глубокое обучение построило дивный новый мир, но он трещит по швам.
Так называется новый спецотчет IEEE - крупнейшей в мире ассоциации технических специалистов (423 тыс. членов из 160 стран).
Название таит в себе важный смысл. Оно обыгрывает неоднозначность английского слова reckoning – расчет: в смысле вычисление и расплата.
• Вычислительные ресурсы, требуемые для развития ИИ на основе глубокого обучения, становятся неоправданно большими.
• Расплатой за выбор глубокого обучения в качестве магистрального пути развития ИИ становится нарастающее ощущение приближающегося тупика.
Спецотчет состоит из 8 глав, понятно написанных простым языком.
1) Бурное прошлое и неопределенное будущее ИИ. Есть ли выход из цикла взлетов и падений ИИ? (8 мин чтения)
2) Как работает глубокое обучение. Внутри нейронных сетей, на которых основан современный ИИ (3 мин чтения)
3) Говорят эксперты по ИИ: памятные цитаты из репортажей IEEE об ИИ (4 мин чтения)
4) Как DeepMind переизобретает робота. Покорив Го и фолдинг белков, компания переключилась на реально трудную задачу (14 мин чтения)
5) 7 причин, по которым ИИ терпят неудачи. Нейронные сети могут быть катастрофически хрупкими, забывчивыми и удивительно слабыми в математике (8 мин чтения)
6) Неудобная правда об ИИ. ИИ не превзойдет человеческий интеллект в обозримом будущем (3 мин чтения)
7) Уменьшение отдачи от глубокого обучения. Стоимость улучшений становится непосильной (10 мин чтения)
8) Как армия США превращает роботов в командных игроков. Инженеры борются с ограничениями возможностей глубокого обучения боевых ботов (11 мин чтения)
В качестве тизера взгляните на эту аналитику из спецотчета.
✔️ Экстраполируя достижения последних лет, можно предположить, что к 2025 году уровень ошибок в лучших системах глубокого обучения, предназначенных для распознавания объектов на основе набора данных ImageNet, должен быть снижен до 5% см. рис.
✔️ Но вычислительные ресурсы и энергия, необходимые для подготовки таких систем, будут огромными, что приведет к выбросу такого количества углекислого газа, какое Нью-Йорк производит за месяц см. рис.
От себя добавлю.
Главную заморочку в развитии ИИ можно проиллюстрировать приложенным рисунком из книги Брайана Смита «Reckoning and Judgment: The Promise of AI».
• В правой-нижней части рисунка сгруппированы люди, разбирающиеся в искусственном интеллекте, но ни черта не понимающие в человеческом разуме (Курцвейл и Бостром – типичные примеры).
• В левой-верхней части - люди, прекрасно разбирающиеся в человеческом разуме, но ни черта не понимающие в искусственном интеллекте (в качестве примера, Кант с Витгенштейном и слов то таких не знали).
• Между этими двумя полюсами в размытой темной дуге находятся многие тысячи идеологов и разработчиков в области ИИ.
• Это и есть главная проблема.
- Понять, как устроен и работает «интеллект», невозможно двигаясь на показанном графике лишь только направо или только наверх.
- Для реального прорыва нужны люди в правой-верхней части рисунка… И много таких людей.
#ИИ #AGI
P.S. Каналу «Малоизвестное интересное» 5 лет. Не думал, что так надолго задержусь в этом деле. Но пока в правой-верхней части рисунка людей непростительно мало, буду продолжать писать про это (ебж) 😊
Глубокое обучение построило дивный новый мир, но он трещит по швам.
Так называется новый спецотчет IEEE - крупнейшей в мире ассоциации технических специалистов (423 тыс. членов из 160 стран).
Название таит в себе важный смысл. Оно обыгрывает неоднозначность английского слова reckoning – расчет: в смысле вычисление и расплата.
• Вычислительные ресурсы, требуемые для развития ИИ на основе глубокого обучения, становятся неоправданно большими.
• Расплатой за выбор глубокого обучения в качестве магистрального пути развития ИИ становится нарастающее ощущение приближающегося тупика.
Спецотчет состоит из 8 глав, понятно написанных простым языком.
1) Бурное прошлое и неопределенное будущее ИИ. Есть ли выход из цикла взлетов и падений ИИ? (8 мин чтения)
2) Как работает глубокое обучение. Внутри нейронных сетей, на которых основан современный ИИ (3 мин чтения)
3) Говорят эксперты по ИИ: памятные цитаты из репортажей IEEE об ИИ (4 мин чтения)
4) Как DeepMind переизобретает робота. Покорив Го и фолдинг белков, компания переключилась на реально трудную задачу (14 мин чтения)
5) 7 причин, по которым ИИ терпят неудачи. Нейронные сети могут быть катастрофически хрупкими, забывчивыми и удивительно слабыми в математике (8 мин чтения)
6) Неудобная правда об ИИ. ИИ не превзойдет человеческий интеллект в обозримом будущем (3 мин чтения)
7) Уменьшение отдачи от глубокого обучения. Стоимость улучшений становится непосильной (10 мин чтения)
8) Как армия США превращает роботов в командных игроков. Инженеры борются с ограничениями возможностей глубокого обучения боевых ботов (11 мин чтения)
В качестве тизера взгляните на эту аналитику из спецотчета.
✔️ Экстраполируя достижения последних лет, можно предположить, что к 2025 году уровень ошибок в лучших системах глубокого обучения, предназначенных для распознавания объектов на основе набора данных ImageNet, должен быть снижен до 5% см. рис.
✔️ Но вычислительные ресурсы и энергия, необходимые для подготовки таких систем, будут огромными, что приведет к выбросу такого количества углекислого газа, какое Нью-Йорк производит за месяц см. рис.
От себя добавлю.
Главную заморочку в развитии ИИ можно проиллюстрировать приложенным рисунком из книги Брайана Смита «Reckoning and Judgment: The Promise of AI».
• В правой-нижней части рисунка сгруппированы люди, разбирающиеся в искусственном интеллекте, но ни черта не понимающие в человеческом разуме (Курцвейл и Бостром – типичные примеры).
• В левой-верхней части - люди, прекрасно разбирающиеся в человеческом разуме, но ни черта не понимающие в искусственном интеллекте (в качестве примера, Кант с Витгенштейном и слов то таких не знали).
• Между этими двумя полюсами в размытой темной дуге находятся многие тысячи идеологов и разработчиков в области ИИ.
• Это и есть главная проблема.
- Понять, как устроен и работает «интеллект», невозможно двигаясь на показанном графике лишь только направо или только наверх.
- Для реального прорыва нужны люди в правой-верхней части рисунка… И много таких людей.
#ИИ #AGI
P.S. Каналу «Малоизвестное интересное» 5 лет. Не думал, что так надолго задержусь в этом деле. Но пока в правой-верхней части рисунка людей непростительно мало, буду продолжать писать про это (ебж) 😊
Forwarded from Малоизвестное интересное
Почему нейронаука зашла в тупик.
Опубликован «меморандум Сломана-Паттерсона-Барби».
В недавнем интервью Евгений Ижикевич кратко и точно прокомментировал, почему нейронаука зашла в тупик.
«В нейронауке нет продвижения за последние 50 лет, потому что какой-то из фактов, которые мы считаем верными, неверен».
Т.е. проблема в базовой предпосылке, сбивающей развитие нейронауки с верного курса, подобно топору под компасом, подложенному злодеем Негоро, дабы сбить с курса «Пилигрим», ведомый «пятнадцатилетним капитаном» Диком Сэндом.
К сказанному Ижикевичем могу добавить одно.
Базовый ошибочный факт в основании нейронауки известен не первый год. И с каждым годом увеличивается корпус доказательств этого. Так что проблема не в том, чтобы обнаружить «топор под компасом». А в том, чтобы признать его наличие и вынуть.
Ошибочный факт – это предположение, что человеческие знания представлены в индивидуальном мозге и передаются между людьми. Тогда как процессы познания происходят в социо-когнитивных сетях сообществ знаний.
Исправлением этого ошибочного факта будет признание, что индивидуальным может быть только мозг, а разум – исключительно коллективный феномен.
В силу этого, познание просто несводимо к нейробиологии. Оно распределено в физическом мире по многим умам (в т. ч. давно умерших людей) и бесчисленному множеству артефактов. А задача понимания сложных предметов, явлений и идей, по сути, сводится к её передаче на «аутсорсинг» - использование опыта других людей для принятия собственных решений.
Т.о. познание - это в значительной степени групповая, а не индивидуальная деятельность. В своих рассуждениях, представлениях и принятии решений люди зависят от других. Когнитивная нейробиология не способна пролить свет на этот аспект когнитивной обработки. МРТ и прочие инструменты исследований мозга были разработаны для отслеживания активности мозга индивида. Они почти бесполезны для фиксации динамики процессов, происходящих в социо-когнитивных сетях.
Задача состоит в том, чтоб научиться фиксировать появление и наличие знаний не в мозге отдельного человека, а в ходе аутсорсинга познания в социо-когнитивные сети.
Стремясь к этому, нейробиологам следует обратиться к трансдисциплинарному подходу – к наукам, значительно опередившим нейробиологию в понимании процессов в сообществах знаний: социальная эпистемология, социально-философские аспекты представления знаний в языке и т.д.
Революционный поворот в понимании того, что индивидуальным может быть только мозг, а разум – исключительно коллективный феномен, кардинально изменит траекторию исследований общего (сильного) искусственного интеллекта. Его исследователям предстоит найти новые, принципиально иные архитектуры и алгоритмы, ориентированные уже не только на нейронные, а на социо-когнитивные гипер-сети. Сегодняшний мейнстрим представлений о социальных сетях разумных агентов, познание которых сосредоточено исключительно в нейронных сетях их индивидуального мозга, - ошибочно. И этот «топор под компасом» пришло время убрать.
С таким призывом к мировому сообществу когнитивных нейробиологов и исследователей ИИ вчера обратились нейробиолог Арон Барби, профессор психологии Университета Иллинойса в Урбана-Шампейн, Ричард Паттерсон, почетный профессор философии в Университете Эмори, и Стивен Сломан, профессор когнитивных, лингвистических и психологических наук в Университете Брауна, - опубликовавшие свой «меморандум о смене курса» «Cognitive Neuroscience Meets the Community of Knowledge».
Подробней читайте:
- в популярном изложении
- в «меморандуме»
- в моих рассказах о том, что для человека индивидуальный интеллект не существует — а есть только социально-когнитивные сети, слушайте и читайте здесь и здесь.
#КоллективныйИнтеллект #AGI #БудущееHomo #АлгокогнитивнаяКультура
Опубликован «меморандум Сломана-Паттерсона-Барби».
В недавнем интервью Евгений Ижикевич кратко и точно прокомментировал, почему нейронаука зашла в тупик.
«В нейронауке нет продвижения за последние 50 лет, потому что какой-то из фактов, которые мы считаем верными, неверен».
Т.е. проблема в базовой предпосылке, сбивающей развитие нейронауки с верного курса, подобно топору под компасом, подложенному злодеем Негоро, дабы сбить с курса «Пилигрим», ведомый «пятнадцатилетним капитаном» Диком Сэндом.
К сказанному Ижикевичем могу добавить одно.
Базовый ошибочный факт в основании нейронауки известен не первый год. И с каждым годом увеличивается корпус доказательств этого. Так что проблема не в том, чтобы обнаружить «топор под компасом». А в том, чтобы признать его наличие и вынуть.
Ошибочный факт – это предположение, что человеческие знания представлены в индивидуальном мозге и передаются между людьми. Тогда как процессы познания происходят в социо-когнитивных сетях сообществ знаний.
Исправлением этого ошибочного факта будет признание, что индивидуальным может быть только мозг, а разум – исключительно коллективный феномен.
В силу этого, познание просто несводимо к нейробиологии. Оно распределено в физическом мире по многим умам (в т. ч. давно умерших людей) и бесчисленному множеству артефактов. А задача понимания сложных предметов, явлений и идей, по сути, сводится к её передаче на «аутсорсинг» - использование опыта других людей для принятия собственных решений.
Т.о. познание - это в значительной степени групповая, а не индивидуальная деятельность. В своих рассуждениях, представлениях и принятии решений люди зависят от других. Когнитивная нейробиология не способна пролить свет на этот аспект когнитивной обработки. МРТ и прочие инструменты исследований мозга были разработаны для отслеживания активности мозга индивида. Они почти бесполезны для фиксации динамики процессов, происходящих в социо-когнитивных сетях.
Задача состоит в том, чтоб научиться фиксировать появление и наличие знаний не в мозге отдельного человека, а в ходе аутсорсинга познания в социо-когнитивные сети.
Стремясь к этому, нейробиологам следует обратиться к трансдисциплинарному подходу – к наукам, значительно опередившим нейробиологию в понимании процессов в сообществах знаний: социальная эпистемология, социально-философские аспекты представления знаний в языке и т.д.
Революционный поворот в понимании того, что индивидуальным может быть только мозг, а разум – исключительно коллективный феномен, кардинально изменит траекторию исследований общего (сильного) искусственного интеллекта. Его исследователям предстоит найти новые, принципиально иные архитектуры и алгоритмы, ориентированные уже не только на нейронные, а на социо-когнитивные гипер-сети. Сегодняшний мейнстрим представлений о социальных сетях разумных агентов, познание которых сосредоточено исключительно в нейронных сетях их индивидуального мозга, - ошибочно. И этот «топор под компасом» пришло время убрать.
С таким призывом к мировому сообществу когнитивных нейробиологов и исследователей ИИ вчера обратились нейробиолог Арон Барби, профессор психологии Университета Иллинойса в Урбана-Шампейн, Ричард Паттерсон, почетный профессор философии в Университете Эмори, и Стивен Сломан, профессор когнитивных, лингвистических и психологических наук в Университете Брауна, - опубликовавшие свой «меморандум о смене курса» «Cognitive Neuroscience Meets the Community of Knowledge».
Подробней читайте:
- в популярном изложении
- в «меморандуме»
- в моих рассказах о том, что для человека индивидуальный интеллект не существует — а есть только социально-когнитивные сети, слушайте и читайте здесь и здесь.
#КоллективныйИнтеллект #AGI #БудущееHomo #АлгокогнитивнаяКультура
Medicalxpress
Scientists look beyond the individual brain to study the collective mind
In a new paper, scientists suggest that efforts to understand human cognition should expand beyond the study of individual brains. They call on neuroscientists to incorporate evidence from social science ...
Forwarded from Малоизвестное интересное
Супероружие Китая в битве за AGI.
Китай пошёл иным путем, недоступным Западу.
Мы, как и США с Европой, варимся в собственном соку научных и философских представлений, сложившихся на Западе за последние 300 лет. В этом же мутном вареве наши и западные исследователи пытаются прозреть путь к созданию никогда не существовавшего на Земле феномена - машинный разум человеческих возможностей (AGI).
Нам просто не приходит в голову, что у Китая может быть свой, сильно отличный от западного путь к созданию AGI. И что этот путь на основе представлений о мире, жизни и наших ценностях может быть абсолютно перпендикулярен направлению, избранному Западом.
Одурманенные близкими и понятными нам высказываниями ориентированных на западный подход ИИ-попзвёзд (напр. мой бывший коллега по SGI Ли Кай-Фу – глубокий профессиональный ум, сформированный за годы работы на лучшие компании БигТеха США), мы всерьез думаем, что Китай следует тому же подходу в ИИ, что и США.
А прискорбное заблуждение, что все важные тексты земной цивилизации обязательно есть на английском, еще более усугубляет непонимание Западом китайского уникального пути к AGI.
Но слава Джефри Дингу, переводящему для нас наиболее важные китайские тексты по ИИ, - он перевел «Библию китайского подхода к ИИ» - эссе проф. Чжу Сун-Чун о том, как китайская философия вдохновляет его исследования AGI (1).
Для справки: в сентябре 2020 Чжу Сун-Чун возвратился в Китай, оставив кафедру Калифорнийского университета в Лос-Анджелесе, чтобы возглавить Институт искусственного интеллекта Пекинского университета. (2)
Резюме таково.
1) Цель AGI – вовсе не банальное интеллектуальное превосходство в задачах, решаемых путем вычислений.
Истинная цель - создание агентов с автономным восприятием, познанием, принятием решений, обучением, исполнением и возможностями социального сотрудничества, которые соответствуют человеческим эмоциям, этике и моральным ценностям.
2) Такие агенты должны обладать автономным сознанием и иметь три воззрения (на мир, на жизнь и на систему ценностей). Даже если эти три воззрения разумных агентов будут отличаться от воззрений людей, агенты должны быть в состоянии понимать воззрения людей.
3) В отличие от существующих представлений этих трех фундаментальных воззрений, сформированных философами, мыслителями, профессионалами наук и искусств за последние 2000 лет, создатели истинного AGI должны разработать когнитивные фреймворки и математические модели, способные четко выразить три названные воззрения на математическом языке и позволяющие анализировать мыслительные процессы в их основе.
4) Мы надеемся, что использование поэмы "Ода о красной скале" Чжао Мэнфу (1254—1322) — выдающегося китайского художника, каллиграфа, литератора и государственного деятеля, — позволит нам создать фреймворк и модель интерпретации психической деятельности на основе классической китайской философии.
5) В основе фреймворка Теория трёх жизненных орбит: быть живым, стремиться к хорошей жизни, вести осмысленную жизнь. Эти 3 уровня жизни подобны энергетическим уровням орбит электронов в модели атома. В процессе энергетического скачка между уровнями (особенно вниз) люди испытывают эмоции и могут излучать "свет".
6) Ценности жизни бывают 2х типов: бессмертно-бесконечные и ограниченные (после смерти они пропадают в "черной дыре жизни").
7) Их объединение возможно интеграцией двух конфуцианских школ - «небесных принципов» и «разума», объединяющих философию, гуманитарные и социальные науки.
1 2
#AGI #Китай
Китай пошёл иным путем, недоступным Западу.
Мы, как и США с Европой, варимся в собственном соку научных и философских представлений, сложившихся на Западе за последние 300 лет. В этом же мутном вареве наши и западные исследователи пытаются прозреть путь к созданию никогда не существовавшего на Земле феномена - машинный разум человеческих возможностей (AGI).
Нам просто не приходит в голову, что у Китая может быть свой, сильно отличный от западного путь к созданию AGI. И что этот путь на основе представлений о мире, жизни и наших ценностях может быть абсолютно перпендикулярен направлению, избранному Западом.
Одурманенные близкими и понятными нам высказываниями ориентированных на западный подход ИИ-попзвёзд (напр. мой бывший коллега по SGI Ли Кай-Фу – глубокий профессиональный ум, сформированный за годы работы на лучшие компании БигТеха США), мы всерьез думаем, что Китай следует тому же подходу в ИИ, что и США.
А прискорбное заблуждение, что все важные тексты земной цивилизации обязательно есть на английском, еще более усугубляет непонимание Западом китайского уникального пути к AGI.
Но слава Джефри Дингу, переводящему для нас наиболее важные китайские тексты по ИИ, - он перевел «Библию китайского подхода к ИИ» - эссе проф. Чжу Сун-Чун о том, как китайская философия вдохновляет его исследования AGI (1).
Для справки: в сентябре 2020 Чжу Сун-Чун возвратился в Китай, оставив кафедру Калифорнийского университета в Лос-Анджелесе, чтобы возглавить Институт искусственного интеллекта Пекинского университета. (2)
Резюме таково.
1) Цель AGI – вовсе не банальное интеллектуальное превосходство в задачах, решаемых путем вычислений.
Истинная цель - создание агентов с автономным восприятием, познанием, принятием решений, обучением, исполнением и возможностями социального сотрудничества, которые соответствуют человеческим эмоциям, этике и моральным ценностям.
2) Такие агенты должны обладать автономным сознанием и иметь три воззрения (на мир, на жизнь и на систему ценностей). Даже если эти три воззрения разумных агентов будут отличаться от воззрений людей, агенты должны быть в состоянии понимать воззрения людей.
3) В отличие от существующих представлений этих трех фундаментальных воззрений, сформированных философами, мыслителями, профессионалами наук и искусств за последние 2000 лет, создатели истинного AGI должны разработать когнитивные фреймворки и математические модели, способные четко выразить три названные воззрения на математическом языке и позволяющие анализировать мыслительные процессы в их основе.
4) Мы надеемся, что использование поэмы "Ода о красной скале" Чжао Мэнфу (1254—1322) — выдающегося китайского художника, каллиграфа, литератора и государственного деятеля, — позволит нам создать фреймворк и модель интерпретации психической деятельности на основе классической китайской философии.
5) В основе фреймворка Теория трёх жизненных орбит: быть живым, стремиться к хорошей жизни, вести осмысленную жизнь. Эти 3 уровня жизни подобны энергетическим уровням орбит электронов в модели атома. В процессе энергетического скачка между уровнями (особенно вниз) люди испытывают эмоции и могут излучать "свет".
6) Ценности жизни бывают 2х типов: бессмертно-бесконечные и ограниченные (после смерти они пропадают в "черной дыре жизни").
7) Их объединение возможно интеграцией двух конфуцианских школ - «небесных принципов» и «разума», объединяющих философию, гуманитарные и социальные науки.
1 2
#AGI #Китай
Forwarded from Малоизвестное интересное
Kанадо-британское исследование «A New Era: Intelligent Tutoring Systems Will Transform Online Learning for Millions» может ознаменовать поворот к новой эре в обучении — персонализированное активное обучение под руководством ИИ-тьютора.
Значимость этой кардинально трансформирующей культуру инновации для дальнейшего развития цивилизации сейчас оценить сложно. Но может статься, эта значимость будет соизмерима с появлением у людей письменности.
Этому посвящен мой новый лонгрид на 10 мин чтения:
- на Medium https://bit.ly/3LoNGnV
- на Яндекс Дзен https://clck.ru/eYNG5
В нем я прихожу к следующим трем выводам.
1. Создание и совершенствование технологий «трезориума для инфоргов» на основе ИИ-тьюторов персонализированного активного обучения видится мне наиболее перспективной областью из всех существующих областей разработки ИИ-технологий в мире.
2. Полагаю, что разработка технологий в этой области могла бы стать наиболее конкурентным направлением для российских ученых, инженеров, педагогов, психологов и специалистов по ИИ (в силу широкого спектра объективных факторов: научно-технологических, экономико-политических и социо-культурных, обсуждать которые здесь нет места).
3. Создание лучшей в мире системы образования на базе «трезориумов для инфоргов» с ИИ-тьюторами могло бы стать той самой объединяющей целью для «прекрасной России будущего», способной сплотить воедино федерацию ее региональных субъектов. Об этом уже не раз говорил и писал Борис Акунин. Но теперь, в свете новых ИИ-технологий, эта идея перестает быть «образовательной утопией» и обретает вполне реальные (как минимум, с технологической точки зрения) перспективы.
#Образование #ИИ #AGI #AIA #ИнтеллектКентавра
Значимость этой кардинально трансформирующей культуру инновации для дальнейшего развития цивилизации сейчас оценить сложно. Но может статься, эта значимость будет соизмерима с появлением у людей письменности.
Этому посвящен мой новый лонгрид на 10 мин чтения:
- на Medium https://bit.ly/3LoNGnV
- на Яндекс Дзен https://clck.ru/eYNG5
В нем я прихожу к следующим трем выводам.
1. Создание и совершенствование технологий «трезориума для инфоргов» на основе ИИ-тьюторов персонализированного активного обучения видится мне наиболее перспективной областью из всех существующих областей разработки ИИ-технологий в мире.
2. Полагаю, что разработка технологий в этой области могла бы стать наиболее конкурентным направлением для российских ученых, инженеров, педагогов, психологов и специалистов по ИИ (в силу широкого спектра объективных факторов: научно-технологических, экономико-политических и социо-культурных, обсуждать которые здесь нет места).
3. Создание лучшей в мире системы образования на базе «трезориумов для инфоргов» с ИИ-тьюторами могло бы стать той самой объединяющей целью для «прекрасной России будущего», способной сплотить воедино федерацию ее региональных субъектов. Об этом уже не раз говорил и писал Борис Акунин. Но теперь, в свете новых ИИ-технологий, эта идея перестает быть «образовательной утопией» и обретает вполне реальные (как минимум, с технологической точки зрения) перспективы.
#Образование #ИИ #AGI #AIA #ИнтеллектКентавра
Medium
Трезориум для инфоргов
ИИ-тьютор для обучения новых Эйнштейнов
Forwarded from Малоизвестное интересное
Воображение бессмыслицы без умения мыслить.
ИИ близок к пределу имитации разума людей.
Два прорывных научных результата этого года подводят предварительный итог многолетних попыток имитировать на компьютерах высокоуровневые когнитивные способности людей.
Первый прорывной результат продемонстрировал Open AI
Их новая версия DALL-E 2 способна превращать текстовые описания в фотореалистичные изображения.
ИИ научили имитировать высокоуровневые когнитивные способности людей, решая 3 важнейших класса задач, отличающих нас от животных:
1. Оперирование существующими и создание новых визуальных образов, в т.ч. эстетически изысканных и оригинальных.
2. Оперирование существующими и создание новых повествований из грамматически, семантически и прагматически правильных предложений на естественном языке.
3. Увязка обоих модальностей (зрение и язык) для уже существующих и новых элементов.
1й и 2й классы задач ИИ-системы умели решать и до появления DALL-E 2. Теперь же им доступен и 3й класс, причем:
• как для тестов и образов, имеющих смысл с точки зрения людей;
• так и для не имеющих смысла.
Последнее можно проиллюстрировать известным примером Хомского - грамматически-корректным, но бессмысленным предложением: «Бесцветные зеленые идеи яростно спят».
Для DALL-E 2 бессмысленность этой фразы ничуть не мешает вообразить ее визуальный образ (см. рисунок).
Это показывает, что у DALL-E 2 нет пределов воображения.
Даже полное отсутствие в описании смысла (в человеческом понимании) не мешает ИИ-системе создать по описанию визуальное представление бессмыслицы.
Однако предел в имитации разума людей все же есть. Что демонстрируют результаты другой работы.
Второй прорывной результат представлен статьей «Shared computational principles for language processing in humans and deep language models».
Авторы показали, что восприятие речи мозгом происходит ровно по той же схеме, что и в системах машинного обучения, использующих авторегрессионные глубокие языковые модели. Эти модели не знают ничего о правилах языка. Они лишь следуют простым принципам.
1. Непрерывно предсказывают следующее слово.
2. Сопоставляют эти предсказания с входящим словом для вычисления степени неожиданности (ошибки прогноза).
3. Полагаются на контекстуальные детали.
Подобным образом работают:
• NLP-системы типа GPT-3, ничего не понимая в тексте и не зная никаких правил, а лишь предсказывая следующее слово,
• упомянутая DALL-E 2, превращающая тексты в изображения, ничего не зная о правилах их формирования, а лишь предсказывая очередной пиксель.
Фундаментальный вывод этой работы таков.
Хотя язык может играть центральную организующую роль в процессах познания людей, лингвистической компетенции недостаточно для обретения здравого смысла: мышления и понимания.
Иными словами, машина может сколь угодно совершенно владеть языком (проходя тест Тьюринга и эксперимент Китайской комнаты), но всё ее владение – ничто иное, как способность предсказывать следующий элемент текста; и эта способность имеет нулевую ценность для понимания смысла текста и порождения новых значимых текстов на основе интеграции знаний из предыдущих.
Это же справедливо и для визуальных образов. Здесь также прогнозирование очередного пикселя имеет нулевую ценность для понимания и порождения новых осмысленных образов на основе предыдущих.
Т.о., совокупность результатов обеих работ позволяет предположить наличие непреодолимой для статистического машинного обучения пропасти между двумя типами высокоуровневых когнитивных способностей:
A. языковой и зрительной компетенций, приобретаемых в результате машинного обучения;
B. компетенций здравого смысла, приобрести которые в результате машинного обучения современные ИИ-системы не могут.
Вероятной причиной этой пропасти может быть, как вычислительный подход, так и то, что опыт алгоритмически несжимаем.
#AGI
ИИ близок к пределу имитации разума людей.
Два прорывных научных результата этого года подводят предварительный итог многолетних попыток имитировать на компьютерах высокоуровневые когнитивные способности людей.
Первый прорывной результат продемонстрировал Open AI
Их новая версия DALL-E 2 способна превращать текстовые описания в фотореалистичные изображения.
ИИ научили имитировать высокоуровневые когнитивные способности людей, решая 3 важнейших класса задач, отличающих нас от животных:
1. Оперирование существующими и создание новых визуальных образов, в т.ч. эстетически изысканных и оригинальных.
2. Оперирование существующими и создание новых повествований из грамматически, семантически и прагматически правильных предложений на естественном языке.
3. Увязка обоих модальностей (зрение и язык) для уже существующих и новых элементов.
1й и 2й классы задач ИИ-системы умели решать и до появления DALL-E 2. Теперь же им доступен и 3й класс, причем:
• как для тестов и образов, имеющих смысл с точки зрения людей;
• так и для не имеющих смысла.
Последнее можно проиллюстрировать известным примером Хомского - грамматически-корректным, но бессмысленным предложением: «Бесцветные зеленые идеи яростно спят».
Для DALL-E 2 бессмысленность этой фразы ничуть не мешает вообразить ее визуальный образ (см. рисунок).
Это показывает, что у DALL-E 2 нет пределов воображения.
Даже полное отсутствие в описании смысла (в человеческом понимании) не мешает ИИ-системе создать по описанию визуальное представление бессмыслицы.
Однако предел в имитации разума людей все же есть. Что демонстрируют результаты другой работы.
Второй прорывной результат представлен статьей «Shared computational principles for language processing in humans and deep language models».
Авторы показали, что восприятие речи мозгом происходит ровно по той же схеме, что и в системах машинного обучения, использующих авторегрессионные глубокие языковые модели. Эти модели не знают ничего о правилах языка. Они лишь следуют простым принципам.
1. Непрерывно предсказывают следующее слово.
2. Сопоставляют эти предсказания с входящим словом для вычисления степени неожиданности (ошибки прогноза).
3. Полагаются на контекстуальные детали.
Подобным образом работают:
• NLP-системы типа GPT-3, ничего не понимая в тексте и не зная никаких правил, а лишь предсказывая следующее слово,
• упомянутая DALL-E 2, превращающая тексты в изображения, ничего не зная о правилах их формирования, а лишь предсказывая очередной пиксель.
Фундаментальный вывод этой работы таков.
Хотя язык может играть центральную организующую роль в процессах познания людей, лингвистической компетенции недостаточно для обретения здравого смысла: мышления и понимания.
Иными словами, машина может сколь угодно совершенно владеть языком (проходя тест Тьюринга и эксперимент Китайской комнаты), но всё ее владение – ничто иное, как способность предсказывать следующий элемент текста; и эта способность имеет нулевую ценность для понимания смысла текста и порождения новых значимых текстов на основе интеграции знаний из предыдущих.
Это же справедливо и для визуальных образов. Здесь также прогнозирование очередного пикселя имеет нулевую ценность для понимания и порождения новых осмысленных образов на основе предыдущих.
Т.о., совокупность результатов обеих работ позволяет предположить наличие непреодолимой для статистического машинного обучения пропасти между двумя типами высокоуровневых когнитивных способностей:
A. языковой и зрительной компетенций, приобретаемых в результате машинного обучения;
B. компетенций здравого смысла, приобрести которые в результате машинного обучения современные ИИ-системы не могут.
Вероятной причиной этой пропасти может быть, как вычислительный подход, так и то, что опыт алгоритмически несжимаем.
#AGI
Forwarded from Малоизвестное интересное
Ловушка ЕГЭ для обучения машин еще опасней, чем для людей.
Тед Чан о невозможности создать AGI, пренебрегая законами Гудхарта и Кэмпбелла.
Сегодня в 19:10 по Москве, возможно, лучший фантаст современности Тед Чан расскажет на семинаре ICLR 2022 («От клеток к социумам: коллективное обучение в разных масштабах») о своем видении перспектив цифрового образования для искусственных форм жизни. А этот мой пост – одновременно тизер и резюме предстоящего выступления Теда Чана.
Не удивляйтесь, что 1м из приглашенных спикеров престижного семинара с участием звезд междисциплинарной науки Дэвида Волперта, Михаила (ныне Майкла) Левина и Джессики Флак (все трое – многократные герои моих постов), будет писатель-фантаст. Это вполне заслуженно. Ибо доклад Чана будет развитием идей ставшей знаменитой на весь мир новеллы «Жизненный цикл программных объектов», признаваемой многими ИИ-миждисциплинарщиками мира самым глубоким и проникновенным описанием принципиальной сложности создания человекоподобного ИИ (AGI).
Продолжить чтение (еще 3 мин):
- на Medium https://bit.ly/37MjKEs
- на Яндекс Дзен https://clck.ru/ggnEA
#AGI #КоллективноеОбучение #МашинноеОбучение #ТедЧан
Тед Чан о невозможности создать AGI, пренебрегая законами Гудхарта и Кэмпбелла.
Сегодня в 19:10 по Москве, возможно, лучший фантаст современности Тед Чан расскажет на семинаре ICLR 2022 («От клеток к социумам: коллективное обучение в разных масштабах») о своем видении перспектив цифрового образования для искусственных форм жизни. А этот мой пост – одновременно тизер и резюме предстоящего выступления Теда Чана.
Не удивляйтесь, что 1м из приглашенных спикеров престижного семинара с участием звезд междисциплинарной науки Дэвида Волперта, Михаила (ныне Майкла) Левина и Джессики Флак (все трое – многократные герои моих постов), будет писатель-фантаст. Это вполне заслуженно. Ибо доклад Чана будет развитием идей ставшей знаменитой на весь мир новеллы «Жизненный цикл программных объектов», признаваемой многими ИИ-миждисциплинарщиками мира самым глубоким и проникновенным описанием принципиальной сложности создания человекоподобного ИИ (AGI).
Продолжить чтение (еще 3 мин):
- на Medium https://bit.ly/37MjKEs
- на Яндекс Дзен https://clck.ru/ggnEA
#AGI #КоллективноеОбучение #МашинноеОбучение #ТедЧан
Medium
Ловушка ЕГЭ для обучения машин еще опасней, чем для людей
Тед Чан о невозможности создать AGI, пренебрегая законами Гудхарта и Кэмпбелла
Forwarded from Малоизвестное интересное
Alt Intelligence – это машинная Deep Idiocy.
Мы у развилки на пути к AGI.
Директор по исследованиям DeepMind и профессор Оксфорда Нандо де Фрейтас взорвал мировое сообщество исследователей и разработчиков ИИ.
Мы близки к достижению ИИ человеческого уровня (AGI). Теперь все дело в масштабе! Игра окончена!
— написал он в Твиттере, комментируя создание его компанией мультимодальной нейросети Gato, способной выполнять задачи разного типа, включая создание описаний к изображениям, ведение диалога, укладку блоков с помощью роборуки и аркадные игры. Уже сейчас Gato умеет выполнять 604 типа задач и более половины из них – лучше среднего человека (1).
С Нандо де Фрейтасом не согласились многие авторитеты в области ИИ.
Ян ЛеКун спокойно и рассудительно констатировал 6 очевидных фактов в пользу того, что никакой близости к AGI в обозримом будущем не наблюдается (2).
А Гэри Маркус ответил Нандо куда более развернуто и эмоционально (3).
• Ставка на безграничное масштабирование (Scaling-Über-Alles) пока не является окончательно согласованным путем построения AGI даже внутри самой DeepMind.
• И вообще, пора кончать пудрить мозги общественности, будто замена человеческого интеллекта на альтернативный – машинный (Alt Intelligence) имеет отношение к созданию человекоподобного интеллекта.
В этой словесной баталии, как ни удивительно, у каждой из сторон есть свои крепкие аргументы. Кому интересно, прочтет сам.
Я же лишь продемонстрирую несколькими конкретными примерами, насколько могут оказаться правильными оба противоположных взгляда на перспективы AGI.
Взгляд с позиции Нандо де Фрейтаса:
✔️ AGI уже близко, ибо скорость развития мультимодальных моделей огромна и нарастает.
Примеры определения места съемки по мелким деталям, увязки деталей в общем контексте фото и прогнозирования на основе контекста приведены на рис. (4)
Взгляд с усредненных позиций Яна ЛеКуна и Гэри Маркуса:
✔️ Нынешний путь не ведет к AGI. Потребуются иные пути – весьма не простые, пока не очень ясные и, уж точно, совсем не быстрые.
Вот пара примеров, подтверждающих и иллюстрирующих такую позицию.
Пример 1.
Взгляните мой недавний пост, в котором приведен поразительно рассудительный (на первый взгляд) диалог человека и визуально-языковой модели Flamingo (5).
Однако, предположение о рассудительности модели мгновенно испарится, стоит лишь взглянуть на другой (куда более короткий) диалог с той же моделью о той же фотографии – см. рис. (6). Иллюзия наличия у модели здравого смысла мгновенно исчезает после простого вопроса к ней: «Сколько на фото жирафов?». «Два» - отвечает модель. Ибо ей, - что Обама, что жираф – все одно.
Т.е. это означает, что иллюзия наличия здравого смысла у модели возникает исключительно в результате искусства человека задавать серию наводящих вопросов. Без них степень умственной отсталости модели примерна та же, что у людей в состоянии глубокой идиотии.
Пример 2 продолжает эту иллюстрацию.
Модель видит вот что (7). После чего происходит такой диалог.
1. Flamingo: Это светофор. На нем красный свет.
2. Человек: Ты видишь три круга?
- Flamingo: Да, я вижу три круга.
3. Какого они цвета?
- Красный, синий и зеленый.
4. Где зеленый круг?
- Зеленый круг справа.
5. Действительно? Справа от чего?
- Зеленый круг справа от синего круга.
Можно опускать занавес, ибо все ясно. Даже 0.001% человекоподобного интеллекта у Flamingo нет и в помине. А есть лишь способность статистически обоснованно подстраивать свои ответы под серию вопросов человека.
Мой вердикт – Фрейтас прав в том, что ИИ развивается фантастически быстро. Но Маркус ближе к истине.
#AGI
1 2 3 4 5 6 7
Мы у развилки на пути к AGI.
Директор по исследованиям DeepMind и профессор Оксфорда Нандо де Фрейтас взорвал мировое сообщество исследователей и разработчиков ИИ.
Мы близки к достижению ИИ человеческого уровня (AGI). Теперь все дело в масштабе! Игра окончена!
— написал он в Твиттере, комментируя создание его компанией мультимодальной нейросети Gato, способной выполнять задачи разного типа, включая создание описаний к изображениям, ведение диалога, укладку блоков с помощью роборуки и аркадные игры. Уже сейчас Gato умеет выполнять 604 типа задач и более половины из них – лучше среднего человека (1).
С Нандо де Фрейтасом не согласились многие авторитеты в области ИИ.
Ян ЛеКун спокойно и рассудительно констатировал 6 очевидных фактов в пользу того, что никакой близости к AGI в обозримом будущем не наблюдается (2).
А Гэри Маркус ответил Нандо куда более развернуто и эмоционально (3).
• Ставка на безграничное масштабирование (Scaling-Über-Alles) пока не является окончательно согласованным путем построения AGI даже внутри самой DeepMind.
• И вообще, пора кончать пудрить мозги общественности, будто замена человеческого интеллекта на альтернативный – машинный (Alt Intelligence) имеет отношение к созданию человекоподобного интеллекта.
В этой словесной баталии, как ни удивительно, у каждой из сторон есть свои крепкие аргументы. Кому интересно, прочтет сам.
Я же лишь продемонстрирую несколькими конкретными примерами, насколько могут оказаться правильными оба противоположных взгляда на перспективы AGI.
Взгляд с позиции Нандо де Фрейтаса:
✔️ AGI уже близко, ибо скорость развития мультимодальных моделей огромна и нарастает.
Примеры определения места съемки по мелким деталям, увязки деталей в общем контексте фото и прогнозирования на основе контекста приведены на рис. (4)
Взгляд с усредненных позиций Яна ЛеКуна и Гэри Маркуса:
✔️ Нынешний путь не ведет к AGI. Потребуются иные пути – весьма не простые, пока не очень ясные и, уж точно, совсем не быстрые.
Вот пара примеров, подтверждающих и иллюстрирующих такую позицию.
Пример 1.
Взгляните мой недавний пост, в котором приведен поразительно рассудительный (на первый взгляд) диалог человека и визуально-языковой модели Flamingo (5).
Однако, предположение о рассудительности модели мгновенно испарится, стоит лишь взглянуть на другой (куда более короткий) диалог с той же моделью о той же фотографии – см. рис. (6). Иллюзия наличия у модели здравого смысла мгновенно исчезает после простого вопроса к ней: «Сколько на фото жирафов?». «Два» - отвечает модель. Ибо ей, - что Обама, что жираф – все одно.
Т.е. это означает, что иллюзия наличия здравого смысла у модели возникает исключительно в результате искусства человека задавать серию наводящих вопросов. Без них степень умственной отсталости модели примерна та же, что у людей в состоянии глубокой идиотии.
Пример 2 продолжает эту иллюстрацию.
Модель видит вот что (7). После чего происходит такой диалог.
1. Flamingo: Это светофор. На нем красный свет.
2. Человек: Ты видишь три круга?
- Flamingo: Да, я вижу три круга.
3. Какого они цвета?
- Красный, синий и зеленый.
4. Где зеленый круг?
- Зеленый круг справа.
5. Действительно? Справа от чего?
- Зеленый круг справа от синего круга.
Можно опускать занавес, ибо все ясно. Даже 0.001% человекоподобного интеллекта у Flamingo нет и в помине. А есть лишь способность статистически обоснованно подстраивать свои ответы под серию вопросов человека.
Мой вердикт – Фрейтас прав в том, что ИИ развивается фантастически быстро. Но Маркус ближе к истине.
#AGI
1 2 3 4 5 6 7
Forwarded from Малоизвестное интересное
Cингулярность по-пекински.
В погоне за США Baidu совершенствует ИИ с фантастической скоростью.
Рост интеллектуальной мощности китайского ИИ воистину становится сингулярным – т.е. количественно, - скорость роста немыслимая, а качественно, - предсказать показатели интеллектуальности ИИ хотя бы на полгода уже невозможно.
Как я писал в апреле, по состоянию на март этого года, самый мощный китайский разговорный бот на основе генеративного ИИ ERNIE Bot (разработка лидера китайской индустрии ИИ – компании Baidu) отставал в гонке от лидера – американского ChatGPT, - на целый круг.
Текущее же состояние ERNIE Bot, объявленное позавчера на Wave Summit 2023 в Пекине, способно повергнуть в шок и американского разработчика ChatGPT OpenAI, и его друзей-соперников Microsoft, Google и Anthropic.
Похоже, вместо былого отставания на круг, Китай теперь наступает на пятки США в гонке за мировое первенство в важнейшей в истории человечества технологии – искусственный интеллект (ИИ).
Судите сами.
За прошедшие 4 мес.:
1. ERNIE Bot увеличил производительность обучения в 3 раза, а производительность логического вывода более чем в 30 раз (!);
2. достигнуто 2,1-кратное увеличение длинны цепочки мыслей, позволяющее более глубоко рассуждать, и 8,3-кратное расширение объема знаний, расширяющее общую способность понимания ERNIE Bot;
3. ERNIE Bot теперь не просто способен писать тексты на уровне людей, но и делать это на любой комбинации из 200 китайских литературных жанров: от классической китайской литературы Биджи (筆記) до Чжигуай сяошо (志怪小說) - «рассказы о чудесах», «рассказы о странном» или «записи о необычном» - ставший прообразом американского телесериала «Секретные материалы» жанр китайской литературы, появившийся на 2+ тыс лет раньше телесериала, еще во времена династии Хань.
Для справки: в английской и русской литературе число жанров ощутимо меньше: примерно 30+ жанров (зависит от системы классификации).
Дабы читателю прочувствовать китайские масштабы в области ИИ, приведу еще такой пример: на платформе глубокого обучения Baidu PaddlePaddle работают 8 млн разработчиков, и она обслуживает 220 тыс предприятий, используя 800+ тыс моделей.
Представляя все эти фантастические цифры (ведь всего за 4 месяца!), технический директор Baidu Хайфэн Ван сказал, что основные способности ИИ к пониманию, генерации, рассуждению и памяти приближают человечество к общему искусственному интеллекту (AGI).
Нас ждет «новый рассвет», когда появится AGI. Он уже скоро – сказал Хайфэн Ван.
Вот она какая – сингулярность по-пекински.
#Китай #LLM #AGI
В погоне за США Baidu совершенствует ИИ с фантастической скоростью.
Рост интеллектуальной мощности китайского ИИ воистину становится сингулярным – т.е. количественно, - скорость роста немыслимая, а качественно, - предсказать показатели интеллектуальности ИИ хотя бы на полгода уже невозможно.
Как я писал в апреле, по состоянию на март этого года, самый мощный китайский разговорный бот на основе генеративного ИИ ERNIE Bot (разработка лидера китайской индустрии ИИ – компании Baidu) отставал в гонке от лидера – американского ChatGPT, - на целый круг.
Текущее же состояние ERNIE Bot, объявленное позавчера на Wave Summit 2023 в Пекине, способно повергнуть в шок и американского разработчика ChatGPT OpenAI, и его друзей-соперников Microsoft, Google и Anthropic.
Похоже, вместо былого отставания на круг, Китай теперь наступает на пятки США в гонке за мировое первенство в важнейшей в истории человечества технологии – искусственный интеллект (ИИ).
Судите сами.
За прошедшие 4 мес.:
1. ERNIE Bot увеличил производительность обучения в 3 раза, а производительность логического вывода более чем в 30 раз (!);
2. достигнуто 2,1-кратное увеличение длинны цепочки мыслей, позволяющее более глубоко рассуждать, и 8,3-кратное расширение объема знаний, расширяющее общую способность понимания ERNIE Bot;
3. ERNIE Bot теперь не просто способен писать тексты на уровне людей, но и делать это на любой комбинации из 200 китайских литературных жанров: от классической китайской литературы Биджи (筆記) до Чжигуай сяошо (志怪小說) - «рассказы о чудесах», «рассказы о странном» или «записи о необычном» - ставший прообразом американского телесериала «Секретные материалы» жанр китайской литературы, появившийся на 2+ тыс лет раньше телесериала, еще во времена династии Хань.
Для справки: в английской и русской литературе число жанров ощутимо меньше: примерно 30+ жанров (зависит от системы классификации).
Дабы читателю прочувствовать китайские масштабы в области ИИ, приведу еще такой пример: на платформе глубокого обучения Baidu PaddlePaddle работают 8 млн разработчиков, и она обслуживает 220 тыс предприятий, используя 800+ тыс моделей.
Представляя все эти фантастические цифры (ведь всего за 4 месяца!), технический директор Baidu Хайфэн Ван сказал, что основные способности ИИ к пониманию, генерации, рассуждению и памяти приближают человечество к общему искусственному интеллекту (AGI).
Нас ждет «новый рассвет», когда появится AGI. Он уже скоро – сказал Хайфэн Ван.
Вот она какая – сингулярность по-пекински.
#Китай #LLM #AGI
Forwarded from Малоизвестное интересное
Шансы человечества притормозить и подумать тают.
Разработчики AGI готовы снижать риски, но только не координацией с правительством и между собой.
Ряд ведущих компаний в области ИИ, включая OpenAI, Google DeepMind и Anthropic, поставили перед собой цель создать искусственный общий интеллект (AGI) — системы ИИ, которые достигают или превосходят человеческие возможности в широком диапазоне когнитивных задач.
Преследуя эту цель, разработчики могут создать интеллектуальные системы, внедрение которых повлечет значительные и даже катастрофические риски. Поэтому по всему миру сейчас идет бурное обсуждение способов снижения рисков разработки AGI.
По мнению экспертов, существует около 50 способов снижения таких рисков. Понятно, что применить все 50 в мировом масштабе не реально. Нужно выбрать несколько главных способов минимизации рисков и сфокусироваться на них.
По сути, от того, какие из способов минимизации ИИ-рисков будут признаны приоритетными, зависит будущее человечества.
Только что вышедший отчет центра «Centre for the Governance of AI» анализирует мнения специалистов 51й ведущей команды среди мировых разработчиков AGI на предмет выяснения:
• какие из 50 способов снижения ИИ-рисков они для себя считают более приоритетными, а какие – менее?
• какие из способов снижения ИИ-рисков большинство разработчиков готовы применять, а какие не нравятся большинству разработчиков (вследствие чего рассчитывать на успех этих способов снижения риска вряд ли стоит)?
Итог опроса разработчиков таков.
Менее всего разработчики хотят координировать свои разработки (делясь информацией о том, что собираются делать, а не как сейчас – что уже сделали) с правительством и между собой.
Именно эти способы снижения ИИ-рисков двое из «крестных отцов ИИ» Йошуа Бенжио и Джеффри Хинтон считают ключевыми в создавшейся ситуации.
А саму ситуацию, имхо, точнее всего описал Джек Кларк, первым нажавший в январе 2023 кнопку тревоги на слушаниях по ИИ в Конгрессе США:
«Лошади уже сбежали, а мы спорим, как укреплять ворота конюшни.»
В русском языке для подобных ситуаций есть другая пословица, использованная мною в конце прошлого года. Тогда я написал, что риски ИИ материализуются на наших глазах, и через год будет уже поздно пить Боржоми.
#Вызовы21века #РискиИИ #AGI
Разработчики AGI готовы снижать риски, но только не координацией с правительством и между собой.
Ряд ведущих компаний в области ИИ, включая OpenAI, Google DeepMind и Anthropic, поставили перед собой цель создать искусственный общий интеллект (AGI) — системы ИИ, которые достигают или превосходят человеческие возможности в широком диапазоне когнитивных задач.
Преследуя эту цель, разработчики могут создать интеллектуальные системы, внедрение которых повлечет значительные и даже катастрофические риски. Поэтому по всему миру сейчас идет бурное обсуждение способов снижения рисков разработки AGI.
По мнению экспертов, существует около 50 способов снижения таких рисков. Понятно, что применить все 50 в мировом масштабе не реально. Нужно выбрать несколько главных способов минимизации рисков и сфокусироваться на них.
По сути, от того, какие из способов минимизации ИИ-рисков будут признаны приоритетными, зависит будущее человечества.
Только что вышедший отчет центра «Centre for the Governance of AI» анализирует мнения специалистов 51й ведущей команды среди мировых разработчиков AGI на предмет выяснения:
• какие из 50 способов снижения ИИ-рисков они для себя считают более приоритетными, а какие – менее?
• какие из способов снижения ИИ-рисков большинство разработчиков готовы применять, а какие не нравятся большинству разработчиков (вследствие чего рассчитывать на успех этих способов снижения риска вряд ли стоит)?
Итог опроса разработчиков таков.
Менее всего разработчики хотят координировать свои разработки (делясь информацией о том, что собираются делать, а не как сейчас – что уже сделали) с правительством и между собой.
Именно эти способы снижения ИИ-рисков двое из «крестных отцов ИИ» Йошуа Бенжио и Джеффри Хинтон считают ключевыми в создавшейся ситуации.
А саму ситуацию, имхо, точнее всего описал Джек Кларк, первым нажавший в январе 2023 кнопку тревоги на слушаниях по ИИ в Конгрессе США:
«Лошади уже сбежали, а мы спорим, как укреплять ворота конюшни.»
В русском языке для подобных ситуаций есть другая пословица, использованная мною в конце прошлого года. Тогда я написал, что риски ИИ материализуются на наших глазах, и через год будет уже поздно пить Боржоми.
#Вызовы21века #РискиИИ #AGI
