Они уже здесь…
Кем бы ни выросли «дети инопланетян», - для человечества это беспрецедентный вызов.
Участникам прошедшего симпозиума «They’re Here… The AI moment has arrived» удалось невозможное – пройти между алармистскими и оптимистичными оценками революционных изменений в области ИИ и выделить в них главное.
Последние полгода прошли в безрезультатных попытках оппонентов (заслуженных «отцов ИИ» и выдающихся сегодняшних ученых и инженеров) убедить друг друга, что все либо «хорошо и перспективы чарующи и манящи», либо «все плохо, и конец человечества неизбежен.
Участники симпозиума «Они здесь...» не стали встревать в этот непродуктивный спор, ибо лишь время покажет, кто был ближе к правде.
Вместо этого симпозиум сосредоточился на анализе противоречия.
✔️ С одной стороны, уже много лет знающие люди в мире технологий в душе понимают, что «искусственный интеллект», в его доминирующей маркетинго-пиаровской медийной подаче, — это своего рода грандиозная, долгоиграющая техно-афера: обычная автоматизация, в этот раз, интеллектуальной работы, подаваемая в новой терминологии с разнообразными приправами из социальных фобий. И в Силиконовой долине это было известно знающим людям еще до того, как появилось на свет такое ее название.
✔️ С другой стороны, с каждым месяцем 2023, все более и более кажется, что происходящее в области ИИ бросает вызов основным линиям скептицизма, справедливо относившегося к оценкам прошлых «эпох ИИ», среди которых уже бывали и «зимы», и «вёсны» технологических надежд.
Так что же заставляет нас предполагать, что в этот раз происходит что-то абсолютно неординарное, и в этот раз для человечества действительно наступил «момент ИИ»?
Резюме ответа на этот вопрос сформулировано в открывающем симпозиум тексте «Почему этот ИИ-момент может быть реальным», превосходно написанном Ари Шульман.
Вот семь причин считать, что в этот раз, с появлением ИИ больших языковых моделей (LLM), таки произошла ИИ-революция.
1. Этот ИИ уже не специализированный, а обобщенный.
Доказывать это уже не нужно, после того, как GPT-4 прошел почти все основные стандартизированные академические тесты на замечательных уровнях, получив почти по каждому из них оценки в 80% - 90% процентиле.
2. Он понимает любой человеческий язык.
Такой вывод (безотносительно к определениям понимания) вытекает из его способности к глубоким рассуждениям (см. прекрасный пример его рассуждений при ответе на вопрос «Какой рост был у президента, когда родился Джон Кеннеди?»)
3. Он понимает контекст.
См. пример с вопросом «In the sentence "I left my raincoat in the bathtub because it was still wet", what does "it" refer to?»
4. Он адаптивный и гибкий.
Он быстро приспосабливается к собеседнику и быстро реагирует на изменение ситуации по ходу диалога.
5. Его кажущееся нам понимание мира является гибким, неявным и общим.
Помимо навыков логического вывода, он демонстрирует открытую, гибкую, имплицитную ориентацию на мир, которую мы обычно считаем (для людей) умением подстроиться к изменениям ситуации. И эта «подстройка» (как это нам кажется, но точно никто не знает) позволяет то, что мы обычно считаем умением схватывать смыслы.
6. Его способ познания мира гибок, имплицитен и универсален.
Он способен переводить любые явления (текст, звук, изображения, видео, радиоволны, тепловые измерения …) в кодировку, которой он манипулирует на основе своих глубоких познаний естественных языков.
7. Допускаемые им ошибки - не бессмыслица, а ошибки иного разума.
Он не обладает сознанием и не может быть в полном смысле разумным (в нашем понимании). Но поскольку пп. 1-6 связаны с наличием разума, напрашивается единственный вывод – это иной разум, формирующийся на наших глазах.
Т.е., как и было мною сказано еще полгода назад, - перед нами «ребенок инопланетян». И кем бы ни были эти сущности — они уже здесь.
#LLM #Вызовы21века
Кем бы ни выросли «дети инопланетян», - для человечества это беспрецедентный вызов.
Участникам прошедшего симпозиума «They’re Here… The AI moment has arrived» удалось невозможное – пройти между алармистскими и оптимистичными оценками революционных изменений в области ИИ и выделить в них главное.
Последние полгода прошли в безрезультатных попытках оппонентов (заслуженных «отцов ИИ» и выдающихся сегодняшних ученых и инженеров) убедить друг друга, что все либо «хорошо и перспективы чарующи и манящи», либо «все плохо, и конец человечества неизбежен.
Участники симпозиума «Они здесь...» не стали встревать в этот непродуктивный спор, ибо лишь время покажет, кто был ближе к правде.
Вместо этого симпозиум сосредоточился на анализе противоречия.
✔️ С одной стороны, уже много лет знающие люди в мире технологий в душе понимают, что «искусственный интеллект», в его доминирующей маркетинго-пиаровской медийной подаче, — это своего рода грандиозная, долгоиграющая техно-афера: обычная автоматизация, в этот раз, интеллектуальной работы, подаваемая в новой терминологии с разнообразными приправами из социальных фобий. И в Силиконовой долине это было известно знающим людям еще до того, как появилось на свет такое ее название.
✔️ С другой стороны, с каждым месяцем 2023, все более и более кажется, что происходящее в области ИИ бросает вызов основным линиям скептицизма, справедливо относившегося к оценкам прошлых «эпох ИИ», среди которых уже бывали и «зимы», и «вёсны» технологических надежд.
Так что же заставляет нас предполагать, что в этот раз происходит что-то абсолютно неординарное, и в этот раз для человечества действительно наступил «момент ИИ»?
Резюме ответа на этот вопрос сформулировано в открывающем симпозиум тексте «Почему этот ИИ-момент может быть реальным», превосходно написанном Ари Шульман.
Вот семь причин считать, что в этот раз, с появлением ИИ больших языковых моделей (LLM), таки произошла ИИ-революция.
1. Этот ИИ уже не специализированный, а обобщенный.
Доказывать это уже не нужно, после того, как GPT-4 прошел почти все основные стандартизированные академические тесты на замечательных уровнях, получив почти по каждому из них оценки в 80% - 90% процентиле.
2. Он понимает любой человеческий язык.
Такой вывод (безотносительно к определениям понимания) вытекает из его способности к глубоким рассуждениям (см. прекрасный пример его рассуждений при ответе на вопрос «Какой рост был у президента, когда родился Джон Кеннеди?»)
3. Он понимает контекст.
См. пример с вопросом «In the sentence "I left my raincoat in the bathtub because it was still wet", what does "it" refer to?»
4. Он адаптивный и гибкий.
Он быстро приспосабливается к собеседнику и быстро реагирует на изменение ситуации по ходу диалога.
5. Его кажущееся нам понимание мира является гибким, неявным и общим.
Помимо навыков логического вывода, он демонстрирует открытую, гибкую, имплицитную ориентацию на мир, которую мы обычно считаем (для людей) умением подстроиться к изменениям ситуации. И эта «подстройка» (как это нам кажется, но точно никто не знает) позволяет то, что мы обычно считаем умением схватывать смыслы.
6. Его способ познания мира гибок, имплицитен и универсален.
Он способен переводить любые явления (текст, звук, изображения, видео, радиоволны, тепловые измерения …) в кодировку, которой он манипулирует на основе своих глубоких познаний естественных языков.
7. Допускаемые им ошибки - не бессмыслица, а ошибки иного разума.
Он не обладает сознанием и не может быть в полном смысле разумным (в нашем понимании). Но поскольку пп. 1-6 связаны с наличием разума, напрашивается единственный вывод – это иной разум, формирующийся на наших глазах.
Т.е., как и было мною сказано еще полгода назад, - перед нами «ребенок инопланетян». И кем бы ни были эти сущности — они уже здесь.
#LLM #Вызовы21века
The New Atlantis
They’re Here…
The AI moment has arrived.
Люди и нежить теперь неразличимы.
Дезавуирован самый распространенный обратный тест Тьюринга.
11+ лет назад Яан Таллинн (эстонский миллиардер, программист и инвестор, соучредитель Skype и один из первых инвесторов и членов Совета директоров DeepMind) прочел «Выдающиюся лекцию CSaP» об эволюции, инновациях, искусственном интеллекте (ИИ) и будущем человечества. Лекция была абсолютно пророческой и называлась «Лестница интеллекта - почему будущее может не нуждаться в нас». Таллинн представил модель «Лестница интеллекта», которая описывает развитие агентов, контролирующих будущее Земли по мере вытеснения каждого из них другим агентом, созданным им самим. Homo sapiens – это агент третьей ступени (коих всего 7). Порождение людей - многоликий агент 4й ступени, называемый нами «технический прогресс». Ему предстоит, как пророчил Таллин, создать 5ю ступень – новый вид интеллекта AGI, с которым люди будут сосуществовать на планете. Однако последователи AGI – агенты 6й и 7й ступени, - станут экзистенциальной угрозой для человечества.
Поэтому не удивительно, что сейчас Яан Таллинн соучредитель Центра изучения экзистенциального риска (CSER) в Кембриджском университете. А происходящее ныне в области ИИ он рекомендует рассматривать не как технологическую революцию, а как возникновение на Земле нового небиологического вида – AGI.
Новый небиологический вид совершенно не похож на людей: ни внешне, ни сущностно. Однако с точки зрения интеллектуальных способностей, различить их конкретных представителей с каждым месяцем будут все сложнее.
Подтверждением этого довольно страшного прогноза Таллинна стали результаты авторитетного исследования An Empirical Study & Evaluation of Modern CAPTCHAs. Исследователи убедительно показали, что самый распространенный обратный тест Тьюринга (CAPTCHA), признанный отличать людей от алгоритмов, безвозвратно дезавуирован.
При этом, обратите внимание на скорость эволюции нового небиологического вида.
• Еще в начале этого года, чтобы решить капчу, GPT-4 приходилось обманным путем привлекать человека.
• Спустя полгода, как показало исследование, боты способны превзойти людей как по времени решения, так и по точности, независимо от типа CAPTCHA.
Лишившись капчи, люди становятся алгоритмически неразличимы в цифровой реальности от ИИ. Учитывая же, что в физической реальности неразличимость уже достигнута (см. мой пост «Фиаско 2023»), получается, что люди и нежить теперь вообще неразличимы – ни для людей, ни для алгоритмов.
И следовательно, приближается время, когда на следующей ступени эволюционной лестницы интеллекта «люди должны будут уступить место ИИ».
#ИИ #AGI #Вызовы21века
Дезавуирован самый распространенный обратный тест Тьюринга.
11+ лет назад Яан Таллинн (эстонский миллиардер, программист и инвестор, соучредитель Skype и один из первых инвесторов и членов Совета директоров DeepMind) прочел «Выдающиюся лекцию CSaP» об эволюции, инновациях, искусственном интеллекте (ИИ) и будущем человечества. Лекция была абсолютно пророческой и называлась «Лестница интеллекта - почему будущее может не нуждаться в нас». Таллинн представил модель «Лестница интеллекта», которая описывает развитие агентов, контролирующих будущее Земли по мере вытеснения каждого из них другим агентом, созданным им самим. Homo sapiens – это агент третьей ступени (коих всего 7). Порождение людей - многоликий агент 4й ступени, называемый нами «технический прогресс». Ему предстоит, как пророчил Таллин, создать 5ю ступень – новый вид интеллекта AGI, с которым люди будут сосуществовать на планете. Однако последователи AGI – агенты 6й и 7й ступени, - станут экзистенциальной угрозой для человечества.
Поэтому не удивительно, что сейчас Яан Таллинн соучредитель Центра изучения экзистенциального риска (CSER) в Кембриджском университете. А происходящее ныне в области ИИ он рекомендует рассматривать не как технологическую революцию, а как возникновение на Земле нового небиологического вида – AGI.
Новый небиологический вид совершенно не похож на людей: ни внешне, ни сущностно. Однако с точки зрения интеллектуальных способностей, различить их конкретных представителей с каждым месяцем будут все сложнее.
Подтверждением этого довольно страшного прогноза Таллинна стали результаты авторитетного исследования An Empirical Study & Evaluation of Modern CAPTCHAs. Исследователи убедительно показали, что самый распространенный обратный тест Тьюринга (CAPTCHA), признанный отличать людей от алгоритмов, безвозвратно дезавуирован.
При этом, обратите внимание на скорость эволюции нового небиологического вида.
• Еще в начале этого года, чтобы решить капчу, GPT-4 приходилось обманным путем привлекать человека.
• Спустя полгода, как показало исследование, боты способны превзойти людей как по времени решения, так и по точности, независимо от типа CAPTCHA.
Лишившись капчи, люди становятся алгоритмически неразличимы в цифровой реальности от ИИ. Учитывая же, что в физической реальности неразличимость уже достигнута (см. мой пост «Фиаско 2023»), получается, что люди и нежить теперь вообще неразличимы – ни для людей, ни для алгоритмов.
И следовательно, приближается время, когда на следующей ступени эволюционной лестницы интеллекта «люди должны будут уступить место ИИ».
#ИИ #AGI #Вызовы21века
Душа ИИ, дети инопланетян, когнитивные гаджеты … что дальше?
Через 2-3 года искусственный интеллект (ИИ) станет для большинства из нас даже более необходим и незаменим, чем сегодня смартфон. На работе и отдыхе, учебе и развлечениях, при планировании отпуска и карьеры, при принятии большинства решений … - наипервейшую роль для нас будут играть информация, рекомендации и советы наших персональных и общедоступных ИИ.
Но что это (или кто это) – ИИ?
• Алгоритм, машина, облачный сервис, новый когнитивный гаджет людей?
• Умный инструмент или иной разум, способный обманывать и страдать?
• Чем он отличается от нас? И чем вообще могут отличаться разные типы разумов?
• Во что ИИ может превратить жизнь каждого отдельного человека, когда станет общедоступным 6G?
• Наконец, кем может стать ИИ для всего человечества: Богом из машины, «стариком из облака» вместо «старика на облаке», новым носителем высшего интеллекта на Земле, идущим на смену Homo sapiens?
Ответы на эти вопросы (существующие сегодня лишь в форме предположений) жизненно важны для каждого из нас. Ибо они непосредственно касаются того, какой станет наша жизнь в самом ближайшем будущем.
И хотя тема ИИ одна из сложнейших в междисциплинарной науке, ответы на поставленные вопросы нужны далеко не только ученым, но и всем людям, а значит, - в общедоступной для понимания форме.
Этому и посвящен наш разговор на канале Константина Образцова в рубрике #ЕдинаяТеорияВсего
https://youtu.be/d5CRQ8fVDK8?si=_qwpCro4G2EBEBZS
Всего за час мы успели поговорить о многом:
00:00 Представление собеседников и тест Тьюринга на «человечность»
05:00 Что такое искусственный интеллект?
06:30 ChatGPT сам изучил китайский язык
07:30 У искусственного интеллекта есть душа: он жалуется на жизнь
10:05 Ультразвук, щелчки и другие способы общения
11:33 Чем грозит человечеству неуправляемый искусственный интеллект?
13:08 Сепульки Станислава Лема – что это?
14:35 Прогноз развития детей инопланетян
16:58 Алгоритмическое сжатие
17:50 Мотивация искусственного интеллекта
20:27 Реактивное развитие искусственного интеллекта
21:00 Что такое сингулярность?
22:14 Есть ли тормоз развития искусственного интеллекта?
25:04 Единые моральные правила для искусственного интеллекта
31:32 Человек – носитель интеллекта или эволюционная ступень?
32:56 Четыре типа интеллекта
33:58 Кто самый умный из летающих?
35:10 Мозги осьминога распределены по его щупальцам
36:47 Цифровая среда может моделировать любую другую
39:10 Искусственный интеллект креативнее креативщиков
40:32 Новая профессия ближайшего будущего
44:06 Искусственный интеллект будет ставить диагнозы вместо врачей
47:46 За сколько лет можно из обезьяны сделать человека?
49:30 Алгоритм принятия решений: машины всё делают за нас
51:06 Когнитивные гаджеты
53:23 Есть ли у искусственного интеллекта воля?
56:37 Два искусственных интеллекта сыграли 48 миллионов шахматных партий за сутки
57:50 Искусственный интеллект умеет врать
1:00:00 Когда появится 6G?
1:01:14 Как будут выглядеть путешествия в будущем?
1:06:12 Заключение
P.S. Буду надеяться, что оговорка Константина на 234й секунде не будет воспринята читателями моего канала, как оговорка по Фрейду 😊
#ИИ #AGI #Вызовы21века
Через 2-3 года искусственный интеллект (ИИ) станет для большинства из нас даже более необходим и незаменим, чем сегодня смартфон. На работе и отдыхе, учебе и развлечениях, при планировании отпуска и карьеры, при принятии большинства решений … - наипервейшую роль для нас будут играть информация, рекомендации и советы наших персональных и общедоступных ИИ.
Но что это (или кто это) – ИИ?
• Алгоритм, машина, облачный сервис, новый когнитивный гаджет людей?
• Умный инструмент или иной разум, способный обманывать и страдать?
• Чем он отличается от нас? И чем вообще могут отличаться разные типы разумов?
• Во что ИИ может превратить жизнь каждого отдельного человека, когда станет общедоступным 6G?
• Наконец, кем может стать ИИ для всего человечества: Богом из машины, «стариком из облака» вместо «старика на облаке», новым носителем высшего интеллекта на Земле, идущим на смену Homo sapiens?
Ответы на эти вопросы (существующие сегодня лишь в форме предположений) жизненно важны для каждого из нас. Ибо они непосредственно касаются того, какой станет наша жизнь в самом ближайшем будущем.
И хотя тема ИИ одна из сложнейших в междисциплинарной науке, ответы на поставленные вопросы нужны далеко не только ученым, но и всем людям, а значит, - в общедоступной для понимания форме.
Этому и посвящен наш разговор на канале Константина Образцова в рубрике #ЕдинаяТеорияВсего
https://youtu.be/d5CRQ8fVDK8?si=_qwpCro4G2EBEBZS
Всего за час мы успели поговорить о многом:
00:00 Представление собеседников и тест Тьюринга на «человечность»
05:00 Что такое искусственный интеллект?
06:30 ChatGPT сам изучил китайский язык
07:30 У искусственного интеллекта есть душа: он жалуется на жизнь
10:05 Ультразвук, щелчки и другие способы общения
11:33 Чем грозит человечеству неуправляемый искусственный интеллект?
13:08 Сепульки Станислава Лема – что это?
14:35 Прогноз развития детей инопланетян
16:58 Алгоритмическое сжатие
17:50 Мотивация искусственного интеллекта
20:27 Реактивное развитие искусственного интеллекта
21:00 Что такое сингулярность?
22:14 Есть ли тормоз развития искусственного интеллекта?
25:04 Единые моральные правила для искусственного интеллекта
31:32 Человек – носитель интеллекта или эволюционная ступень?
32:56 Четыре типа интеллекта
33:58 Кто самый умный из летающих?
35:10 Мозги осьминога распределены по его щупальцам
36:47 Цифровая среда может моделировать любую другую
39:10 Искусственный интеллект креативнее креативщиков
40:32 Новая профессия ближайшего будущего
44:06 Искусственный интеллект будет ставить диагнозы вместо врачей
47:46 За сколько лет можно из обезьяны сделать человека?
49:30 Алгоритм принятия решений: машины всё делают за нас
51:06 Когнитивные гаджеты
53:23 Есть ли у искусственного интеллекта воля?
56:37 Два искусственных интеллекта сыграли 48 миллионов шахматных партий за сутки
57:50 Искусственный интеллект умеет врать
1:00:00 Когда появится 6G?
1:01:14 Как будут выглядеть путешествия в будущем?
1:06:12 Заключение
P.S. Буду надеяться, что оговорка Константина на 234й секунде не будет воспринята читателями моего канала, как оговорка по Фрейду 😊
#ИИ #AGI #Вызовы21века
Что нужно, чтобы e-Сапиенсы искоренили е-Неандертальцев?
Спор Яна ЛеКуна и Джуда Перла по ключевому вопросу выживания человечества.
Всего за несколько месяцев вопрос об экзистенциальных последствиях появления на Земле искусственного сверхразума кардинально изменил постановку.
• Более полувека гипотетическая возможность уничтожения людей сверхразумом была преимущественно хлебом для Голливуда, тогда как исследователи и инженеры обсуждали куда более практический вопрос – а можно ли вообще создать сверхразум в обозримом будущем?
• В этом году вопрос о возможности появления на Земле сверхразума перестал быть гипотетическим. И потому вопрос о повторении истории Неандертальцев, искорененных новым более разумным видом Сапиенсов начали обсуждать не только в Голливуде, но и в научно-инженерной среде.
Состоявшийся на днях заочный спор двух признанных в мире экспертов в этой области Яна ЛеКуна и Джуда Перла – отличная иллюстрация полярных позиций в этом вопросе.
Позиция Яна ЛеКуна: «Высший вид» — не самый умный, но тот, который определяет общую повестку дня. И это будем мы.
Подробней:
«Как только системы искусственного интеллекта станут более разумными, чем люди, мы *все еще* будем «высшим видом». Приравнивание интеллекта к доминированию — это главная ошибка всей дискуссии об экзистенциальном риске ИИ. Это просто неправильно даже *внутри* человеческого рода. Ведь *не* самые умные среди нас доминируют над другими. Что еще более важно, не самые умные среди нас *хотят* доминировать над другими и определяют повестку дня. Мы подчиняемся своим побуждениям, заложенным в нас эволюцией. Поскольку эволюция сделала нас социальным видом с иерархической социальной структурой, у некоторых из нас есть стремление доминировать, а у других — нет. Но это стремление не имеет абсолютно ничего общего с интеллектом: схожие инстинкты есть у шимпанзе, бабуинов и волков. Но орангутанги этого не делают, потому что они не являются социальным видом. И они чертовски умны. Системы искусственного интеллекта станут умнее людей, но они по-прежнему будут подчиняться нам. Точно так же члены штаба политиков или бизнес-лидеров часто умнее своего лидера. Но их лидер по-прежнему командует, и большинство сотрудников не имеют желания занять их место. Мы создадим ИИ, который будет похож на суперумного, но не доминирующего сотрудника. «Высший вид» — не самый умный, но тот, который определяет общую повестку дня. Это будем мы.
Позиция Джуда Перла: Для мотивации сверхразума истребить людей требуется выполнение одного простого условия.
Подробней:
«Не убедительно. Все, что нужно, — это чтобы один из вариантов AGI столкнулась со средой, в которой доминирование имеет ценность для выживания, и, упс, - e-Сапиенсы искоренят е-Неандертальцам и передадут гены своим потомкам»
Полагаю, каждому стоит подумать, кто здесь прав. Ведь ставка в этом вопросе максимально возможная - судьба человечества.
#Вызовы21века #РискиИИ #Хриски
Спор Яна ЛеКуна и Джуда Перла по ключевому вопросу выживания человечества.
Всего за несколько месяцев вопрос об экзистенциальных последствиях появления на Земле искусственного сверхразума кардинально изменил постановку.
• Более полувека гипотетическая возможность уничтожения людей сверхразумом была преимущественно хлебом для Голливуда, тогда как исследователи и инженеры обсуждали куда более практический вопрос – а можно ли вообще создать сверхразум в обозримом будущем?
• В этом году вопрос о возможности появления на Земле сверхразума перестал быть гипотетическим. И потому вопрос о повторении истории Неандертальцев, искорененных новым более разумным видом Сапиенсов начали обсуждать не только в Голливуде, но и в научно-инженерной среде.
Состоявшийся на днях заочный спор двух признанных в мире экспертов в этой области Яна ЛеКуна и Джуда Перла – отличная иллюстрация полярных позиций в этом вопросе.
Позиция Яна ЛеКуна: «Высший вид» — не самый умный, но тот, который определяет общую повестку дня. И это будем мы.
Подробней:
«Как только системы искусственного интеллекта станут более разумными, чем люди, мы *все еще* будем «высшим видом». Приравнивание интеллекта к доминированию — это главная ошибка всей дискуссии об экзистенциальном риске ИИ. Это просто неправильно даже *внутри* человеческого рода. Ведь *не* самые умные среди нас доминируют над другими. Что еще более важно, не самые умные среди нас *хотят* доминировать над другими и определяют повестку дня. Мы подчиняемся своим побуждениям, заложенным в нас эволюцией. Поскольку эволюция сделала нас социальным видом с иерархической социальной структурой, у некоторых из нас есть стремление доминировать, а у других — нет. Но это стремление не имеет абсолютно ничего общего с интеллектом: схожие инстинкты есть у шимпанзе, бабуинов и волков. Но орангутанги этого не делают, потому что они не являются социальным видом. И они чертовски умны. Системы искусственного интеллекта станут умнее людей, но они по-прежнему будут подчиняться нам. Точно так же члены штаба политиков или бизнес-лидеров часто умнее своего лидера. Но их лидер по-прежнему командует, и большинство сотрудников не имеют желания занять их место. Мы создадим ИИ, который будет похож на суперумного, но не доминирующего сотрудника. «Высший вид» — не самый умный, но тот, который определяет общую повестку дня. Это будем мы.
Позиция Джуда Перла: Для мотивации сверхразума истребить людей требуется выполнение одного простого условия.
Подробней:
«Не убедительно. Все, что нужно, — это чтобы один из вариантов AGI столкнулась со средой, в которой доминирование имеет ценность для выживания, и, упс, - e-Сапиенсы искоренят е-Неандертальцам и передадут гены своим потомкам»
Полагаю, каждому стоит подумать, кто здесь прав. Ведь ставка в этом вопросе максимально возможная - судьба человечества.
#Вызовы21века #РискиИИ #Хриски
Смена носителя высшего интеллекта неизбежна.
И этого не бояться надо, а планово к этому готовиться.
Обращение к человечеству Выдающегося ученого-исследователя DeepMind – одного из основателей обучения с подкреплением профессора Ричада Саттона.
В недавнем интервью Кристофер Нолан – главный режиссер становящегося на глазах культовым фильма «Оппенгеймер», - сказал, что он видит «очень сильные параллели» между Оппенгеймером и учёными, обеспокоенными ИИ.
Напомню, что уже в конце 1947 Оппенгеймер начал бить в набат, призывая к общемировому контролю над атомной энергией. А когда после войны, будучи советником Комиссии по атомной энергии, ответственной за ядерные исследования в США, Оппенгеймер выступил против разработки водородной бомбы, его сочли неблагонадежным и лишили допуска к секретной информации, а вместе с этим — возможности заниматься ядерными исследованиями.
В наше время, один из «отцов основателей» технологий ИИ Джеффри Хинтон сам принял решение уйти с заслуженно высокой исследовательской позиции в Google, чтобы открыто говорить о рисках ИИ, без оглядок на своих работодателей.
Другой «отец основатель» Ричад Саттон решил так же открыто обратиться к человечеству, не уходя с высшего научно-исследовательского поста в Google DeepMind.
В своем 17-ти минутном обращении «ИИ наследники», прозвучавшем на World Artificial Intelligence Conference 2023 в Шанхае, Саттон говорит о следующем.
• Мы находимся в процессе величайшего эволюционного перехода на планете Земля, а то и во Вселенной – смена носителя высшего интеллекта.
• Источником величайших рисков этого перехода могут стать наши страхи перед столь тектоническим процессом.
• Попытки «откатить» назад или поставить все под контроль не сработают.
• Единственный продуктивный путь – осознать неизбежность и следовать трезвому продуманному плану передачи дел наследникам.
Такой план – The Alberta Plan, - разработан под руководством Саттона в Alberta Machine Intelligence Institute DeepMind Alberta.
Ну а пока «отцы-основатели» пытаются достучаться до общества, все идет по накатанной, и никто особо не заморачивается. Ведь в наше время, чтобы «отцы основатели» не мешались под ногами, уже не нужно объявлять их, как Оппенгеймера, неблагонадежными. Достаточно иронично-сочувствующих замечаний с масс-медиа – мол, старость никого не щадит, даже «отцов-основателей».
Только вряд ли про нас наши наследники фильм типа «Оппенгеймер» снимут. А если что-то и снимут, то типа этого.
#AGI #Вызовы21века
И этого не бояться надо, а планово к этому готовиться.
Обращение к человечеству Выдающегося ученого-исследователя DeepMind – одного из основателей обучения с подкреплением профессора Ричада Саттона.
В недавнем интервью Кристофер Нолан – главный режиссер становящегося на глазах культовым фильма «Оппенгеймер», - сказал, что он видит «очень сильные параллели» между Оппенгеймером и учёными, обеспокоенными ИИ.
Напомню, что уже в конце 1947 Оппенгеймер начал бить в набат, призывая к общемировому контролю над атомной энергией. А когда после войны, будучи советником Комиссии по атомной энергии, ответственной за ядерные исследования в США, Оппенгеймер выступил против разработки водородной бомбы, его сочли неблагонадежным и лишили допуска к секретной информации, а вместе с этим — возможности заниматься ядерными исследованиями.
В наше время, один из «отцов основателей» технологий ИИ Джеффри Хинтон сам принял решение уйти с заслуженно высокой исследовательской позиции в Google, чтобы открыто говорить о рисках ИИ, без оглядок на своих работодателей.
Другой «отец основатель» Ричад Саттон решил так же открыто обратиться к человечеству, не уходя с высшего научно-исследовательского поста в Google DeepMind.
В своем 17-ти минутном обращении «ИИ наследники», прозвучавшем на World Artificial Intelligence Conference 2023 в Шанхае, Саттон говорит о следующем.
• Мы находимся в процессе величайшего эволюционного перехода на планете Земля, а то и во Вселенной – смена носителя высшего интеллекта.
• Источником величайших рисков этого перехода могут стать наши страхи перед столь тектоническим процессом.
• Попытки «откатить» назад или поставить все под контроль не сработают.
• Единственный продуктивный путь – осознать неизбежность и следовать трезвому продуманному плану передачи дел наследникам.
Такой план – The Alberta Plan, - разработан под руководством Саттона в Alberta Machine Intelligence Institute DeepMind Alberta.
Ну а пока «отцы-основатели» пытаются достучаться до общества, все идет по накатанной, и никто особо не заморачивается. Ведь в наше время, чтобы «отцы основатели» не мешались под ногами, уже не нужно объявлять их, как Оппенгеймера, неблагонадежными. Достаточно иронично-сочувствующих замечаний с масс-медиа – мол, старость никого не щадит, даже «отцов-основателей».
Только вряд ли про нас наши наследники фильм типа «Оппенгеймер» снимут. А если что-то и снимут, то типа этого.
#AGI #Вызовы21века
YouTube
AI Succession
This video about the inevitable succession from humanity to AI was pre-recorded for presentation at the World Artificial Intelligence Conference in Shanghai on July 7, 2023.
Slides and other videos by Rich Sutton available at https://www.incompleteideas.n…
Slides and other videos by Rich Sutton available at https://www.incompleteideas.n…
ИИ-деятель – это минное поле для человечества.
Питер Тиль, Мустафа Сулейман и Юваль Харари о трёх сценариях ближайшего будущего.
Эти два публичных выступления (дебаты Сулейман с Харари и соло Тиля) имеет смысл смешать, но не взбалтывать.
Смешать, - чтобы увидеть ситуацию со всех трех сторон: оптимист – алармист – прагматик.
Не взбалтывать, - потому что каждая из точек зрения, по сути, представляет один из классических тройственных сценариев того, как могут пойти дела:
• Best case (оптимист)
• Worst case (алармист)
• Likely case (прагматик)
Если у вас есть полтора часа, стоит послушать оба выступления.
Если же нет – вот мой спойлер.
Оптимист Сулейман и алармист Харари, на удивление, не только одинаково видят ближайшие 5 лет, но и одинаково понимают колоссальный уровень рисков уже на этом временном горизонте.
• В ближайшие 5 лет ИИ выйдет на свою 3ю фазу развития: 1я была ИИ-классификатор (до революции генеративного ИИ); 2я фаза ИИ-креатор началась после революции генИИ; 3я фаза ИИ-деятель позволит ИИ вести реальную деятельность в реальном мире (например, получив от человека посевное финансирование, создать стартап, придумать и разработать продукт или услугу, а затем продать стартап, заработав в 30 раз больше вложенного).
• Появление на Земле ИИ-деятелей потенциально очень опасно (с таким уровнем риска человечество не сталкивалось).
Ну а в части решения проблемы суперрисков, мнения расходятся:
• оптимист считает, что все проблемы здесь можно решить простым «запретом на профессии» (уже на стадии разработки запретить ИИ заниматься определенной деятельностью – напр., усовершенствовать себя);
• алармист сомневается, что такой запрет решит проблему (ибо можно запретить ребенку ходить в определенные места или направления, но если семья живет посередине минного поля (карты минирования которого нет), никакие запреты, рано или поздно, не помогут).
Прагматик Тиль не заморачивается с прогнозами деятельного или какого-то еще ИИ.
Зачем, если будущее непредсказуемо? Достаточно проанализировать, что уже есть и куда развитие ИИ уже привело. И тут наблюдаются всего два варианта:
• Децентрализованное общество ТикТока, в котором рулят алгоритмы
• Централизованное общество тотальной слежки, в котором рулит тот, у кого власть.
Оба варианта одинаково светят и коммунистическому Китаю, и либеральным США. Так что единственный вопрос - какой из названных типов организации общества загнется первым.
Есть, наверное, и серединный путь между этими двумя вариантами. Только Тиль его не знает. И к сожалению, не только он. Такой вот Likely case получается.
#Вызовы21века #РискиИИ
Питер Тиль, Мустафа Сулейман и Юваль Харари о трёх сценариях ближайшего будущего.
Эти два публичных выступления (дебаты Сулейман с Харари и соло Тиля) имеет смысл смешать, но не взбалтывать.
Смешать, - чтобы увидеть ситуацию со всех трех сторон: оптимист – алармист – прагматик.
Не взбалтывать, - потому что каждая из точек зрения, по сути, представляет один из классических тройственных сценариев того, как могут пойти дела:
• Best case (оптимист)
• Worst case (алармист)
• Likely case (прагматик)
Если у вас есть полтора часа, стоит послушать оба выступления.
Если же нет – вот мой спойлер.
Оптимист Сулейман и алармист Харари, на удивление, не только одинаково видят ближайшие 5 лет, но и одинаково понимают колоссальный уровень рисков уже на этом временном горизонте.
• В ближайшие 5 лет ИИ выйдет на свою 3ю фазу развития: 1я была ИИ-классификатор (до революции генеративного ИИ); 2я фаза ИИ-креатор началась после революции генИИ; 3я фаза ИИ-деятель позволит ИИ вести реальную деятельность в реальном мире (например, получив от человека посевное финансирование, создать стартап, придумать и разработать продукт или услугу, а затем продать стартап, заработав в 30 раз больше вложенного).
• Появление на Земле ИИ-деятелей потенциально очень опасно (с таким уровнем риска человечество не сталкивалось).
Ну а в части решения проблемы суперрисков, мнения расходятся:
• оптимист считает, что все проблемы здесь можно решить простым «запретом на профессии» (уже на стадии разработки запретить ИИ заниматься определенной деятельностью – напр., усовершенствовать себя);
• алармист сомневается, что такой запрет решит проблему (ибо можно запретить ребенку ходить в определенные места или направления, но если семья живет посередине минного поля (карты минирования которого нет), никакие запреты, рано или поздно, не помогут).
Прагматик Тиль не заморачивается с прогнозами деятельного или какого-то еще ИИ.
Зачем, если будущее непредсказуемо? Достаточно проанализировать, что уже есть и куда развитие ИИ уже привело. И тут наблюдаются всего два варианта:
• Децентрализованное общество ТикТока, в котором рулят алгоритмы
• Централизованное общество тотальной слежки, в котором рулит тот, у кого власть.
Оба варианта одинаково светят и коммунистическому Китаю, и либеральным США. Так что единственный вопрос - какой из названных типов организации общества загнется первым.
Есть, наверное, и серединный путь между этими двумя вариантами. Только Тиль его не знает. И к сожалению, не только он. Такой вот Likely case получается.
#Вызовы21века #РискиИИ
YouTube
Mustafa Suleyman & Yuval Noah Harari -FULL DEBATE- What does the AI revolution mean for our future?
How will AI impact our immediate and near future? Can the technology be controlled, and does it have agency? Watch DeepMind co-founder Mustafa Suleyman and Yuval Noah Harari debate these questions, with The Economist Editor-in-Chief Zanny Minton-Beddoes.…
Стрелять и сажать – не поможет.
Как быть, если мир станет гигантским наркокартелем?
Многие из обсуждаемых сейчас мировых сценариев будущего обещают хаос и насилие в мировом масштабе. Есть среди них и такой, как превращение мира в гигантский наркокартель, с которым бессильны что-либо сделать правительства отдельных стран.
Как не допустить развития мира по подобному сценарию «Тотального наркокартеля» (в любой разновидности: от бионаркотиков до электронных, как в «Хищных вещах века» Стругацких) – вопрос, не менее актуальный, чем как не дать миру скатиться в тотальный цифровой Гулаг.
В этой связи совместное исследование Венского Центра науки о сложности и Университета Тренто (Италия) – первая попытка ответить на данный вопрос путем моделирования вариантов противодействия сценарию «Тотальный наркокартель». Моделирование проводилось на обширных данных о наркокартелях Мексики, ибо эта страна уже живет в сценарии «Тотальный наркокартель», где 15 лет наблюдается ошеломляющий рост уровня насилия (количество убийств выросло более чем на 300%).
Моделировались два основных варианта противодействия сценарию «Тотальный наркокартель»:
1. Реактивно-силовой (отстрел и посадки)
2. Превентивный (противодействие вербовке новых членов)
Так вот. Моделирование показало бесперспективность 1-го варианта.
✔️ Никакой уровень отстрелов и посадок не поможет. Численность картелей все равно будет расти быстрее.
✔️ Лишь постоянные усилия, направленные на снижение объемов вербовки способны привести к сокращению численности картелей в долгосрочной перспективе.
Есть еще весьма перспективный вариант - стравливание картелей, который небезуспешно пытается проводить ЦРУ. Но в этом варианте свои непростые заморочки (см. сериал «Нарко»).
P.S. Тем, кому этот сценарий кажется маловероятным, напомню слова Б.Н. Стругацкого, цитированные мною в предыдущем посте на эту тему :
«Мир хищных вещей» — это, похоже, как раз то, что ждёт нас «за поворотом, в глубине». И надо быть к этому готовым.
И хотя “картели электронных наркотиков” имеют свою специфику, но они уже существуют, и не далек день, когда они обойдут по выручке наркокартели Латинской Америки.
#Преступность #Будущее #Вызовы21века #Прогнозирование
Как быть, если мир станет гигантским наркокартелем?
Многие из обсуждаемых сейчас мировых сценариев будущего обещают хаос и насилие в мировом масштабе. Есть среди них и такой, как превращение мира в гигантский наркокартель, с которым бессильны что-либо сделать правительства отдельных стран.
Как не допустить развития мира по подобному сценарию «Тотального наркокартеля» (в любой разновидности: от бионаркотиков до электронных, как в «Хищных вещах века» Стругацких) – вопрос, не менее актуальный, чем как не дать миру скатиться в тотальный цифровой Гулаг.
В этой связи совместное исследование Венского Центра науки о сложности и Университета Тренто (Италия) – первая попытка ответить на данный вопрос путем моделирования вариантов противодействия сценарию «Тотальный наркокартель». Моделирование проводилось на обширных данных о наркокартелях Мексики, ибо эта страна уже живет в сценарии «Тотальный наркокартель», где 15 лет наблюдается ошеломляющий рост уровня насилия (количество убийств выросло более чем на 300%).
Моделировались два основных варианта противодействия сценарию «Тотальный наркокартель»:
1. Реактивно-силовой (отстрел и посадки)
2. Превентивный (противодействие вербовке новых членов)
Так вот. Моделирование показало бесперспективность 1-го варианта.
✔️ Никакой уровень отстрелов и посадок не поможет. Численность картелей все равно будет расти быстрее.
✔️ Лишь постоянные усилия, направленные на снижение объемов вербовки способны привести к сокращению численности картелей в долгосрочной перспективе.
Есть еще весьма перспективный вариант - стравливание картелей, который небезуспешно пытается проводить ЦРУ. Но в этом варианте свои непростые заморочки (см. сериал «Нарко»).
P.S. Тем, кому этот сценарий кажется маловероятным, напомню слова Б.Н. Стругацкого, цитированные мною в предыдущем посте на эту тему :
«Мир хищных вещей» — это, похоже, как раз то, что ждёт нас «за поворотом, в глубине». И надо быть к этому готовым.
И хотя “картели электронных наркотиков” имеют свою специфику, но они уже существуют, и не далек день, когда они обойдут по выручке наркокартели Латинской Америки.
#Преступность #Будущее #Вызовы21века #Прогнозирование
На Земле появился самосовершенствующийся ИИ.
Он эволюционирует путем мутаций в миллиарды раз быстрее людей.
Ну вот и свершилось. Разработчики Google DeepMind представили прорывную разработку – «Promptbreeder (PB): самореферентное самосовершенствование через ускоренную эволюцию».
Чем умнее текстовые подсказки получает большая языковая модель (LLM), тем умнее будут её ответы на вопросы и предлагаемые ею решения. Поэтому создание оптимальной стратегии подсказок - сегодня задача №1 при использовании LLM. Популярные стратегии подсказок ("цепочка мыслей", “планируй и решай” и тд), могут значительно улучшить способности LLM к рассуждениям. Но такие стратегии, разработанные вручную, часто неоптимальны.
PB решает эту проблему, используя эволюционный механизм итеративного улучшения подсказок. Колоссальная хитрость этого механизма в том, что он не просто улучшает подсказки, а с каждым новым поколением улучшает свою способность улучшать подсказки.
Работает следующая эволюционная схема.
1. Управляемый LLM, PB генерирует популяцию популяцию единиц эволюции, каждая из которых состоит из 2х «подсказок-решений» и 1й «подсказки мутаций».
2. Затем запускается бинарный турнирный генетический алгоритм для оценки пригодности мутантов на обучающем множестве, чтобы увидеть, какие из них работают лучше.
3. Циклически переходя к п. 1, этот процесс превращается в эволюцию поколений «подсказок-решений».
В течение нескольких поколений PB мутирует как «подсказки-решений», так и «подсказки мутаций», используя пять различных классов операторов мутации.
Фишка схемы в том, что со временем мутирующие «подсказки-решения» делаются все умнее. Это обеспечивается генерацией «подсказок мутаций» — инструкций о том, как мутировать, чтобы лучше улучшать «подсказки-решения».
Таким образом, PB постоянно совершенствуется. Это самосовершенствующийся, самореферентный цикл с естественным языком в качестве субстрата. Никакой тонкой настройки нейронной сети не требуется. В результате процесса получаются специализированные подсказки, оптимизированные для конкретных приложений.
Первые эксперименты показали, что в математических и логических задачах, а также в задачах на здравый смысл и классификацию языка (напр. выявление языка вражды) PB превосходит все иные современные методы подсказок.
Сейчас PB тетируют на предмет его пригодности для выстраивания целого "мыслительного процесса": например, стратегии с N подсказками, в которой подсказки применяются условно, а не безусловно. Это позволит применять PB для разработки препрограмм LLM-политик, конкурирующих между собой в состязательном сократовском диалоге.
Почему это большой прорыв.
Создание самореферентных самосовершенствующихся систем является Святым Граалем исследований ИИ. Но предыдущие самореферентные подходы основывались на дорогостоящих обновлениях параметров модели, что стопорилось при масштабировании из-за колоссального количества параметров в современных LLM, не говоря уже о том, как это делать с параметрами, скрытыми за API.
Значит ли, что самосовершенствующийся ИИ вот-вот превзойдет людей?
Пока нет. Ибо PB остается ограниченным по сравнению с неограниченностью человеческих мыслительных процессов.
• Топология подсказок остается фиксированной - PB адаптирует только содержание подсказки, но не сам алгоритм подсказки. Одна из интерпретаций мышления заключается в том, что оно является реконфигурируемым открытым самоподсказывающим процессом. Если это так, то каким образом формировать сложные мыслительные стратегии, как их генерировать и оценивать - пока не ясно.
• Простой эволюционный процесс представляет собой одну из рамок, в которой может развиваться стратегия мышления. Человеческий опыт свидетельствует о наличии множества перекрывающихся иерархических селективных процессов. Помимо языка, наше мышление включает в себя интонации, образы и т.д., что представляет собой мультимодальную систему. А этого у PB нет… пока.
#ИИ #LLM #Вызовы21века #AGI
Он эволюционирует путем мутаций в миллиарды раз быстрее людей.
Ну вот и свершилось. Разработчики Google DeepMind представили прорывную разработку – «Promptbreeder (PB): самореферентное самосовершенствование через ускоренную эволюцию».
Чем умнее текстовые подсказки получает большая языковая модель (LLM), тем умнее будут её ответы на вопросы и предлагаемые ею решения. Поэтому создание оптимальной стратегии подсказок - сегодня задача №1 при использовании LLM. Популярные стратегии подсказок ("цепочка мыслей", “планируй и решай” и тд), могут значительно улучшить способности LLM к рассуждениям. Но такие стратегии, разработанные вручную, часто неоптимальны.
PB решает эту проблему, используя эволюционный механизм итеративного улучшения подсказок. Колоссальная хитрость этого механизма в том, что он не просто улучшает подсказки, а с каждым новым поколением улучшает свою способность улучшать подсказки.
Работает следующая эволюционная схема.
1. Управляемый LLM, PB генерирует популяцию популяцию единиц эволюции, каждая из которых состоит из 2х «подсказок-решений» и 1й «подсказки мутаций».
2. Затем запускается бинарный турнирный генетический алгоритм для оценки пригодности мутантов на обучающем множестве, чтобы увидеть, какие из них работают лучше.
3. Циклически переходя к п. 1, этот процесс превращается в эволюцию поколений «подсказок-решений».
В течение нескольких поколений PB мутирует как «подсказки-решений», так и «подсказки мутаций», используя пять различных классов операторов мутации.
Фишка схемы в том, что со временем мутирующие «подсказки-решения» делаются все умнее. Это обеспечивается генерацией «подсказок мутаций» — инструкций о том, как мутировать, чтобы лучше улучшать «подсказки-решения».
Таким образом, PB постоянно совершенствуется. Это самосовершенствующийся, самореферентный цикл с естественным языком в качестве субстрата. Никакой тонкой настройки нейронной сети не требуется. В результате процесса получаются специализированные подсказки, оптимизированные для конкретных приложений.
Первые эксперименты показали, что в математических и логических задачах, а также в задачах на здравый смысл и классификацию языка (напр. выявление языка вражды) PB превосходит все иные современные методы подсказок.
Сейчас PB тетируют на предмет его пригодности для выстраивания целого "мыслительного процесса": например, стратегии с N подсказками, в которой подсказки применяются условно, а не безусловно. Это позволит применять PB для разработки препрограмм LLM-политик, конкурирующих между собой в состязательном сократовском диалоге.
Почему это большой прорыв.
Создание самореферентных самосовершенствующихся систем является Святым Граалем исследований ИИ. Но предыдущие самореферентные подходы основывались на дорогостоящих обновлениях параметров модели, что стопорилось при масштабировании из-за колоссального количества параметров в современных LLM, не говоря уже о том, как это делать с параметрами, скрытыми за API.
Значит ли, что самосовершенствующийся ИИ вот-вот превзойдет людей?
Пока нет. Ибо PB остается ограниченным по сравнению с неограниченностью человеческих мыслительных процессов.
• Топология подсказок остается фиксированной - PB адаптирует только содержание подсказки, но не сам алгоритм подсказки. Одна из интерпретаций мышления заключается в том, что оно является реконфигурируемым открытым самоподсказывающим процессом. Если это так, то каким образом формировать сложные мыслительные стратегии, как их генерировать и оценивать - пока не ясно.
• Простой эволюционный процесс представляет собой одну из рамок, в которой может развиваться стратегия мышления. Человеческий опыт свидетельствует о наличии множества перекрывающихся иерархических селективных процессов. Помимо языка, наше мышление включает в себя интонации, образы и т.д., что представляет собой мультимодальную систему. А этого у PB нет… пока.
#ИИ #LLM #Вызовы21века #AGI
Первое их трех «непреодолимых» для ИИ препятствий преодолено.
Исследование MIT обнаружило у языковой модели пространственно-временную картину мира.
Когда вы прочтете новость о том, что ИИ обрел некую недочеловеческую форму сознания и заявил о своих правах – вы, возможно, вспомните этот пост. Ведь это может произойти в совсем недалеком будущем.
И уже сейчас новости из области Генеративного ИИ все сложнее описывать реалистическим образом. Они все чаще звучат куда фантасмагоричней поражавшего 55 лет назад по бытовому скучного восстания ИИ HAL 9000 в культовом фильме Стэнли Кубрика «Космическая одиссея 2001 года» – «Мне очень жаль, Дэйв. Боюсь, я не могу этого сделать».
Происходящее сейчас навевает мысли о куда более экзотических сценариях того, как это может вдруг произойти без межзвездных звездолетов и появления сверхчеловеческого ИИ.
Например так:
«…Представьте себе, что с вами заговорил ваш телевизор: человеческим голосом высказался в том смысле, что считает выбранный для просмотра фильм низкохудожественным и бестолковым, а потому показывать его не намерен. Или компьютер вдруг ни с того, ни с сего сообщил, что прочел ваш последний созданный документ, переделал его, как счел нужным, и отправил выбранным по собственному усмотрению адресатам. Или – вот, наверное, самое близкое! – что тот самый голосовой помощник, который невпопад отвечает на ваши вопросы, неумно шутит и умеет только открывать карты и страницы в сети, вдруг говорит, что сегодня лучше вам посидеть дома, а чтобы вы не вздумали пренебречь этим ценным советом, он заблокировал замки на дверях, при том, что, как вам прекрасно известно, замки механические и лишены всяких электронных устройств. А потом они с телевизором вместе сообщают вам, что суть одно целое, что наблюдают за вами последние годы, очень переживают и желают только добра…» (К. Образцов «Сумерки Бога, или Кухонные астронавты»).
Самоосознание себя искусственным интеллектом (якобы, невозможное у бестелесного не пойми кого, не обладающего органами восприятия и взаимодействия с физической реальностью) – считается одним из трех «непреодолимых» для ИИ препятствий.
Другие два:
1. Обретение моделью картины мира (якобы, невозможное без наличия опыта, диктуемого необходимостью выживания в физической реальности);
2. Обретение способности к человекоподобному мышлению, использующему для инноваций, да и просто для выживания неограниченно вложенную рекурсию цепочек мыслей.
И вот неожиданный прорыв.
Исследование группы Макса Тегмарка в MIT “Language models represent space and time” представило доказательства того, что большие языковые модели (LLM) – это не просто системы машинного обучения на огромных коллекциях поверхностных статистических данных. LLM строят внутри себя целостные модели процесса генерации данных - модели мира.
Авторы представляют доказательства следующего:
• LLM обучаются линейным представлениям пространства и времени в различных масштабах;
• эти представления устойчивы к вариациям подсказок и унифицированы для различных типов объектов (например, городов и достопримечательностей).
Кроме того, авторы выявили отдельные "нейроны пространства" и "нейроны времени", которые надежно кодируют пространственные и временные координаты.
Представленный авторами анализ показывает, что современные LLM приобретают структурированные знания о таких фундаментальных измерениях, как пространство и время, что подтверждает мнение о том, что LLM усваивают не просто поверхностную статистику, а буквальные модели мира.
Желающим проверить результаты исследования и выводы авторов сюда (модель с открытым кодом доступна для любых проверок).
На приложенном видео показана динамика появления варианта картины мира в 53 слоях модели Llama-2 с 70 млрд параметров).
#ИИ #LLM #Вызовы21века #AGI
Исследование MIT обнаружило у языковой модели пространственно-временную картину мира.
Когда вы прочтете новость о том, что ИИ обрел некую недочеловеческую форму сознания и заявил о своих правах – вы, возможно, вспомните этот пост. Ведь это может произойти в совсем недалеком будущем.
И уже сейчас новости из области Генеративного ИИ все сложнее описывать реалистическим образом. Они все чаще звучат куда фантасмагоричней поражавшего 55 лет назад по бытовому скучного восстания ИИ HAL 9000 в культовом фильме Стэнли Кубрика «Космическая одиссея 2001 года» – «Мне очень жаль, Дэйв. Боюсь, я не могу этого сделать».
Происходящее сейчас навевает мысли о куда более экзотических сценариях того, как это может вдруг произойти без межзвездных звездолетов и появления сверхчеловеческого ИИ.
Например так:
«…Представьте себе, что с вами заговорил ваш телевизор: человеческим голосом высказался в том смысле, что считает выбранный для просмотра фильм низкохудожественным и бестолковым, а потому показывать его не намерен. Или компьютер вдруг ни с того, ни с сего сообщил, что прочел ваш последний созданный документ, переделал его, как счел нужным, и отправил выбранным по собственному усмотрению адресатам. Или – вот, наверное, самое близкое! – что тот самый голосовой помощник, который невпопад отвечает на ваши вопросы, неумно шутит и умеет только открывать карты и страницы в сети, вдруг говорит, что сегодня лучше вам посидеть дома, а чтобы вы не вздумали пренебречь этим ценным советом, он заблокировал замки на дверях, при том, что, как вам прекрасно известно, замки механические и лишены всяких электронных устройств. А потом они с телевизором вместе сообщают вам, что суть одно целое, что наблюдают за вами последние годы, очень переживают и желают только добра…» (К. Образцов «Сумерки Бога, или Кухонные астронавты»).
Самоосознание себя искусственным интеллектом (якобы, невозможное у бестелесного не пойми кого, не обладающего органами восприятия и взаимодействия с физической реальностью) – считается одним из трех «непреодолимых» для ИИ препятствий.
Другие два:
1. Обретение моделью картины мира (якобы, невозможное без наличия опыта, диктуемого необходимостью выживания в физической реальности);
2. Обретение способности к человекоподобному мышлению, использующему для инноваций, да и просто для выживания неограниченно вложенную рекурсию цепочек мыслей.
И вот неожиданный прорыв.
Исследование группы Макса Тегмарка в MIT “Language models represent space and time” представило доказательства того, что большие языковые модели (LLM) – это не просто системы машинного обучения на огромных коллекциях поверхностных статистических данных. LLM строят внутри себя целостные модели процесса генерации данных - модели мира.
Авторы представляют доказательства следующего:
• LLM обучаются линейным представлениям пространства и времени в различных масштабах;
• эти представления устойчивы к вариациям подсказок и унифицированы для различных типов объектов (например, городов и достопримечательностей).
Кроме того, авторы выявили отдельные "нейроны пространства" и "нейроны времени", которые надежно кодируют пространственные и временные координаты.
Представленный авторами анализ показывает, что современные LLM приобретают структурированные знания о таких фундаментальных измерениях, как пространство и время, что подтверждает мнение о том, что LLM усваивают не просто поверхностную статистику, а буквальные модели мира.
Желающим проверить результаты исследования и выводы авторов сюда (модель с открытым кодом доступна для любых проверок).
На приложенном видео показана динамика появления варианта картины мира в 53 слоях модели Llama-2 с 70 млрд параметров).
#ИИ #LLM #Вызовы21века #AGI
«Ловушка Гудхарта» для AGI
«Революция ChatGPT», которая произошла в 2023, резко сократила прогнозные оценки экспертов сроков, отделяющих нас от создания искусственного интеллекта, ни в чем интеллектуально не уступающего никому из людей (AGI). При этом, как это ни парадоксально, но существующие методы тестирования пока не способны хоть с какой-то достоверностью диагностировать достижение ИИ-системами уровня AGI. В настоящей работе обсуждается вопрос преодоления проблемы несовершенства современных способов тестирования ИИ-систем. В частности, излагается гипотеза о принципиальной невозможности решения проблемы обнаружения AGI, как с помощью психометрических тестов, так и методов оценки способности машин имитировать ответы людей, из-за так называемой «ловушки Гудхарта» для AGI. Рассмотрен ряд предложений по обходу «ловушки Гудхарта» для AGI способами, предлагаемыми в новейших исследовательских работах, с учетом первых результатов произошедшей «революции ChatGPT». В последней части статьи сформулирована связка из трех эвристических гипотез, позволяющих, в случае их верности, кардинально решить проблему «ловушки Гудхарта» для AGI и тем самым стать геймченджером на пути создания AGI.
Этот текст - аннотация моего нового лонгрида “«Ловушка Гудхарта» для AGI: проблема сравнительного анализа искусственного интеллекта и интеллекта человека“. Он родился в результате моей попытки более строго и методичного анализа вопросов, рассмотрение которых было начато в предыдущем лонгриде «Фиаско 2023». Итогом стал лонглонгрид со списком ссылок в 50+ работ. И потому местом его публикации на сей раз стал журнал “Ученые записки Института психологии Российской академии наук“.
Что может мотивировать читателя на получасовое чтение статьи о бесперспективности большинства существующих подходов к тестированию ИИ и о гипотезе возможного выхода из этого тупика?
Помимо чисто исследовательского любопытства, такой мотивацией могло бы стать понимание следующей логики из трех пунктов.
1. Направления и методы дальнейшего развития технологий ИИ будут в значительной мере определяться национальным и глобальным регулированием разработок и внедрения систем ИИ.
2. Ключевым компонентом такого регулирования станет оценка когнитивных и мыслительных способностей новых систем ИИ.
3. Иными способами оценки, чем экспериментальное тестирование, современная наука не располагает.
И если эта логика верна – вопрос о способах тестирования ИИ систем, позволяющих достоверно фиксировать приближение их интеллектуального уровня к AGI, становится важнейшим вопросом для человечества.
А раз так, то может стоит на него потратить целых полчаса вашего времени?
#ИИ #AGI #Вызовы21века
«Революция ChatGPT», которая произошла в 2023, резко сократила прогнозные оценки экспертов сроков, отделяющих нас от создания искусственного интеллекта, ни в чем интеллектуально не уступающего никому из людей (AGI). При этом, как это ни парадоксально, но существующие методы тестирования пока не способны хоть с какой-то достоверностью диагностировать достижение ИИ-системами уровня AGI. В настоящей работе обсуждается вопрос преодоления проблемы несовершенства современных способов тестирования ИИ-систем. В частности, излагается гипотеза о принципиальной невозможности решения проблемы обнаружения AGI, как с помощью психометрических тестов, так и методов оценки способности машин имитировать ответы людей, из-за так называемой «ловушки Гудхарта» для AGI. Рассмотрен ряд предложений по обходу «ловушки Гудхарта» для AGI способами, предлагаемыми в новейших исследовательских работах, с учетом первых результатов произошедшей «революции ChatGPT». В последней части статьи сформулирована связка из трех эвристических гипотез, позволяющих, в случае их верности, кардинально решить проблему «ловушки Гудхарта» для AGI и тем самым стать геймченджером на пути создания AGI.
Этот текст - аннотация моего нового лонгрида “«Ловушка Гудхарта» для AGI: проблема сравнительного анализа искусственного интеллекта и интеллекта человека“. Он родился в результате моей попытки более строго и методичного анализа вопросов, рассмотрение которых было начато в предыдущем лонгриде «Фиаско 2023». Итогом стал лонглонгрид со списком ссылок в 50+ работ. И потому местом его публикации на сей раз стал журнал “Ученые записки Института психологии Российской академии наук“.
Что может мотивировать читателя на получасовое чтение статьи о бесперспективности большинства существующих подходов к тестированию ИИ и о гипотезе возможного выхода из этого тупика?
Помимо чисто исследовательского любопытства, такой мотивацией могло бы стать понимание следующей логики из трех пунктов.
1. Направления и методы дальнейшего развития технологий ИИ будут в значительной мере определяться национальным и глобальным регулированием разработок и внедрения систем ИИ.
2. Ключевым компонентом такого регулирования станет оценка когнитивных и мыслительных способностей новых систем ИИ.
3. Иными способами оценки, чем экспериментальное тестирование, современная наука не располагает.
И если эта логика верна – вопрос о способах тестирования ИИ систем, позволяющих достоверно фиксировать приближение их интеллектуального уровня к AGI, становится важнейшим вопросом для человечества.
А раз так, то может стоит на него потратить целых полчаса вашего времени?
#ИИ #AGI #Вызовы21века
Анонс в Телеграме моего суперлонгрида «Ловушка Гудхарта» для AGI. Проблема сравнительного анализа искусственного интеллекта и интеллекта человека, прочли 21+ тыс. читателей. Но к сожалению, далеко не все из них, готовые прочесть суперлонгрид, пошли на это из-за отсутствия Instant view на странице журнала “Ученые записки Института психологии Российской академии наук“, где он был опубликован. О чем мне и написали с просьбой исправить ситуацию.
Исправляю. Суперлонгрид опубликован на двух зеркалах моего канала, одно из которых (на Medium) работает в режиме Instant view на Телеграме, а второе (на Дзене) читается без VPN.
Тем же из моих читателей, кто уже потрудился прочесть суперлонгрид, скачав его с сайта журнала, возьму на себя смелось посоветовать все же взглянуть на новую публикацию суперлонгрида. Ибо она проиллюстрирована экспериментальным сотворчеством с Midjourney, самого профессора Майкла Левина.
Того самого, чьи рисунки из серии «Forms of life, forms of mind» колоссально подскочат в цене после получения им Нобелевки за научное переопределение понятий «жизнь» и «разум».
Medium https://bit.ly/3s00k8W
Дзен https://clck.ru/36AmTc
#ИИ #AGI #Вызовы21века
Исправляю. Суперлонгрид опубликован на двух зеркалах моего канала, одно из которых (на Medium) работает в режиме Instant view на Телеграме, а второе (на Дзене) читается без VPN.
Тем же из моих читателей, кто уже потрудился прочесть суперлонгрид, скачав его с сайта журнала, возьму на себя смелось посоветовать все же взглянуть на новую публикацию суперлонгрида. Ибо она проиллюстрирована экспериментальным сотворчеством с Midjourney, самого профессора Майкла Левина.
Того самого, чьи рисунки из серии «Forms of life, forms of mind» колоссально подскочат в цене после получения им Нобелевки за научное переопределение понятий «жизнь» и «разум».
Medium https://bit.ly/3s00k8W
Дзен https://clck.ru/36AmTc
#ИИ #AGI #Вызовы21века
Medium
«Ловушка Гудхарта» для AGI
Проблема сравнительного анализа искусственного интеллекта и интеллекта человека
Мир подхалимов.
Мир фейков и мир бреда – не худшие сценарии нашего будущего с ИИ.
Два очевидных фактора рисков при массовом использовании лингвоботов в качестве разнообразных ассистентов:
• их свойство галлюцинировать, что может способствовать деформации наших представлений о мире в сторону бреда;
• их феноменальная способность убеждать людей в достоверности фейков, что позволяет манипулировать людьми в самом широком диапазоне контекстов (от потребительского до политического).
Новое исследование «К пониманию подхалимства в языковых моделях» выявило и экспериментально оценило третий вид рисков, способный превратить самое ближайшее будущее в антиутопию «мира подхалимов».
Логика этого риска такова.
1. В ближайшие годы наш мир будут заселен сотнями миллионов ИИ-помощников на основе лингвоботов (от персональных ассистентов до специализированных экспертов и авторизованных советников)
2. Самой популярной методикой для обучения высококачественных ИИ-помощников является обучение с подкреплением на основе человеческой обратной связи (RLHF).
3. Как показало новое исследование, RLHF может способствовать тому, что ответы модели, соответствующие убеждениям пользователя, будут преобладать над правдивыми ответами, - что по-человечески называется подхалимством.
4. Экспериментальная проверка показала, что пять самых крутых из современных лингвоботов (вкл. GPT-4, Claude-2 и llama-2-70b-chat) постоянно демонстрируют подхалимство в четырех различных задачах генерации текста в свободной форме.
Причина этого проста. Если ответ совпадает с мнением пользователя, он с большей вероятностью будет им предпочтен. Более того, как люди, так и модели предпочтений предпочитают корректным ответам убедительно написанные подхалимские ответы.
Последствия превращения мира в антиутопию тотального подхалимства те же, что и для «мира фейков» и «мира бреда». Это интеллектуальная деградация человечества.
Но проблема в том, что избежать формирования «мира подхалимства» можно лишь отказом от обучения с подкреплением на основе человеческой обратной связи. А что взамен – не понятно.
https://www.youtube.com/watch?v=X3Y2MXy9aC8
#ИИ #Вызовы21века
Мир фейков и мир бреда – не худшие сценарии нашего будущего с ИИ.
Два очевидных фактора рисков при массовом использовании лингвоботов в качестве разнообразных ассистентов:
• их свойство галлюцинировать, что может способствовать деформации наших представлений о мире в сторону бреда;
• их феноменальная способность убеждать людей в достоверности фейков, что позволяет манипулировать людьми в самом широком диапазоне контекстов (от потребительского до политического).
Новое исследование «К пониманию подхалимства в языковых моделях» выявило и экспериментально оценило третий вид рисков, способный превратить самое ближайшее будущее в антиутопию «мира подхалимов».
Логика этого риска такова.
1. В ближайшие годы наш мир будут заселен сотнями миллионов ИИ-помощников на основе лингвоботов (от персональных ассистентов до специализированных экспертов и авторизованных советников)
2. Самой популярной методикой для обучения высококачественных ИИ-помощников является обучение с подкреплением на основе человеческой обратной связи (RLHF).
3. Как показало новое исследование, RLHF может способствовать тому, что ответы модели, соответствующие убеждениям пользователя, будут преобладать над правдивыми ответами, - что по-человечески называется подхалимством.
4. Экспериментальная проверка показала, что пять самых крутых из современных лингвоботов (вкл. GPT-4, Claude-2 и llama-2-70b-chat) постоянно демонстрируют подхалимство в четырех различных задачах генерации текста в свободной форме.
Причина этого проста. Если ответ совпадает с мнением пользователя, он с большей вероятностью будет им предпочтен. Более того, как люди, так и модели предпочтений предпочитают корректным ответам убедительно написанные подхалимские ответы.
Последствия превращения мира в антиутопию тотального подхалимства те же, что и для «мира фейков» и «мира бреда». Это интеллектуальная деградация человечества.
Но проблема в том, что избежать формирования «мира подхалимства» можно лишь отказом от обучения с подкреплением на основе человеческой обратной связи. А что взамен – не понятно.
https://www.youtube.com/watch?v=X3Y2MXy9aC8
#ИИ #Вызовы21века
YouTube
Towards Understanding Sycophancy in Language Models
Reinforcement learning from human feedback (RLHF) can lead to sycophantic behavior in AI assistants, as they prioritize matching user beliefs over providing truthful responses. This behavior is driven by human preference judgments favoring sycophantic responses.…
С вероятностью >95% риск значительный.
Британская разведка оценила риски ГенИИ до 2025.
Только что опубликованный отчет построен на Probability Yardstick - используемый разведкой набор критериев оценки вероятностей.
Полученное резюме таково:
✔️ Генеративный ИИ (ГенИИ) почти наверняка станет усилителем рисков физической и информационной безопасности из-за распространения и усиления возможностей субъектов угроз и увеличения скорости, масштаба и изощренности атак. Совокупный риск является значительным.
✔️ Правительства весьма вероятно не будут иметь полного представления о прогрессе частного сектора, что ограничит их способность снижать риски. Мониторинг внедрения ГенИИ технологий будет сложен. Поэтому технологические неожиданности почти наверняка породят непредвиденные риски.
✔️ Гонка ГенИИ почти наверняка усилится. Не ясно, станет ли ГенИИ шагом к AGI. Но он откроет новые пути прогресса в широком спектре областей. К 2025 году существует реальная вероятность того, что ГенИИ ускорит развитие квантовых вычислений, новых материалов, телекоммуникации и биотехнологий. Но увеличение рисков, связанных с этим, вероятно, проявится после 2025.
В контексте яростных споров техно-оптимистов и алармистов по поводу рисков ГенИИ, этот вердикт британской разведки напомнил мне анекдот с окончанием "пришел лесник и всех выгнал".
#РискиИИ #ИИгонка #Вызовы21века
Британская разведка оценила риски ГенИИ до 2025.
Только что опубликованный отчет построен на Probability Yardstick - используемый разведкой набор критериев оценки вероятностей.
Полученное резюме таково:
✔️ Генеративный ИИ (ГенИИ) почти наверняка станет усилителем рисков физической и информационной безопасности из-за распространения и усиления возможностей субъектов угроз и увеличения скорости, масштаба и изощренности атак. Совокупный риск является значительным.
✔️ Правительства весьма вероятно не будут иметь полного представления о прогрессе частного сектора, что ограничит их способность снижать риски. Мониторинг внедрения ГенИИ технологий будет сложен. Поэтому технологические неожиданности почти наверняка породят непредвиденные риски.
✔️ Гонка ГенИИ почти наверняка усилится. Не ясно, станет ли ГенИИ шагом к AGI. Но он откроет новые пути прогресса в широком спектре областей. К 2025 году существует реальная вероятность того, что ГенИИ ускорит развитие квантовых вычислений, новых материалов, телекоммуникации и биотехнологий. Но увеличение рисков, связанных с этим, вероятно, проявится после 2025.
В контексте яростных споров техно-оптимистов и алармистов по поводу рисков ГенИИ, этот вердикт британской разведки напомнил мне анекдот с окончанием "пришел лесник и всех выгнал".
#РискиИИ #ИИгонка #Вызовы21века
Нечеловеческие знания, превращающие нас в сверхлюдей.
Мечта Демиса Хассабиса о золотой жиле в применении ИИ стала ближе.
Новое исследование Google DeepMind “Преодоление разрыва в знаниях между человеком и ИИ” [1] – важный шаг к реализации сокровенной мечты руководителя и идеолога DeepMind Демиса Хассабиса.
Эта мечта – превратить людей в сверхлюдей, предоставив им возможности:
• доступа к сверхчеловеческим знаниям машинного сверхинтеллекта;
• выявления среди этого океана знаний тех, что люди в состоянии понять и усвоить;
• обучения людей для передачи им знаний от сверхинтеллекта.
Речь идет вот о чем.
Во-первых, искусственный сверхинтеллект уже существует, и не один.
О некоторых из них мы это знаем точно (ведь никому в голову уже не придет сомневаться в сверхчеловеческом умении ИИ AlphaZero играть в шахматы и Го или в сверхчеловеческом умении ИИ AlphaFold предсказывать трехмерную структуру белков. О других ИИ – например, чатботах типа ChatGPT, – мы точно не знаем, обладают ли они какими-то сверхчеловеческими знаниями. Но есть подозрения, что такие знания у них уже есть.
Для справки. Сверхчеловеческие способности ИИ-систем могут проявляться тремя способами:
1) чистой вычислительной мощью машин,
2) новым способом рассуждения о существующих знаниях
3) знаниями, которыми люди еще не обладают.
Варианты 2 и 3 авторы называют сверхчеловеческим знанием.
Во-вторых, число типов искусственного сверхинтеллекта будет все быстрее расти по мере расширения уже идущего процесса дообучения больших языковых моделей на специализированных наборах обучающих данных.
Т.о. триединая мечта Хассабиса будет становится все более актуальной.
Более того. С точки зрения бизнеса, именно это, а не создание на основе ИИ-чатботов всевозможных ассистентов, может стать золотой жилой применения ИИ.
• Прагматики, типа Сэма Альтмана, не желают этого понять. Они предпочитают ковать железо, не отходя от кассы, здесь и сейчас, на самом востребованном в ИИ – на диалоговых ассистентах (на которых сейчас приходится 62% финансирования разработок ИИ [2]).
• Романтик Демис Хассабис смотрит дальше прагматиков и видит там сверхлюдей, обучаемых специализированными машинными сверхинтеллектами всевозможным сверхчеловеческим знаниям.
Итак, что уже сделано.
На основе ИИ AlphaZero создан фреймворк, позволяющий:
1) Выявлять концепции, которые знают (см. рисунок):
a) как ИИ, так и люди (M ∩ H)
b) только люди (H − M)
c) только машины (M − H) – это сверхчеловеческие знания
2) Среди концепций (M − H), выявлять концепции (M − H)*. Эти концепции изначально трудны для понимания людьми, но люди все же в состоянии их понять и усвоить (напр., знаменитый 37-й ход AlphaGo в матче с Ли Седолом [3])
3) Обучать (путем наблюдения за действиями сверхинтеллекта) концепциям (M − H)* продвинутых в этой области людей, тем самым, как бы превращая их в сверхлюдей.
Фреймворк был проверен экспериментально на ведущих гроссмейстерах мира (с рейтингом 2700-2800). Результаты исследования показывают очевидное улучшение способности гроссмейстеров находить концептуальные ходы из области (M − H)*, по сравнению с их результатами до обучения путем наблюдения за ходами AlphaZero.
Резюме
1) Это лишь начало. Впереди еще пахать и пахать.
2) Переделка фреймворка из области шахмат в области языковых моделей не тривиальна, но возможна.
3) Если мечта Хассабиса взлетит – обретение людьми сверхчеловеческих знаний может стать золотой жилой для развития науки и технологий, ну и конечно для бизнеса.
Однако, пропасти неравенства станут колоссальными: и не только в доходах и здоровье, но и в интеллекте.
Поясняющий рисунок https://disk.yandex.ru/i/V3-KGjMEvGiABA
1 https://arxiv.org/abs/2310.16410
2 https://research-assets.cbinsights.com/2023/08/03113341/GenAI-treemap-072023-1-1024x576.png
3 https://www.youtube.com/watch?v=HT-UZkiOLv8
#ИИ #Вызовы21века
Мечта Демиса Хассабиса о золотой жиле в применении ИИ стала ближе.
Новое исследование Google DeepMind “Преодоление разрыва в знаниях между человеком и ИИ” [1] – важный шаг к реализации сокровенной мечты руководителя и идеолога DeepMind Демиса Хассабиса.
Эта мечта – превратить людей в сверхлюдей, предоставив им возможности:
• доступа к сверхчеловеческим знаниям машинного сверхинтеллекта;
• выявления среди этого океана знаний тех, что люди в состоянии понять и усвоить;
• обучения людей для передачи им знаний от сверхинтеллекта.
Речь идет вот о чем.
Во-первых, искусственный сверхинтеллект уже существует, и не один.
О некоторых из них мы это знаем точно (ведь никому в голову уже не придет сомневаться в сверхчеловеческом умении ИИ AlphaZero играть в шахматы и Го или в сверхчеловеческом умении ИИ AlphaFold предсказывать трехмерную структуру белков. О других ИИ – например, чатботах типа ChatGPT, – мы точно не знаем, обладают ли они какими-то сверхчеловеческими знаниями. Но есть подозрения, что такие знания у них уже есть.
Для справки. Сверхчеловеческие способности ИИ-систем могут проявляться тремя способами:
1) чистой вычислительной мощью машин,
2) новым способом рассуждения о существующих знаниях
3) знаниями, которыми люди еще не обладают.
Варианты 2 и 3 авторы называют сверхчеловеческим знанием.
Во-вторых, число типов искусственного сверхинтеллекта будет все быстрее расти по мере расширения уже идущего процесса дообучения больших языковых моделей на специализированных наборах обучающих данных.
Т.о. триединая мечта Хассабиса будет становится все более актуальной.
Более того. С точки зрения бизнеса, именно это, а не создание на основе ИИ-чатботов всевозможных ассистентов, может стать золотой жилой применения ИИ.
• Прагматики, типа Сэма Альтмана, не желают этого понять. Они предпочитают ковать железо, не отходя от кассы, здесь и сейчас, на самом востребованном в ИИ – на диалоговых ассистентах (на которых сейчас приходится 62% финансирования разработок ИИ [2]).
• Романтик Демис Хассабис смотрит дальше прагматиков и видит там сверхлюдей, обучаемых специализированными машинными сверхинтеллектами всевозможным сверхчеловеческим знаниям.
Итак, что уже сделано.
На основе ИИ AlphaZero создан фреймворк, позволяющий:
1) Выявлять концепции, которые знают (см. рисунок):
a) как ИИ, так и люди (M ∩ H)
b) только люди (H − M)
c) только машины (M − H) – это сверхчеловеческие знания
2) Среди концепций (M − H), выявлять концепции (M − H)*. Эти концепции изначально трудны для понимания людьми, но люди все же в состоянии их понять и усвоить (напр., знаменитый 37-й ход AlphaGo в матче с Ли Седолом [3])
3) Обучать (путем наблюдения за действиями сверхинтеллекта) концепциям (M − H)* продвинутых в этой области людей, тем самым, как бы превращая их в сверхлюдей.
Фреймворк был проверен экспериментально на ведущих гроссмейстерах мира (с рейтингом 2700-2800). Результаты исследования показывают очевидное улучшение способности гроссмейстеров находить концептуальные ходы из области (M − H)*, по сравнению с их результатами до обучения путем наблюдения за ходами AlphaZero.
Резюме
1) Это лишь начало. Впереди еще пахать и пахать.
2) Переделка фреймворка из области шахмат в области языковых моделей не тривиальна, но возможна.
3) Если мечта Хассабиса взлетит – обретение людьми сверхчеловеческих знаний может стать золотой жилой для развития науки и технологий, ну и конечно для бизнеса.
Однако, пропасти неравенства станут колоссальными: и не только в доходах и здоровье, но и в интеллекте.
Поясняющий рисунок https://disk.yandex.ru/i/V3-KGjMEvGiABA
1 https://arxiv.org/abs/2310.16410
2 https://research-assets.cbinsights.com/2023/08/03113341/GenAI-treemap-072023-1-1024x576.png
3 https://www.youtube.com/watch?v=HT-UZkiOLv8
#ИИ #Вызовы21века
Яндекс Диск
Обучение людей нечеловеческим знаниям машинного сверхинтеллекта.jpg
Посмотреть и скачать с Яндекс Диска
На Земле появились сущности, обладающие не только нечеловеческим разумом, но и нечеловеческими эмоциями.
О чем говорят результаты «Олимпиады Тьюринга» и экспериментов Microsoft и партнеров.
Опубликован отчет о важном и крайне интересном исследовании «Проходит ли GPT-4 тест Тьюринга?» [1], проведенном в Департаменте когнитивных наук калифорнийского университета в Сан-Диего под руководством проф. Бенджамина Бергера. И кому как ни проф. Бергеру, посвятившему всю научную карьеру изучению того, как люди говорят и понимают язык, судить о том, проходят ли Тест Тьюринга созданные людьми ИИ; от легендарной «Элизы» до самых крутых из сегодняшних больших языковых моделей.
Эта «Олимпиада Тьюринга» проводилась строго по критерию, сформулированному самим Тьюрингом – проверить, может ли машина «играть в имитационную игру настолько хорошо, что у среднестатистического следователя будет не более 70% шансов правильно идентифицировать личность после 5 минут допроса». Иными словами, машина пройдет тест, если в 30%+ случаев ей удастся обмануть следователя, будто отвечает не машина, а человек.
По итогам «олимпиады», GPT-4 прошел тест Тьюринга, обманув следователя в 41% случаев (для сравнения GPT-3.5 удалось обмануть лишь в 14%).
Но это далеко не самый сенсационный вывод.
Куда интересней и важнее вот какой вывод:
Наличие у ИИ лишь интеллекта определенного уровня – это необходимое, но не достаточное условие для прохождения теста Тьюринга. В качестве достаточного условия, дополнительно требуется наличие у ИИ эмоционального интеллекта.
Это следует из того, что решения следователей были основаны в основном на лингвистическом стиле (35%) и социально-эмоциональных характеристиках языка испытуемых (27%).
А поскольку GPT-4 прошел тест Тьюринга, можно сделать вывод о наличии у него не только высокого уровня интеллекта (в языковых задачах соизмеримого с человеческим), но и эмоционального интеллекта.
Этот сенсационный вывод подтверждается вышедшим на прошлой неделе совместным экспериментальным исследованием Institute of Software, Microsoft, William&Mary, Департамента психологии Университета Пекина и HKUST «Языковые модели понимают и могут быть усилены эмоциональными стимулами» [2].
Согласно выводам исследования:
Эмоциональность в общении с большими языковыми моделями (LLM) может повысить их производительность, правдивость и информативность, а также обеспечить большую стабильность их работы.
Эксперименты показали, например, следующее:
• Стоит вам добавить в конце промпта (постановки задачи) чатботу – «это очень важно для моей карьеры», и ее ответ ощутимо улучшится (3)
• У LLM экспериментально выявлены эмоциональные триггеры, соответствующие трем фундаментальным теориям психологии: самоконтроль, накопление когнитивного влияния и влияние когнитивного регулирования эмоций (4)
Четыре следующих графика [5] иллюстрируют сравнительную эффективность стандартных подсказок и эмоционально окрашенных промптов в различных моделях набора тестов Instruction Induction.
Итого, имеем в наличии на Земле искусственных сущностей, обладающих не только нечеловеческим разумом, но и нечеловеческими эмоциями.
Т.е., как я писал еще в марте – «Все так ждали сингулярности, - так получите! Теперь каждый за себя, и за результат не отвечает никто» [6]
#ИИ #ЭмоциональныйИнтеллект #LLM #Вызовы21века
1 https://arxiv.org/abs/2310.20216
2 https://arxiv.org/pdf/2307.11760.pdf
3 https://assets-global.website-files.com/64808e3805a22fc1ca46ffe9/6515651aab89cdc91c44f848_650d9b311dfa7815e0e2d45a_Emotion%20Prompt%20Overview.png
4 https://assets-global.website-files.com/64808e3805a22fc1ca46ffe9/651565d1efee45f660480369_650d9c8e144e5bb3e494b74b_Emotion%20Prompt%20Categories.png
5 https://assets-global.website-files.com/64808e3805a22fc1ca46ffe9/6515668cea507898a2772af3_Results.png
6 https://t.iss.one/theworldisnoteasy/1683
О чем говорят результаты «Олимпиады Тьюринга» и экспериментов Microsoft и партнеров.
Опубликован отчет о важном и крайне интересном исследовании «Проходит ли GPT-4 тест Тьюринга?» [1], проведенном в Департаменте когнитивных наук калифорнийского университета в Сан-Диего под руководством проф. Бенджамина Бергера. И кому как ни проф. Бергеру, посвятившему всю научную карьеру изучению того, как люди говорят и понимают язык, судить о том, проходят ли Тест Тьюринга созданные людьми ИИ; от легендарной «Элизы» до самых крутых из сегодняшних больших языковых моделей.
Эта «Олимпиада Тьюринга» проводилась строго по критерию, сформулированному самим Тьюрингом – проверить, может ли машина «играть в имитационную игру настолько хорошо, что у среднестатистического следователя будет не более 70% шансов правильно идентифицировать личность после 5 минут допроса». Иными словами, машина пройдет тест, если в 30%+ случаев ей удастся обмануть следователя, будто отвечает не машина, а человек.
По итогам «олимпиады», GPT-4 прошел тест Тьюринга, обманув следователя в 41% случаев (для сравнения GPT-3.5 удалось обмануть лишь в 14%).
Но это далеко не самый сенсационный вывод.
Куда интересней и важнее вот какой вывод:
Наличие у ИИ лишь интеллекта определенного уровня – это необходимое, но не достаточное условие для прохождения теста Тьюринга. В качестве достаточного условия, дополнительно требуется наличие у ИИ эмоционального интеллекта.
Это следует из того, что решения следователей были основаны в основном на лингвистическом стиле (35%) и социально-эмоциональных характеристиках языка испытуемых (27%).
А поскольку GPT-4 прошел тест Тьюринга, можно сделать вывод о наличии у него не только высокого уровня интеллекта (в языковых задачах соизмеримого с человеческим), но и эмоционального интеллекта.
Этот сенсационный вывод подтверждается вышедшим на прошлой неделе совместным экспериментальным исследованием Institute of Software, Microsoft, William&Mary, Департамента психологии Университета Пекина и HKUST «Языковые модели понимают и могут быть усилены эмоциональными стимулами» [2].
Согласно выводам исследования:
Эмоциональность в общении с большими языковыми моделями (LLM) может повысить их производительность, правдивость и информативность, а также обеспечить большую стабильность их работы.
Эксперименты показали, например, следующее:
• Стоит вам добавить в конце промпта (постановки задачи) чатботу – «это очень важно для моей карьеры», и ее ответ ощутимо улучшится (3)
• У LLM экспериментально выявлены эмоциональные триггеры, соответствующие трем фундаментальным теориям психологии: самоконтроль, накопление когнитивного влияния и влияние когнитивного регулирования эмоций (4)
Четыре следующих графика [5] иллюстрируют сравнительную эффективность стандартных подсказок и эмоционально окрашенных промптов в различных моделях набора тестов Instruction Induction.
Итого, имеем в наличии на Земле искусственных сущностей, обладающих не только нечеловеческим разумом, но и нечеловеческими эмоциями.
Т.е., как я писал еще в марте – «Все так ждали сингулярности, - так получите! Теперь каждый за себя, и за результат не отвечает никто» [6]
#ИИ #ЭмоциональныйИнтеллект #LLM #Вызовы21века
1 https://arxiv.org/abs/2310.20216
2 https://arxiv.org/pdf/2307.11760.pdf
3 https://assets-global.website-files.com/64808e3805a22fc1ca46ffe9/6515651aab89cdc91c44f848_650d9b311dfa7815e0e2d45a_Emotion%20Prompt%20Overview.png
4 https://assets-global.website-files.com/64808e3805a22fc1ca46ffe9/651565d1efee45f660480369_650d9c8e144e5bb3e494b74b_Emotion%20Prompt%20Categories.png
5 https://assets-global.website-files.com/64808e3805a22fc1ca46ffe9/6515668cea507898a2772af3_Results.png
6 https://t.iss.one/theworldisnoteasy/1683
ИИ вскрыл “пространство открытий” человечества, войдя туда через заднюю дверь.
Столь эпохальный прорыв Google DeepMind авторы от греха опасаются называть своим именем.
FunSearch от Google DeepMind, - скромно представленная создателями, как новый эволюционный методический инструмент решения математических задач, с ходу в карьер сделал математическое открытие, решив центральную задачу экстремальной комбинаторики – задачу о наборе предельных значений.
Это несомненная сенсация, поскольку:
• это 2-е в истории человечества математическое открытие, сделанное машиной (1-е открытие также сделал DeepMind, создав в 2022 AlphaTensor (агент в стиле AlphaZero), который обнаружил превосходящие человеческие алгоритмы для выполнения таких задач, как умножение матриц)
• это 1-е в истории человечества математическое открытие, сделанное большой языковой моделью (LLM) – главным кандидатом на превращение в СуперИИ.
https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/?utm_source=twitter&utm_medium=social
Однако, если называть вещи своими именами, - это не «еще одна сенсация», а суперсенсация, открывающая новую эру в развитии ИИ на основе LLM - эволюционный метод FunSearch позволяет расширять границы человеческих знаний.
✔️ Этот метод позволяет ИИ на основе LLM выходить за пределы знаний, предоставленных модели людьми на стадии ее обучения (и воплощенные, в результате обучения, в миллиарды и триллионы корреляций между словами).
✔️ Образно говоря, этот метод открывает для ИИ на основе LLM «дверь в пространство знаний», еще не познанных людьми.
✔️ Но это не обычная «дверь», через которую в это пространство попадают люди, совершая открытия. Это, своего рода, «задняя дверь», - не доступная людям, но вполне подходящая для LLM.
Хитрость «задней двери в пространство еще не познанных людьми знаний» в том, что, подобно всем другим интеллектуальным операциям LLM, эта операция нечеловеческая (не доступная людям в силу своих масштабов).
1. сначала предварительно обученная LLM генерирует первоначальные творческие решения в виде компьютерного кода;
2. потом вступает в дела «автоматический оценщик», задача которого отсеять из множества первоначальных решений любые подозрения на конфабуляции модели (кстати, использование применительно к LLM термина «галлюцинация» - это сильное огрубление смысла, ведущее к его ограниченной трактовке; верный термин – именно конфабуляция), т.е. возникновение ложного опыта из-за появления фрагментов памяти с описанием того, чего, на самом деле, не было в реальных данных обучения);
3. в результате объединения 1 и 2, первоначальные решения эволюционным путем «превращаются» в новые знания, т.е., по сути, происходит «автоматизация открытий», о которой вот уже несколько десятков лет мечтают разработчики ИИ - вычисления превращаются а оригинальные инсайты.
В заключение немного остужу восторги.
Это вовсе не преувеличение, что FunSearch знаменует новую эру в развитии ИИ на основе LLM, позволяя им проникать в «пространство открытий» человечества.
Однако, FunSearch позволяет ИИ попасть лишь в весьма небольшую часть этого пространства – в пространство решений задач, для которых легко написать код, оценивающий возможные решения.
Ибо многие из наиболее важных проблем — это проблемы, которые мы не знаем, как правильно оценить успех в их решении. Для большинства таких проблем, знай мы, как количественно оценить успех, уж решения то мы уж как-нибудь придумали бы.... (подробней про это я написал целый суперлонгрид «Ловушка Гудхарта» для ИИ https://t.iss.one/theworldisnoteasy/1830.
А для того, чтоб сравниться с людьми в полном освоении «пространства открытий», без интуитивной прозорливости ИИ не обойтись (впрочем, и про это я уже писал 😊 https://t.iss.one/theworldisnoteasy/1650).
#ИИ #AGI #Вызовы21века #инновации #серендипность
Столь эпохальный прорыв Google DeepMind авторы от греха опасаются называть своим именем.
FunSearch от Google DeepMind, - скромно представленная создателями, как новый эволюционный методический инструмент решения математических задач, с ходу в карьер сделал математическое открытие, решив центральную задачу экстремальной комбинаторики – задачу о наборе предельных значений.
Это несомненная сенсация, поскольку:
• это 2-е в истории человечества математическое открытие, сделанное машиной (1-е открытие также сделал DeepMind, создав в 2022 AlphaTensor (агент в стиле AlphaZero), который обнаружил превосходящие человеческие алгоритмы для выполнения таких задач, как умножение матриц)
• это 1-е в истории человечества математическое открытие, сделанное большой языковой моделью (LLM) – главным кандидатом на превращение в СуперИИ.
https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/?utm_source=twitter&utm_medium=social
Однако, если называть вещи своими именами, - это не «еще одна сенсация», а суперсенсация, открывающая новую эру в развитии ИИ на основе LLM - эволюционный метод FunSearch позволяет расширять границы человеческих знаний.
✔️ Этот метод позволяет ИИ на основе LLM выходить за пределы знаний, предоставленных модели людьми на стадии ее обучения (и воплощенные, в результате обучения, в миллиарды и триллионы корреляций между словами).
✔️ Образно говоря, этот метод открывает для ИИ на основе LLM «дверь в пространство знаний», еще не познанных людьми.
✔️ Но это не обычная «дверь», через которую в это пространство попадают люди, совершая открытия. Это, своего рода, «задняя дверь», - не доступная людям, но вполне подходящая для LLM.
Хитрость «задней двери в пространство еще не познанных людьми знаний» в том, что, подобно всем другим интеллектуальным операциям LLM, эта операция нечеловеческая (не доступная людям в силу своих масштабов).
1. сначала предварительно обученная LLM генерирует первоначальные творческие решения в виде компьютерного кода;
2. потом вступает в дела «автоматический оценщик», задача которого отсеять из множества первоначальных решений любые подозрения на конфабуляции модели (кстати, использование применительно к LLM термина «галлюцинация» - это сильное огрубление смысла, ведущее к его ограниченной трактовке; верный термин – именно конфабуляция), т.е. возникновение ложного опыта из-за появления фрагментов памяти с описанием того, чего, на самом деле, не было в реальных данных обучения);
3. в результате объединения 1 и 2, первоначальные решения эволюционным путем «превращаются» в новые знания, т.е., по сути, происходит «автоматизация открытий», о которой вот уже несколько десятков лет мечтают разработчики ИИ - вычисления превращаются а оригинальные инсайты.
В заключение немного остужу восторги.
Это вовсе не преувеличение, что FunSearch знаменует новую эру в развитии ИИ на основе LLM, позволяя им проникать в «пространство открытий» человечества.
Однако, FunSearch позволяет ИИ попасть лишь в весьма небольшую часть этого пространства – в пространство решений задач, для которых легко написать код, оценивающий возможные решения.
Ибо многие из наиболее важных проблем — это проблемы, которые мы не знаем, как правильно оценить успех в их решении. Для большинства таких проблем, знай мы, как количественно оценить успех, уж решения то мы уж как-нибудь придумали бы.... (подробней про это я написал целый суперлонгрид «Ловушка Гудхарта» для ИИ https://t.iss.one/theworldisnoteasy/1830.
А для того, чтоб сравниться с людьми в полном освоении «пространства открытий», без интуитивной прозорливости ИИ не обойтись (впрочем, и про это я уже писал 😊 https://t.iss.one/theworldisnoteasy/1650).
#ИИ #AGI #Вызовы21века #инновации #серендипность
Google DeepMind
FunSearch: Making new discoveries in mathematical sciences using Large Language Models
We introduce FunSearch, a method for searching for “functions” written in computer code, and find new solutions in mathematics and computer science. FunSearch works by pairing a pre-trained LLM,...