Гиганты снова придут на Землю, и мы это увидим ... если доживем.
Предупреждение Джордана Петерсона о «темной стороне ИИ» начинает сбываться.
Время колоссально ускорилось. В декабре проф. Джордан Петерсон дал большое интервью лорду Конраду Блэйку. В нем Петерсон, затронул много тем. И среди них, - вопрос о «темной стороне ИИ» на примере только появившегося тогда ChatGPT.
Петерсон предупреждал о следующем.
«Будьте готовы к тому, что на фронте ИИ в течение следующего года появятся вещи, от которых у вас просто встанут волосы дыбом» …
Сейчас уже существует ИИ, способный создавать свою собственную картину мира лишь на основе анализа колоссального корпуса текстов. И этот ИИ уже интеллектуальней многих из нас. Но через год он станет несравнимо более интеллектуальным, чем большинство из нас … Ибо он будет строить свою картину мира из триллионов паттернов, извлекаемых не только из текстов людей, но и из самого мира непосредственно (его визуальных и прочих образов). Знания в основе его картины мира будут проистекать не только из лингвистической статистики текстов, описывающих этот мир (как сейчас у ChatGPT). Но и из статистики закономерностей формирования и динамики взаимодействий объектов этого мира.
Так что держите свои шляпы, дамы и господа. Как сказал Джонатан Пажо, - гиганты снова придут на Землю, и мы, возможно, это увидим ... если доживем.»

Не прошло и трёх месяцев, как предупреждение проф. Петерсона начало сбываться.

Группа исследователей искусственного интеллекта из Google и Берлинского технического университета представила первый шаг к тому, о чем говорил Петерсон:
PaLM-E - мультимодальная визуальная языковая модель (VLM) с 562 миллиардами параметров, которая объединяет зрение и язык для управления роботами.

Получив команду «принеси мне рисовые чипсы из ящика стола на кухне», PaLM-E может сгенерировать план действий для мобильной роботизированной платформы с механической рукой (разработанной Google Robotics) и выполнять весь набор сгенерированных действий.
PaLM-E делает это, анализируя данные с камеры робота, не требуя предварительно обработанного представления сцены. Это устраняет необходимость в предварительной обработке или аннотировании данных человеком и обеспечивает автономную работу робота.

PaLM-E — это предиктор следующего токена, Он назван так потому, что основан на большой языковой модели (LLM) Google под названием «PaLM», похожей на технологию в основе ChatGPT.
Но Google сделал PaLM «воплощенным», добавив сенсорную информацию и роботизированное управление.

Так как он основан на языковой модели, PaLM-E непрерывно собирает наблюдения, такие как изображения или данные датчиков, и кодирует их в последовательность векторов того же размера, что и языковые токены. Это позволяет модели «понимать» сенсорную информацию так же, как она обрабатывает язык.

Новая модель демонстрирует интересные и неожиданные способности.
Например, она демонстрирует «положительный перенос», что означает, что она может передавать знания и навыки, полученные ею от одной задачи к другой, что приводит к значительно более высокой производительности по сравнению с однозадачными моделями роботов.

Кроме того, модель демонстрирует мультимодальные логические цепочки рассуждений (позволяющие модели анализировать последовательность входных данных, включающих как языковую, так и визуальную информацию) и мультиобразный вывод (использование нескольких изображений в качестве входных данных, чтобы сделать вывод или предсказание), несмотря на то, что модель была обучена только на подсказках с одним изображением (single-image prompts).

Прав оказался Петерсон.
Держите свои шляпы, дамы и господа. Ибо гиганты уже приближаются.


Подробней
#LLM

🔬 Новая научная работа "Generative Agents: Interactive Simulacra of Human Behavior" демонстрирует применение больших языковых моделей (LLM) для симуляции поведения, похожего на человеческое, в интерактивной среде, вдохновленной игрой The Sims.

В статье представлена инновационная архитектура агента, состоящая из трех основных компонентов:

Поток памяти: фиксирует все переживания агента.
Рефлексия: обобщает память в более высокоуровневые выводы со временем.
Планирование: преобразует выводы и данные текущей среды в планы действий высокого уровня.
Представьте сочетание этой технологии с роботами Boston Dynamics – возможно, мы станем свидетелями зарождения мира, напоминающего WestWorld.

Paper: https://arxiv.org/abs/2304.03442
Demo: https://reverie.herokuapp.com/arXiv_Demo/# (Предварительно рассчитанная симуляция, сопровождающая статью, предназначена только для демонстрации)

#generative_agents #ai #llm

​​Человечество приехало.
Ответы ChatGPT коррелирует с людьми на 95% в 464 моральных тестах.
Это значит, что люди пока еще нужны, но уже не на долго.
Таков страшноватый вывод только что опубликованного большого исследования «Can AI language models replace human participants?»
Его авторы поставили интригующий вопрос:
если ChatGPT столь успешно сдает всевозможные человеческие экзамены, может ли ИИ бот заменить людей в социальных и психологических экспериментах?

Проверив ChatGPT на 464 моральных тестах (кражи, убийства, игра "Ультиматум", эксперимент Милгрэма, выборные коллизии и т.д.), исследователи получили фантастически высокую корреляцию (0.95) социальных и моральных суждений ChatGPT и людей.

Похоже, исследователи сами испугались такого результата.
“Люди все еще необходимы” – пишут они. “Мы все еще вынуждены погружаться в глубины грязных плотских умов, а не просто опрашивать кремниевые схемы ИИ. Тем не менее, языковые модели могут служить в качестве прокси для человеческих участников во многих экспериментах”.

Переводя с научной политкорректности, это значит следующее.
1. Для моделирования ответов людей, люди уже не нужны, ибо ИИ дает почти те же ответы (совпадающие на 95%)
2. Но остаются две проблемы: интерпретация (почему ИИ сделал такой моральный выбор) и «галлюцинации» (склонность ИИ нести правдоподобную пургу).

Учитывая, что исследование велось на ChatGPT 3.5, после перехода на 4.0, с обеими проблемами станет полегче.
Ну а с переходом на 5.0 (как раз к выборам в 2024) на ответы избирателей, да и вообще людей, в вопросах моральных и социальных оценок можно будут забить.

Статья
Открытый доступ
Проект на Github
#LLM #Психология #Мораль #Выборы

​​Не бомбить датацентры, а лишить ИИ агентности.
Первое предложение радикального решения проблемы ИИ рисков. И первый ответ наотмашь китов Бигтеха
28 тыс. подписей под письмом-воззванием приостановить совершенствование ИИ больших языковых моделей на полгода - как вопль вопиющего в пустыне, - ничего не изменят. На кону сотни миллиардов долларов потенциальной прибыли Бигтеха, супротив которых и 28 млн подписей, как слону дробина.
2-я дробина - это коллективные письма международных организаций, призывающих притормозить разработку ИИ без надлежащего регулирования и жестких ограничений. На кого могут повлиять стенания всевозможных активистов и международных бюрократов? Уж точно, не на Microsoft с Google.
3-я и последняя дробина – предостережения звёзд первой величины в области ИИ уровня Джеффри Хинтона. Но и на всякого «Хинтона» есть свой «Лекун» с той же премией Тьюринга и статусом 2-го «крёстного отца» ИИ.
Что же до предложения Елиэзера Юдковского бомбить датацентры ИИ, то это даже не дробина, а просто плевок в сторону китов Бигтеха. Плевок отчаяния из-за невозможности достучаться до боссов Бигтеха, мотивированных на получение невиданных в истории IT прибылей.

Итог очевиден. Все эти дробины и плевки не то что не замедлят темп хода слона Бигтеха, а он их просто не заметит. И ничего с этим никто поделать не может. Ибо конкретных предложений – что собственно делать после торможения, что конкретно менять, - до сих пор не было.

И вот 1-е такое предложение появилось.
Его автором стал 3-й, еще не упомянутый здесь, «крёстный отец» ИИ всё с той же премией Тьюринга за развитие машинного обучения ИИ - Йошуа Бенжио.

Предложение Бенжио предельно конкретно и радикально:
• ПОСКОЛЬКУ, нет и не может быть гарантий, что ИИ-агенты понимают наши цели так же, как мы,
• НЕОБХОДИМО перепрофилировать ИИ из АГЕНТОВ (делающих что-либо, т.е. исполняющих какие-либо действия в мире людей) в «УЧЕНЫХ КОНСУЛЬТАНТОВ», дающих людям советы и помогающих им решать свои проблемы.

Из этого предложения (его детализацию см. здесь) следует.
• Необходимо запретить разработку ИИ-агентов для всех областей и приложений, в которых не доказана безопасность их использования.
• Поскольку запрет на разработку ИИ-агентов не может на 100% исключить их разработку злонамеренными или неосторожными людьми для получения дополнительных преимуществ (например, на поле боя или для завоевания доли рынка), необходимо разработать глобальную систему контроля и ответственности за нарушения запрета.

Отмолчаться от столь кардинального предложения весьма заслуженного ученого Бигтеху трудно. И первый ответ китов Бигтеха уже прозвучал, озвученный вчера бывшим CEO Google Эриком Шмидтом.

«Не регулируйте ИИ — просто доверяйте компаниям! … Не политики, а разработчики ИИ, должны быть теми, кто устанавливает отраслевые барьеры … Человек, не связанный с промышленностью, никак не может понять, что здесь возможно».
Подробней здесь

#Вызовы21века #РискиИИ #LLM

Video-LLaMA
Мультимодальная система, понимает и может описать содержимое видео, в том числе и аудио. Криво написал, да? Но надеюсь, все поняли)

Код

Демо

Модель

#audio2text #video2text #LLM

Пусть GPT-4 работает, он железный.
Вот замечательный пример:
✔️ иллюстрирующий интеллектуальную мощность текущих версий ИИ на основе больших языковых моделей;
✔️ демонстрирующий пользу от использования этих моделей в работе, даже если вы доктор наук и профессор с 40-летним стажем научной работы.
Профессора Дерика Боундса попросили в начале июля модерировать дискуссионную сессию форума Austin Rainbow Forum на тему «Духовность в нашей повседневной жизни».

Сначала профессор решил было сесть за продумывание плана вопросов для модерации дискуссии, потратив на это часок своего весьма драгоценного времени.

Но вовремя остановил себя. И просто обратился к трем языковым моделям - ChatGPT 4, Google Bard и Microsoft Bing, - со следующим вопросом:
Я должен модерировать дискуссионную сессию на тему духовности в нашей повседневной жизни. Что бы вы мне посоветовали? И как бы вы здесь определили духовность?

Вот ответ ChatGPT 4

Это звучит как интересная тема, Дерик! Вот несколько советов, как вести дискуссию о духовности в повседневной жизни:
• Начните с определения того, что для вас значит духовность и как вы ее понимаете. Это поможет участникам понять контекст обсуждения и послужит отправной точкой для изучения темы.
• Призовите участников поделиться своим собственным духовным опытом в их повседневной жизни. Это может включать в себя такие практики, как медитация, молитва или просто время для размышлений и самоанализа.
• Затем проанализируйте, как духовность может помогать нам справиться с трудностями и стрессами повседневной жизни. Например, некоторые люди считают, что духовные практики помогают им найти смысл и цель в трудных ситуациях или дают чувство внутреннего мира и спокойствия.
• Потом обсудите роль, которую сообщество и социальные связи могут играть в духовности. Многие люди считают, что делиться своим духовным путешествием с другими и быть частью поддерживающего сообщества является важным аспектом их духовной практики.
• Наконец, предложите участникам подумать о том, как они могут практически внедрить духовность в свою повседневную жизнь. Это может включать в себя выделение времени каждый день для медитации или молитвы, сознательное усилие быть более осознанным и присутствующим в своих взаимодействиях с другими, или поиск способов отплатить своему сообществу духовно значимым образом.
Что касается определения духовности, оно может означать разные вещи для разных людей. Как правило, духовность относится к чувству связи с чем-то большим, чем вы сами, будь то высшая сила, мир природы или более широкое понимание человечества. Это часто включает в себя поиск смысла, цели и трансцендентности за пределами материального мира.


Ответы Google Bard и Microsoft Bing желающие могут прочесть в блоге профессора.

Мне же остается лишь добавить:
1. Тратить час на подготовку плана модерации дискуссии профессору не потребовалось. Вопрос решился за 5 минут. Лаконично, но вполне содержательно. Не слишком глубоко, но подходяще для публичной дискуссии.
2. Моя практика показывает, что до половины объема работы, не требующей полета мыслей и напряжения всех мозговых извилин, можно просто переложить на ИИ. А для второй половины работ требуется мое участие, но в основном, по доводке сделанного моделью.
Самое же приятное заключается в том, что именно работа, не требующая полета мыслей и напряжения всех мозговых извилин, ранее занимала бОльшую часть рабочего времени.
#LLM #Автоматизация

Устрашающий результат эксперимента OpenAI c GPT-4.
Теперь можно представить, кем станет «ребенок инопланетян», воспитанный мафией.
Роль среды, в которой растет и воспитывается человеческий ребенок, решающим образом влияет на характер и границы его поведения после того, как он вырастет. Близнецы, обладающие от рождения одинаковыми интеллектуальными способностями, в зависимости от среды и воспитания, могут вырасти в кого угодно. Воспитывавшийся в добропорядочной среде, скорее всего, станет достойным гражданином. Выросший в среде мафии, с большой вероятностью, станет преступником. А воспитанный с младенчества волками ребенок – маугли уже никогда не станет человеком.

Резонно предположить то же самое и в случае «детей - инопланетян», появившихся недавно на Земле в форме ИИ на основе больших языковых моделей (LLM): GPT, ClaudeAI …
Как и человеческие дети, каждый из этих «нечеловеческих разумов» LLM обладает широким спектром заложенных в них способностей. Но человеческие дети приобретают их сразу при рождении. А «дети - инопланетяне» - в результате предварительного обучения. Это дорогостоящий процесс, который для самых больших моделей стоит огромных денег и времени, и поэтому он не повторяется.

Говоря об интеллектуальных способностях людей и чат-ботов, важно понимать принципиальное отличие способностей и поведения.
• У людей (как сказано выше) характер и границы поведения определяются воспитанием.
• У чат-ботов аналогично. Роль воспитания здесь играет т.н. тонкая настройка модели. Она куда дешевле предварительного обучения и потому может проводиться регулярно.

Обратите внимание на следующий важнейший момент.
• Базовая модель после предварительного обучения функционально представляет собой продвинутый механизм автозаполнения: она не общается с пользователем, а лишь генерирует продолжение фраз, подаваемых ей на вход.
• Поведение в диалоге с людьми возникает у чат-бота лишь благодаря тонкой настройке (важнейшая цель которой — предотвратить нежелательное поведение чат-бота. Достигается это тем, что тонкая настройка может как выявить, так и подавить те или иные способности модели.
Иными словами, в результате тонкой настройки, модель, имеющая широкий спектр способностей, может, в ответ на конкретный запрос, проявлять какие-то из них или не проявлять. Т.е. способности модели остаются те же, а поведение разное.

Следовательно, в результате воспитания (тонкой настройки) модель может проявлять себя кем угодно от ангела до дьявола. И зависеть это будет лишь от ее воспитателей (от высокоморальных исследователей до гнусных бандитов и человеконенавистников).

Все вышесказанное было продемонстрировано в течение последних месяцев компанией OpenAI, взявшейся усиленно воспитывать GPT-4.

Результаты этого воспитания всполошили Интернет после статьи Линцзяо Чен, Матея Захария и Джеймса Цзоу, которые тестировали GPT-3.5 и GPT-4 на четырех задачах и «моментальных снимках» моделей с марта по июнь.

Интернет-общественность трактовала результаты этого исследования, как «деградацию способностей» GPT-4. На самом же деле, авторы вовсе не это имели в виду.
Все способности GPT-4 остались при ней. Изменилось лишь (в результате воспитания модели) её поведение (подробное объяснение см. здесь).

По сути, этот эксперимент показал колоссальный потенциал воспитания моделей «детей-инопланетян», позволяющий, путем их тонкой настройки превратить в кого-угодно.

Этот воистину устрашающий результат ставит важный вопрос:
Зачем биться за создание высокоморального ИИ, если тонкой настройкой можно быстро и дешево перевоспитать его в злодея?

Ну и вечный вопрос:
Оруэлл писал: «Если бы атомная бомба оказалась чем-то дешевым и легко производимым, как велосипед или будильник, возможно, мир снова погрузился бы в варварство …»
Не это ли грозит нам нынче с ИИ на базе LLM?

#Вызовы21века #РискиИИ #LLM

Сепулька сознания (или за гордыню придется ответить).
Два новых подтверждения тупика в понимании главных феноменов разума.
Гордыня считается грехом во многих религиозных и этических системах. Это чрезмерное чувство собственной важности, непомерно раздутое самоуважение или самомнение, ведущие к отказам признать свои ошибки или ограничения … в том числе, - собственного разума и, как следствие, науки.

Революция ИИ на основе больших языковых моделей заставила многих серьезных ученых пересмотреть свои взгляды на пределы познания у этих моделей, а также возможность наличия (или скорого появления) у них сознания. В медиа все чаще идут обсуждения и дебаты о том, когда ИИ превзойдет в познании людей, и как скоро ИИ может обрести сознание с соответствующими последствиями для человечества.

Самым поразительным в подобных обсуждениях и дебатах является даже не их предмет, а полная неопределенность предмета, уподобляющая его «сепульке» из «Звёздных дневников Ийона Тихого», тайна которой так и осталась нераскрыта.

Сознание, безусловно, является самой большой загадкой во Вселенной. И единственным научным итогом многолетних попыток понять, что это такое (как оно рождается из нейронной активности мозга и в чем разница между сознательной и бессознательной вычислительной обработкой мозгом поступающей в него информации), стали четыре ведущие теории: Теория глобального нейронного рабочего пространства, Теория мышления высшего порядка, Теория рекуррентной обработки и Теория интегрированной информации.
Однако, эти теории 1) противоречат друг другу и 2) дают противоречивые предсказания о нейронных основах сознательного опыта.

Чтобы хоть как-то попытаться выяснить, какая из теорий ближе к реальности, проводятся сотни экспериментов. И вот на этом пути случается полный облом.

Исследование, проведенное известными профессорами четырех топовых научных центров Израиля, Германии и США, опубликованное в журнале Nature Human Behavior:
• описывает глубокий анализ всех 412 экспериментов, предназначенных для проверки четырех ведущих теорий;
• и камня на камне не оставляет от выводов всех этих экспериментов в пользу конкретной теории из четырёх.
Вывод авторов однозначен.
Эксперименты просто не были построены одинаково. А оценка их результатов – плод предвзятости подтверждения у самих проверяющих.

Второе исследование, проведенное в легендарном Институте Санта-Фэ, показывает, что ситуация еще хуже.
Современная наука не имеет хотя бы подобия консенсуса, не только в вопросах сознания людей, но и в вопросах предположительных механизмов познания у насекомых (несравнимо более простых разумных существ, чем люди).

Сейчас существуют два непримиримых научных лагеря. Один лагерь, возглавляемый Рэндольфом Мензелем, утверждает, что насекомые формируют когнитивные карты, собирая свои воспоминания в сложные ментальные представления, которые сообщают им, где они находятся. Другой лагерь, возглавляемый Рюдигером Венером, утверждает, что у насекомых есть наборы инструментов, которые говорят им, куда идти, в зависимости от подсказок из окружающей среды и от того, отправляются ли они за кормом или возвращаются в гнездо.

Представители обоих лагерей проводят множество поведенческих экспериментов в полевых условиях, строят сложные модели и т.д. Но итог, тот же, что и с четырьмя теориями сознания у людей. Все правы и все не правы одновременно.

И вот с таким уровнем полного непонимания механизмов познания и сознания биологических существ (от насекомых до людей), исследователи и инженеры в области ИИ обещают разруливать по мере обнаружения проблемы познания и сознания у небиологического разума ИИ.

Это ли не гордыня, за которую людям, возможно, придется дорого заплатить?
#Сознание #Познание #LLM

Они уже здесь…
Кем бы ни выросли «дети инопланетян», - для человечества это беспрецедентный вызов.
Участникам прошедшего симпозиума «They’re Here… The AI moment has arrived» удалось невозможное – пройти между алармистскими и оптимистичными оценками революционных изменений в области ИИ и выделить в них главное.
Последние полгода прошли в безрезультатных попытках оппонентов (заслуженных «отцов ИИ» и выдающихся сегодняшних ученых и инженеров) убедить друг друга, что все либо «хорошо и перспективы чарующи и манящи», либо «все плохо, и конец человечества неизбежен.

Участники симпозиума «Они здесь...» не стали встревать в этот непродуктивный спор, ибо лишь время покажет, кто был ближе к правде.
Вместо этого симпозиум сосредоточился на анализе противоречия.
✔️ С одной стороны, уже много лет знающие люди в мире технологий в душе понимают, что «искусственный интеллект», в его доминирующей маркетинго-пиаровской медийной подаче, — это своего рода грандиозная, долгоиграющая техно-афера: обычная автоматизация, в этот раз, интеллектуальной работы, подаваемая в новой терминологии с разнообразными приправами из социальных фобий. И в Силиконовой долине это было известно знающим людям еще до того, как появилось на свет такое ее название.
✔️ С другой стороны, с каждым месяцем 2023, все более и более кажется, что происходящее в области ИИ бросает вызов основным линиям скептицизма, справедливо относившегося к оценкам прошлых «эпох ИИ», среди которых уже бывали и «зимы», и «вёсны» технологических надежд.

Так что же заставляет нас предполагать, что в этот раз происходит что-то абсолютно неординарное, и в этот раз для человечества действительно наступил «момент ИИ»?

Резюме ответа на этот вопрос сформулировано в открывающем симпозиум тексте «Почему этот ИИ-момент может быть реальным», превосходно написанном Ари Шульман.

Вот семь причин считать, что в этот раз, с появлением ИИ больших языковых моделей (LLM), таки произошла ИИ-революция.
1. Этот ИИ уже не специализированный, а обобщенный.
Доказывать это уже не нужно, после того, как GPT-4 прошел почти все основные стандартизированные академические тесты на замечательных уровнях, получив почти по каждому из них оценки в 80% - 90% процентиле.
2. Он понимает любой человеческий язык.
Такой вывод (безотносительно к определениям понимания) вытекает из его способности к глубоким рассуждениям (см. прекрасный пример его рассуждений при ответе на вопрос «Какой рост был у президента, когда родился Джон Кеннеди?»)
3. Он понимает контекст.
См. пример с вопросом «In the sentence "I left my raincoat in the bathtub because it was still wet", what does "it" refer to?»
4. Он адаптивный и гибкий.
Он быстро приспосабливается к собеседнику и быстро реагирует на изменение ситуации по ходу диалога.
5. Его кажущееся нам понимание мира является гибким, неявным и общим.
Помимо навыков логического вывода, он демонстрирует открытую, гибкую, имплицитную ориентацию на мир, которую мы обычно считаем (для людей) умением подстроиться к изменениям ситуации. И эта «подстройка» (как это нам кажется, но точно никто не знает) позволяет то, что мы обычно считаем умением схватывать смыслы.
6. Его способ познания мира гибок, имплицитен и универсален.
Он способен переводить любые явления (текст, звук, изображения, видео, радиоволны, тепловые измерения …) в кодировку, которой он манипулирует на основе своих глубоких познаний естественных языков.
7. Допускаемые им ошибки - не бессмыслица, а ошибки иного разума.
Он не обладает сознанием и не может быть в полном смысле разумным (в нашем понимании). Но поскольку пп. 1-6 связаны с наличием разума, напрашивается единственный вывод – это иной разум, формирующийся на наших глазах.

Т.е., как и было мною сказано еще полгода назад, - перед нами «ребенок инопланетян». И кем бы ни были эти сущности — они уже здесь.
#LLM #Вызовы21века

​​GPT или кот – кто умнее?
Мы снова наступаем на грабли спесишизма.
Почти за год до появления на свет ChatGPT, я поставил вопрос – как людям преодолеть свой спесишизм (моральный антропоцентризм по отношению к нелюдям)? А спустя менее года мы уже оказались в мире, где, помимо людей, существует пара десятков высокоинтеллектуальных сущностей. И они – не люди, а большие языковые модели (LLM).

Спесишизм, дискриминирующий представителей других видов на основании, якобы, человеческого превосходства в разуме, сознании, познании и т.д.  —  фундаментальное свойство людей. Это не просто вшитый в сознание «софтвер», а часть нашего неизменимого «хардвера», который не перепрограммировать и не перепрошить.

Многие десятилетия даже в научном мейнстриме царило представление, что человек – венец творения, несопоставимый по своему разуму и наличию сознания ни с одним другим видом. Лишь относительно недавно среди исследователей стала громче звучать противоположная точка зрения.
• Что люди – вовсе не венец творения.
• Что разум видов, эволюционировавших в разной среде обитания (на земле, в воде и в воздухе) устроен сильно по-разному.
• И что сравнение с позиций антропоморфизма различных типов разума даже у видов, обитающих в одной среде (например, людей и котов), весьма условно и малопродуктивно. Ибо с точки зрения эволюционного превосходства, шансы котов выжить на необитаемом острове явно предпочтительней, чем у Робинзона Крузо.

И вот опять, с появлением иного типа разума, обитающего в цифровой среде, люди вновь наступают на грабли спесишизма.
Ведь отличие этого типа разума (а также наличие у него сознания в человеческом понимании), в силу его нематериальности (невоплощенности) и непонятного для нас способа формирования модели окружающего мира (при отсутствии какого-либо собственного чувственного опыта) должно быть куда больше, чем у людей и любых видов животных (обитающих в материальной, а не в цифрой среде).

Идеальным примером очередного наступания на грабли спесишизма стала опубликованная вчера Романом Ямпольским визуализация логики расхождений во мнениях среди ИИ-специалистов по вопросам экзистенциальных рисков ИИ для человечества.
• Первый же вопрос определяет развилку в оценках, станет ли ИИ “smarter” (разумней, умнее, интеллектуальней…) людей.
• И дальше в том же духе – попытки универсальной человеческой линейкой измерить вероятность «попыток ИИ превзойти людей» и «успешность таких попыток».

Постановка подобных вопросов ведет в никуда.
Мы не умнее LLM. И они, даже при достижении ими сверхчеловеческого уровня каких-либо умений, не будут умнее нас. Разум LLM совсем-совсем иной.
А еще точнее, - вообще не использовать по отношению к ним человекоориентированные понятия, типа разума и сознания.

А также стоит не забывать и о наших «меньших и больших братьях». Ибо и они – коты и дельфины, слоны и вороны …, - тоже ни в чем нам не уступают с эволюционной точки зрения. А во многом и превосходят.
#LLM #Интеллект #Разум #Сознание #Эволюция

AGI появится через 2-3 года
Откровение «великого осознания» одного из трёх самых осведомленных практиков развития ИИ
Среди сотни наиболее осведомленных о состоянии и перспективах развития ИИ мировых экспертов, особняком стоят ТОП-3: Сэм Альтман, Демис Хассабис и Дарио Амодей. Уникальность понимания ими текущей ситуации в области ИИ, а также их видения наиболее вероятного развития событий в этой области на ближайшие годы, определяются двумя ключевыми моментами.
1. Под их руководством уже созданы три самые мощные в мире ИИ на основе наиболее совершенных и перспективных больших языковых моделей.
2. Они являются руководителями, соответственно, OpenAI, Google DeepMind и Anthropic: трёх компаний – абсолютных мировых лидеров в области ИИ, собравших у себя уникальные созвездия ученых и инженеров, а также располагающих колоссальными научно-техническими и финансовыми ресурсами.

Дарио Амадеи – самый закрытый и непубличный их трёх, - исповедует принцип «знающий не говорит, говорящий не знает».
• В отличие от Альтмана и Хассабиса, Амадеи не публикует посты в Twitter, не раздает множество интервью и не ходит периодически на подкасты и Ютуб-каналы. И поэтому 2-х часовое интервью Дарио Амадеи Дваркешу Патель представляет колоссальный интерес.
• Тем более, что в этом интервью Амадеи приоткрыл дверцу во внутреннюю кухню и планы Anthropic, что ни Хассабис, ни Альтман не позволяют себе сделать из-за груза ответственности перед корпоративными монстрами, контролирующими их деятельность (Google и Microsoft, финансирующий OpenAI).

Сказано за 2 часа много весьма интересного и, местами, сенсационного.
Но самым захватывающим дух для меня стало вот что.

1) Абсолютная уверенность Дарио Амадеи, что дальнейшее масштабирование моделей еще на пару порядков (как по числу параметров и объему данных, так и по стоимости обучения) приведет за 2-3 года к достижению моделями интеллектуального уровня хорошо образованного человека. Амадеи называет это «великим осознанием» того, что для достижения интеллекта человеческого уровня не потребуется ничего, кроме очень больших денег на то, чтобы купить очень большие вычислительные ресурсы и собрать очень большие объемы данных.

2) Мало кому известные факты, отражающие колоссальную «глубину бурения» ключевых проблем развития ИИ уникальной командой из почти сорока физиков-теоретиков, собравшихся под крышей Anthropic (напр., соучредитель и главный научный сотрудник компании Джаред Каплан, копающий решение проблем плавной масштабируемости с использованием аппарата фрактального многообразия).

3) Принципиальный подход Anthropic (а также OpenAI) к обучению моделей, сформулированный сооснователем и главным научным сотрудником OpenAI Ильей Суцкевером (когда Амадеи работал с ним в OpenAI) так:
«Модели просто хотят учиться. А вы лишь убираете препятствия с их пути. Вы предоставляете им хорошие данные, вы даете им достаточно вычислительных ресурсов для работы и не делаете ничего глупого. А учатся они сами, потому что хотят учиться.»

#LLM #AGI

AGI подкрался незаметно.
Экспериментально доказано – LLM «думают» как люди, а не имитируют наше мышление на основе статистик
Это сенсационное открытие «Лаборатории вычислительного зрения и обучения» Университета Калифорнии (руководитель - проф. Хунцзин Лу) прошло научное рецензирование и опубликовано в новом выпуске Nature Human Behaviour под заголовком «Эмерджентное рассуждение по аналогии в больших языковых моделях» – без пэйвола см. здесь

Суть сделанного открытия в следующем.
Экспериментально доказано, что большие языковые модели (LLM) уровня GPT-3 и выше уже достигли и даже превосходят уровень людей при решении задач:
✔️ абсолютно новых для них (с которыми они никогда не сталкивались);
✔️ требующих умения рассуждать "с нуля", без какого-либо прямого обучения;
✔️ требующих способности к абстрактной индукции паттернов – т.е. абстрагирования от конкретной задачи и рассуждения по аналогии.
Рассуждения по аналогии – это квинтэссенция способности человека к абстрагированию, являющейся основой человеческого интеллекта и его отличительной особенностью. Без наличия у ИИ такой способности невозможна реализация AGI (Artificial General Intelligence).

Доказательство того, что LLM обладает этой способностью на уровне человека и даже выше ставит точку в споре о том:
1. «думают» ли LLM, как люди (т.е. обладают ли LLM неким когнитивным процессом, функционально эквивалентным мыслительным способностям людей);
2. или же LLM лишь имитируют человеческое мышление (т.е. подражают человеческим рассуждениям, используя огромную статистику из наборов данных, на которых эти модели проходили обучение).

Из результатов исследования следует вот что.
• Верен п.1 – LLM обладают неким когнитивным процессом, функционально эквивалентным мыслительным способностям людей.
• Пока не ясно, как устроен вычислительный процесс порождения у LLM эмерджентных реляционных представлений.
• Единственно, что пока понятно, - этот вычислительный процесс формируется у LLM радикально иным путем, чем тот, который использует биологический интеллект.

Не менее важно, что это исследование на экспериментальных тестах зафиксировало 3 отсутствующих у LLM элемента, обретя которые LLM интеллектуально уравняются с людьми (пока они лишь человекоподобны, но не равны людям).
Вот эти 3 элемента.
I. Наличие собственных целей и мотивации
II. Долговременная память
III. Физическое понимание мира на основе мультимодального сенсорного опыта

#LLM #AGI

​​Cингулярность по-пекински.
В погоне за США Baidu совершенствует ИИ с фантастической скоростью.
Рост интеллектуальной мощности китайского ИИ воистину становится сингулярным – т.е. количественно, - скорость роста немыслимая, а качественно, - предсказать показатели интеллектуальности ИИ хотя бы на полгода уже невозможно.

Как я писал в апреле, по состоянию на март этого года, самый мощный китайский разговорный бот на основе генеративного ИИ ERNIE Bot (разработка лидера китайской индустрии ИИ – компании Baidu) отставал в гонке от лидера – американского ChatGPT, - на целый круг.

Текущее же состояние ERNIE Bot, объявленное позавчера на Wave Summit 2023 в Пекине, способно повергнуть в шок и американского разработчика ChatGPT OpenAI, и его друзей-соперников Microsoft, Google и Anthropic.
Похоже, вместо былого отставания на круг, Китай теперь наступает на пятки США в гонке за мировое первенство в важнейшей в истории человечества технологии – искусственный интеллект (ИИ).

Судите сами.
За прошедшие 4 мес.:
1. ERNIE Bot увеличил производительность обучения в 3 раза, а производительность логического вывода более чем в 30 раз (!);
2. достигнуто 2,1-кратное увеличение длинны цепочки мыслей, позволяющее более глубоко рассуждать, и 8,3-кратное расширение объема знаний, расширяющее общую способность понимания ERNIE Bot;
3. ERNIE Bot теперь не просто способен писать тексты на уровне людей, но и делать это на любой комбинации из 200 китайских литературных жанров: от классической китайской литературы Биджи (筆記) до Чжигуай сяошо (志怪小說) - «рассказы о чудесах», «рассказы о странном» или «записи о необычном» - ставший прообразом американского телесериала «Секретные материалы» жанр китайской литературы, появившийся на 2+ тыс лет раньше телесериала, еще во времена династии Хань.
Для справки: в английской и русской литературе число жанров ощутимо меньше: примерно 30+ жанров (зависит от системы классификации).

Дабы читателю прочувствовать китайские масштабы в области ИИ, приведу еще такой пример: на платформе глубокого обучения Baidu PaddlePaddle работают 8 млн разработчиков, и она обслуживает 220 тыс предприятий, используя 800+ тыс моделей.

Представляя все эти фантастические цифры (ведь всего за 4 месяца!), технический директор Baidu Хайфэн Ван сказал, что основные способности ИИ к пониманию, генерации, рассуждению и памяти приближают человечество к общему искусственному интеллекту (AGI).
Нас ждет «новый рассвет», когда появится AGI. Он уже скоро – сказал Хайфэн Ван.

Вот она какая – сингулярность по-пекински.
#Китай #LLM #AGI

🤖 Amazon запускает свой AI продукт Amazon Q

Amazon запустила Amazon Q, новый инструмент на базе искусственного интеллекта. Это похоже на супер-умного ассистента, который помогает разбираться в сложных вопросах, связанных с компьютерными технологиями и интернетом.

Amazon Q специализируется на технических аспектах и помогает находить оптимальные решения для различных задач. Например, если нужно что-то сделать в рамках компьютерных систем, Amazon Q подскажет, как это лучше всего осуществить.

В добавление к этому, Amazon QuickSight теперь работает с Amazon Q. Это означает, что можно создавать визуальные диаграммы и таблицы, используя простые вопросы на естественном языке, и получать точные и понятные ответы.

Для более подробного ознакомления с возможностями Amazon Q можно посетить официальную страницу продукта.

🔗 Link: https://aws.amazon.com/q/

МР.

#ai #gpt #llm #amazon

Внутри маскирующегося под стохастического попугая ИИ таится куда боле мощный ИИ.
Эксперимент показал - у больших моделей есть воображение.
Анализ 3х работ OpenAI, Anthropic и Google DeepMind навевает ассоциации с леденящим душу технокошмаром из серии фильмов ужасов «Чужой».
Точнее, с их облегченной версией, - где «чужой» может оказаться злым монстром, а может и нет. Но сам факт, что внутри некоего интеллектуального техно-артефакта может скрываться нечто куда более умное (и кто знает, может, и куда более опасное), сильно напрягает.

1) Еще в мае исследователи из OpenAI решили попытаться «заглянуть в душу» ИИ (точнее называть это «большой языковой моделью - LLM», но ИИ короче и понятней). Исследователи подошли к решению задачи «черного ящика» ИИ (понять, что у него внутри) супер-креативно.
Зачем самим ломать голову, решая неподъемную для людей задачу. Пусть большой ИИ (GPT-4 с числом нейроном 100+ млрд) сам ее и решит применительно к маленькому ИИ (GPT-2, в коем нейронов всего то 300К+) [1].
Результат озадачил исследователей. Многие нейроны (внутри маленького ИИ) оказались многозначны – т.е. они реагировали на множество самых разных входных данных: смесь академических цитат, диалогов на английском языке, HTTP-запросов, корейского текста …
Эта многозначность нейронов человеческой логике не понятна и ею не объятна. Если нейроны многозначны, какие же тогда более мелкие «субнейроны» соответствуют конкретным понятиям?

2) Ответ на этот вопрос дают исследователи из Anthropic [2]. Они полагают, что одной из причин многозначности является суперпозиция - гипотетическое явление, при котором нейронная сеть представляет больше независимых «функций» данных, чем нейроны, назначая каждой функции свою собственную линейную комбинацию нейронов.
Иными словами, внутри нейронной сети любого конкретного ИИ симулируется физически не существующая нейронная сеть некоего абстрактного ИИ.
И эта симулируемая нейронная сеть,
1. гораздо больше и сложнее нейронной сети, ее моделирующей;
2. содержит симулируемые моносемантические «субнейроны» (соответствующие конкретным понятиям);
Еще проще говоря: внутри менее мощного ИИ симулируется более мощный ИИ. Менее мощный ИИ физически существует в виде сети нейронов. Более мощный – в виде сети паттернов (линейных комбинаций) активаций нейронов.

3) Почувствовать на практике, сколь мощный ИИ таится внутри маскирующегося под «стохастического попугая» ИИ LLM, позволяет новое исследование Главного научного сотрудника Google DeepMind проф. Шанахана и директора CHPPC_IHR проф. Кларк [3].
Объектом исследования стало якобы отсутствующее у LLM свойство разума, без которого невозможно истинное творчество – воображение.
Эйнштейн писал - “Воображение важнее знаний. Ибо знания ограничены всем, что мы сейчас знаем и понимаем, в то время как воображение охватывает весь мир и все, что когда-либо можно будет узнать и понять”.
Эксперимент Шанахана-Кларк заключался в проверке наличия у GPT-4 воображения, позволяющего модели проявлять художественную креативность при написании (в соавторстве с человеком) литературного текста - фантастического романа о путешествии во времени.

Эксперимент показал:
✔️ при наличии сложных подсказок и соавтора-человека, модель демонстрирует изысканное воображение;
✔️ это продукт творчества модели, ибо ничего подобного люди до нее не придумали (этого не было в каких-либо текстах людей): например, появляющиеся по ходу романа придуманные моделью:
- новые персонажи и сюжетные повороты;
- новые неологизмы (прямо как у Солженицина), служащие для раскрытия идейного содержания сюжета - отнюдь не бессмысленные, семантически верные и контекстуально релевантные.

Значение вышеописанного см. в моем цикле “теория относительности интеллекта”.
#Креативность #Воображение #LLM
[1] https://openai.com/research/language-models-can-explain-neurons-in-language-models
[2] https://transformer-circuits.pub/2023/monosemantic-features
[3] https://arxiv.org/abs/2312.03746

Главным тормозом техноэволюции становятся «кожаные мешки».
Ибо люди не поспевают за развитием ИИ.
1,5 года назад стало ясно, что ChatGPT эволюционирует в 3 млн раз быстрее людей, и мир входит в сингулярную фазу развития.
Т.е. скорость развития такова, что прогнозировать его результаты становится невозможно даже на малых временных горизонтах порядка года.

Но можно хотя бы фиксировать главные тренды первых 18 месяцев сингулярной фазы развития мира.

1. Скорость роста вычислительной мощи новых моделей LLM уже превзошла закон Мура. Но еще выше скорость снижения цены за «единицу их мысли» (рис 1)

2. Разнообразию видов LLM пока далеко до разнообразия видов жизни. Но по качеству и скорости «мышления» и особенно по цене за «единицу мысли» разнообразие LLM уже впечатляет (2)

3. Пока лишь 6,9% людей интеллектуальных профессий смогли научиться эффективно использовать LLM (3). Возможно, это результат нашей мизерной скорости осознанной обработки инфы 20=60 бит в сек.

#LLM