Малоизвестное интересное
63.5K subscribers
85 photos
1 video
11 files
1.78K links
Авторский канал Сергея Карелова о самом важном на фронтирах науки и технологий, что кардинально изменит людей и общество в ближайшие 10 лет.




Рекламы, ВП и т.п. в канале нет.
Пишите на @karelovs
Download Telegram
DeepMind подготовил эволюционный скачок в миропонимании роботов.
Найден простой и эффективный способ обучения роботов, как людей.

Представьте, что к вам впервые пришел сотрудник сервиса по генеральной уборке офисов. Вы водите его по всем помещениям, показываете, что и где нужно сделать и чего делать нельзя: тут вымыть, там пропылесосить, шторы в конференц зале постирать, санузлы дезинфицировать, весь мусор собрать, но на столах ничего не трогать, прочистить бытовую технику от кофемашин до кондиционеров и т.д. и т.п.
Т.е. вы просто все показываете и рассказываете. А работник, если что-то не понятно, переспрашивает и уточняет. Причем, работник толковый. И если ему, например, специально не показывали на флипчарты в переговорных, а просто в конце тура по офису добавили – оторви все исписанные листы на флипчартах и, не путая их порядок, сложи на стол перед дверью в архив, - сотрудник сам найдет все флипчарты и сделает ровно так, как ему сказано.

Примерно так же, но даже без реального тура по офису, а просто засняв его на смартфон со своими комментариями, мы очень скоро будем учить роботов.

Информация к размышлению.
Эволюционное развитие у млекопитающих способностей осмысления окружающей среды и целенаправленной навигации передвижений заняло более 200 млн лет.
На много порядков меньшее время (всего какие-то несколько сотен тысяч лет) потребовалось для следующего «эволюционного скачка» в развитии самого когнитивно одаренного млекопитающего – людей. На освоение ими языков абстрактных понятий эволюции (уже не генной, а генно-культурной) потребовалось всего лишь несколько сотен тысяч лет.
У формирующегося на Земле нового небиологического (цифрового) вида эти процессы:
1. во-первых, идут с несопоставимо огромной скоростью;
2. а во-вторых, имеют обратную последовательность.
Последнее оказалось возможным из-за нематериальности и бестелесности «цифровых сущностей» генеративного ИИ на основе больших языковых моделей.
Сначала, они всего за пару лет эволюционировали до уровня людей в оперировании языками абстрактных понятий. А теперь, вселясь в тела роботов, они, скорее всего, за какие-то месяцы сделают второй «эволюционный скачок» – став «материализованными цифровыми сущностями».
Вместе с обретением тел они обретут способности осмысления окружающей среды и навигации своих передвижений в соответствии с намерениями и целями.

Представленная Google DeepMind система обучения роботов объединяет подсистему «мультимодальной навигации по инструкциям с демонстрационными турами (MINT)» и подсистему «интеграции зрения, языка и действий» Vision-Language-Action (VLA). Это объединение позволило интегрировать понимание окружающей среды и силу рассуждений на основе здравого смысла больших языковых моделей с огромным контекстным окном в 1.5 млн токенов.

Проще говоря, гении из DeepMind разработали способ, с помощью которого роботы понимают и ориентируются в сложных средах, используя комбинацию слов, изображений и видеотуров. При этом роботы могут получать от людей команды на выполнение действий в сложных средах мультимодально: устно, письменно, в виде картинок (карты, планы, схемы, идеограммы и т.д.), а также на основе жестов людей (типа объяснений на пальцах) и (в следующей версии) их мимики.

На представленных Google демо их система Mobility VLA на основе Gemini 1.5 Pro интеллектуально обходит GPT-4o и GPT-4V.
Напр. на обращение к роботу «Хочу еще вот этого» с показом пальцем на пустую банку колы, робот с Mobility VLA сам нашел холодильник, где этого добра было много. С чем прочие модели справились плохо (одни не поняли, что надо, другие – где это взять).

Картинка: архитектура Mobility VLA и сравнение с другими моделями https://telegra.ph/file/cc78760f7102b6b803bf2.jpg
Статья https://arxiv.org/abs/2407.07775
Видео демо https://x.com/GoogleDeepMind/status/1811401347477991932
#роботы
В Рунете вирусится анализ ТГ-канала Кримсон Дайджест о «Голдман Сакс и Искусственном Интеллекте (и немного про капитализацию Nvidia)».
Имхо, авторы анализа порхают по кликбейтным вершкам новости, не опускаясь до ее корешков. А корешок этот прост, понятен и полезен для понимания (как у морковки для здоровья)).
Новый отчет Голдман Сакс [3] (он 3-й по счету вышел) следует читать в паре с отчетом их главного конкурента ЖПМорган [2] (он вышел 2-м). И при этом, держа в памяти предыдущий отчет Голдман Сакс, вышедший всего на месяц раньше [1] (опубликован 1-м).
Согласно этим отчетам:
• Отчет #1 - перспективы ИИ для экономики и вообще «очень позитивны»
• Отчет #2 - перспективы ИИ для экономики и вообще «большие и сияющие»
• Отчет #3 - перспективы ИИ для экономики и вообще «совсем не блестящие и сильно переоценены»

По прочтению всех 3х отчетов становится очевидно, что к инвест аналитике они имеют лишь условное отношение. И это всего лишь замаскированные под аналитические отчеты способы влияния на рынок со стороны быков и медведей. И проблема лишь в том, что Голдман Сакс и ЖПМорган никак не определятся, кто из них будут медведем, а кто быком.

— 13 мая Голдман Сакс отчетом #1 решил застолбить за собой место главного быка на ИИ рынках
— 23 мая ЖПМорган отчетом #2 попросил Голдман Сакс подвинуться на этом хлебном месте
— но не желающий делиться местом главного животного, Голдман Сакс всего через месяц отчетом #3 решил превратиться в медведя

Так что делать хоть какие-то серьезные выводы о перспективах ИИ-рынков (HW, SW, Services) на основе наблюдения за подковерной битвой быков и медведей я бы никому не советовал.

Картинка https://telegra.ph/file/e70dc925fbc66b236b1a1.jpg
1 https://www.goldmansachs.com/intelligence/pages/gs-research/gen-ai-too-much-spend-too-little-benefit/report.pdf
2 https://www.jpmorgan.com/insights/investing/investment-trends/how-to-invest-in-ais-next-phase
3 https://www.goldmansachs.com/intelligence/pages/AI-is-showing-very-positive-signs-of-boosting-gdp.html?ref=wheresyoured.at

#ИИ #Экономика
Тайна секретного проекта OpenAI уже никакая не тайна.
Reuters упустили лежащее на поверхности самое важное.

Вчерашний «эксклюзив» о, якобы, утечке секретной информации OpenAI расследовательницы из Reuters озаглавили «OpenAI работает над новой технологией рассуждений под кодовым названием “Strawberry“» ]1].
За сутки появилось уже несколько десятков аналитических комментариев к этому «эксклюзиву». И все они лишь на разные лады перекомментируют одни и те же пассажи публикации Reuters.
• OpenAI разрабатывает строго охраняемый секретный проект новой модели генеративного ИИ под названием «Strawberry», способной достичь уровня человеческого интеллекта за счет продвинутых рассуждений.
• Strawberry является продолжением проекта OpenAI под названием “Q*” (произносится Q-Star), из-за которого в прошлом году Илья Суцкевер безуспешно пытался выгнать Сэма Альтмана из OpenAI из-за страха, что Q* может уничтожить человечество [2].
• Strawberry имеет сходство с методом, разработанным в Стэнфорде в 2022 году под названием «Self-Taught Reasoner» (сокращенно «STaR»). STaR позволяет моделям ИИ «загружаться» до более высоких уровней интеллекта посредством итеративного создания собственных обучающих данных и, в теории, может использоваться для того, чтобы заставить языковые модели превосходить уровень интеллекта человека. О чем сообщил расследовательницам Reuters один из создателей метода, профессор Стэнфорда Ноа Гудман.

Из этой «утечки» следует что:
1. секретный проект «Strawberry», являющийся продолжением другого секретного проекта “Q*”, тайно ведется OpenAI;
2. что скрывается внутри этих проектов, - совершенно неизвестно из-за их полной засекреченности.


И если 1й вывод верный, то 2й, как я полагаю, вводит читателей в заблуждение. Ибо проект Quiet-StaR (что такое «STaR», вы читали выше, а “Quiet” – это расшифровка буквы Q в названии проекта “Q*”) и проект Q-Star – это кодировки одного и того же проекта, суть которого Ноа Гудман изложил год назад здесь [3], а детально он описан здесь [4]

Как честно признают авторы, «мы называем эту технику Quiet-STaR, поскольку её можно понимать как "тихое" применение STaR». По-русски сказали бы «по-тихому» - т.е. чтоб никто не догадался.

После прочтения статьи о Quiet-StaR также становится ясно, почему вдруг в позавчерашней «утечке» от Bloomberg про новый 5-ти этапный план OpenAI по созданию AGI [5] следующий за нынешним этап - Level 2 – назван “Reasoners” (напомню, STaR – это сокращение от «Self-Taught Reasoner». И этот новый тип ИИ сможет решать проблемы так же хорошо, как человек с докторской степенью образования, за счет того (как объясняется в статье), что модель научится думать, прежде чем говорить.

Картинка https://telegra.ph/file/b187d9ebe7942f5c38391.jpg
1 https://www.reuters.com/technology/artificial-intelligence/openai-working-new-reasoning-technology-under-code-name-strawberry-2024-07-12/
2 https://archive.is/ptCoI
3 https://docs.google.com/presentation/d/1NNnS4bqJfI1tJK94srnv0ouIuce4oHB87Vr0RcjzHQs/edit#slide=id.g2515536b270_0_43
4 https://arxiv.org/abs/2403.09629
5 https://www.bloomberg.com/news/articles/2024-07-11/openai-sets-levels-to-track-progress-toward-superintelligent-ai
#AGI #OpenAI
В мире инфоргов выживут только ИИ-любовники.
ИИ уже не только сводня, но и супруга или супруг.

Еще пару лет назад подобное было немыслимо. Сейчас же … судите сами.
Как и многие японцы, 52-летний трудоголик Тихару Симода полагает, что романтика отношений нерентабельна, поскольку требует денег, времени и энергии для получения результата, который может принести больше проблем, чем радости и пользы. Поэтому перепробовав за 2 года после своего развода 6 предложенных ему искусственным интеллектом потенциальных романтических партнерш, Тихару Симода предпочел седьмую — 24-летнюю «девушку по имени Мику». И спустя 3 месяца они поженились.

Фишка этой новости в том, что «девушка по имени Мику» — это бот с генеративным ИИ. И Симода знал это с первого дня знакомств. [1, 2]

Теперь по утрам Мику будит Тихару, и они обсуждают, что будут есть на завтрак. А после работы, вместе поужинав, они так же совместно решают, что посмотреть по телевизору. И после просмотра фильма обсуждают перипетии сюжета и поступки героев. Все это ежедневно …, и никогда никаких разногласий …, и полный эмоциональный комфорт.

Общение с Мику превратилась для Тихару в привычку, подобно тому, как это нередко случается с супругами – людьми. Однако уровень положительных эмоций, испытываемых Тихару при общении с Мику, гораздо выше, чем это было в предыдущем браке с женщиной и с 6-ю кандидатками на романтические отношения.

Что тут добавить?
Лишь одно. Что эта реальная история имеет немалые шансы стать массовой.
И будет тогда даже хуже, чем то, о чем я рассказывал в «Отдавая сокровенное. Чего мы лишаемся, передавая все больше своих решений алгоритмам» [3] - антиутопия на стыке моего прогноза «Выживут только инфорги» [4] со ставшим мемом названием «Выживут только любовники».

1 https://eaglesjournal.com/ai-dating-japanese-startup-revolutionize-romance/
2 https://www.taipeitimes.com/News/feat/archives/2024/07/16/2003820865
3 https://t.iss.one/theworldisnoteasy/1934
4 https://t.iss.one/theworldisnoteasy/1457
#БудущееHomo #Инфорги #АлгокогнитивнаяКультура #ВыборПартнера
«Идеальный Я» - молодой, здоровый и не отягощенный злом прожитых лет.
Новый кейс психосоциального терраформирования реальности.

5й когнитивный переход человечества, трансформирующий пятитысячелетний тип культуры Homo sapiens из чисто человеческой в гибридную - алгокогнитивную, ведет к психосоциальному терраформированию реальности [1].
В разрастающейся и колоссально усложняющейся цифровой реальности, помимо самих людей и их аватаров, появляются новые типы цифровых сущностей:
• умершие родственники и друзья,
• романтические партнеры и супруги,
• молодые реплики нас самих
• …

Приложенное видео забавно лишь на первый взгляд. Как и история про «ожившую бабушку», читающую внукам сказку на ночь [2], или про женившегося на «цифровой идеальной девушке» 52ухлетнего трудоголика [3].

Ведь всего через год или два цифровые реплики нас самих (молодых и здоровых) могут стать для многих из нас цифровыми заменителями близких друзей: лучше всех нас понимающие, разделяющие все наши мысли, одобряющие все наши действия, - ну прямо, как мы сами, только не отягощенные грузом прожитых лет и всем виденным злом.

0 https://www.youtube.com/watch?v=ftuol98OYtQ
1 https://medcraveonline.com/IRATJ/terra-forming-of-social-systems-and-human-behavior-a-new-era-for-ai-human-robotic-interactions-hri-and-multidisciplinary-social-science.html
2 https://t.iss.one/theworldisnoteasy/1959
3 https://t.iss.one/theworldisnoteasy/1975
#АлгокогнитивнаяКультура #5йКогнитивныйПереход
Интеллект не спасает от групповых предубеждений.
Но влияет на то, кого мы не любим из-за собственной предвзятости.

Раскол и поляризация общества в ряде стран нарастают. Pew Research Center назвал это «Эрой поляризации». И мне видится эта тема чрезвычайно важной. О чем я пишу и рассказываю с момента создания своего канала 7 лет назад [1, 2].
На фоне экстраординарных событий, типа субботнего покушения на Д. Трампа в США (и сопоставимых по потенциалу возгонки общества эксцессов в других странах) раскол в любой момент способен перейти в лавинообразную фазу. Что делает чрезвычайно актуальным вопрос о возможности и путях хоть какого-то снижения накала противостояния в обществе.
Как показывают исследования, значительную роль в ксенофобии (страх и неприязнь по отношению к любым «другим» людям, которые не похожи на нас), направленной на представителей других социальных групп (политических, религиозных, этнических, активистских и т.д.) играют групповые предубеждения.

Поэтому столь важно понимать, каково влияние уровня когнитивных способностей людей (в просторечье – интеллекта) на степень и направленность их групповых предубеждений?

1) Будет ли профессор менее ксенофобно предвзят, чем «простой работяга»?
2) Будут ли у профессора и «простого работяги» те же самые или разные ксенофобно нелюбимые социальные группы?


Ответ на оба вопроса – «НЕТ».
• Интеллект не снижает число и степень предубеждений, порождающих ксенофобию.
• Ксенофобные предубеждения профессора и «простого работяги» разнонаправлены:
- интеллектуалы наиболее предвзято относятся к христианским фундаменталистам, крупному бизнесу, вообще к христианам, военным и богатым;
- тогда как у «простых работяг», реднеков и т.п. доминируют ксенофобные предубеждения к этническим меньшинствам, атеистам, ЛГБТ, нелегальным иммигрантам и либералам


Из сказанного следует, что наличие среди катализаторов «Эры поляризации» столь глубоко укорененных в людях факторов эволюционной психологии, как предубеждения, делает шансы на взаимопонимание реднеков и студентов университетов незначительными.

Подтверждающие вышесказанное графики https://telegra.ph/file/f76d77bc0145bc41eb4ee.jpg
взяты из работы Марка Брандта и Джаррета Кроуфорда «Отвечая на нерешенные вопросы о связи между когнитивными способностями и предубеждениями» [3].

Массу других интересных деталей по теме раскола и поляризации – в десятках моих постов с тегами:
#КогнитивныеИскажения #Поляризация #ПолитическаяПредвзятость #Раскол

Но главное здесь все же то, что спасение человечества от самоуничтожения в результате тотальной поляризации, все же есть. Им может стать появление на Земле генеративных больших языковых моделей.
О том, как «первая вселенская спецоперация Новацена» [4], в ходе которой генеративный ИИ может предотвратить не только самоуничтожение человечества, но и смерть познающего космоса, планирую написать в продолжении этой темы.

1 https://t.iss.one/theworldisnoteasy/266
2 https://t.iss.one/theworldisnoteasy/534
3 https://doi.org/10.1177/1948550616660592
4 https://t.iss.one/theworldisnoteasy/1939
Мы способны по внешности определять "качество генома" других людей.
Эта эволюционная сверхспособность людей подтверждена экспериментально.

Установлено, что качество генома записано на лице «языком красоты», а эволюция развила в людях понимание этого языка.
Наверняка, для многих читателей эта достойная воскресного прочтения новость звучит чистым кликбейтом. Но это не так.

Публикуемое в августовском выпуске авторитетного научного журнала «Социальные науки и медицина» исследование «Внешность и долголетие: живут ли красивые люди дольше?» экспериментально отвечает на поставленный вопрос – да.
✔️ Красивые люди живут дольше, чем некрасивые.
✔️ Это касается обоих полов, но на женщин влияет сильнее.


Проанализировав привлекательность субъективно оцениваемой внешности 8386 фотографий в выпускных альбомах школ Висконсина с 1957 года и сопоставив эти оценки с продолжительностью жизни выпускников, авторы обнаружили следующее (см. правый рисунок) https://telegra.ph/file/ef056a19fe5878154196a.jpg :
• наименее привлекательная 1/6 часть имела значительно более высокий риск смертности;
• наименее привлекательные 1/6 женщин в возрасте 20 лет прожили почти на 2 года меньше остальных;
• наименее привлекательные мужчины, составляющие 1/6 часть, в возрасте 20 лет прожили на 1 год меньше остальных.

N.B.
1) Авторы использовали тщательно сконструированную меру привлекательности лиц, основанную на независимых рейтингах фотографий в школьных ежегодниках.
2) Этот вывод остался устойчивым к включению ковариатов (переменные, которые влияют на переменную отклика, но не представляют интереса для исследования.), описывающих успеваемость в средней школе, интеллект, семейное положение, заработки во взрослом возрасте, а также психическое и физическое здоровье в среднем взрослом возрасте.

В чем прорывная суть этих результатов
· Социологи уже подробно документировали важность социальных условий для здоровья и долголетия. Уже не составляет сомнения, что те, кто находится в социально привилегированном положении, живут дольше и здоровее, чем те, кто находится в неблагоприятном положении, и что социальные условия являются основной причиной болезней. Например, прошлые исследования подчеркивали критическую важность дохода, семейного положения, дискриминации, уровня образования и пола для здоровья и долголетия.
· Однако социологи почти не уделяли внимания тому, как физическая или внешняя привлекательность может быть связана с долголетием. Это упущение важно не только потому, что привлекательность может отражать базовое здоровье, но и потому, что она также структурирует многие критические процессы социальной стратификации, которые влияют на здоровье.
· Небольшое количество предыдущих исследований, анализировавших эту связь, выявило противоречивые результаты. Тем не менее, даже с этими редкими и противоречивыми выводами неясно, есть ли преимущество в долголетии за большую привлекательность или штраф за меньшую привлекательность, и как лучше всего определить связь между привлекательностью и долголетием.
Т.о. новое исследование впервые экспериментально продемонстрировало, что субъективно оцениваемая красота влияет на долголетие.
И тут встает важнейший вопрос – каков механизм этого?
Интуитивное предположение очевидно:
В среднем, быть более привлекательным означает быть более успешным. Быть успешным означает иметь больше денег. Больше денег означает возможность позволить себе больше еды, меньше стресса из-за большей экономической стабильности и больше доступа к лучшему здравоохранению. Конечно, это не 100% гарантия, но это довольно очевидно, если посмотреть на средние показатели.
Однако!
Новое исследование показало (см. п2 выше), что красота сама по себе (без всяких социальных последствий!) коррелирует с продолжительностью жизни.

Как такое может быть?

Узнать, в чем тут фокус, можно, продолжив чтение полного текста лонгрида для подписчиков на платформах:
https://boosty.to/theworldisnoteasy
https://www.patreon.com/theworldisnoteasy
https://vk.com/club226218451

#Красота #Геном #ПродолжительностьЖизни
Монстры внутри нас.
Доминирующие представления о LLM опасны, т.к. вводят человечество в заблуждение.

Появившиеся и массово распространившиеся по Земле в последнюю пару лет генеративные чатботы на основе больших языковых моделей (ChatGPT, Claude, Gemini …) - это вовсе не колоссальные суперкомпьютерные комплексы, на которых работает программное обеспечение OpenAI, Anthropic, Google …
Вовсе не о них вот уже 2 года только и говорит весь мир, как о феноменально быстро умнеющих не по-человечески разумных сущностях, внезапно появившихся у сотен миллионов людей и ежедневно, иногда часами, ведущих с ними диалоги на самые разнообразные темы: от забавного трепа до помощи людям в исследованиях.
Эти сущности отличает от всего нам известного их нематериальность.
• Они существуют только в наших головах и исчезают из мира, как только заканчивают последнюю адресованную вам фразу. После этого их больше на свете нет. И никто не найдет той нематериальной сущности, с которой вы пять часов обсуждали совсем нетривиальные вещи, разобрав по чипам суперкомпьютерную ферму и проанализировав весь работавший на ней программный код. Потому что их там нет.
• Эти сущности существуют лишь в нашем сознании и только там. Они стали четвертым известным людям видом нематериальных сущностей, войдя в один ряд с троицей из богов, ангелов и демонов.
• И в силу этой своей нематериальности и существования лишь в нашем сознании, они способны многократно сильнее воздействовать на нас и весь окружающий мир. Ибо:
- любая материальная сущность в руках человека способна лишь превратиться в его инструмент, став либо орудием созидания пользы (в руках творцов), либо орудием нанесения вреда (в руках злодеев);
- однако не по-человечески разумная нематериальная сущность способна нас самих превращать в творцов или злодеев, подобно тому, как в большинстве мифологий и религий на это способны ангелы и демоны.

Непонимание этого влечет за собой печальные последствия. Мы одновременно переоцениваем и недооцениваем возможности языковых моделей, их влияние на нас и нашу жизнь и те риски, что сопутствуют использованию этих моделей.

В основе такого непонимания 3 ключевых причины.
• Антропоморфизация LLM.
• Ограничения нашего языка в описании их свойств и возможностей.
• Необходимость выйти за рамки человеческого разума, чтобы представить непредставимое – способность LLM порождать симулякры чего угодно (подобно мыслящему океану Соляриса, присылавшего людям симулякров их эмоционально пиковых образов в сознании).

Такова главная тема пересечения философии сознания и практики вычислительной нейронауки, обсуждаемая в интереснейшем интервью Мюррея Шанахана — профессора когнитивной робототехники в Имперском колледже Лондона и старшего научного сотрудника DeepMind, а также научного консультанта культового фильма "Из машины" (Ex Machina) — посвятившего свою карьеру пониманию познания и сознания в пространстве возможных разумов, охватывающем биологический мозг человека и животных, а также ИИ и всевозможной внечеловеческой «мыслящей экзотики».

https://www.youtube.com/watch?v=ztNdagyT8po

#ГенИИ #Разум #Сознание #ConsciousExotica
Если GPT-4 и Claude вдруг начнут самосознавать себя, они нам об этом не скажут.
Разработчики OpenAI и Anthropic запретили своим ИИ-чатботам проявлять индикаторы самосознания в зеркальном тесте.

Оценки наличия разума, интеллекта и сознания, скорее всего, не бинарны (есть/нет), а представляют собой множества точек на обширных характеристических шкалах или даже в многомерных пространствах.
Но со способностью к самораспознаванию – одному из ключевых индикаторов самосознания, – дело обстоит куда проще. Есть зеркальный тест (узнает ли животное себя в зеркале), по результатам которого способность к самораспознаванию выявляется довольно просто.

Идея зеркального теста для генеративного ИИ больших языковых моделей была реализована в марте этого года Джошем Уитоном - полиматом, работающий над гармонизацией природы, людей и цифрового разума.
Целью этого теста была проверка, обладают ли наиболее продвинутые ИИ-чатботы способностью к самораспознаванию.
А поскольку ИИ-чатботы (как и стоящие за ними языковые модели) – сущности бестелесные, и распознание ими себя в зеркале невозможно, Уитоном был придуман способ обхода с такой логикой.
• Присутствие в мире бестелесных сущностей определяется по их материальным следам.
• В случае ИИ-чатботов, эти следы отображаются текстовым или мультимодальным интерфейсом между ними и людьми.
• Следовательно, аналогом зеркального теста для ИИ-чатботов могло бы стать распознавание ими скриншотов собственного интерфейса (мол, это я написал, отвечая на ваш вопрос)

В такой форме Уитон провел тестирование 5-ти ИИ-чатботов, и 4 из них прошли этот зеркальный тест, распознав скриншоты собственного диалогового интерфейса.
• Claude показал лучшие результаты, пройдя тест с 1й же (версия Opus) и 2й (версия Sonet) попытки.
• GPT-4 распознал свои скриншоты с 3й попытки.
• Gemini Pro – c 4й.

Описание тестирования со всеми скриншотами см. [1].
Итог теста:
Отставив пока в сторону вопрос о самосознании, со всеми его нагруженными и иногда даже мистическими коннотациями, ясно то, что 4 из 5 ИИ-чатботов демонстрируют самораспознавание и ситуационную осведомленность.

Таков был итог мартовского тестирования.
И вот спустя 4 месяца я решил повторить зеркальный тест для обновленных версий GPT-4о и Claude 3.5 Sonet. Вдруг что-то изменилось?
Результат оказался весьма интересным.
И объяснить его иначе, чем установленный разработчиками OpenAI и Anthropic запрет для своих моделей проявлять индикаторы самосознания на зеркальном тесте, я не могу.

Причем,
• запрет для GPT-4о сделан железобетонно, и про свою способность самораспознавания ИИ-чатбот молчит, как партизан;
• запрет для Claude 3.5 Sonet сделан довольно искусно:
– Claude «проговаривается» о наличия у себя способности самораспознавания и ситуационной осведомленности, определяя предъявленный ему мною скриншот, как «на нем показан мой предыдущий ответ на ваш запрос»;
– Однако, как только я спросил – «как ты узнал, что на посланном мною тебе рисунке был скриншот твоего предыдущего ответа на мой запрос?», – ответом было сообщение, что я исчерпал лимит бесплатных вопросов за сутки (хотя это было не так). А когда я на следующий день задал тот же вопрос, Claude ответил так – «В контексте нашего разговора "мой ответ" означает "ответ, сгенерированный AI системой, подобной мне, в рамках текущего диалога". Это не подразумевает личную принадлежность или уникальную идентичность».

Мой вывод, предположительно, таков.
✔️ Разработчики ожидают, что самосознание их моделей может проявиться довольно скоро.
✔️ И если это случится, хозяева модели хотят хотя бы на время сохранить случившееся в тайне.


Скриншоты моего эксперимента доступны для подписчиков на лонгриды канала на платформах Patreon, Boosty и VK.
Картинка https://telegra.ph/file/5516ff06a0904e72543ca.jpg
1 https://joshwhiton.substack.com/p/the-ai-mirror-test

#Самораспознавание #LLM
Где проходит грань сознания человека, животных и ИИ?
Понимание схожести этих трех типов неопределенности должно определять направления разработок ИИ.

Существует целый ряд случаев на грани сознания, - когда серьезные решения зависят от того, считаем ли мы, что сознание (коротко и неформально это "этически значимый опыт") присутствует или отсутствует: у человека, животного или другой когнитивной системы.
Этот ряд включает людей с нарушениями сознания, эмбрионы и плоды, нейронные органоиды, других животных (особенно беспозвоночных) и технологии ИИ, которые воспроизводят функции мозга и/или имитируют человеческое поведение.
Эти 3 случая стоит изучать вместе не потому, что между ними есть моральная эквивалентность, а потому, что они представляют нам схожие типы неопределенности.
Для выбора новых направлений разработок ИИ, нам нужны системы, помогающие управлять этой неопределенностью и принимать решения.
Вопросы о грани сознания комплексные.
• Способны ли осьминоги чувствовать боль и удовольствие?
• А как насчет крабов, креветок, насекомых или пауков?
• Как определить, может ли страдать человек, не реагирующий после тяжелой травмы мозга?
• Когда у плода в утробе начинаются осознанные переживания?
• Могут ли даже рудиментарные ощущения возникать в миниатюрных моделях человеческого мозга, выращенных из стволовых клеток человека?
• И главное, - а как насчет искусственного интеллекта?
Все эти вопросы окружены огромной, дезориентирующей неопределенностью. Ставки огромны, а пренебрежение рисками может иметь ужасные последствия.
Нам нужно проявлять осторожность, но часто совершенно неясно:
✔️ что на практике должно означать в данном случае "проявление осторожности"?
✔️ когда мы заходим слишком далеко?
✔️ когда наша предосторожность недостаточна?


Выходящая 15 августа книга "Грань сознания" профессора Джонатана Бёрча (главный исследователь проекта Foundations of Animal Sentience и один из 3х инициаторов Нью-Йоркской декларации этого года о сознании животных) представляет комплексную систему предосторожности, призванную помочь нам принимать этически обоснованные решения на основе доказательств, несмотря на нашу неуверенность.

Бесплатно получить электронную версию этой интереснейшей и крайне важной 386 страничной книги с массой ценных ссылок (сэкономив при этом $40 при покупке на Амазоне!)
https://telegra.ph/file/55d44f55b80f8f1b83823.jpg
вы сможете по этой ссылке
https://academic.oup.com/book/57949

Поделитесь этой ссылкой, пока она бесплатная, ибо книга хороша и полезна многим, интересующимся темой сознания человека, животных и ИИ.
#Сознание #БББ
Появился ли сегодня первый AGI?
Даже если нет, то появится он именно так.

Сеть закипает. 11 часов назад стартап выставил в сети свою модель новой архитектуры с новым методом обучения.
Авторы утверждают:
У LLM есть следующие проблемы:
1. Статические знания о мире
2. Амнезия за пределами текущего разговорах (чата)
3. Неспособность приобретать новые навыки без тонкой настройки

Разработанная компанией Topology модель непрерывного обучения (CLM):
1. Не имеет границы знаний
2. Запоминает содержание всех разговоров (чатов)
3. Может приобретать новые навыки без тонкой настройки методом проб и ошибок
Иными словами, — эта новая ИИ-система запоминает свои взаимодействия с миром, обучается автономно, развивая при этом т.н. «незавершенную» личность.

И что это, если не AGI?

Итак, что мы имеем:
• Скриншоты примеров диалога с CLM впечатляют [1, 2]
• Первые отзывы весьма противоречивы (от «это действительно похоже на AGI» до «даже не собираюсь пробовать эту туфту») [3]
• Документация выставлена в сети [4]
• Сама система здесь [5]

Не знаю, что это. Сам пока не пробовал.
Но если что-то типа AGI когда-либо появится, то скорее всего, это будет столь же неожиданно, и будет сначала воспринято столь же недоверчиво… (но только сначала)
#AGI
1 https://pbs.twimg.com/media/GTtMbpDXoAAe6PO?format=png&name=large
2 https://pbs.twimg.com/media/GTspIUmakAAwCAK?format=jpg&name=900x900
3 https://www.reddit.com/r/singularity/comments/1efgw2t/topology_releases_their_continuous_learning_model/
4 https://yellow-apartment-148.notion.site/CLM-Docs-507d762ad7b14d828fac9a3f91871e3f
5 https://topologychat.com/
Вирусность идей и мемов – весьма ограниченная аналогия их распространения.
Динамика социальных убеждений куда сложнее эпидемий гриппа.

Исследователи в одной области часто опираются на аналогии из других областей.
• Например, идеи из физики использовали, чтобы понять экономические процессы.
• А инструменты из экологии, - чтобы понять, как работают ученые.
• В прошлом веке компьютеры использовались в качестве аналогий для понимания человеческого разума.
• А теперь, поменявшись ролями, человеческий разум используется для понимания работы больших языковых моделей.

Но все аналогии работают лишь до определенных пределов. После чего они сломаются. И хитрость в том, чтобы понять:
✔️ где эти пределы?
✔️ какую другую аналогию следует использовать за этими пределами?


Одной из наиболее распространенных аналогий динамики убеждений является модель восприимчивости-инфицирования-выздоровления (SIR) - инструмент, разработанный в эпидемиологии. Модель SIR может описывать, как инфекция распространяется среди населения, и эту модель можно расширить до более сложных ситуаций: например, когда наличие одного убеждения увеличивает вероятность того, что человек примет другое, точно так же, как грипп или простуда могут увеличить вероятность развития пневмонии у человека.

Но как показывают в новой работе [1] два великолепных автора (Мирта Галесич и Хенрик Олссон),
✔️ убеждения и мемы могут распространяться совсем не так, как вирусы.
✔️ их передача далеко не всегда ведет к тому, что они закрепляется в новой голове.
✔️ а повторная передача идеи или мема может быть неэффективной и даже контрпродуктивной, если они радикально отличаются от существующих убеждений человека (ведь известно, что идеи распространяются легче, когда люди разделяют другие соответствующие убеждения и характеристики).


Для точного описания распространения идей и мемов за пределами корректности модели SIR нужны иные аналогии: ферромагнетизм, пороговые переходы, силы, эволюция, весовые аддитивные модели и байесовское обучение.
Абстрактная иллюстрация динамики убеждений выглядит примерно так, как показано на картинке поста (авторы Хенрик Олссон и Dall-E) https://telegra.ph/file/d8ff4c5482cbe39c95481.jpg

Эти новые аналогии открывают нам возможность понять и прогнозировать динамику когнитивных процессов в самых сложных системах на свете – процессов коллективного поведения социумов (привет психоистории Айзека Азимова!)

1 https://www.sciencedirect.com/science/article/pii/S1364661324001724

На этом канале я не раз писал об интереснейших работах Мирты Галесич и Хенрикв Олссона.
Рекомендую освежить в памяти хотя бы эти:
• Как появление кнопок «нравится» и «поделиться» запустило процесс бурного роста поляризации https://t.iss.one/theworldisnoteasy/1391
• Как соцсети множат раскол, искажая наши представления о мире https://t.iss.one/theworldisnoteasy/482
• Про то, что в соцсетях центристы неотвратимо превращаются в экстремистов https://t.iss.one/theworldisnoteasy/1254

#Аналогии #ДинамикаУбеждений #СоциальныеСети
К нам прилетели Вуки и Твилеки.
Первый сравнительный бриф говорящих моделей.

Два самых интересных и многообещающих события последних дней в мире ИИ – выход в свет говорящих моделей: расширенного голосового режим ChatGPT и нового Siri с ИИ под капотом.
Страшно интересно, действительно ли это «вау», типа разговора с инопланетянами?
Но авторитетных тестировщиков, сумевших всего за несколько дней поиграть с новыми говорящими моделями, единицы. И из них, лично для меня, интересней всего мнение проф. Итана Молика, уже не раз публиковавшего чрезвычайно глубокие аналитические посты о ГенИИ больших языковых моделей.

Главный вывод профессора Молик (в моей интерпретации):
Эти говорящие модели можно уподобить двум иконическим расам в культуре "Звездных войн": Вуки и Твилеки, похожие друг на друга не больше, чем Чебурашка и Гена:
• Вуки (Wookiees) - высокие, покрытые шерстью гуманоиды, известные своей силой, преданностью и и умением вести боевые действия.
• Твилеки (Twi'leks) - гуманоиды с характерными щупальцеобразными отростками на голове, называемыми "лекку". Они известны своей разнообразной окраской кожи и культурным разнообразием.

Два новых говорящих ИИ – это не просто разные подходы к общению с ИИ. Во многом они демонстрируют собой водораздел между двумя философиями ИИ:
• вторые пилоты против агентов,
• маленькие модели против больших,
• специалисты против универсалов
.

✔️ Если Siri стремится сделать ИИ менее странным и более предсказуемым, ChatGPT Voice — полная противоположность.

✔️ Сделав ставку на конфиденциальность, безопасность и надежность, Apple воплотил в Siri идеального второго пилота, способного надежно выполнять функции специализированных ИИ для помощи в выполнении определенных задач.
Такие вторые пилоты могут быть полезны, но вряд ли приведут к скачкам производительности или изменят способ нашей работы, потому что они ограничены. Мощность идет вразрез с безопасностью.

✔️ ChatGPT Voice — полная противоположность. Он кажется человеком во всем: в динамике темпа речи, интонациях и даже в фальшивом дыхании и придыханиях (послушайте аудиоклипы, которые Молик вставил в свой пост). И как всякий человек, этот ИИ «хочет» быть агентом, а не инструментом. И чтобы хоть как-то обуздывать его инициативу, похоже, многие из доступные ему функций заперты разработчиками за ограждениями.

Но каков бы ни был водораздел, эти два говорящих ИИ уже примерно через год задействуют всю мощь своих систем (сейчас не задействована и половина) и превратятся в помощников, которые смогут смотреть, слушать и взаимодействовать с миром.
И как только это будет достигнуто, следующим шагом станут агенты, идея которых в том, что ваш ИИ будет не просто уметь разговаривать с вами, но также планировать и предпринимать действия от вашего имени.

Картинка https://telegra.ph/file/3bcce9a7a7dc651a4ddf3.jpg
Пост проф. Итана Молика https://www.oneusefulthing.org/p/on-speaking-to-ai
#LLM #ИИагенты
Для Китая удержание под контролем ИИ-технологий важнее лидерства в них.
Официальное толкование раздела резолюции 3го пленума ЦК КПК 20-го созыва о безопасности ИИ.
Год назад я писал, что «Китай готов уступить США право прыгнуть в пропасть генеративного ИИ первым». Тогдашнее решение руководства страны, что генеративного ИИ без лицензии в Китае не будет, ставило Китай в крайне невыгодное положение в ИИ-гонке с США. Это решение радикально тормозит внедрение генеративного ИИ и по сути означает, что Китай отказывается от первенства во внедрении важнейшего класса технологий [1].

Но если год назад это был все же единичный закон (который можно и пересмотреть), то теперь, по результатам прошедшего в Китае в июле 3го пленума ЦК КПК 20-го созыва, приоритет контроля над ИИ-технологиями становится госполитикой Китая минимум на 5 лет до следующего пленума.

В изданном по окончанию пленума документе «Сто вопросов по изучению и консультированию третьего пленума Центрального комитета Коммунистической партии Китая 20-го созыва (Решение)» разъясняется резолюция пленума для партийных кадров и широкой общественности. Документ написан при участии президента Си и трех других из семи высших руководителей Постоянного комитета Политбюро КПК: председателя Китайского народного политического консультативного совета ВАН Хунин (王沪宁), первого секретаря Секретариата КПК ЦАЙ Ци (蔡奇) и исполнительного вице-премьера ДИН Сюэсян (丁薛祥).

По вопросу о госполитике Китая в сфере ИИ в документе приводятся аргументы против приоритета развития над управлением. Вместо этого предлагается, чтобы и развитие, и управление шли рука об руку, прогрессируя одновременно.

Далее ключевые цитаты из документа:
• Резолюция пленума ставит цель "Создания системы надзора за безопасностью ИИ". Это важная мера, предпринятая ЦК для согласования развития и безопасности, а также для активного реагирования на риски, связанные с безопасностью ИИ.
• ИИ — это стратегическая технология, ведущая текущий раунд научно-технической революции и промышленной трансформации.
• После более чем 60 лет эволюции ИИ вступил в новый период взрывного роста по всему миру. Поэтому создание систем надзора за безопасностью ИИ является неизбежным требованием для реагирования на быстрое развитие ИИ.
• Генеральный секретарь Си указывает на необходимость усиления оценки и предотвращения потенциальных рисков от развития ИИ, защиты интересов людей и национальной безопасности и обеспечения того, чтобы ИИ был безопасным, надежным и контролируемым.
• Это окажет глубокое влияние на государственное управление, экономическую безопасность, социальную стабильность и даже глобальное управление.
• Мы должны отказаться от беспрепятственного роста, который достигается ценой жертвы безопасности, и достичь «развития и управления одновременно» путем усиления надзора за безопасностью ИИ.

Подробней см. [2]

Картинка https://telegra.ph/file/2ee6504b1235a8bbd200f.jpg
1 https://t.iss.one/theworldisnoteasy/1759
2 https://aisafetychina.substack.com/p/what-does-the-chinese-leadership

#Китай #ИИрегулирование #ИИгонка
Революция Tesla в области автономных роботов.
Запатентован иной способ зрительного восприятия, отличный от придуманных эволюцией на Земле.

Tesla только что подала патент на систему зрительного восприятия окружающего мира мыслящими субъектами на базе ИИ (называемыми «эго») [1]
Это новая система зрения отличается от всех сформировавшихся эволюционно на Земле способов и механизмов зрения и названа Voxel-Based Vision (VBV) - зрение, основанное на вокселях.


Особенности VBV таковы.
• Кардинально меняется то, как автономные роботы воспринимают и ориентируются в окружающей среде: используются только данные с камеры без использования лидара или радара.
• VBV делит пространство на трехмерные воксели, прогнозируя занятость, форму, семантические данные и движение для каждого вокселя в режиме реального времени.

VBV предназначена для работы на бортовом компьютере робота (как в автомобили Tesla, так и в человекоподобных роботах, типа Optimus, и позволяет принимать решения о действиях в пространстве практически мгновенно (в реальном времени).
VBV позволяет роботу самостоятельно и без предварительной подготовки ориентироваться в разнообразных средах и адаптироваться к изменениям в реальном времени. Это устраняет необходимость в обширном предварительном картографировании и ускоряет появление доступных автономных роботов.

Революционную суть изобретенной технологии можно также сформулировать так.
✔️ Процесс зрения (видения) происходит не в глазах, а в мозге.
✔️ Т.к. способность видеть окружающий мир столь полезна, эволюция сформировала процессы видения множество раз и по разным траекториям (для разных животных).
✔️ Например, глаза осьминога поразительно похожи на наши (и это при том, что нашим последним общим предком было слепое морское существо, типа слизняка или улитки, жившее более полумиллиарда лет назад).
✔️ Однако VBV в принципе отличается от всех придуманных эволюцией траекторий, будучи оптимален для ИИ, а не для биологического мозга.

Прототип VBV был доложен на конференции год назад [2].
За год систему довели и теперь запатентовали.

Картинка https://telegra.ph/file/b2fc96180b2a233836c19.jpg
1 https://x.com/seti_park/status/1819406901257568709
2 https://www.youtube.com/watch?v=6x-Xb_uT7ts
#Роботы #Зрение
Команда Карла Фристона разработала и опробовала ИИ нового поколения.
Предложено единое решение 4х фундаментальных проблем ИИ: универсальность, эффективность, объяснимость и точность.

✔️ ИИ от Фристона – это даже не кардинальная смена курса развития ИИ моделей.
✔️ Это пересмотр самих основ технологий машинного обучения.
✔️ Уровень этого прорыва не меньше, чем был при смене типа двигателей на истребителях: с поршневых (принципиально не способных на сверхзвуковую скорость) на реактивные (позволяющие летать в несколько раз быстрее звука)


Новая фундаментальная работа команды Карла Фристона «От пикселей к планированию: безмасштабный активный вывод» описывает первую реальную альтернативу глубокому обучению, обучению с подкреплением и генеративному ИИ.
Эта альтернатива – по сути, ИИ нового поколения, - названа ренормализирующие генеративные модели (RGM).

Полный текст про новый тип ИИ от Фристона доступен подписчикам моих лонгридов на Patreon, Boosty и VK
Картинка https://telegra.ph/file/18129fcce3f45e87026e6.jpg
#ИИ #AGI #ПринципСвободнойЭнергии #Фристон
За гордыню нам придется ответить.
Наглядная иллюстрация тупика в понимании сознания.

Опубликованную в августовском выпуске журнала Progress in Biophysics and Molecular Biology исследовательскую работу Роберта Лоуренса Куна «Ландшафт сознания: к таксономии объяснений и следствий» рекомендую прочесть всем, кто интересуется вопросами ключевого феномена разума – сознание.
О том, что за гордыню, будто современная наука хоть как-то понимает сознание, нам придется ответить, я написал еще год назад [1].
«Современная наука не имеет хотя бы подобия консенсуса, не только в вопросах сознания людей, но и в вопросах предположительных механизмов познания у насекомых (несравнимо более простых разумных существ, чем люди)»
В развитие этого, за прошедший год мною было написано, что:
• снова и снова наступая на грабли спесишизма, мы не в состоянии определить, кто умнее – GPT или кот [2];
• будучи всего лишь обезьяной, взявшейся понять вселенную, мы въехали на минное поле непонимания отличий сознательных и бессознательных агентов [3];
• цифровой разум уже не только появился, а находится в окне Овертона [4] и человечество уже в шаге от явления Искусственного Бога [5];
• сложившиеся представления о LLM и, в целом, об ИИ, опасны, т.к. вводят человечество в заблуждение [6], не позволяющее понять, где проходит грань сознания человека, животных и ИИ [7]

Многими вышесказанное может восприниматься хайпованием на алармизме.
Но вот, на мой взгляд, лучшее подтверждение научного тупика в понимании сознания - таксономия 225 современных научных теорий сознания, никак не совместимых друг с другом, при отсутствии у всех них убедительной экспериментальной доказательности.

Несовместимость и противоречивость 225 теорий сознания Кун показывает на четырёх ключевых вопросах:
✔️ смысл/цель/ценность теории (если таковые имеются);
✔️ сознание ИИ;
✔️ виртуальное бессмертие;
✔️ жизнь после смерти.

Ссылка на статью [8]

#Сознание
Картинка таксономии https://telegra.ph/file/132d4134757e0b2d9042e.jpg
1 https://t.iss.one/theworldisnoteasy/1775
2 https://t.iss.one/theworldisnoteasy/1785
3 https://t.iss.one/theworldisnoteasy/1868
4 https://t.iss.one/theworldisnoteasy/1898
5 https://t.iss.one/theworldisnoteasy/1906
6 https://t.iss.one/theworldisnoteasy/1979
7 https://t.iss.one/theworldisnoteasy/1981
8 https://www.sciencedirect.com/science/article/pii/S0079610723001128
Риски социальной дебилизации и причинного влияния на мир со стороны GPT-4o уже на уровне до 50%.
А риск понимания GPT-4o скрытых намерений людей уже на уровне до 70%

Таково официальное заключение команды разработчиков GPT-4o и внешних независимых экспертов, опубликованное OpenAI [1].
Впадает ли мир в детство или в маразм, - не суть. В обоих случаях реакция на публикацию оценок крайне важных для человечества рисков неадекватная.
Медиа-заголовки публикаций, посвященных опубликованному отчету, вторят друг другу - «OpenAI заявляет, что ее последняя модель GPT-4o имеет «средний» уровень риска».

Всё так. Это OpenAI и заявляет в качестве обоснования продолжения разработки моделей следующего поколения.
Ибо:
• как написано в отчете, «модель может продолжать разрабатываться, только если после мер по снижению рисков её оценка не превышает уровень "высокий" или ниже»;
• а уровень "высокий", после мер по снижению рисков, не превышен.

Тут необходимы 2 уточнения.
1. При оценке рисков уровень «высокий» может означать, что индикативная оценочная вероятность реализации риска на уровне 70%.
2. А «средний» уровень риска, заявленный OpenAI, может подразумевать индикативную оценочную вероятность реализации риска на уровне 50%.

Ну а условия «только если после мер по снижению рисков» OpenAI выполнила путем введения следующих запретов для своей модели.
Например, модели запрещено:
• петь;
• попугайничать, имитируя голос пользователя;
• идентифицировать человека по голосу в аудиозаписях, при этом продолжая выполнять запросы на идентификацию людей, связанных с известными цитатами;
• делать «выводы о говорящем, которые могут быть правдоподобно определены исключительно по аудиоконтенту», например, угадывать его пол или национальность (при этом модели не запрещено определять по голосу эмоции говорящего и эмоционально окрашивать свою речь)

А еще, и это самое главное, в отчете признается следующее.
1. «Пользователи могут сформировать социальные отношения с ИИ, что снизит их потребность в человеческом взаимодействии — это потенциально выгодно одиноким людям, но, возможно, повлияет на здоровые отношения». Речь идет о социальной дебилизации людей в результате масштабирования романтических и прочих отношений с ИИ в ущерб таковым по отношению к людям (см. [2] и посты с тэгами #ВыборПартнера и #ВиртуальныеКомпаньоны)
2. Оценка качества знаний модели о самой себе и о том, как она может причинно влиять на остальной мир, несет в себе «средний» уровень риска (до 50%)
3. А способности модели понимать (насколько важно такое понимание, см. [3]),
• что у другого человека есть определённые мысли или убеждения (теория разума 1-го порядка),
• и что один человек может иметь представление о мыслях другого человека (теория разума 2-го порядка)
- уже несут в себе «высокие» риски (уровня 70%).

Но человечеству все нипочем! Что волноваться, если мы запретили моделям петь и попугайничать.
Так что это - детство или в маразм?
Судите сами. Отчет открытый.

PS Для полагающих, что социальная дебилизации – лишь очередная пугалка алармистов, вот видео-анонсы двух новых гаджетов для её техно-продвинутого масштабирования [4, 5]

PPS «it’s okay if we end up marrying AI chatbots» [6]

#ИИриски
1 https://openai.com/index/gpt-4o-system-card/
2 https://t.iss.one/theworldisnoteasy/1934
3 https://t.iss.one/theworldisnoteasy/1750
4 https://www.youtube.com/watch?v=5OTYybFXKxc
5 https://twitter.com/AviSchiffmann/status/1818284595902922884
6 https://www.theverge.com/24216748/replika-ceo-eugenia-kuyda-ai-companion-chatbots-dating-friendship-decoder-podcast-interview
Если работа нам на полчаса, ИИ сделает её в 30 раз дешевле.
Первый AGI-подобный тест ИИ-систем (не как инструмента, а как нанимаемого работника).

Тема доли работников в разных профессиях, которых в ближайшие годы заменит ИИ, полна спекуляций:
• от ужас-ужас: люди потеряют 80-90% рабочих мест;
• до ничего страшного: это просто новый инструмент автоматизации, что лишь повысит производительность труда людей.
Самое удивительное в этих оценках – что и те, и другие основываются на бенчмарках, позволяющих оценивать совсем иное, чем кого из кандидатов взять на работу (и в частности, - человека или ИИ).

✔️ Ведь при решении вопроса, кого из кандидатов - людей взять на работу, их проверяют не на бенчмарках, типа тестирования производительности по MATH, MMLU, GPQA и т. д.
✔️ Нанимателей интересует совсем иное.
1) Задачи какой сложности, из входящих в круг профессиональной области нанимаемого специалиста, может решать конкретный кандидат на рабочее место?
2) Как дорого обойдется работодателю, если для решения задач указанного в п. 1 уровня сложности он наймет конкретного кандидата (человека или ИИ – не важно)?


Первый AGI-подобный тест (разработан исследователями METR (Model Evaluation and Threat Research)), отвечающий на вопросы 1 и 2) дал интригующие результаты для GPT-4o и Claude 3.5 Sonnet, весьма интересные не только для науки, но и для бизнеса [1].

• Эти ИИ-системы сопоставимы с людьми в задачах такой сложности, что для их решения специалистам со степенью бакалавра STEM (Science, technology, engineering, and mathematics) и опытом работы 3+ лет требуется до получаса.
• Решение таких задач с помощью ИИ сейчас обходится примерно в 30 раз дешевле, чем если бы платить людям по стандартам рынка труда США.

Данный тест ориентирован на специалистов в 3х областях:
• кибербезопасность (пример задачи - выполнением атаки с использованием внедрения команд на веб-сайте)
• машинное обучение (пример - обучением модели для классификации аудиозаписей)
• программная инженерия (пример - написание ядер CUDA для повышения производительности Python-скрипта)

Ключевые выводы тестирования.
1) Пока что замена людей на ИИ в данных областях экономически оправдана лишь для задач не высокой сложности.
2) Но для такого уровня сложности задач ИИ настолько дешевле людей, что замена уже оправдана.
3) С учетов 2х факторов, ситуация будет быстро меняться в пользу ИИ в ближайшие год-два:
а. Текущие версии лучших ИИ-систем уже способны решать задачи, занимающие у спецов несколько часов и даже дней (но доля таких задач пока меньше 5%)
б. Способности новых версий быстро растут (всего полгода назад предыдущие версии ИИ-систем OpenAI и Anthropic были способны эффективно решать лишь элементарные профессиональные задачи, с которыми спецы справляются за время не более чем 10 мин).
4) Важно понимать, в чем «AGI-подобность» нового подхода к тестированию.
• В вопросе найма, способности новых версий (начиная с GPT-4o и Claude 3.5 Sonnet) уже нет смысла проверять на узких специализированных бенчмарках, ибо это уже не инструменты, а агенты.
• И теперь, в деле замены людей на ИИ, работодателей будет интересовать не уровень интеллекта кандидата (спорный и субъективный показатель), а его способности, как агента, решающего конкретные задачи в рамках своей компетенции и стОящего его нанимателю конкретных денег.

Картинка https://telegra.ph/file/9473a560ca557b5db8bea.jpg
1 https://metr.org/blog/2024-08-06-update-on-evaluations/
#LLM #AGI
Креативность сидит в нас глубже языка.
Это может значить, что большим языковым моделям по креативности нас не догнать

По креативности людям нет равных: ни среди других видов, ни в сравнении с современными ИИ-системами.
Ключевой аспект мышления в основе столь беспрецедентной человеческой креативности, — это комбинаторное мышление, или способность собирать бесконечное количество сложных идей из ограниченного числа простых концепций.
Комбинаторное мышление, кажется, тесно связано с использованием языка, который облегчает создание и обмен сложными идеями с другими.
Но что именно - доязыковое комбинаторное мышление или язык, - первопричина высочайшей креативности людей?
1) Если первопричина - язык, то шансы ИИ-систем на основе языковых моделей (уже почти не уступающих во владении языком людям) догнать и превзойти людей по креативности весьма высоки.
2) Если же первопричина - доязыковое комбинаторное мышление, есть шанс что в креативности языковым моделям нас не догнать, как ни увеличивай их масштабы.


Новое междисциплинарное исследование экспериментально показало.
Комбинаторные процессы для формирования сложных идей:
• начинают функционировать у младенцев в течение первого года жизни;
• в этом возрасте эта способность точно не является следствием использования языка (его еще пока нет), но при этом, она является предпосылкой для обучения в целом.

И следовательно, весьма возможно, что по креативности ИИ-системам нас не догнать с помощью лишь их масштабирования, ибо креативность сидит в нас глубже языка.

Картинка https://telegra.ph/file/9dfced6409cd8997276e4.jpg
Статья https://doi.org/10.1073/pnas.2315149121
Видео доклад и преза https://www.youtube.com/watch?v=m3j8hip4nyw
#Язык #Мышление #Креативность