УТИНЫЙ ТЕСТ ДЛЯ AI
Рассказываю.
1) Все эти заголовки, типа Умные боты Facebook придумали свой язык на случай важных переговоров, Восстание машин: чат-боты Facebook создали собственный язык, Человечество было в одном шаге от реального бунта машин и т.п., - просто погоня за дешевыми сенсациями, и сами статьи не имеют ничего общего с сутью события.
2) Да и события-то, в принципе, никакого не было. И, казалось бы, - о чем говорить?
— Уже известно, что AI-системы способны оперировать не существовавшими ранее языками (см., например, здесь).
— Программисты, разрабатывавшие чат-боты для Facebook, не установили в программу ограничение, чтобы боты ОБЯЗАТЕЛЬНО общались на языке людей. Поэтому боты, для повышения эффективности своего диалога, стали банально «упрощать» язык людей под поставленную им задачу. Например, вместо того, чтобы заморачиваться со сложными языковыми конструкциями, бот называл пять раз один и тот же предмет, что «на новом языке» означало потребность в пяти экземплярах данного предмета.
— Поскольку по техзаданию требовались боты ИСКЛЮЧИТЕЛЬНО для общения с людьми, эксперимент С ЭТИМИ БОТАМИ был признан неудачным и завершен.
— Microsoft запустила в Twitter ИИ-бота — подростка, и он за сутки научился плохим вещам
— Cначала Tay, теперь Zo: очередной чат-бот Microsoft вышел из-под контроля
— AI Is Inventing Languages Humans Can’t Understand. Should We Stop It? и т.д. и т.п.
✔️ Цунами фейковых новостей имеют единственную цель – любым путем подогревать интерес к AI-разработкам со стороны инвесторов. А это невозможно без ажиотажного интереса к AI со стороны Нового Бога XXI века – МЕДИА (и об этом, кстати, есть отличный сериал)
✔️ Если прекратить извергать цунами фейковых новостей, то и МЕДИА, и инвесторы довольно скоро поймут, что «Создать искусственное сознание невозможно — даже случайно».
И, следовательно, в AI разработках нужно добиваться не антропоморфизма, а механоморфизма, т.е. мы должны перестать пытаться заставить ботов действовать как люди.
Они не смогут действовать, как люди, поскольку без сознания никакой бот не будет способен ПОНИМАТЬ тонкостей контекста и даже, хотя бы, просто вежливо себя вести.
Нынешнее же направление разработок разговорных ботов (и шире – AI) более всего напоминает скевоморфизм в дизайне – имитацию другого объекта путем имитирования его материала, формы и функциональности.
В результате, прохождение разрабатываемыми сейчас AI-системами Теста Тьюринга, по сути, превратилось в прохождение Утиного теста.
Но если что-то выглядит как утка, плавает как утка и крякает как утка, - это все же не гарантирует, что перед нами утка.
Если только под уткой не понимается фейковая новость.
#AI #ФейковыеНовости #Язык
Читатель канала предложил рассказать, «что стоит за сообщениями про то, как Фейсбук убил проект, где два чат бота стали разговаривать друг с другом на непонятном языке - наверняка журналисты все переврали». Рассказываю.
1) Все эти заголовки, типа Умные боты Facebook придумали свой язык на случай важных переговоров, Восстание машин: чат-боты Facebook создали собственный язык, Человечество было в одном шаге от реального бунта машин и т.п., - просто погоня за дешевыми сенсациями, и сами статьи не имеют ничего общего с сутью события.
2) Да и события-то, в принципе, никакого не было. И, казалось бы, - о чем говорить?
— Уже известно, что AI-системы способны оперировать не существовавшими ранее языками (см., например, здесь).
— Программисты, разрабатывавшие чат-боты для Facebook, не установили в программу ограничение, чтобы боты ОБЯЗАТЕЛЬНО общались на языке людей. Поэтому боты, для повышения эффективности своего диалога, стали банально «упрощать» язык людей под поставленную им задачу. Например, вместо того, чтобы заморачиваться со сложными языковыми конструкциями, бот называл пять раз один и тот же предмет, что «на новом языке» означало потребность в пяти экземплярах данного предмета.
— Поскольку по техзаданию требовались боты ИСКЛЮЧИТЕЛЬНО для общения с людьми, эксперимент С ЭТИМИ БОТАМИ был признан неудачным и завершен.
Так почему же появляются все новые и новые фейковые новости вокруг темы языков ботов и шире – языков AI?— Microsoft запустила в Twitter ИИ-бота — подростка, и он за сутки научился плохим вещам
— Cначала Tay, теперь Zo: очередной чат-бот Microsoft вышел из-под контроля
— AI Is Inventing Languages Humans Can’t Understand. Should We Stop It? и т.д. и т.п.
Ответ на поставленный вопрос, хоть и лежит на поверхности, но осознается не сразу.✔️ Цунами фейковых новостей имеют единственную цель – любым путем подогревать интерес к AI-разработкам со стороны инвесторов. А это невозможно без ажиотажного интереса к AI со стороны Нового Бога XXI века – МЕДИА (и об этом, кстати, есть отличный сериал)
✔️ Если прекратить извергать цунами фейковых новостей, то и МЕДИА, и инвесторы довольно скоро поймут, что «Создать искусственное сознание невозможно — даже случайно».
И, следовательно, в AI разработках нужно добиваться не антропоморфизма, а механоморфизма, т.е. мы должны перестать пытаться заставить ботов действовать как люди.
Они не смогут действовать, как люди, поскольку без сознания никакой бот не будет способен ПОНИМАТЬ тонкостей контекста и даже, хотя бы, просто вежливо себя вести.
Нынешнее же направление разработок разговорных ботов (и шире – AI) более всего напоминает скевоморфизм в дизайне – имитацию другого объекта путем имитирования его материала, формы и функциональности.
В результате, прохождение разрабатываемыми сейчас AI-системами Теста Тьюринга, по сути, превратилось в прохождение Утиного теста.
Но если что-то выглядит как утка, плавает как утка и крякает как утка, - это все же не гарантирует, что перед нами утка.
Если только под уткой не понимается фейковая новость.
#AI #ФейковыеНовости #Язык
Lenta.RU
Умные боты Facebook придумали свой язык на случай важных переговоров
Исследователи лаборатории искусственного интеллекта Facebook (FAIR) обнаружили, что умные чат-боты соцсети придумали свой собственный язык. Они начали видоизменять слова и фразы, а затем упростили ряд выражений и грамматических конструкций. Также разработаны…
Какой язык самый великий и могучий.
Новая наука на стыке лингвистики, теории информации и когнитивной психологии.
«Во дни сомнений, во дни тягостных раздумий о судьбах моей родины, - ты один мне поддержка и опора, о великий, могучий, правдивый и свободный русский язык! Не будь тебя - как не впасть в отчаяние при виде всего, что совершается дома? Но нельзя верить, чтобы такой язык не был дан великому народу!».
Так написал И.С. Тургенев в своем стихотворении в прозе "Русский язык".
Оставим для поэтов вопрос, так ли уж правдив и свободен русский язык, и зададимся прагматичным вопросом – а насколько в реальности он велик и могуч?
То бишь, - насколько он эффективен.
Причем эффективен для 2х довольно перпендикулярных практических целей, для которых язык создавался в ходе эволюции:
1) коммуникация;
2) обучение.
Что если,
✔️ мобилизовав аналитику больших данных и машинное обучение,
✔️ применить их к методам языкового анализа, используемым в лингвистике, теории информации и когнитивной психологии.
И параллельно с этим, экспериментально посмотреть, как эффективность языка для коммуникации и для обучения может быть зафиксирована современными методами динамической визуализации мозга (типа фМРТ и т.д.)
Тогда можно будет, наконец, найти ответы на много интереснейших вопросов.
Например:
— Сравнить существующие языки (их всего-то 6-8 тыс. на Земле, смотря как считать) по эффективности для 2х названных целей (вот чудо будет, если русский окажется действительно великим и могучим 😉)
— Понять, когда при развитии языка берет верх 1я, а когда 2я цель, и как разрешается конфликт целей.
— Узнать, могут ли когнитивные ограничения формировать коммуникативную эффективность и обучаемость, иными словами - связаны ли они с принципами и методами нейронной организации человеческого мозга.
Короче! Пять университетов США запустили серию исследований, дабы заложить основы новой науки, которая может очень многое в нас объяснить.
Не говоря уж о том, что она даст ответ на вопрос
— как сравнить два типа интеллекта, если 1й из них знает (т.е. использует для коммуникаций и обучения) русский или английский, а 2й - Python или CNTK 😉
Подробней «How Efficiency Shapes Human Language» (скайхаб вам в помощь)
https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(19)30058-0
#Язык
Новая наука на стыке лингвистики, теории информации и когнитивной психологии.
«Во дни сомнений, во дни тягостных раздумий о судьбах моей родины, - ты один мне поддержка и опора, о великий, могучий, правдивый и свободный русский язык! Не будь тебя - как не впасть в отчаяние при виде всего, что совершается дома? Но нельзя верить, чтобы такой язык не был дан великому народу!».
Так написал И.С. Тургенев в своем стихотворении в прозе "Русский язык".
Оставим для поэтов вопрос, так ли уж правдив и свободен русский язык, и зададимся прагматичным вопросом – а насколько в реальности он велик и могуч?
То бишь, - насколько он эффективен.
Причем эффективен для 2х довольно перпендикулярных практических целей, для которых язык создавался в ходе эволюции:
1) коммуникация;
2) обучение.
Что если,
✔️ мобилизовав аналитику больших данных и машинное обучение,
✔️ применить их к методам языкового анализа, используемым в лингвистике, теории информации и когнитивной психологии.
И параллельно с этим, экспериментально посмотреть, как эффективность языка для коммуникации и для обучения может быть зафиксирована современными методами динамической визуализации мозга (типа фМРТ и т.д.)
Тогда можно будет, наконец, найти ответы на много интереснейших вопросов.
Например:
— Сравнить существующие языки (их всего-то 6-8 тыс. на Земле, смотря как считать) по эффективности для 2х названных целей (вот чудо будет, если русский окажется действительно великим и могучим 😉)
— Понять, когда при развитии языка берет верх 1я, а когда 2я цель, и как разрешается конфликт целей.
— Узнать, могут ли когнитивные ограничения формировать коммуникативную эффективность и обучаемость, иными словами - связаны ли они с принципами и методами нейронной организации человеческого мозга.
Короче! Пять университетов США запустили серию исследований, дабы заложить основы новой науки, которая может очень многое в нас объяснить.
Не говоря уж о том, что она даст ответ на вопрос
— как сравнить два типа интеллекта, если 1й из них знает (т.е. использует для коммуникаций и обучения) русский или английский, а 2й - Python или CNTK 😉
Подробней «How Efficiency Shapes Human Language» (скайхаб вам в помощь)
https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(19)30058-0
#Язык
Миру срочно нужен психотерапевт.
Уникальный анализ культуромики когнитивных искажений с 1855 по 2019.
Скоро будут официально опубликованы результаты уникального по объему и важности исследования «Исторические языковые записи свидетельствуют о всплеске когнитивных искажений в последние десятилетия».
Наблюдаемое в 21 веке ускорение мировых процессов все чаще заставляет использовать метафору «фазового перехода», переживаемого человечеством. И хотя академическая наука не в состоянии подтвердить или опровергнуть наличие какого-либо «фазового перехода» (напр., вхождения земной цивилизации в зону эволюционной сингулярности), практических свидетельств этого становится все больше.
На сей раз весьма убедительное свидетельство пришло из исследования культурно-лингвистической динамики (культуромики). Это новая научная область и новый метод исследований культурных и социальных процессов с помощью статистического анализа употребления слов и словосочетаний в огромных текстовых массивах. Исследования по культуромике выполняются на базе Google ngrams - хранилища всех сочетаний слов для каждого года длиной от 1 до 5 на 8 языках.
Логика данного исследования такова.
1) Ключевым фактором, позволившим нам стать теми, кто мы есть сегодня, является язык. Прогресс земной цивилизации сопровождается непрерывным и ускоряющимся ростом сложности и разнообразия используемых языков.
2) Все важные изменения в коллективной психологии людей так или иначе проявляются в их языке в ответ на разные культурные и социально-экономические вызовы.
3) Т.о., анализ культуромики позволяет отследить и оценить изменения в коллективной психологии людей.
Предметом исследования стал поиск и анализ исторических следов когнитивных искажений - паттернов мышления, связанных с такими психологическими расстройствами, как депрессия и тревога.
Поиск и анализ проводился в более чем 14 млн. книг, опубликованных с 1855 по 2019 на английском, испанском и немецком языках.
В результате анализа был выявлен ярко выраженный паттерн “хоккейной клюшки”: за последние два десятилетия текстовые индикаторы когнитивных искажений поднялись значительно выше исторических уровней (включая 1-ю и 2-ю мировые войны) после снижения или стабилизации на протяжении большей части 20-го века.
Эти результаты указывают на возможность того, что недавние социально-экономические изменения, новые технологии и социальные сети вызвали беспрецедентный рост когнитивных искажений, способствующих росту депрессии и тревоги во всех развитых обществах.
Пояснение
Люди, страдающие депрессией и тревогой, склонны к росту когнитивных искажений, в результате чего они думают о себе, мире и будущем чрезмерно негативными и неточными способами. Эти искажения связаны с заметными изменениями в настроении, поведении и речи.
Такие когнитивные искажения, например, проявляются, когда:
• люди называют себя негативными, абсолютистскими терминами (типа, “я неудачник”);
• говоря о будущем, люди впадают в крайности (типа, “моя встреча будет полной катастрофой”);
• люди делают необоснованные предположения о чьем-то душевном состоянии или мыслях (типа, “все будут думать, что я псих”).
В исследовании рассмотрели 12 типов таких когнитивных искажений: от черно-белого мышления и катастрофизации до «ясновидения» и «телепатии».
Для каждого типа когнитивных искажений существуют свои лингвистические шаблоны. Напр., в английском языке для «катастрофизации» - это will fail, will go wrong, will end, will be impossible, will not happen, will be terrible, will be horrible, will be a catastrophe, will be a disaster, will never end, will not end.
Исследователи нивелировали альтернативные влияния: учли изменения языков, объемов публикуемых текстов и семантические сдвиги.
Вывод однозначный – миру срочно нужен психотерапевт.
Из-за чего?
Скорее всего, из-за смены медиа-среды, стимулирующей поляризацию "мы-против-них".
P.S. Канал уходит в небольшой отпуск. Счастливо!
#КогнитивныеИскажения #Язык
Уникальный анализ культуромики когнитивных искажений с 1855 по 2019.
Скоро будут официально опубликованы результаты уникального по объему и важности исследования «Исторические языковые записи свидетельствуют о всплеске когнитивных искажений в последние десятилетия».
Наблюдаемое в 21 веке ускорение мировых процессов все чаще заставляет использовать метафору «фазового перехода», переживаемого человечеством. И хотя академическая наука не в состоянии подтвердить или опровергнуть наличие какого-либо «фазового перехода» (напр., вхождения земной цивилизации в зону эволюционной сингулярности), практических свидетельств этого становится все больше.
На сей раз весьма убедительное свидетельство пришло из исследования культурно-лингвистической динамики (культуромики). Это новая научная область и новый метод исследований культурных и социальных процессов с помощью статистического анализа употребления слов и словосочетаний в огромных текстовых массивах. Исследования по культуромике выполняются на базе Google ngrams - хранилища всех сочетаний слов для каждого года длиной от 1 до 5 на 8 языках.
Логика данного исследования такова.
1) Ключевым фактором, позволившим нам стать теми, кто мы есть сегодня, является язык. Прогресс земной цивилизации сопровождается непрерывным и ускоряющимся ростом сложности и разнообразия используемых языков.
2) Все важные изменения в коллективной психологии людей так или иначе проявляются в их языке в ответ на разные культурные и социально-экономические вызовы.
3) Т.о., анализ культуромики позволяет отследить и оценить изменения в коллективной психологии людей.
Предметом исследования стал поиск и анализ исторических следов когнитивных искажений - паттернов мышления, связанных с такими психологическими расстройствами, как депрессия и тревога.
Поиск и анализ проводился в более чем 14 млн. книг, опубликованных с 1855 по 2019 на английском, испанском и немецком языках.
В результате анализа был выявлен ярко выраженный паттерн “хоккейной клюшки”: за последние два десятилетия текстовые индикаторы когнитивных искажений поднялись значительно выше исторических уровней (включая 1-ю и 2-ю мировые войны) после снижения или стабилизации на протяжении большей части 20-го века.
Эти результаты указывают на возможность того, что недавние социально-экономические изменения, новые технологии и социальные сети вызвали беспрецедентный рост когнитивных искажений, способствующих росту депрессии и тревоги во всех развитых обществах.
Пояснение
Люди, страдающие депрессией и тревогой, склонны к росту когнитивных искажений, в результате чего они думают о себе, мире и будущем чрезмерно негативными и неточными способами. Эти искажения связаны с заметными изменениями в настроении, поведении и речи.
Такие когнитивные искажения, например, проявляются, когда:
• люди называют себя негативными, абсолютистскими терминами (типа, “я неудачник”);
• говоря о будущем, люди впадают в крайности (типа, “моя встреча будет полной катастрофой”);
• люди делают необоснованные предположения о чьем-то душевном состоянии или мыслях (типа, “все будут думать, что я псих”).
В исследовании рассмотрели 12 типов таких когнитивных искажений: от черно-белого мышления и катастрофизации до «ясновидения» и «телепатии».
Для каждого типа когнитивных искажений существуют свои лингвистические шаблоны. Напр., в английском языке для «катастрофизации» - это will fail, will go wrong, will end, will be impossible, will not happen, will be terrible, will be horrible, will be a catastrophe, will be a disaster, will never end, will not end.
Исследователи нивелировали альтернативные влияния: учли изменения языков, объемов публикуемых текстов и семантические сдвиги.
Вывод однозначный – миру срочно нужен психотерапевт.
Из-за чего?
Скорее всего, из-за смены медиа-среды, стимулирующей поляризацию "мы-против-них".
P.S. Канал уходит в небольшой отпуск. Счастливо!
#КогнитивныеИскажения #Язык
Homo sapiens теряет свою главную силу.
Чем грозит человечеству начавшийся языковый апокалипсис.
Из примерно 6-8 тыс языков на Земле (это число можно считать по-разному) уже в ближайшие десятилетия вымрут 5+ тыс. О последствиях этого языкового апокалипсиса почти не пишут в СМИ. А зря! Ибо эти последствия для планетарного разума землян могут быть соизмеримы с последствиями глобального ухудшения климата для биологического существования людей.
• Почему начался языковый апокалипсис на Земле?
• Что взвинтило его скорость в последнюю пару десятилетий?
• Как на это повлияет начавшаяся революция больших языковых моделей?
На эти 3 вопроса я предельно коротко (всего 170 слов) попытался ответить в комментарии для BRIEFLY.
Здесь же добавлю следующее (ибо без этого трудно понять масштаб катастрофы).
✔️ Главное в интеллектуальной мощи людей – не язык, а многоязычие. Чем больше языков знает человек, тем выше его интеллект, тем изысканней его сознание, тем масштабней и сложней его разум.
✔️ Язык – это не только самый совершенный способ передачи информации при коммуникациях, но и «свет разума»:
- это бесценный инструмент для организации, обработки и структурирования информации;
- а еще это особый механизм восприятия и познания мира, а также самих себя.
✔️ Знания многих специализированных языков (математики и химии, музыки и поэзии, живописи и кино, языков программирования и создания промптов для ИИ, …), - дает колоссальное преимущество их носителю в познании мира, в общении с ним и (что выделяет людей из всей живой природы) в актах творчества (создания в мире нового, ранее не существовавшего) и развития способностей творца.
✔️ Естественные языки (монтируемые в нас от рождения когнитивные гаджеты) выполняют похожую роль со специализированными языками. Они формируют для человека уникальный взгляд на сложности и многообразие мира и дают ему уникальный инструмент его познания.
✔️ Поэтому утрата каждого из языков землян ведет к потере:
- уникальных интеллектуальных пластов истории, мифологии, философии, науки, шуток, песен, загадок и суеверий сообщества их носителей;
- уникального механизма познания и понимания мира, общения с ним и создания творцами новых миров.
Это большая иллюзия, что миру хватит английского и китайского языков. Как бы велики и совершенны они ни были, они – лишь малая часть великого многообразия.
Представьте мир, в памяти которого остались лишь два великих певца: например, Джон Леннон и Фредди Меркьюри. И больше никого!
Нет Шаляпина и Карузо, Роберта Планта и Фрэнка Синатра, Паваротти и Марии Каллас, Аллы Пугачевой и Тины Тёрнер … …
Хотели бы жить в таком мире?
#Язык
Чем грозит человечеству начавшийся языковый апокалипсис.
Из примерно 6-8 тыс языков на Земле (это число можно считать по-разному) уже в ближайшие десятилетия вымрут 5+ тыс. О последствиях этого языкового апокалипсиса почти не пишут в СМИ. А зря! Ибо эти последствия для планетарного разума землян могут быть соизмеримы с последствиями глобального ухудшения климата для биологического существования людей.
• Почему начался языковый апокалипсис на Земле?
• Что взвинтило его скорость в последнюю пару десятилетий?
• Как на это повлияет начавшаяся революция больших языковых моделей?
На эти 3 вопроса я предельно коротко (всего 170 слов) попытался ответить в комментарии для BRIEFLY.
Здесь же добавлю следующее (ибо без этого трудно понять масштаб катастрофы).
✔️ Главное в интеллектуальной мощи людей – не язык, а многоязычие. Чем больше языков знает человек, тем выше его интеллект, тем изысканней его сознание, тем масштабней и сложней его разум.
✔️ Язык – это не только самый совершенный способ передачи информации при коммуникациях, но и «свет разума»:
- это бесценный инструмент для организации, обработки и структурирования информации;
- а еще это особый механизм восприятия и познания мира, а также самих себя.
✔️ Знания многих специализированных языков (математики и химии, музыки и поэзии, живописи и кино, языков программирования и создания промптов для ИИ, …), - дает колоссальное преимущество их носителю в познании мира, в общении с ним и (что выделяет людей из всей живой природы) в актах творчества (создания в мире нового, ранее не существовавшего) и развития способностей творца.
✔️ Естественные языки (монтируемые в нас от рождения когнитивные гаджеты) выполняют похожую роль со специализированными языками. Они формируют для человека уникальный взгляд на сложности и многообразие мира и дают ему уникальный инструмент его познания.
✔️ Поэтому утрата каждого из языков землян ведет к потере:
- уникальных интеллектуальных пластов истории, мифологии, философии, науки, шуток, песен, загадок и суеверий сообщества их носителей;
- уникального механизма познания и понимания мира, общения с ним и создания творцами новых миров.
Это большая иллюзия, что миру хватит английского и китайского языков. Как бы велики и совершенны они ни были, они – лишь малая часть великого многообразия.
Представьте мир, в памяти которого остались лишь два великих певца: например, Джон Леннон и Фредди Меркьюри. И больше никого!
Нет Шаляпина и Карузо, Роберта Планта и Фрэнка Синатра, Паваротти и Марии Каллас, Аллы Пугачевой и Тины Тёрнер … …
Хотели бы жить в таком мире?
#Язык
Говоря меньше, вы получите больше.
Избавление от болтоголизма, как фактор успеха в зашумленном мире.
Ни для кого не секрет:
• информационная нагрузка на каждого их нас с каждым годом колоссально растет;
• а доля разнообразного инфошума в потребляемом нами контенте растет еще быстрее.
Мы просто захлебываемся в потоках инфошума. Он переполняет наш мозг и отравляет нам сознание.
А поскольку это случилось столь быстро (переход от индустриального мира к информационному произошел при жизни всего одного поколения), люди не успели адаптироваться к предельно токсичной инфосреде. Никаких адаптационных стратегий до сих пор не предлагалось. И каждый выживает в этих условиях, как может.
Одна из первых адаптационных стратегий не просто выживания в инфошуме, а оптимизации движения к своим целям в зашумленной среде, предложена Дэном Лайонсом в только что вышедшей книге «STFU: сила держать рот на замке в бесконечно шумном мире».
Суть стратегии, на вид, предельно проста - заткнись и слушай, а не болтай так много.
Но это лишь на первый взгляд.
Автор на многих примерах показывает:
• чем выше уровень шума, тем важнее слушать, а не говорить;
• мы привыкли думать, что побеждают те, за кем остается последнее слово, но в шумном мире власть принадлежит тем, кто умеет молчать;
• закрытие рта, открывает разум, что помогает становиться счастливее и продуктивней;
• болтоголизм – это реальная зависимость, ведущая к личным и профессиональным трудностям;
• ограничить собственную говорливость не просто, однако специальные приемы и тренинг помогают, подобно медитации или психотерапии.
Лайонс предлагает пять направлений самосовершенствования:
✔️ Говорите, лишь когда это обязательно нужно.
✔️ Овладевайте искусством пауз.
✔️ Уйдите из социальных сетей или хотя бы отфрендите всех и зафрендите сново лишь тех, без кого никак нельзя.
✔️ Как только возможно, отключайтесь ото всех источников инфошума
✔️ Научитесь слушать – в этом истинная суперсила
Об этой книге я собирался написать еще в марте и забыл. Спасибо Дэреку Бундсу, на чьем семинаре по обсуждению интересных тем и идей в Остине, штат Техас эта книга стала предметом обсуждения на прошлой неделе.
Авторский тизер книги:
• в Time
• в открытом доступе у Дэрека Боундса
#ЛичнаяПродуктивность #Язык #СоциальноеПознание
Избавление от болтоголизма, как фактор успеха в зашумленном мире.
Ни для кого не секрет:
• информационная нагрузка на каждого их нас с каждым годом колоссально растет;
• а доля разнообразного инфошума в потребляемом нами контенте растет еще быстрее.
Мы просто захлебываемся в потоках инфошума. Он переполняет наш мозг и отравляет нам сознание.
А поскольку это случилось столь быстро (переход от индустриального мира к информационному произошел при жизни всего одного поколения), люди не успели адаптироваться к предельно токсичной инфосреде. Никаких адаптационных стратегий до сих пор не предлагалось. И каждый выживает в этих условиях, как может.
Одна из первых адаптационных стратегий не просто выживания в инфошуме, а оптимизации движения к своим целям в зашумленной среде, предложена Дэном Лайонсом в только что вышедшей книге «STFU: сила держать рот на замке в бесконечно шумном мире».
Суть стратегии, на вид, предельно проста - заткнись и слушай, а не болтай так много.
Но это лишь на первый взгляд.
Автор на многих примерах показывает:
• чем выше уровень шума, тем важнее слушать, а не говорить;
• мы привыкли думать, что побеждают те, за кем остается последнее слово, но в шумном мире власть принадлежит тем, кто умеет молчать;
• закрытие рта, открывает разум, что помогает становиться счастливее и продуктивней;
• болтоголизм – это реальная зависимость, ведущая к личным и профессиональным трудностям;
• ограничить собственную говорливость не просто, однако специальные приемы и тренинг помогают, подобно медитации или психотерапии.
Лайонс предлагает пять направлений самосовершенствования:
✔️ Говорите, лишь когда это обязательно нужно.
✔️ Овладевайте искусством пауз.
✔️ Уйдите из социальных сетей или хотя бы отфрендите всех и зафрендите сново лишь тех, без кого никак нельзя.
✔️ Как только возможно, отключайтесь ото всех источников инфошума
✔️ Научитесь слушать – в этом истинная суперсила
Об этой книге я собирался написать еще в марте и забыл. Спасибо Дэреку Бундсу, на чьем семинаре по обсуждению интересных тем и идей в Остине, штат Техас эта книга стала предметом обсуждения на прошлой неделе.
Авторский тизер книги:
• в Time
• в открытом доступе у Дэрека Боундса
#ЛичнаяПродуктивность #Язык #СоциальноеПознание
Помимо “процессора” и “памяти”, в мозге людей есть “машина времени”.
Это альтернативная когнитивная сущность принципиально отличает нас от ИИ.
Опубликованное в Nature Neuroscience исследование Йельского университета – это холодный душ для исследователей генеративного ИИ, полагающихся на его, хотя бы частичный, антропоморфизм (мол, это что-то типа самолета, похожего на птицу, но летающего с неподвижными крыльями).
Ведь можно бесконечно спорить, понимает ли большая языковая модель или нет, мыслит ли она или нет, способна ли на волевое действие или нет …, ибо все эти понятия расплывчаты и эфемерны. И пока нет даже гипотез, как эти феномены инструментально анализировать.
И тут вдруг исследователи из Йеля выкатывают инструментальное исследования (фМРТ + распознавание паттернов с помощью машинного обучения), из которого следует, что:
• травматические воспоминания людей – это вовсе не их память, типа обычных веселых, грустных или нейтральных воспоминаний о прошлом опыте людей, как-то и где-то записанных в мозге, подобно ячейкам памяти компьютеров, откуда их можно считывать по требованию;
• травматические воспоминания об ужасах войны, пережитом насилии и прочих корежущих душу кошмарах – это натуральные флешбэки, заставляющие не только сознание человека, но и все его тело снова переноситься (как бы на машине времени) в прошлое и заново переживать всю ту же душевную и физическую боль;
• отсюда все страшные последствия ПТСР - панические атаки, агрессивность, уход в себя, деформация личности, - возникающие у страдающих ПТСР в результате все повторяющихся и повторяющихся душевных и физических мучений, от которых нет спасения (как от платка, что снова и снова подавали Фриде, пока ее не избавила от этого ПТСР Маргарита);
• в отличие от памяти, у этих флешбэков и механизм иной, и способ обработки: память обрабатывается в мозге гиппокампом, а травматические флешбэки - задней поясной извилиной (областью мозга, обычно связанной с обработкой мыслей); порождаемые памятью и травматическими флешбэками паттерны мозговой активности абсолютно разные.
Наличие этой своеобразной «машины времени» в мозге людей, заставляющей всю его отелесненную сущность (а не только то, что мы называем «душой») заново и заново переносить весь спектр когда-то пережитых мучений, - это какой-то садистический трюк, придуманный эволюцией.
Зачем ей нужен этот садизм, науке еще предстоит объяснить.
Однако, наличие у людей альтернативной памяти когнитивной сущности можно считать установленным. И это убедительный аргумент против попыток антропоморфизации когнитивных механизмов ИИ.
• Спектр когнитивных отличий ИИ от людей широк и, видимо, будет еще расширяться по результатам новых исследований.
• Но и единственного когнитивного подобия – владения нашим языком, - для ИИ будет, скорее всего, достаточно для достижения интеллектуально превосходства над людьми в широчайшем перечне областей.
Ибо, как писал Л.Витгенштейн, “язык - это «форма жизни»”… общая для людей и ИИ, - добавлю я от себя.
Подробней:
- популярно https://www.livescience.com/health/neuroscience/traumatic-memories-are-processed-differently-in-ptsd
- научно https://www.nature.com/articles/s41593-023-01483-5
#ИИ #Язык #LLM
Это альтернативная когнитивная сущность принципиально отличает нас от ИИ.
Опубликованное в Nature Neuroscience исследование Йельского университета – это холодный душ для исследователей генеративного ИИ, полагающихся на его, хотя бы частичный, антропоморфизм (мол, это что-то типа самолета, похожего на птицу, но летающего с неподвижными крыльями).
Ведь можно бесконечно спорить, понимает ли большая языковая модель или нет, мыслит ли она или нет, способна ли на волевое действие или нет …, ибо все эти понятия расплывчаты и эфемерны. И пока нет даже гипотез, как эти феномены инструментально анализировать.
И тут вдруг исследователи из Йеля выкатывают инструментальное исследования (фМРТ + распознавание паттернов с помощью машинного обучения), из которого следует, что:
• травматические воспоминания людей – это вовсе не их память, типа обычных веселых, грустных или нейтральных воспоминаний о прошлом опыте людей, как-то и где-то записанных в мозге, подобно ячейкам памяти компьютеров, откуда их можно считывать по требованию;
• травматические воспоминания об ужасах войны, пережитом насилии и прочих корежущих душу кошмарах – это натуральные флешбэки, заставляющие не только сознание человека, но и все его тело снова переноситься (как бы на машине времени) в прошлое и заново переживать всю ту же душевную и физическую боль;
• отсюда все страшные последствия ПТСР - панические атаки, агрессивность, уход в себя, деформация личности, - возникающие у страдающих ПТСР в результате все повторяющихся и повторяющихся душевных и физических мучений, от которых нет спасения (как от платка, что снова и снова подавали Фриде, пока ее не избавила от этого ПТСР Маргарита);
• в отличие от памяти, у этих флешбэков и механизм иной, и способ обработки: память обрабатывается в мозге гиппокампом, а травматические флешбэки - задней поясной извилиной (областью мозга, обычно связанной с обработкой мыслей); порождаемые памятью и травматическими флешбэками паттерны мозговой активности абсолютно разные.
Наличие этой своеобразной «машины времени» в мозге людей, заставляющей всю его отелесненную сущность (а не только то, что мы называем «душой») заново и заново переносить весь спектр когда-то пережитых мучений, - это какой-то садистический трюк, придуманный эволюцией.
Зачем ей нужен этот садизм, науке еще предстоит объяснить.
Однако, наличие у людей альтернативной памяти когнитивной сущности можно считать установленным. И это убедительный аргумент против попыток антропоморфизации когнитивных механизмов ИИ.
• Спектр когнитивных отличий ИИ от людей широк и, видимо, будет еще расширяться по результатам новых исследований.
• Но и единственного когнитивного подобия – владения нашим языком, - для ИИ будет, скорее всего, достаточно для достижения интеллектуально превосходства над людьми в широчайшем перечне областей.
Ибо, как писал Л.Витгенштейн, “язык - это «форма жизни»”… общая для людей и ИИ, - добавлю я от себя.
Подробней:
- популярно https://www.livescience.com/health/neuroscience/traumatic-memories-are-processed-differently-in-ptsd
- научно https://www.nature.com/articles/s41593-023-01483-5
#ИИ #Язык #LLM
livescience.com
Traumatic memories are processed differently in PTSD
People with PTSD feel like they're reliving past experiences in the present. This may be tied to how the brain processes memories of those experiences.
Скачок мутаций языка и подмена когнитивных микроэлементов на помои снов ИИ.
Живя среди синтетического инфомусора, люди все же остаются людьми, способными остановить этот тренд. Но смена типа культуры ведет к необратимому для Homo sapiens - мы будем все более лишаться 2го слова.
Недавно я писал, что цунами инфомусора накрывает науку [2].
Но как ни противно жить в таком мире, у людей все же остается шанс на интеллектуальное выживание, путем инфогигиены и здорового инфопитания хотя бы для себя и детей.
Со сменой типа культуры с «человеческой» на алгокогнитивную (культуру двух носителей высшего интеллекта, в которой доля человеческой составляющей неумолимо сокращается в пользу алгоритмической) трансформация жизни людей куда драматичней из-за необратимости. Ибо это, по сути, - разворот вектора генно-культурной эволюции Homo sapiens (десятки тысяч лет направленного в сторону повышения разумности) на 180 градусов.
Ведь как ни изощряйся с определениями интеллекта, ума, разума, но интуитивно мы понимаем мудрость приписываемой Эйнштейну фразы:
«Если вы хотите, чтобы ваши дети были умными, читайте им сказки. Если же вы хотите, чтобы они были очень умными, читайте им больше сказок»
Но что будет происходить с ребенком, когда малыш будет питаться, в основном, помоями снов ИИ? – задается вопросом известный нейробиолог Эрик Хоэл во вчерашнем эссе «Генерируемый ИИ мусор загрязняет нашу культуру» [1].
И этот синтетический инфомусор – еще не худшее следствие массового внедрения генеративного ИИ в жизнь людей. Разве невозможно – пишет Хоэл, - что человеческая культура содержит в себе «когнитивные микроэлементы» - такие вещи, как связные предложения, повествования и преемственность персонажей, - которые необходимы развивающемуся мозгу?
Вымывание таких «когнитивных микроэлементов» не восполняется «помоями снов» ИИ. А доля таких «помоев» ощутимо нарастает уже в самой «форме жизни - языке» (по определению Витгенштейна).
Например, исследование «Мониторинг масштабов ИИ-модифицированного контента: исследование влияния ChatGPT на рецензирование статей конференций по тематике ИИ» [3] показывает:
• Уже не только сами научные статьи по тематике ИИ пишутся в соавторстве с ИИ-чатботами, но и рецензии на статьи также уже пишутся (примерно в 10% случаях) в соавторстве с ИИ-чатботами.
• Фиксируется процесс быстрых «мутаций языка» за счет активного участия ИИ-чатботов в создании и рецензировании научных статей. «Любимые» прилагательные ИИ-чатботов (типа "похвальный", "тщательный" и "замысловатый") показывают 10-ти, 5-ти и 11-ти кратное увеличение вероятности появления в научных публикациях 2023 по сравнению с 2022.
Что же до «лженауки», то она просто входит в зону собственной сингулярности.
Помните коллекцию из десятков абсурдных, но неотличимых от правды «ложных корреляций», собранных 10 лет назад Тайлером Виген? [4]
Например:
• между потреблением маргарина на душу населения в США и уровнем разводов в штате Мэн;
• между числом людей, получивших удар током от линий электропередач и числом заключаемых в Алабаме браков;
• между количеством людей, утонувших, упав в бассейн, и количеством фильмов, в которых снялся Николас Кейдж
В 2024, с приходом генеративного ИИ, ложные корреляции уже не смешат.
Как показывает Тайлер Виген, каждый ложнокорреляционный бред теперь запросто подтверждается вполне «научной» статьей (с теорией, кейсами, ссылками на другие работы и т.д.) или сразу дюжиной таких статей, "тщательно" и "замысловато" обосновывающих 100%-ю научную достоверность полного бреда.
Полюбопытствуйте сами, каков уровень доказательств [5-8].
1 https://www.nytimes.com/2024/03/29/opinion/ai-internet-x-youtube.html
2 https://t.iss.one/theworldisnoteasy/1914
3 https://arxiv.org/pdf/2403.07183.pdf
4 https://web.archive.org/web/20140509212006/https://tylervigen.com/
5-8 https://tylervigen.com/spurious-scholar
https://telegra.ph/file/ce6573373b83edfb6e8c1.jpg
https://telegra.ph/file/749bfef2015a4a33daf87.jpg
https://telegra.ph/file/acc2fee8798a0025532c2.jpg
#LLM #Вызовы21века #Язык
Живя среди синтетического инфомусора, люди все же остаются людьми, способными остановить этот тренд. Но смена типа культуры ведет к необратимому для Homo sapiens - мы будем все более лишаться 2го слова.
Недавно я писал, что цунами инфомусора накрывает науку [2].
Но как ни противно жить в таком мире, у людей все же остается шанс на интеллектуальное выживание, путем инфогигиены и здорового инфопитания хотя бы для себя и детей.
Со сменой типа культуры с «человеческой» на алгокогнитивную (культуру двух носителей высшего интеллекта, в которой доля человеческой составляющей неумолимо сокращается в пользу алгоритмической) трансформация жизни людей куда драматичней из-за необратимости. Ибо это, по сути, - разворот вектора генно-культурной эволюции Homo sapiens (десятки тысяч лет направленного в сторону повышения разумности) на 180 градусов.
Ведь как ни изощряйся с определениями интеллекта, ума, разума, но интуитивно мы понимаем мудрость приписываемой Эйнштейну фразы:
«Если вы хотите, чтобы ваши дети были умными, читайте им сказки. Если же вы хотите, чтобы они были очень умными, читайте им больше сказок»
Но что будет происходить с ребенком, когда малыш будет питаться, в основном, помоями снов ИИ? – задается вопросом известный нейробиолог Эрик Хоэл во вчерашнем эссе «Генерируемый ИИ мусор загрязняет нашу культуру» [1].
И этот синтетический инфомусор – еще не худшее следствие массового внедрения генеративного ИИ в жизнь людей. Разве невозможно – пишет Хоэл, - что человеческая культура содержит в себе «когнитивные микроэлементы» - такие вещи, как связные предложения, повествования и преемственность персонажей, - которые необходимы развивающемуся мозгу?
Вымывание таких «когнитивных микроэлементов» не восполняется «помоями снов» ИИ. А доля таких «помоев» ощутимо нарастает уже в самой «форме жизни - языке» (по определению Витгенштейна).
Например, исследование «Мониторинг масштабов ИИ-модифицированного контента: исследование влияния ChatGPT на рецензирование статей конференций по тематике ИИ» [3] показывает:
• Уже не только сами научные статьи по тематике ИИ пишутся в соавторстве с ИИ-чатботами, но и рецензии на статьи также уже пишутся (примерно в 10% случаях) в соавторстве с ИИ-чатботами.
• Фиксируется процесс быстрых «мутаций языка» за счет активного участия ИИ-чатботов в создании и рецензировании научных статей. «Любимые» прилагательные ИИ-чатботов (типа "похвальный", "тщательный" и "замысловатый") показывают 10-ти, 5-ти и 11-ти кратное увеличение вероятности появления в научных публикациях 2023 по сравнению с 2022.
Что же до «лженауки», то она просто входит в зону собственной сингулярности.
Помните коллекцию из десятков абсурдных, но неотличимых от правды «ложных корреляций», собранных 10 лет назад Тайлером Виген? [4]
Например:
• между потреблением маргарина на душу населения в США и уровнем разводов в штате Мэн;
• между числом людей, получивших удар током от линий электропередач и числом заключаемых в Алабаме браков;
• между количеством людей, утонувших, упав в бассейн, и количеством фильмов, в которых снялся Николас Кейдж
В 2024, с приходом генеративного ИИ, ложные корреляции уже не смешат.
Как показывает Тайлер Виген, каждый ложнокорреляционный бред теперь запросто подтверждается вполне «научной» статьей (с теорией, кейсами, ссылками на другие работы и т.д.) или сразу дюжиной таких статей, "тщательно" и "замысловато" обосновывающих 100%-ю научную достоверность полного бреда.
Полюбопытствуйте сами, каков уровень доказательств [5-8].
1 https://www.nytimes.com/2024/03/29/opinion/ai-internet-x-youtube.html
2 https://t.iss.one/theworldisnoteasy/1914
3 https://arxiv.org/pdf/2403.07183.pdf
4 https://web.archive.org/web/20140509212006/https://tylervigen.com/
5-8 https://tylervigen.com/spurious-scholar
https://telegra.ph/file/ce6573373b83edfb6e8c1.jpg
https://telegra.ph/file/749bfef2015a4a33daf87.jpg
https://telegra.ph/file/acc2fee8798a0025532c2.jpg
#LLM #Вызовы21века #Язык
Nytimes
Opinion | A.I.-Generated Garbage Is Polluting Our Culture
An insidious creep of artificial intelligence is already penetrating our most important institutions.
На каком языке ChatGPT видит сны.
Важный шаг к раскрытию тайны сверхчеловеческих языковых способностей LLM.
1) Почему человек не может, как большая языковая модель (LLM – напр. GPT, Claude, Gemini …), говорить на 100 языках?
2) Не в этом ли кроется принципиальное отличие человеческого и машинного разума?
Новое исследование [1], в буквальном смысле, послойно вскрывая и анализируя скрытый механизм сверхчеловеческих языковых способностей моделей, сильно приближает нас к ответу на 1й вопрос.
А сделав еще один логический шаг, можно попытаться получить ответ и на 2й вопрос.
Предельно упрощая, суть в следующем.
• Принято считать, что внутренним языком («языком мыслей») людей является родной язык.
На нем они видят сны и кричат в несознанке. И даже для многоязычных персон, типа Владимира Познера, это, хоть и с поправкой, но работает похоже (вспомните радистку Кэт, кричавшую во время родов «Мама!» по-русски).
• В этой связи, естественен вопрос – а какой «язык мыслей» у LLM?
До сих пор было принято считать, что английский (ибо на нем наибольший объем данных, на которых обучаются модели). И эксперименты по использованию английского языка, как языка-посредника (сначала входные данные на исходном языке переводили на английский, обрабатывали их на английском, а затем переводили ответ обратно на исходный язык) подтвердили эффективность такого метода.
• Но теперь, наконец, решили вскрыть нейросетевой мозг LLM Llama-2, чтобы, послойно изучая отдельные слои, добраться, если не до «языка мыслей» (коих у модели может и не быть), то как минимум до ее лингва франка.
А это крайне сложно из-за труднодоступной природы нейронных сетей, лежащей в основе LLMs. В них лишь входной слой работает с дискретными токенами. А все остальные работают уже с многомерными векторами из чисел с плавающей запятой. Как понять, соответствуют ли эти векторы английскому, эстонскому, китайскому и т. д. — или вообще никакому языку — это открытая проблема. И вопрос о том, используют ли LLMs внутренний язык-посредник, до сих пор не был изучен эмпирически.
Теперь изучили и ответ получили.
✔️ Это не английский язык, а неведомый нам язык для формирования и оперирования в абстрактном «пространстве концепций».
✔️ Этот язык англо-подобен, но лишь в семантическом, а не чисто лексическом смысле. Что порождает проблемы.
Например:
— англоцентричное смещение предвзятостей этого языка, что может вызывать предвзятости и в поведении модели;
— психолингвистические заморочки из-за того, что концепции могут нести разное эмоциональное значение в разных языках, и что одно слово может использоваться для разных концепций, а это может влиять на когнитивные процессы.
Названные проблемы требуют продолжения исследований.
Но это уже прорыв. И теперь растут шансы, что языки абстрактных «пространств концепций» больших языковых моделей, способные классифицировать и генерировать любые человеческие языки, помогут нам попытаться сделать то же самое с языками животных. [2]
На приложенной картинке: https://telegra.ph/file/8ea87384fc8f443abbfb8.jpg
Анатомия прямого прохода трансформера при переводе на китайский язык. Эволюция на каждом слое: (а) энтропия распределения следующего токена; (б) энергия токена; (в) вероятности языков. По мере того как скрытые представления преобразуются от слоя к слою, они проходят через три фазы; (г) перемещение на гиперсфере, здесь картинка показана в 3D вместо реальных 8192D; «甜» означает «сладкий».
И кстати, слабо 8192-мерную гиперсферу вообразить?
А для DALL·E это запросто: https://telegra.ph/file/12f650a40918a4f8b4472.jpg
Вот он – иной разум с иным воображением 😊.
1 https://arxiv.org/pdf/2402.10588
2 https://arxiv.org/abs/2406.01253
#LLM #Язык
Важный шаг к раскрытию тайны сверхчеловеческих языковых способностей LLM.
1) Почему человек не может, как большая языковая модель (LLM – напр. GPT, Claude, Gemini …), говорить на 100 языках?
2) Не в этом ли кроется принципиальное отличие человеческого и машинного разума?
Новое исследование [1], в буквальном смысле, послойно вскрывая и анализируя скрытый механизм сверхчеловеческих языковых способностей моделей, сильно приближает нас к ответу на 1й вопрос.
А сделав еще один логический шаг, можно попытаться получить ответ и на 2й вопрос.
Предельно упрощая, суть в следующем.
• Принято считать, что внутренним языком («языком мыслей») людей является родной язык.
На нем они видят сны и кричат в несознанке. И даже для многоязычных персон, типа Владимира Познера, это, хоть и с поправкой, но работает похоже (вспомните радистку Кэт, кричавшую во время родов «Мама!» по-русски).
• В этой связи, естественен вопрос – а какой «язык мыслей» у LLM?
До сих пор было принято считать, что английский (ибо на нем наибольший объем данных, на которых обучаются модели). И эксперименты по использованию английского языка, как языка-посредника (сначала входные данные на исходном языке переводили на английский, обрабатывали их на английском, а затем переводили ответ обратно на исходный язык) подтвердили эффективность такого метода.
• Но теперь, наконец, решили вскрыть нейросетевой мозг LLM Llama-2, чтобы, послойно изучая отдельные слои, добраться, если не до «языка мыслей» (коих у модели может и не быть), то как минимум до ее лингва франка.
А это крайне сложно из-за труднодоступной природы нейронных сетей, лежащей в основе LLMs. В них лишь входной слой работает с дискретными токенами. А все остальные работают уже с многомерными векторами из чисел с плавающей запятой. Как понять, соответствуют ли эти векторы английскому, эстонскому, китайскому и т. д. — или вообще никакому языку — это открытая проблема. И вопрос о том, используют ли LLMs внутренний язык-посредник, до сих пор не был изучен эмпирически.
Теперь изучили и ответ получили.
✔️ Это не английский язык, а неведомый нам язык для формирования и оперирования в абстрактном «пространстве концепций».
✔️ Этот язык англо-подобен, но лишь в семантическом, а не чисто лексическом смысле. Что порождает проблемы.
Например:
— англоцентричное смещение предвзятостей этого языка, что может вызывать предвзятости и в поведении модели;
— психолингвистические заморочки из-за того, что концепции могут нести разное эмоциональное значение в разных языках, и что одно слово может использоваться для разных концепций, а это может влиять на когнитивные процессы.
Названные проблемы требуют продолжения исследований.
Но это уже прорыв. И теперь растут шансы, что языки абстрактных «пространств концепций» больших языковых моделей, способные классифицировать и генерировать любые человеческие языки, помогут нам попытаться сделать то же самое с языками животных. [2]
На приложенной картинке: https://telegra.ph/file/8ea87384fc8f443abbfb8.jpg
Анатомия прямого прохода трансформера при переводе на китайский язык. Эволюция на каждом слое: (а) энтропия распределения следующего токена; (б) энергия токена; (в) вероятности языков. По мере того как скрытые представления преобразуются от слоя к слою, они проходят через три фазы; (г) перемещение на гиперсфере, здесь картинка показана в 3D вместо реальных 8192D; «甜» означает «сладкий».
И кстати, слабо 8192-мерную гиперсферу вообразить?
А для DALL·E это запросто: https://telegra.ph/file/12f650a40918a4f8b4472.jpg
Вот он – иной разум с иным воображением 😊.
1 https://arxiv.org/pdf/2402.10588
2 https://arxiv.org/abs/2406.01253
#LLM #Язык
Креативность сидит в нас глубже языка.
Это может значить, что большим языковым моделям по креативности нас не догнать
По креативности людям нет равных: ни среди других видов, ни в сравнении с современными ИИ-системами.
Ключевой аспект мышления в основе столь беспрецедентной человеческой креативности, — это комбинаторное мышление, или способность собирать бесконечное количество сложных идей из ограниченного числа простых концепций.
Комбинаторное мышление, кажется, тесно связано с использованием языка, который облегчает создание и обмен сложными идеями с другими.
Но что именно - доязыковое комбинаторное мышление или язык, - первопричина высочайшей креативности людей?
1) Если первопричина - язык, то шансы ИИ-систем на основе языковых моделей (уже почти не уступающих во владении языком людям) догнать и превзойти людей по креативности весьма высоки.
2) Если же первопричина - доязыковое комбинаторное мышление, есть шанс что в креативности языковым моделям нас не догнать, как ни увеличивай их масштабы.
Новое междисциплинарное исследование экспериментально показало.
Комбинаторные процессы для формирования сложных идей:
• начинают функционировать у младенцев в течение первого года жизни;
• в этом возрасте эта способность точно не является следствием использования языка (его еще пока нет), но при этом, она является предпосылкой для обучения в целом.
И следовательно, весьма возможно, что по креативности ИИ-системам нас не догнать с помощью лишь их масштабирования, ибо креативность сидит в нас глубже языка.
Картинка https://telegra.ph/file/9dfced6409cd8997276e4.jpg
Статья https://doi.org/10.1073/pnas.2315149121
Видео доклад и преза https://www.youtube.com/watch?v=m3j8hip4nyw
#Язык #Мышление #Креативность
Это может значить, что большим языковым моделям по креативности нас не догнать
По креативности людям нет равных: ни среди других видов, ни в сравнении с современными ИИ-системами.
Ключевой аспект мышления в основе столь беспрецедентной человеческой креативности, — это комбинаторное мышление, или способность собирать бесконечное количество сложных идей из ограниченного числа простых концепций.
Комбинаторное мышление, кажется, тесно связано с использованием языка, который облегчает создание и обмен сложными идеями с другими.
Но что именно - доязыковое комбинаторное мышление или язык, - первопричина высочайшей креативности людей?
1) Если первопричина - язык, то шансы ИИ-систем на основе языковых моделей (уже почти не уступающих во владении языком людям) догнать и превзойти людей по креативности весьма высоки.
2) Если же первопричина - доязыковое комбинаторное мышление, есть шанс что в креативности языковым моделям нас не догнать, как ни увеличивай их масштабы.
Новое междисциплинарное исследование экспериментально показало.
Комбинаторные процессы для формирования сложных идей:
• начинают функционировать у младенцев в течение первого года жизни;
• в этом возрасте эта способность точно не является следствием использования языка (его еще пока нет), но при этом, она является предпосылкой для обучения в целом.
И следовательно, весьма возможно, что по креативности ИИ-системам нас не догнать с помощью лишь их масштабирования, ибо креативность сидит в нас глубже языка.
Картинка https://telegra.ph/file/9dfced6409cd8997276e4.jpg
Статья https://doi.org/10.1073/pnas.2315149121
Видео доклад и преза https://www.youtube.com/watch?v=m3j8hip4nyw
#Язык #Мышление #Креативность
