Переворот в представлениях об интеллекте людей и машин.
Это лишь 1й шаг, но за ним идут супер-прорывные открытия.
Назвав Альберта-Ласло Барабаши Эйнштейном 21 века, я все же не ошибся. Он открыл безмасштабные сети (scale-free network) и математически обосновал: они - основа мира. Вселенная на всех уровнях как бы энергетически запитывается этой безмасштабностью, главный механизм которой «предпочтительность установления связей» (preferential attachment) – следствие из 2го закона термодинамики, гласящего, что для вселенной в целом энтропия (мера хаоса) возрастает.
Последние несколько лет ушли на проверку – действительно ли сеть, образованная миллиардами нейронов человеческого мозга, работает по тем же информационным законам, что и Интернет.
Это сейчас самый фундаментальный вопрос на пути понимания интеллекта людей и машин.
Ибо если ответ «да»,
• раскрывается тайна того, как мозг, просеивая шум, выборочно запоминает только самое важное и не захлебывается в деталях;
• это сулит переворот в алгоритмике глубокого обучения ИИ, сегодня просто не обладающего механизмом нахождения компромисса между степенью детализации данных и продуктивностью выявления закономерностей в них.
Новое экспериментальное открытие позволило вплотную подойти к раскрытию загадки:
• каким образом мозг обрабатывает информацию, отбрасывая большую часть её в пользу более простых нейронных описаний;
• как усовершенствовать алгоритмы глубоко обучения ИИ, дабы они работали не тупо, как сейчас (за счет безумной производительности вычислений), а умно и экономно, как это делает мозг.
В основе эксперимента новая техника записи процесса одновременной работы 10 тыс. нейронов. С ее помощью мышам показывали тысячи изображений, наблюдая за реакциями в зрительной коре и обнаруживая паттерны, соответствующие более высоко-размерной (более детальной) картине нейронной активности.
В результате удалось понять, как работает «балансировочный акт» - тот самый механизм компромисса между объемом данных и вылавливаемым из них «смыслом».
Все объясняется наличием критический («фазовых») переходов при наращивании размерности (детализации) входной информации. Эти переходы нарушают свойство процесса обработки информации, названное «гладкостью» (непрерывностью), в результате чего небольшие изменения на входе могут генерировать большие изменения на выходе.
По сути, этот механизм позволяет выявлять во входных данных тот «один пиксель», изменение которого приведет к отображению в памяти уже другой ситуации. Извините за не совсем корректный пример, но похожим образом работает развертка на экранах – меняются только определенные пиксели, а не все изображение.
Но как идентифицировать эти «критические пиксели»?
Ответ тоже найден – нужно найти критический порог размерности (детализации), после которого появится фрактал (функция потеряет гладкость).
Иными словами, представления в памяти должны быть настолько подробными и объемными, насколько это было возможно, чтобы они оставались гладкими.
Итоговый новый закон - паттерны нейронной активности настолько детализированы (многомерны), насколько это возможно, не становясь фрактальными (негладкими).
В заключение пример.
Изрезанная береговая линия – это фрактал. Если идете вдоль берега, открывающаяся взору картинка все время меняется, т.к. вся кромка берега состоит из зубцов. Избавьтесь от фрактала, не дав «взорваться» степени детализации. Например (условный, но похожий на правду), - сфоткайте этот берег из космоса. И получите компромиссную по точности картину, информационно в миллионы раз меньшего объема, чем миллионы фото, снимаемых на каждом 10ом шаге обхода побережья. А «смысл» (понимание очертания побережья) вы при этом не потеряете.
Подробней:
- популярно https://www.quantamagazine.org/a-power-law-keeps-the-brains-perceptions-balanced-20191022/
- научно https://www.nature.com/articles/s41586-019-1346-5
#Нейронаука
Это лишь 1й шаг, но за ним идут супер-прорывные открытия.
Назвав Альберта-Ласло Барабаши Эйнштейном 21 века, я все же не ошибся. Он открыл безмасштабные сети (scale-free network) и математически обосновал: они - основа мира. Вселенная на всех уровнях как бы энергетически запитывается этой безмасштабностью, главный механизм которой «предпочтительность установления связей» (preferential attachment) – следствие из 2го закона термодинамики, гласящего, что для вселенной в целом энтропия (мера хаоса) возрастает.
Последние несколько лет ушли на проверку – действительно ли сеть, образованная миллиардами нейронов человеческого мозга, работает по тем же информационным законам, что и Интернет.
Это сейчас самый фундаментальный вопрос на пути понимания интеллекта людей и машин.
Ибо если ответ «да»,
• раскрывается тайна того, как мозг, просеивая шум, выборочно запоминает только самое важное и не захлебывается в деталях;
• это сулит переворот в алгоритмике глубокого обучения ИИ, сегодня просто не обладающего механизмом нахождения компромисса между степенью детализации данных и продуктивностью выявления закономерностей в них.
Новое экспериментальное открытие позволило вплотную подойти к раскрытию загадки:
• каким образом мозг обрабатывает информацию, отбрасывая большую часть её в пользу более простых нейронных описаний;
• как усовершенствовать алгоритмы глубоко обучения ИИ, дабы они работали не тупо, как сейчас (за счет безумной производительности вычислений), а умно и экономно, как это делает мозг.
В основе эксперимента новая техника записи процесса одновременной работы 10 тыс. нейронов. С ее помощью мышам показывали тысячи изображений, наблюдая за реакциями в зрительной коре и обнаруживая паттерны, соответствующие более высоко-размерной (более детальной) картине нейронной активности.
В результате удалось понять, как работает «балансировочный акт» - тот самый механизм компромисса между объемом данных и вылавливаемым из них «смыслом».
Все объясняется наличием критический («фазовых») переходов при наращивании размерности (детализации) входной информации. Эти переходы нарушают свойство процесса обработки информации, названное «гладкостью» (непрерывностью), в результате чего небольшие изменения на входе могут генерировать большие изменения на выходе.
По сути, этот механизм позволяет выявлять во входных данных тот «один пиксель», изменение которого приведет к отображению в памяти уже другой ситуации. Извините за не совсем корректный пример, но похожим образом работает развертка на экранах – меняются только определенные пиксели, а не все изображение.
Но как идентифицировать эти «критические пиксели»?
Ответ тоже найден – нужно найти критический порог размерности (детализации), после которого появится фрактал (функция потеряет гладкость).
Иными словами, представления в памяти должны быть настолько подробными и объемными, насколько это было возможно, чтобы они оставались гладкими.
Итоговый новый закон - паттерны нейронной активности настолько детализированы (многомерны), насколько это возможно, не становясь фрактальными (негладкими).
В заключение пример.
Изрезанная береговая линия – это фрактал. Если идете вдоль берега, открывающаяся взору картинка все время меняется, т.к. вся кромка берега состоит из зубцов. Избавьтесь от фрактала, не дав «взорваться» степени детализации. Например (условный, но похожий на правду), - сфоткайте этот берег из космоса. И получите компромиссную по точности картину, информационно в миллионы раз меньшего объема, чем миллионы фото, снимаемых на каждом 10ом шаге обхода побережья. А «смысл» (понимание очертания побережья) вы при этом не потеряете.
Подробней:
- популярно https://www.quantamagazine.org/a-power-law-keeps-the-brains-perceptions-balanced-20191022/
- научно https://www.nature.com/articles/s41586-019-1346-5
#Нейронаука
Quanta Magazine
A Power Law Keeps the Brain’s Perceptions Balanced
Researchers have discovered a surprising mathematical relationship in the brain’s representations of sensory information, with possible applications to AI
Наш интеллект знает, что живет в мультивселенной.
ИИ теперь научат принимать решения, как люди.
Первый прорыв года, и это круто!
Великий физиолог И. Павлов использовал собак, чтоб понять, как учится их мозг, если собак поощрять за правильные действия и наказывать за неправильные.
Один из отцов ИИ М. Минский использовал тот же принцип при создании компьютера, способного непрерывно учиться, получая условные вознаграждения (т.н. обучение с подкреплением).
Этот метод сейчас широко используется во многих алгоритмах ИИ.
Но он, к сожалению, все же далеко не так хорошо и быстро учится, как человеческий мозг.
Первое прорывное открытие 2020 может решить эту проблему.
• Во-первых, наконец, поняв, почему человеческий мозг учится быстрей и эффективней.
• Во-вторых, переняв этот метод для ИИ, что сильно улучшит работу его алгоритмов.
Но больше всего поражает сам способ и лежащая в его основе божественная простота в сочетании с возможной фантастической спекуляцией о причинах этой простоты.
Все просто.
1) Принимая любое решение, мозг (а в случае ИИ – алгоритм) должен смоделировать будущее, чтоб адаптировать свое решение под него.
2) Цель такой адаптации всегда одна – получить вознаграждение за свой выбор: кусочек сахара для собаки, удовольствие человека в результате впрыска допамина или условное вознаграждение для обучающегося алгоритма.
3) До сих пор награда представлялась (собакам, людям, алгоритмам) в виде единственного варианта:
• угадал – получи свой кусочек, впрыск и т.д.
• не угадал – кури бамбук, а в следующий раз выбирай среди вариантов по-другому.
Новое открытие, сделанное в DeepMind, заключается в том, что мозг как бы знает,
✔️ что мир устроен сложно и в нем царит случайность;
✔️ поэтому здесь нет единственного варианта будущего, а есть вероятностные распределения для любого будущего события;
✔️ и потому представлять вознаграждение за любой свой выбор нужно не в виде единственного выбора (получу- не получу), а в виде распределения вероятностей получения вознаграждения.
Но держитесь за стул.
- Это значит, что в модели реальности, сидящей в нашем мозге, просто не существует единого будущего, в котором материализуется лишь один из возможных вариантов каждого из событий.
- Мозг будто знает, что живет в мультиверсе, в котором ВСЕ варианты событий возможны. И чтоб преуспеть в жизни, нужно их все держать в уме (в соответствие с заданным распределением вероятности)
«Удивительно, как эта очень простая реакция дофамина предсказуемо следует интуитивным паттернам основных биологических процессов обучения, которые теперь становятся компонентом ИИ» - написал в емейле про это исследование Вольфрам Шульц, пионер поведения дофаминовых нейронов.
Последствия этого открытия многочисленны.
Оно позволит иначе взглянуть на многие процессы: от мотивации до психического здоровья.
Что может означать, например, наличие «пессимистичных» и «оптимистичных» допаминовых нейронов?
Если мозг избирательно прислушивается только к одному или другому, может ли это привести к химическому дисбалансу и вызвать депрессию?
И как вообще допаминовые нейроны выбирают предпочтительный вариант будущей реальности из бесконечного мультиверса возможных?
Подробней:
- популярно
- научно
#Нейронаука #ИИ
ИИ теперь научат принимать решения, как люди.
Первый прорыв года, и это круто!
Великий физиолог И. Павлов использовал собак, чтоб понять, как учится их мозг, если собак поощрять за правильные действия и наказывать за неправильные.
Один из отцов ИИ М. Минский использовал тот же принцип при создании компьютера, способного непрерывно учиться, получая условные вознаграждения (т.н. обучение с подкреплением).
Этот метод сейчас широко используется во многих алгоритмах ИИ.
Но он, к сожалению, все же далеко не так хорошо и быстро учится, как человеческий мозг.
Первое прорывное открытие 2020 может решить эту проблему.
• Во-первых, наконец, поняв, почему человеческий мозг учится быстрей и эффективней.
• Во-вторых, переняв этот метод для ИИ, что сильно улучшит работу его алгоритмов.
Но больше всего поражает сам способ и лежащая в его основе божественная простота в сочетании с возможной фантастической спекуляцией о причинах этой простоты.
Все просто.
1) Принимая любое решение, мозг (а в случае ИИ – алгоритм) должен смоделировать будущее, чтоб адаптировать свое решение под него.
2) Цель такой адаптации всегда одна – получить вознаграждение за свой выбор: кусочек сахара для собаки, удовольствие человека в результате впрыска допамина или условное вознаграждение для обучающегося алгоритма.
3) До сих пор награда представлялась (собакам, людям, алгоритмам) в виде единственного варианта:
• угадал – получи свой кусочек, впрыск и т.д.
• не угадал – кури бамбук, а в следующий раз выбирай среди вариантов по-другому.
Новое открытие, сделанное в DeepMind, заключается в том, что мозг как бы знает,
✔️ что мир устроен сложно и в нем царит случайность;
✔️ поэтому здесь нет единственного варианта будущего, а есть вероятностные распределения для любого будущего события;
✔️ и потому представлять вознаграждение за любой свой выбор нужно не в виде единственного выбора (получу- не получу), а в виде распределения вероятностей получения вознаграждения.
Но держитесь за стул.
- Это значит, что в модели реальности, сидящей в нашем мозге, просто не существует единого будущего, в котором материализуется лишь один из возможных вариантов каждого из событий.
- Мозг будто знает, что живет в мультиверсе, в котором ВСЕ варианты событий возможны. И чтоб преуспеть в жизни, нужно их все держать в уме (в соответствие с заданным распределением вероятности)
«Удивительно, как эта очень простая реакция дофамина предсказуемо следует интуитивным паттернам основных биологических процессов обучения, которые теперь становятся компонентом ИИ» - написал в емейле про это исследование Вольфрам Шульц, пионер поведения дофаминовых нейронов.
Последствия этого открытия многочисленны.
Оно позволит иначе взглянуть на многие процессы: от мотивации до психического здоровья.
Что может означать, например, наличие «пессимистичных» и «оптимистичных» допаминовых нейронов?
Если мозг избирательно прислушивается только к одному или другому, может ли это привести к химическому дисбалансу и вызвать депрессию?
И как вообще допаминовые нейроны выбирают предпочтительный вариант будущей реальности из бесконечного мультиверса возможных?
Подробней:
- популярно
- научно
#Нейронаука #ИИ
MIT Technology Review
An algorithm that learns through rewards may show how our brain does too
In 1951, Marvin Minsky, then a student at Harvard, borrowed observations from animal behavior to try to design an intelligent machine. Drawing on ideas from the work of physiologist Ivan Pavlov, who famously used dogs to show how animals learn through punishments…
Вот замечательный вопрос, - казалось бы, чрезвычайно простой, но при этом таинственно непостижимый и тем самым чарующий и манящий.
Особенно же он хорош, чтобы подумать над ним в дни вынужденного локдауноподобного домашнего времяпрепровождения.
Что мы знаем о структуре и ритмике литературных текстов?
✔️ Правда ли, если в романах убрать все слова и оставить лишь «партитуру музыки» литературного текста — его пунктуацию, будет весьма трудно спутать тексты Пелевина и Пушкина, Сорокина и Бунина, а вот Гоголя и Булгакова можно и спутать?
✔️ Почему «партитура музыки» литературного текста значит для нашей оценки его привлекательности чуть ли не больше его смысла?
✔️ Можем ли мы по «партитуре музыки» текста любимых книг раскрыть для себя секрет того, почему именно они нам нравятся, и почему мы любим читать именно этих авторов?
И в качестве вишенки на торте – какое отношение имеет все это к тупику, в котором оказалась сегодня нейронаука?
Об этом мой новый пост (5 мин чтения)
- на Medium https://bit.ly/3mqrKPZ
- на Яндекс Дзен https://clck.ru/YWiwy
#Литература #Нейронаука
Особенно же он хорош, чтобы подумать над ним в дни вынужденного локдауноподобного домашнего времяпрепровождения.
Что мы знаем о структуре и ритмике литературных текстов?
✔️ Правда ли, если в романах убрать все слова и оставить лишь «партитуру музыки» литературного текста — его пунктуацию, будет весьма трудно спутать тексты Пелевина и Пушкина, Сорокина и Бунина, а вот Гоголя и Булгакова можно и спутать?
✔️ Почему «партитура музыки» литературного текста значит для нашей оценки его привлекательности чуть ли не больше его смысла?
✔️ Можем ли мы по «партитуре музыки» текста любимых книг раскрыть для себя секрет того, почему именно они нам нравятся, и почему мы любим читать именно этих авторов?
И в качестве вишенки на торте – какое отношение имеет все это к тупику, в котором оказалась сегодня нейронаука?
Об этом мой новый пост (5 мин чтения)
- на Medium https://bit.ly/3mqrKPZ
- на Яндекс Дзен https://clck.ru/YWiwy
#Литература #Нейронаука
Medium
Почему одним ближе Пелевин, а другим Пушкин
Секретные паттерны «партитуры музыки» литературного текста