Этот пост о втором из трех открытий 2017 года, способных перевернуть понимание интеллекта (человека, компьютера и животных).
Брошен вызов общепринятым представлениям о том, что ключевой целью и функцией памяти является способность живых существ сохранять информацию в мозге. На основе анализа новейших нейробиологических исследований, предложена и обоснована альтернативная гипотеза. Ее суть в том, что ключевой целью и функцией памяти является способность забывать информацию - способность, без которой живые существа просто не могли бы, не то что эволюционировать, но и просто жить.
Читать 4 мин.
#Память #МашинноеОбучение #Эволюция #КогнитивныеСистемы
Брошен вызов общепринятым представлениям о том, что ключевой целью и функцией памяти является способность живых существ сохранять информацию в мозге. На основе анализа новейших нейробиологических исследований, предложена и обоснована альтернативная гипотеза. Ее суть в том, что ключевой целью и функцией памяти является способность забывать информацию - способность, без которой живые существа просто не могли бы, не то что эволюционировать, но и просто жить.
Читать 4 мин.
#Память #МашинноеОбучение #Эволюция #КогнитивныеСистемы
Medium
Сверхзадача памяти — не помнить, а забыть
Этот пост о втором из трех открытий 2017 года, способных перевернуть понимание интеллекта (человека, компьютера и животных)
Обучение бездействием.
Новый прорывной метод машинного обучения чуть приближает ИИ к человеческому.
Революционная идея данного метода https://goo.gl/aWbX2T , изобретенного профессором David Wolpert и 2мя его постдокторантами, вдохновлена исследованиями по выявлению «бессмысленной информации» https://goo.gl/BCe6X4 и гипотезой, что ключевой целью и функцией памяти является способность забывать информацию https://goo.gl/D54ysu .
Трое исследователей задались вопросом - что получится, если нейронные сети будут обучены забывать бесполезную информацию (и как их научить это делать)?
На самом деле, задачей «забывания ненужной информации» при машинном обучении занимаются уже без малого 20 лет.
Ученые сегодня не совсем понимают, каким образом алгоритмы машинного обучения преуспевают в «интеллектуальных» задачах, типа распознавания изображений и речи. Зато они точно знают, что для эффективной генерализации (классификации данных при поиске обобщающих шаблонов) алгоритм должен помнить важную информацию, забывая о бесполезной. Эта задача, которую часто называют «Информационное бутылочное горло» (“Information Bottleneck”), породила в последние годы волну исследований, будучи впервые сформулированной еще в 2000 году.
И только совсем недавно эта задача была переформулирована применительно быстро развивающейся области глубокого обучения (т.е. машинного обучения, работающего на многослойных нейронных сетях).
Ведь весьма возможно, что сети глубокого обучения столь эффективны при решении многих интеллектуальных задач, не только потому, что они учатся предсказывать, но и потому, что они учатся игнорировать ненужную информацию.
В своей последней публикации «Нелинейное информационное бутылочное горло» https://goo.gl/YQ5v1K , ученые представляют метод обучения алгоритма машинного обучения для идентификации объектов с использованием минимальной информации. Метод решает проблему того, как оценить объем информации, хранящейся в алгоритме, используя новую оценку, опубликованную авторами в июле прошлого года в журнале Энтропия.
Цель этой работы – научиться делать предсказания с использованием данных из ограниченной полосы пропускания.
Допустим, вы - спутник в космосе или удаленная метеостанция в Антарктиде. Вы не можете отправить все данные, которые вы собираете, - их слишком много. Но как тогда определить, какие именно части данных следует послать?
В принципе же, перспективы нового метода куда шире. Он может позволить нейронным сетям находить более абстрактные (более обобщенные) шаблоны, что потенциально может дать столь необходимый рывок в повышении производительности - от распознания пешеходов вблизи самоуправляемых автомобилей до получения пятидневного прогноза погоды с Марса.
И тем самым чуть приблизит ИИ к интеллекту человека.
#ГлубокоеОбучение #Информация #Память
Новый прорывной метод машинного обучения чуть приближает ИИ к человеческому.
Революционная идея данного метода https://goo.gl/aWbX2T , изобретенного профессором David Wolpert и 2мя его постдокторантами, вдохновлена исследованиями по выявлению «бессмысленной информации» https://goo.gl/BCe6X4 и гипотезой, что ключевой целью и функцией памяти является способность забывать информацию https://goo.gl/D54ysu .
Трое исследователей задались вопросом - что получится, если нейронные сети будут обучены забывать бесполезную информацию (и как их научить это делать)?
На самом деле, задачей «забывания ненужной информации» при машинном обучении занимаются уже без малого 20 лет.
Ученые сегодня не совсем понимают, каким образом алгоритмы машинного обучения преуспевают в «интеллектуальных» задачах, типа распознавания изображений и речи. Зато они точно знают, что для эффективной генерализации (классификации данных при поиске обобщающих шаблонов) алгоритм должен помнить важную информацию, забывая о бесполезной. Эта задача, которую часто называют «Информационное бутылочное горло» (“Information Bottleneck”), породила в последние годы волну исследований, будучи впервые сформулированной еще в 2000 году.
И только совсем недавно эта задача была переформулирована применительно быстро развивающейся области глубокого обучения (т.е. машинного обучения, работающего на многослойных нейронных сетях).
Ведь весьма возможно, что сети глубокого обучения столь эффективны при решении многих интеллектуальных задач, не только потому, что они учатся предсказывать, но и потому, что они учатся игнорировать ненужную информацию.
В своей последней публикации «Нелинейное информационное бутылочное горло» https://goo.gl/YQ5v1K , ученые представляют метод обучения алгоритма машинного обучения для идентификации объектов с использованием минимальной информации. Метод решает проблему того, как оценить объем информации, хранящейся в алгоритме, используя новую оценку, опубликованную авторами в июле прошлого года в журнале Энтропия.
Цель этой работы – научиться делать предсказания с использованием данных из ограниченной полосы пропускания.
Допустим, вы - спутник в космосе или удаленная метеостанция в Антарктиде. Вы не можете отправить все данные, которые вы собираете, - их слишком много. Но как тогда определить, какие именно части данных следует послать?
В принципе же, перспективы нового метода куда шире. Он может позволить нейронным сетям находить более абстрактные (более обобщенные) шаблоны, что потенциально может дать столь необходимый рывок в повышении производительности - от распознания пешеходов вблизи самоуправляемых автомобилей до получения пятидневного прогноза погоды с Марса.
И тем самым чуть приблизит ИИ к интеллекту человека.
#ГлубокоеОбучение #Информация #Память
www.santafe.edu
Learning by omission
<p>What would happen if neural networks were explicitly trained to discard useless information, and how to tell them to do so, is the subject of recent research by SFI's Artemy Kolchinsky, Brendan Tracey, and David Wolpert.</p>
ЦРУ создает кентавров для предсказания будущего.
Эта тема — одна из моих любимых. И уже не первый месяц, как я собираюсь начать о ней писать.
Хотя не совсем так. Кое-что я уже про это писал. И даже не раз. Но не системно, а как-то по касательной. Как бы подступаясь к этой многогранной истории с разных сторон:
— писал об интеллектуальных кентаврах — симбиозе интеллекта человека и компьютера, — альтернативе мейнстриму ИИ технологий, плодящему «бездумные машины»;
— о том, как устроен интеллект человека, и в чем его принципиальное отличие от интеллекта компьютера;
— о возможности предсказания будущего;
— о роли случайности.
Наверное, наиболее проницательные из моих читателей уже поняли, куда я клоню.
К тому, что всё вышеперечисленное — грани одной комплексной темы: взаимосвязи интеллекта (человеческого, машинного, кентаврического) и предсказаний будущего. Но как они связаны — интеллект и предсказания?
Полагаю, хватить дробить эту тему. Пора попытаться нарисовать общую картину.
Но такой рассказ в один или даже пару постов не втиснуть. Слишком много здесь захватывающих, крайне малоизвестных и интригующих поворотов. Хочу попробовать редкий для е-каналов жанр — постосериал, еженедельно публикуя продолжение одной большой истории.
Ну а начну с прояснения заголовка. Как в этой теме сплелись кентавры и предсказания будущего, объясню чуть позже. А начну с интриги, — при здесь ЦРУ, да еще и на ключевой позиции.
Тегов у этого постосериала будет много:
#ИнтеллектКентавра #AI #ИИ #IA #AIA #Краудсорсинг #РынкиПредсказаний #АльтернативныйИИ #Прогнозирование #Будущее #ПринятиеРешений #Случайность #Память #КогнитивныеСистемы #Нейронаука #IARPA
Мда… И обо всем этом я собираюсь написать в одном постосериале? … Ну хотя бы попробую 😊
Вот 1й пост 1го сезона нового постосериала. https://goo.gl/2AemSJ
Эта тема — одна из моих любимых. И уже не первый месяц, как я собираюсь начать о ней писать.
Хотя не совсем так. Кое-что я уже про это писал. И даже не раз. Но не системно, а как-то по касательной. Как бы подступаясь к этой многогранной истории с разных сторон:
— писал об интеллектуальных кентаврах — симбиозе интеллекта человека и компьютера, — альтернативе мейнстриму ИИ технологий, плодящему «бездумные машины»;
— о том, как устроен интеллект человека, и в чем его принципиальное отличие от интеллекта компьютера;
— о возможности предсказания будущего;
— о роли случайности.
Наверное, наиболее проницательные из моих читателей уже поняли, куда я клоню.
К тому, что всё вышеперечисленное — грани одной комплексной темы: взаимосвязи интеллекта (человеческого, машинного, кентаврического) и предсказаний будущего. Но как они связаны — интеллект и предсказания?
Полагаю, хватить дробить эту тему. Пора попытаться нарисовать общую картину.
Но такой рассказ в один или даже пару постов не втиснуть. Слишком много здесь захватывающих, крайне малоизвестных и интригующих поворотов. Хочу попробовать редкий для е-каналов жанр — постосериал, еженедельно публикуя продолжение одной большой истории.
Ну а начну с прояснения заголовка. Как в этой теме сплелись кентавры и предсказания будущего, объясню чуть позже. А начну с интриги, — при здесь ЦРУ, да еще и на ключевой позиции.
Тегов у этого постосериала будет много:
#ИнтеллектКентавра #AI #ИИ #IA #AIA #Краудсорсинг #РынкиПредсказаний #АльтернативныйИИ #Прогнозирование #Будущее #ПринятиеРешений #Случайность #Память #КогнитивныеСистемы #Нейронаука #IARPA
Мда… И обо всем этом я собираюсь написать в одном постосериале? … Ну хотя бы попробую 😊
Вот 1й пост 1го сезона нового постосериала. https://goo.gl/2AemSJ
Medium
ЦРУ создает кентавров для предсказания будущего
Постосериал: 1й сезон, 1й пост — “Мистер Q и футбол”