Ой, что-то мне за это будет… – как мозг корректирует свои ожидания

Дофаминергические нейроны среднего мозга корректируют надлежащую реакцию на происходящее, улавливая разницу между ожидаемым и полученным вознаграждением и подавая сигнал «ошибок предсказания награды» (ОПН). Для изучения этого процесса его моделируют алгоритмом машинного обучения под названием «Метод временной разницы» (Temporal Difference Learning, TD), представляя сигналы ОПН как сигналы ошибки при прохождении обучения алгоритмом TD. Изучая реакцию дофаминергических нейронов мышей на наличие или отсутствие ожидаемой награды, авторы статьи в Nature Neuroscience показали, как можно улучшить эту модель.

Классический алгоритм временной разницы предполагает, что исход зависит от состояния среды, однозначно определяемого наблюдаемыми факторами. В реальной жизни всё не так просто: за одними и теми же сенсорными стимулами могут скрываться совершенно разные вещи: высокая трава в саванне может быть просто травой, а может скрывать опасного хищника, и последствия для антилопы в двух случаях будут различными. Теоретически, модель будет точнее описывать реальность, если совокупность стимулов будет иметь определённую вероятность отражать то или иное состояние среды. Тогда последствия могут быть предсказаны на основании самой вероятной интерпретации имеющейся сенсорной информации. Авторы статьи проверили такую модель на практике.

https://neuronovosti.ru/oops/

#средний_мозг
#нейроновости
#ожидание
#реальность