Лечение Альцгеймера мерцающим светом и звуком | Сообщают, что Cognito Therapeutics получил инвестиции $73 млн от венчурных фондов на эту технологию. Если совсем кратко: вместо лекарств лишь свет и звук, и такая слухо-зрительная 40 Гц стимуляция тормозит деградацию ткани мозга больных пациентов.

Я уже упоминал о Cognito, в 2022-м успешно прошло первое клиническое исследование, теперь они планируют еще одно, более масштабное. Их гаджет сейчас имеет статус "прорывного устройства" от FDA, то есть можно применять в испытаниях, но не продавать. Деньги, видимо, пойдут как раз на клинические исследования, т.к. техническая часть предельно проста, светодиоды да динамики размером с наушник, всё.

Снова радуюсь за Эда Бойдена, и дело не в деньгах, а в том, что такой суммой инвесторы обозначили степень доверия и веры в сам подход. Это их ставка, и она уже серьезная.

Есть, впрочем, ложка дегтя — недавняя статья в Nature Neuroscience, где авторы заявляют, что пробовали мерцающий 40 Гц свет на мышах, и результат нулевой. Амилоид не снизился, и не было даже вызванной гаммы, что странно. Хотя они пишут, что мыши от мерцающего света прятались, так что дело, может быть в дизайне эксперимента. Но главный там György Buzsáki, так что надо разбираться.

Зато другая свежая статья, скорее, в духе идей стимуляции. Мерцающая картинка вызывала у людей приток спинномозговой жидкости в мозг, а ведь это может очищать его от мусора, в том числе амилоида. Частоты мерцания были разные, в том числе 40 Гц. И даже вне всякой связи с кейсом Cognito работа интересна тем, что открывает еще один способ противостоять дегенерации — вызов омывания и очищения мозга через зрительную нейромодуляцию.

Будем наблюдать, куда выведет эта траектория.

Обещания Маска о первом и последующих коммерческих продуктах Нейралинка. Ровно два года назад.

Свежий обзор публичных датасетов по интерфейсам мозг-компьютер с использованием моторного воображения и выполнения движений

Gwon D, Won K, Song M, Nam CS, Jun SC and Ahn M. Review of public motor imagery and execution datasets in brain-computer interfaces. Front. Hum. Neurosci. 17:1134869, 30 March 2023 https://doi.org/10.3389/fnhum.2023.1134869 (Open Access)

Правительство собирается исключить нейротехнологии из числа приоритетных технологий

<....> в правительстве сформировали перечень важных направлений технологического развития РФ до 2030 года. В него вошли десять «сквозных технологий», перечень которых был пересмотрен в конце 2022 года из-за утраты доступа к сложному импортному оборудованию и утраты актуальности <....>

От развития некоторых, например нейротехнологий, отказались. «Они перестали быть приоритетными с точки зрения бизнеса многих стран, в том числе и РФ, поэтому в "дорожной карте" осталось все, что связано только с ИИ»,— пояснил “Ъ” источник, близкий к Минэкономики (см. справку). Впрочем, во многом эволюции перечня также лучше объясняются изоляцией российской науки и недоступностью передового оборудования, что вынудило власти разделить прежние амбициозные цели на неисполнимые в ближайшем будущем (они из списка ушли) и исполнимые частично на имеющейся в РФ базе (они были перегруппированы по этому принципу).

Итоговый перечень проектов в результате оказался ориентирован не на прорывы, а, как отмечают в Минэкономики, на обеспечение «технологического суверенитета» — в частности, в сферах авиапромышленности (в т. ч. беспилотников), робототехники, автомобилестроения, микроэлектроники, медицины и других.

Мысль с ограничением по высоте полета
Власти вынуждены снизить амбиции в области технологического развития РФ
10.04.2023, 00:48
https://www.kommersant.ru/doc/5925857

Я протестил модельку Segment Anything у себя в браузере.

Запустил на картине Питера Брейгеля Старшего, который страсть как любил рисовать много мелких деталей. И вот, что получилось: Хоть в тренировочном датасете не было картин, модель хорошо сравляется сегментацией и нарисованых объектов. Иногда, когда одной точки не хватает, чтобы полность выделить объект, нужно кликнуть еще разок, либо выделить боксом.

Пока я двигал мышкой, prompt encoder и mask decoder крутились в реальном времени локально у меня на CPU.

Кстати, модель Segment Anything можно неплохо склеить в единый пайплайн с Instance деткекторами. Детктор будет выплевывать боксы, а SA будет выдавать маски по заданным боксам.

Или еще лучше. Для артистов: Вы текстом говорите, что поменять и как, затем Segment Anуthing выдает маску, а Stable Diffusion по маске генерит измененный регион в желаемом виде. Ждите скоро на просторах интернета.

Демка тут.

@ai_newz

Segment Anything

Meta представила крутейшую и полностью открытую модель для сегментации изображений. Говорят, что она претендует на роль GPT в мире CV. Моя знакомая написала небольшой обзор со всеми подробностями про эту модель и её обучение. Читается довольно легко, а также там много картинок — поэтому рекомендую всем заглянуть!

Открыт свободный доступ к книге Луиса Пессоа "Запутанный мозг"

Popular neuroscience accounts often focus on specific mind-brain aspects like addiction, cognition, or memory, but <....> One can't point to the brain and say, “This is where emotion happens” (or any other mental faculty). <...> The Entangled Brain explains how brain functions result from cross-cutting brain processing, not the function of segregated areas.

Luiz Pessoa. The Entangled Brain: How Perception, Cognition, and Emotion Are Woven Together. MIT Press, 2022 https://doi.org/10.7551/mitpress/14636.001.0001 (Open Access)

Generative Agents: Interactive Simulacra of Human Behavior

Исследователи из Стэнфорда и Гугл создали "генеративных агентов" на базе gpt3.5-turbo для имитации поведения человека в песочнице, вдохновленной The Sims.

У них получился симулятор социальных взаимодействий, где каждый агент определяется текстовым описанием его профессии, интересами и связей с другими, а ChatGPT играет роль движка. Для обеспечения долгосрочной согласованности действий, авторы расширили ChatGPT тремя компонентами, что позволило агентам создавать распорядок дня, реагировать на новые события и менять планы, если это необходимо.

Первый компонент - модуль долговременной памяти и система извлечения информации. Долгосрочная память сохраняет прошлый опыт агента и состояние окружающей среды с датой и временем события. Для извлечения релевантной информацию авторы просят ChatGPT присвоить оценку важности (от 0 до 10) для каждой записи в долгосрочной памяти, учитывая текущую ситуацию. Далее авторы присваивают вес каждой записи таким образом, что старые записи менее релевантные. На каждом шагу в цикле действий авторы собирают промт комбинируя эти веса и просят ChatGPT решить, что агент должен сделать.

Второй компонент - рефлексия, которая является вторым типом памяти. Подобно тому, как мы во время сна обрабатываем и сохраняем важную информацию в долгосрочную память, приобретенную за день, несколько раз за игровой день ChatGPT просят выделить самые важные события для каждого агента, что позволяет агенту делать выводы о себе и других. Эти выводы также сохраняется в долгосрочную память.

Третий компонент - планирование, которое переводит эти выводы и текущую обстановку в высокоуровневые план действий. Сначала ChatGPT просят создать грубый план на день используя в промте предыдущий опыт и текущее состояние окружения, а затем рекурсивно просят добавить детали для более реального поведения. Эти планы тоже записываются в долгосрочную память.

📜 Статья
👩‍💻 Демо
@karray

Большое и содержательное интервью с Константином Севериновым

Я наивно полагаю, что башня из слоновой кости, где делают настоящую науку, которую меня научили любить в 80-е в СССР, а в 90-е в Америке, где-то существует. Но ее трудно найти. Возможно, она внутри человека. 

Сейчас, в зрелом возрасте, я понимаю, что публикация даже очень хорошей статьи — не самая великая цель. А вот образование людей вполне себе важная задача.

«Искусственная гордость не способствует качеству образования». Константин Северинов о российской науке
Мария Божович, Сергей Петров
11 апреля 2023 года
https://www.pravmir.ru/iskusstvennaya-gordost-ne-sposobstvuet-kachestvu-obrazovaniya-konstantin-severinov-o-rossijskoj-nauke/

Один из "крёстных отцов" глубокого обучения Йошуа Бенгио о приоритетах в развитии ИИ

Yoshua Bengio в одной забаненной в РФ соцсети анонсирует это видео так:

Many of my current thoughts on AI, why we need to accelerate the process to put in regulation, and the path I envision and work on to achieve powerful reasoning and Bayesian world models thanks to very large neural nets, to frontally deal with major flaws of current state-of-the-art such as ChatGPT, such as the confabulations, insufficient robustness, lack of causal modeling and system 2 machinery and excessive sample complexity (compared against humans).

https://youtu.be/I5xsDMJMdwo
Канал Eye on AI, 12.4.2023

Зомби и LLM

Антон Кузнецов написал интересный, хотя и довольно сложный (весьма аналитико-философский), пост о том, может ли зомби знать, что он зомби.

То, что философы обсуждают философских зомби, вероятно, очень правильно — это явно хороший объект для мысленных экспериментов в исследованиях сознания. Но в связи с постом Антона мне подумалось, что интерес к понятию зомби (агента без сознания, ведущего себя как агент со сознанием) сейчас резко вырос у многих людей, не являющихся профессиональными философами — благодаря дискуссиям вокруг больших языковых моделей (LLM*). Многие такие люди задаются вопросом, являются ли LLM "зомби", или, может быть, обладают сознанием.

Однако, кажется, этот интерес не очень оправдан, поскольку все тут довольно тривиально. То, что LLM способны довольно реалистично имитировать наличие у них сознания, тривиальным образом следует из того, что их обучали на текстах, создаваемых агентами с сознанием. LLM, как и другие современные генеративные нейросети, обучаются лишь воспроизводству паттернов, по сути — их копированию. Почему же копирование поведения сознательного агента должно привести к появлению сознания у носителя копии? Мы же не ожидаем появление сознания у экрана кинотеатра или у компьютерного экрана лишь потому, что на них показывается человек, ведущий себя как человек в сознании. LLM обычно не копирует 1:1 конкретные примеры речевого поведения, а воспроизводит более обобщенные паттерны, но само по себе это ничего не меняет. Например, на экране может показываться не документальный фильм, а мультфильм с полностью вымышленными персонажами, также ведущими себя так, будто у них есть сознание — но и в этом случае мы не ожидаем наличия сознания у этих персонажей, если мы взрослые люди и если не слишком погружаемся в сюжет.

При всем внешнем драматизме этой темы**, похоже, единственная причина ожиданий возникновения сознания у LLM по мере их усложнения связана с тем, что точное копирование сложных поведенческих паттернов сознательных агентов агентами без сознания не встречалось в предшествующем опыте человечества, и оттого оно слишком впечатляет нас и заставляет предполагать наличие сознания, несмотря на явную нелогичность такого предположения.

Уже написав все это, я вспомнил, что Чалмерс еще в прошлом году выступал с лекциями, в том числе на NeurIPS, как раз на тему того, могут ли LLM быть сознательными. А я все никак не соберусь их послушать(( И еще он, как я сейчас вижу, изложил содержание его пленарной NeurIPS-лекции в 25-страничном препринте*** (который я, конечно, очень хочу прочитать, но непонятно когда найду на это время((( ). Хотя я и от него в этой теме не ожидаю особых откровений — мне кажется, что по крайней мере в текущими версиями LLM все в этом отношении вполне прозрачно.

--
* Благозвучные русскоязычные варианты сокращенного обозначения больших языковых моделей мне что-то не встречались. Аббревиатура БЯМ мало что звучит несколько смешно, но она еще и может расшифровываться как "большая ягодичная мышца" — попробуйте сами ее загуглить...)

** Особенно ярким был нашумевший еще в прошлом году случай "священника-программиста" Blake Lemoine, очарованного гугловской моделью LaMDA.

*** David J. Chalmers. Could a Large Language Model be Conscious? arXiv, 4 Mar 2023 https://doi.org/10.48550/arXiv.2303.07103

Enhancing motor skills through lucid dreaming | Спортивные тренировки внутри осознанных сновидений могут, по мнению авторов, дать полезный эффект. Для журнала Medical Hypotheses в самый раз, он создан для озвучивания безумных идей.

Эта идея, правда, не на пустом месте. Элитные спортсмены давно используют метод mental practice, проходя дистанцию или выполняя нужный паттерн действий в воображении. Это может работать, поскольку для мозга, в определенном смысле, нет разницы между реальностью и симуляцией. Моторный навык развивается и даже отражается в нервной ткани (я как-то уже постил картинку из статьи Паскуаль-Леоне).

Осознанные сновидения выгоднее тем, что там симуляция более иммерсивна, с глубоким погружением. Если вы теннисист, то выходите на корт и играете, ощущая все по-настоящему, а не просто воображаете. Дело за малым, уметь регулярно входить в ОС. Дерзайте! 🛌 😅

По случаю вспомнил работу 2021 г, когда удалось наладить двустороннее общение со спящими: те отвечали на вопросы в режиме реального времени прямо из осознанного сна.

Словарь HCI

Парадокс Моравека — принцип в областях искусственного интеллекта и робототехники, согласно которому вопреки распространённому мнению высококогнитивные процессы требуют относительно небольших вычислений, в то время как низкоуровневые сенсомоторные операции требуют огромных вычислительных ресурсов.

Принцип был сформулирован Хансом Моравеком, Марвином Минским и другими исследователями в 1980-х годах. Согласно Моравеку «относительно легко достичь уровня взрослого человека в таких задачах как тест на интеллект или игре в шашки, однако сложно или невозможно достичь навыков годовалого ребёнка в задачах восприятия или мобильности».

чем древнее навык, которым должен овладеть ИИ, тем труднее ему это сделать.

Игра в шахматы, решение задач, создание текстов – за это отвечают самые молодые с эволюционной точки зрения отделы нашего мозга. А вот ходьба относится к навыкам, контролируемым самыми древними участками мозга. Неудивительно, что нынешние роботы такие неуклюжие.

«Главный урок 35 лет изучения искусственного интеллекта заключается в том, что сложные проблемы достаточно легко решаются, а легкие – достаточно сложно» Стивен Пинкер

В современной когнитивной психологии на русском языке есть одна важная проблема (хоть сейчас явно отошедшая на второй план), связанная с переводами классических работ с английского. Именно такие работы выступают источником теоретических инструментов, моделей объяснений, базовых допущений и метафор, аналогий и приоритетных исследовательских вопросов. Некоторые важные книги Фодора, Пылышина, Минского, Ньюэлла и Саймона, Румельхарта и МакКлелланда так и не переведены, не говоря уже о более современных подходах вроде Воплощённого, Социального, Распределённого познания.

Но тут я обратил внимание на совсем махровую классику вроде «Принципов психологии» Уильяма Джеймса, которая переведена только частично (хотя является одной из основополагающих работ по психологии в целом). Как раз в поисках оригинальной версии я наткнулся на крутой архив психологической классики на английском языке. В целом, помимо чисто исторической ценности такие тексты могут обогащать современные исследования, поскольку некоторые важные и крутые идеи периодически могут теряться по ходу развития области знания по разным причинам.

Кажется, так и случилось с Джеймсом. В «Принципах психологии» среди непереведённых глав есть та, которая таит в себе довольно большое количество интересных идей об устройстве человеческих убеждений. Называется она «Восприятие реальности». В этой главе Джеймс предлагает рассматривать убеждения как своеобразное «чувство реальности» (sense of reality), то есть, когда мы в чём-то убеждены это значит, что мы чувствуем то, что это нечто соответствует реальности. Подобный взгляд сильно напоминает представление в аналитической философии о том, что убеждение – это разновидность отношения к высказыванию (можно бояться или надеяться на то, что упоминается в высказывании, а можно быть просто убеждённым в этом). Плюс идеи Джеймса напоминают то, что сейчас в когнитивных исследованиях называют метакогнитивными чувствами, и подталкивают к тому, чтобы мы убеждение рассматривали как знание о чём-то + метакогнитивная оценка реальности этого чего-то.

Но сам Джеймс на этом не остановился, он предложил рассматривать разные типы реальностей или миров, в которых мы живём и относительно которых оцениваем субъективную реальность разных явлений.
1. Мир ощущений (интуитивные чувства реальности цвета, звука и других вторичных качеств)
2. Мир науки (реальность физических законов или шире общих закономерностей)
3. Мир идеальных отношений (реальность математических, логических, метафизических и т.д. абстракций)
4. Мир идолов рода (реальность общепризнаваемых заблуждений)
5. Миры сверхъестественного (реальность Бога, реальность мифологических существ)
6. Миры индивидуальных мнений (реальность чужого мнения)
7. Миры безумия и чудачества (реальность преследования в бредовой концепции)
8. Мир снов (реальность единорогов в сновидении)

В общем философы, опираясь на это всё, часто носятся с тезисом множественности реальностей, в которых мы живём. Но когнитивный психолог может здесь задуматься о разных типах метакогнитивных оценок реальности, и о том, как по-разному может порождаться и переживаться чувство реальности по отношению к математической абстракции и по отношению к конкретному зелёному яблоку.

Разбор статьи про реконструкцию по фМРТ того, что видит человек, с помощью латентной диффузионной модели

Анвар Курмуков при участии Алексея Осадчего на совместном семинаре AIRI и Центра биоэлектрических интерфейсов ВШЭ.

https://www.youtube.com/watch?v=HuVIPPcMWQ8
Anvar Kurmukov | High-resolution img reconstruction with latent diffusion models from brain activity
AIRI Institute
Mar 24, 2023
(на русском языке)

Статья:

Yu Takagi, Shinji Nishimoto. High-resolution image reconstruction with latent diffusion models from human brain activity. bioRxiv, March 11, 2023 https://doi.org/10.1101/2022.11.18.517004

Конференция по человеко-компьютерному взаимодействию HCI International 2023

25th International Conference on Human-Computer Interaction
Hybrid:
AC Bella Sky Hotel and Bella Center, Copenhagen, Denmark
+ online
23-28 July 2023

https://2023.hci.international

Еще не прошедшие дедлайны:

- Late Breaking Work Paper Proposals
Deadline for abstract (800 words): Friday, 21 April 2023
Deadline for registration: 26 May 2023
Deadline for camera-ready submission (10-20 pages): 23 June 2023

- Late Breaking Work Poster Proposals
Deadline for abstract (300 words): Friday, 21 April 2023
Deadline for registration: 26 May 2023
Deadline for camera-ready submission (4-8 pages): 23 June 2023

- Student Design
(Students are invited to submit an up to 5-minute video clip and an abstract (300 words) summarizing their design idea)
Deadline for Submission: 21 April 2023

РНФ только что объявил прием заявок на три конкурса:

- Конкурс малых отдельных научных групп (региональный)
- Конкурс отдельных научных групп (региональный)
- Конкурс малых отдельных научных групп

Нейронные многообразия и сети как основа когнитивных функций

The successes of the manifold approach led @DLBarack and @blamlab to suggest that manifolds are necessary and sufficient to explain cognition. Moreover, understanding cognitive functions on the level of connectivity and circuits is unnecessary and may even be impossible.

Contrasting this view, we review examples in which establishing the correspondence between the manifold and underlying circuit structure has been possible and argue that unifying manifold and circuit approaches will enable causally testing theories of neural computations.

Langdon, C., Genkin, M. & Engel, T.A. A unifying perspective on neural manifolds and circuits for cognition. Nat Rev Neurosci 13 April 2023 https://doi.org/10.1038/s41583-023-00693-x

Цитаты и картинка -- из треда Татьяны Энгель в забаненном в РФ твиттере.

Попытка объединения основных подходов к безмасштабным мозговым феноменам: на основе E/I баланса и на основе критической динамики

[Scale-free phenomena] lack typical scales of size, duration, or frequency <...> Scale-free phenomena in systems neuroscience include arrhythmic 1/f power spectra, long-range temporal correlations, and heavy-tailed avalanche distributions of brain activity

First, we defined a measure of time-resolved correlation between patterns of distributed brain activity at adjacent points. We showed that this simple measure accurately reflects 1/f -based estimates of E-I balance. Second, we developed methods to sample model time series constrained by time-resolved correlation. These methods allowed us to go beyond statistical associations and test the redundancy of scale-free phenomena with estimates of E-I balance. Third, we showed that these estimates can account for diverse scale-free phenomena across species and modalities without the need to make additional assumptions about the function or importance of these phenomena. Collectively, our results simplify and unify existing explanations of scale-free phenomena in systems neuroscience.

Nanda A, Johnson GW, Mu Y, Ahrens MB, Chang C, Englot DJ, Breakspear M, Rubinov M. Time-resolved correlation of distributed brain activity tracks E-I balance and accounts for diverse scale-free phenomena. Cell Reports. 2023 Apr 25;42(4) https://doi.org/10.1016/j.celrep.2023.112254 (Open Access)

ChatGPT колоссально изменит детей.
Первые результаты эксперимента с 3-летней дочкой инфорга.
• Какая судьба ждет детей в эпоху расцвета ИИ – гадких лебедей или бедных прекрасных утят? – спрашивал я два года назад, рассказывая о детях инфоргов.
• Если первое, - что за «мокрецы» уведут за собой наших детей?
И зачем? Чтобы превратить их в люденов?

Сегодня, спустя всего 2 года, ответы на эти вопросы начали проясняться.
«Мокрецы» - это ИИ-агенты на основе больших языковых моделей. Иной, нечеловеческий разум, что очень скоро станет для детей инфоргов учителем и наставником, заменой родителей и друзей.

Арвинд Нараянан (ученый-компьютерщик и профессор Принстонского университета) не просто инфорг, а можно сказать, представитель «высшей касты среди инфоргов».
Напомню, что как только человек начинает проводить в онлайфе (сетевой жизни: работа, отдых, покупки, развлечения …) больше времени, чем во сне, он превращается в инфорга.
А проф. Нараянан, изучающий социальное влияние ИИ, уже не первый год проводит в сети куда больше времени, чем во сне. Причем последние полгода почти все это время уходило на эксперименты с ChatGPT, важнейшим из которых стало изучение опыта сосуществования с ChatGPT 3-летней дочки профессора.

«Я ожидаю, что агенты ИИ будут играть большую роль в жизни моих детей, и я хотел, чтобы они узнали о чат-ботах как можно раньше. Опыт оказался на удивление положительным. Я многое узнал о возможностях и рисках использования чат-ботов детьми. Надеюсь, это будет полезно другим родителям, думающим о чат-ботах. Но я не призываю никого повторять это за мной, ибо это сугубо личное решение» - написал вчера проф. Нараянан в преамбуле рассказа о первых результатах своего эксперимента.

О том, как меняются дети инфоргов вследствие трансформации и полной замены их когнитивных гаджетов (ментальных интерфесов с элементами окружающего мира и другими людьми в процессе познания) я начал писать еще 2 года назад. И уже тогда эти изменения были ощутимыми.

Однако, «революция ChatGPT» грозит столь капитальным изменением большинства когнитивных гаджетов, что дети, вырастающие в компании развитых ИИ-агентов, могут колоссально отличаться от детей 20го века. Чтобы хотя бы примерно понять – насколько, представьте отличия 10-летнего московского ребенка поколения Z от ребенка-маугли, выросшего среди волков.

Эксперимент профессора прост и понятен.
1. Он прикрутил к ChatGPT голосовой интерфейс, чтобы ребенок общался с ним, как с папой и мамой.
2. Проинструктировал ChatGPT, что тот будет общаться с 3-х летним ребенком и должен соответствующим образом скорректировать свой словарь, сложность и тон изложения, а также тематические ограничения.
3. Сказал дочке – вот тебе друг и наставник, можешь спрашивать его о чем угодно.

3-летняя дочка инфорга, для которой iPad давно стал предметом первой необходимости, ничуть не смутилась и сходу спросила: Что происходит, когда гаснет свет?

Прочтите сами ответ ChatGPT, чтобы:
А) оценить, как тот сходу безошибочно выбрал для себя роль взрослого, умного и терпеливого друга;
Б) осознать, что далеко не каждый из людей мог бы ответить столь хорошо 3х летнему ребенку.
NB Обратите внимание, насколько иной по всем параметрам ответ ChatGPT выдает взрослым.

Дальше читайте сами. Читайте и завидуйте «мокрецу» ChatGPT.
Ибо ни вы, ни я не умеем:
• так рассказывать увлекательные смешные истории (напр. о тираннозавре, который любил есть лего, и чтобы заставить его есть настоящую еду, владельцы ящера перепробовали многое и наконец обманули его, вырастив овощи в форме лего.
• так рисовать с помощью плагина, превращая свой рассказ в прекрасный комикс.

И конечно же читайте про риски и думайте, как сделать, чтобы дети от нас не ушли.
#БудущееHomo #УскорениеЭволюции #Инфорги