Journal of Neural Engineering принял к публикации интересную статью, которую я рецензировал:

Wei Xu, Pin Gao, Feng He and Hongzhi Qi. Improving the performance of a gaze independent P300-BCI by using the expectancy wave. Journal of Neural Engineering. Accepted Manuscript online 24 March 2022. https://doi.org/10.1088/1741-2552/ac60c8

В ней предлагается повысить эффективность P300 BCI (ИМК-Р300 - технология, используемая в том числе в российском "Нейрочате") при его использовании парализованными людьми, недостаточно владеющими своим взглядом, с помощью простой модификации. Временные интервалы между стимулами делаются фиксированными, и благодаря этому в дополнение к Р300 появляется еще один ЭЭГ-маркер отслеживаемого стимула - волна ожидания (E-wave, многим известна как [немоторная] условно-негативная волна - CNV).

Эта очень важная модификация. Дело в том, что для людей, плохо владеющих взглядом, сложно или невозможно долго пристально смотреть на позицию целевого стимула, и в этом случае ее подсветка не вызывает появления мощных зрительных компонентов, которые отличают стимуляцию в этой позиции от стимуляции в других позициях. Именно поэтому набирать текст таким больным с помощью ИМК-Р300 намного сложнее, чем здоровым испытуемым. При этом больные, хорошо владеющие взглядом, часто предпочитают набирать текст с помощью устройств на основе отслеживания взгляда (айтрекинга).

Предложенная китайскими коллегами модификация может очень серьезно расширить возможности применения ИМК-Р300 тяжело инвалидизированными людьми, для которых недоступно управление с помощью взгляда.

Где-то в 2010-м году мы с моим дипломником Ильей Ганиным в лаборатории А.Я. Каплана в МГУ провели пару экспериментов с такой модификацией ИМК-Р300 (в сугубо оффлайновом режиме, то есть без распознавания вводимой команды в реальном времени). Результаты были очень обнадеживающими - как мы и предполагали, при фиксированном межстимульном интервале перед отслеживаемым стимулом - благодаря предсказуемости времени его предъявления - развивалась вполне высокоамплитудная волна ожидания. Но по организационным причинам, а также поскольку мы не сообразили, что эта волна решает проблему невозможности использования зрительных компонентов при отсутствии возможности фиксировать стимул (что довольно обидно, поскольку мы с Ильей были одними из первых исследователей, обративших внимание на роль этих компонентов - см нашу статью Shishkin, Ganin, Kaplan (2009)), мы прекратили тогда эти исследования и переключились на другие. И должно было пройти больше 10 лет, прежде чем на эту же возможность наткнулись другие исследователи, на этот раз из Китая.

Экспериментальные результаты в статье уже показывают работоспособность модификации. Поскольку сделаны только первые шаги, там еще многое можно улучшить, и можно надеяться на дальнейшее существенное улучшение. Пока что технологию тестировали только на здоровых людях, но вероятность получения хороших результатов и при тестировании на потенциальных конечных пользователях представляется мне весьма высокой.

#new_BCIs #BCI_papers

Active brain-computer interfacing for healthy users
Sergei L. Shishkin
Opinion
Accepted on 30 March 2022
Front. Neurosci. doi: 10.3389/fnins.2022.859887

Текст уже можно читать тут: https://www.frontiersin.org/articles/10.3389/fnins.2022.859887/full

Но лучше пока подождать - на данный момент там еще нет ни форматирования, ни списка литературы)

Статья входит в топик (тематический выпуск) секции Neural Technologies журнала Frontiers in Neuroscience Frontiers in Neural Technology: how far have we gone?

#neurotech #BCI_papers #our_BCIs #shishkin

К предыдущему посту:

- видео от Синхрона про их интерфейс мозг-компьютер с эндоваскулярной регистрацией (опубликовано позапрошлой осенью):

https://youtu.be/mm95r05hui0

- основная публикация по технологии:

Oxley TJ, Yoo PE, Rind GS, Ronayne SM, Lee CS, Bird C, Hampshire V, Sharma RP, Morokoff A, Williams DL, MacIsaac C. Motor neuroprosthesis implanted with neurointerventional surgery improves capacity for activities of daily living tasks in severe paralysis: first in-human experience. Journal of Neurointerventional Surgery. 2021 Feb 1;13(2):102-8. https://dx.doi.org/10.1136/neurintsurg-2020-016862

#new_BCIs #neurotech #Synchron #BCI_papers

Интересный новый метод аугментации данных для интерфейсов мозг-компьютер:

Towards physiology-informed data augmentation for EEG-based BCIs
O Zlatov, B Blankertz
arXiv preprint arXiv:2203.14392
Submitted on 27 Mar 2022
https://arxiv.org/abs/2203.14392

Abstract: Most EEG-based Brain-Computer Interfaces (BCIs) require a considerable amount of training data to calibrate the classification model, owing to the high variability in the EEG data, which manifests itself between participants, but also within participants from session to session (and, of course, from trial to trial). In general, the more complex the model, the more data for training is needed. We suggest a novel technique for augmenting the training data by generating new data from the data set at hand. Different from existing techniques, our method uses backward and forward projection using source localization and a head model to modify the current source dipoles of the model, thereby generating inter-participant variability in a physiologically meaningful way. In this manuscript, we explain the method and show first preliminary results for participant-independent motor-imagery classification. The accuracy was increased when using the proposed method of data augmentation by 13, 6 and 2 percentage points when using a deep neural network, a shallow neural network and LDA, respectively.

#BCI_methods #BCI_papers

Новое достижение c-VEP BCI: выбор сразу из 120 команд с помощью четырех специально подобранных псевдослучайных кодовых последовательностей зрительных стимулов. При этом на выбор одной команды уходила всего одна секунда.

Qingyu Sun, Li Zheng, Weihua Pei, Xiaorong Gao, Yijun Wang. A 120-Target Brain-Computer Interface Based on Code-Modulated Visual Evoked Potentials. Journal of Neuroscience Methods. Available online 12 April 2022, 109597. https://doi.org/10.1016/j.jneumeth.2022.109597

Но странно, почему опубликовано в довольно скромном и не очень профильном журнале, а не в JNE или каком-нибудь совсем пафосном. Может быть, смотреть на эти стимулы было слишком утомительно, как нередко получается с c-VEP? (Пока читал только абстракт).

#methods #noninvasive_BCIs #BCI_papers

"we proposed a framework that employs the open-set recognition technique as an auxiliary task to learn subject-specific style features from the source dataset while helping the shared feature extractor with mapping the features of the unseen target dataset as a new unseen domain. Our aim is to impose cross-instance style in-variance in the same domain and reduce the open space risk on the potential unseen subject in order to improve the generalization ability of the shared feature extractor."

Musellim S, Han DK, Jeong JH, Lee SW. Prototype-based Domain Generalization Framework for Subject-Independent Brain-Computer Interfaces. arXiv preprint arXiv:2204.07358. 2022 Apr 15. https://doi.org/10.48550/arXiv.2204.07358

#methods #noninvasive_BCIs #BCI_classifiers #domain_adaptation #BCI_papers

"most self-paced approaches apply a window function on the continuous EEG signal and split it into long segments for further analysis. As a result, the system has a high latency. To reduce the system latency, we propose an algorithm based on the time series prediction concept and use the data of the previously received time samples to predict the upcoming time samples. Our predictor is an encoder-decoder (ED) network built with long short-term memory (LSTM) units. The onsets of the MI commands are detected shortly by comparing the incoming signal with the predicted signal. The proposed method is validated on dataset IVc from BCI competition III. The simulation results show that the proposed algorithm improves the average F1-score achieved by the winner of the competition by 26.7% for latencies shorter than one second."

Ayoobi N, Sadeghian EB. A self-paced BCI system with low latency for motor imagery onset detection based on time series prediction paradigm. arXiv preprint arXiv:2204.05450. 2022 Apr 12. https://arxiv.org/abs/2204.05450

#methods #noninvasive_BCIs #BCI_classifiers #self_paced_BCIs #BCI_papers

Моя статья Active Brain-Computer Interfacing for Healthy Users, опубликованная сегодня во Frontiers in Neuroscience, на первый взгляд очень незамысловатая, и она действительно вполне доступна и для непрофессионалов. Но написана она все же для специалистов. Это попытка аккуратного анализа мотиваций, лежащих за, казалось бы, безнадежными попытками сделать "активные" нейроинтерфейсы, которые были бы интересны здоровым людям. (Активные - то есть реализующие намерения пользователя. Пользователь сознательно использует их для управления или коммуникации - в отличие от пассивных, реагирующих на изменения состояния мозга пользователя вне зависимости от его намерений.) Спор с общепринятыми в среде экспертов представлениями (в частности, сформулированными в Future BNCI 2020 Roadmap). И поиск (но это уже совсем кратко) реальных возможностей действительно сделать это в ближайшие годы. В каком-то смысле результат 15 лет работы и размышлений на эти темы.

Постараюсь как-нибудь еще написать об этом более подробно.

Shishkin SL (2022) Active Brain-Computer Interfacing for Healthy Users. Front. Neurosci. 16:859887. https://doi.org/10.3389/fnins.2022.859887

#neurotech #noninvasive_BCIs #BCI_papers

Физиология принятия решений, сознание и интерфейсы мозг-компьютер

Группа Ричарда Андерсена из Калифорнийского технологического института, специализирующаяся на инвазивном подключении интерфейса мозг-компьютер к теменной коре, опубликовала очень важное исследование механизма принятия решения и подготовки действия. Исследование продолжает известную линию, начатую работами Либета и демонстрирующую роль неосознаваемых процессов в принятии решений, но, в отличие от предшествующих работ, детально разбирает нейрональную активность единичных нейронов на разных стадиях принятия решения.

В исследовании приняли участие два пациента с парализованными (в результате повреждения спинного мозга) конечностями, но способных говорить. Они выполняли иннициируемые ими действия в разных формах (на разных этапах экспериментов): активация мышц с сохранной иннервацией и attempted movements.

"Participants were free to choose when to move, whether to move, and what to move, and they retrospectively reported the time they felt the urge to move. We replicate prior studies by showing that posterior parietal cortex (PPC) neural activity sharply rises hundreds of milliseconds before the reported urge. However, we find that this “preconscious” activity is part of a dynamic neural population response that initiates much earlier, when the participant first chooses to perform the task. Together with details of neural timing, our results suggest that PPC encodes an internal model of the motor planning network that transforms high-level task objectives into appropriate motor behavior. These new data challenge traditional interpretations of early neural activity and offer a more holistic perspective on the interplay between choice, behavior, and their neural underpinnings."

Результаты оказались в соответствии с "аккумуляторной" моделью стохастического принятия решения при пересечении вариациями нейрональной активности некоторого порога -- эта модель была предложена для интерпретации либетовских экспериментов Шургером и др. и развита в исследованиях Мураками и др. Авторы из Калтеха добавляют к этой модели связь нейрональной активности с целями верхнего уровня. При этом они показывают наличие в единичных наблюдениях еще более ранних четко выраженных нейрональных паттернов, чем в исследованиях их предшественников, и тем самым подтверждают, что решение выполнить действие фактически принимается существенно раньше его осознания.

Авторы обсуждают проблемы, связанные с возможностью реакции интерфейса мозг-компьютер на такого рода ранние, "доинтентные" признаки подготовки действия, и предлагают соответствующие решения. ("We find that early neural dynamics are sufficient to drive BMI movements before the participant intends to initiate movement. Appropriate algorithms ensure that BMI movements align with the subject’s awareness of choice.")

В общем, сознание, агентность (авторство действия), свобода воли, принятие решений в одном флаконе с интерфейсами мозг-компьютер! 😊

Tyson Aflalo, Carey Zhang, Boris Revechkis, Emily Rosario, Nader Pouratian, Richard A. Andersen. Implicit mechanisms of intention. Current Biology. 32(9), P2051-2060.E6, MAY 09, 2022. Published: April 06, 2022. https://doi.org/10.1016/j.cub.2022.03.047 (Open Access)

#consciousness #agency #free_will #Libet #PPC #new_BCIs #BCI_papers