EEG Foundation Challenge: From Cross-Task to Cross-Subject EEG Decoding

Делюсь с вами классным соревнование по EEG decoding. Главная цель построить универсальную модель которая сможет обобщаться на новые задачи и новых участников. В общем строим GPT для EEG.

Коротко про соревнование:
Данные: 3000+ участников, 128-канальная ЭЭГ
Дедлайн: 31 октября 2025
Призы: $2,500 + соревнование на NeurIPS 25

Что решаем?
Challenge 1: Cross-Task Transfer Learning
Вход: ЭЭГ из пассивной задачи (просмотр стимулов) + демографические данные
Выход: Время реакции (регрессия) + успешность ответа (классификация)
Суть: Предсказать как человек будет выполнять активную задачу по пассивной ЭЭГ

Challenge 2: Subject Invariant Representation
Вход: ЭЭГ записи из разных когнитивных задач
Выход: 4 психопатологических фактора (непрерывные скоры)
Тип: Регрессия
Суть: Предсказать ментальное здоровье по мозговой активности

Итог
Если вы занимаетесь обработкой ЭЭГ или МЭГ, то советую попробовать свои силы в этом соревновании. Много данных, прикольные задачи. Ну и возможность попасть в лидерборд neurips competition - это круто!

utahMNIST

Это фосфены, которые незрячий человек видит при стимуляции визуальной коры.

Испытуемый сам их нарисовал.

Сделал ресайз в 28x28 как в MNIST😅

p.s. на первой фотографии человек увидел мозг)

Update from the Neuralink
June 2025

https://x.com/neuralink/status/1938643490600276142?t=y2MlVwQJGXMwSBFw26Cp4A&s=35

MEG hackathon update

Мы начали тренить модельки на соревнование по декодированию речи из мэга. Сейчас активен первый трек, бинарная классификация(есть речь /нет речи).

Я потратил 1.5 недели, чтобы сделать сильный baseline. Решил что он должен быть простым, поэтому никаких attention и rnn, только мои любимые свёртки!

Я уверенно залетел на лидерборд с результатом 85%. Минимальный порог от организаторов - 68%.

Со следующей недели ко мне присоединится ещё один админ этого канала(Лехас), а также ребята с которыми мы делали ALVI Interface. Будем собирать трансформер! А то пока все мои наивные экспы выглядят оч печально. Тупо не работает. Будем фиксить)

В общем не откладывайте, остался месяц. Тренируйте модели и залетайте на лидерборд. Советую обратить внимание на аугментации и на лоссы. У меня очень сильно повлияло на результат.

Ссылка на соревнование

Что за вайб конечно. Это слои в nvidia kosmos tokenizers

Brain-to-text '25

Самое интересное BCI соревнование этого лета наконец-то официально началось. Необходимо декодировать речь из моторной коры.

Коротко про соревнование:

Задача: Предсказать речь по активности мозга. Метрика word error rate.

Данные: 11,352 предложений, 256 электродов Utah Array, установленных в speech motor cortex

Дедлайн: 31 декабря 2025

Призы: $9000

Ссылки
paper
kaggle

meg speech detection update v2

Осталось пять дней! Ещё есть время залететь на лидерборд!

Мы пока что вторые, но модели все ещё тренируются

gpus go brr..

Информация о соревновании

meg speech decoding update v3

Закончился первый трек по бинарной классификации.

Мы вошли в тройку на паблике. Позднее расскажу, что получилось, а что нет. Почти все что я пробовал в качестве улучшений не работало😅

Наша лучшая модель это conv + transformer encoder with rope.

С сегодняшнего дня открывается доступ к следующему треку по классификации фонем.

лидерборд:
https://eval.ai/web/challenges/challenge-page/2504/leaderboard/6249

Liquid AI introduced LFM2

Ребята подняли 250М в конце прошлого года, в том числе с целью создания новых архитектур. До этого у них были работы по Liquid Time-constant Networks and continuous rnn. В общем я ожидал чего-то реально крутого и необычного.

А что по итогу получили?

По факту они взяли типичный llm attention слой. rmsnorm, swiglu activation, rope, qk norm. Почти все это было еще в llama v2.

Собрали таких 6 слоев: attn + mlp.

К этим слоям добавили 10 сверточных: conv + mlp.

Сверточные слои это double-gated causal conv layer (их LIV операторы). То есть это просто 1d свертки с gated операциями. На скрине реализация.

На этом всё. В любом случае все молодцы, но я ожидал большего.

С другой стороны. Работает же, работает же. Поэтому и ладно. Всем урок - не усложняйте ради усложнения. gated conv + transformer beat just transformer.

Но статьи нет, есть только benchmark с другими моделями. Учитывая как они учили свои модели через distillation, sft and dpo может быть все таки получилось побить конкурентов за счет тренировки и данных а не архитектуры.

Но глобально это работает так что можно юзать.

blogpost: https://www.liquid.ai/blog/liquid-foundation-models-v2-our-second-series-of-generative-ai-models

tasty next-token diffusion papers

Autoregressive Image Generation without Vector Quantization (MAR)
tl;dr: propose diffusion head to model each token's distribution instead of cross-entropy (no need to use VQ-VAE)
- bidirectional attention (MAE-style) + random order lets model see full context, unlike causal AR - generates 64 tokens at once
- diffusion head is tiny (2M params works same as 45M) - proves transformer backbone learned everything, head just samples
link: https://arxiv.org/abs/2406.11838

Multimodal Latent Language Modeling with Next-Token Diffusion (LatentLM)
tl;dr: extend MAR's approach to multimodal LLMs, unifying text, image, and audio generation in a single framework
- make VAE more stable: σ-VAE where encoder predicts mean, sigma samples independently, which fixes variance collapse
- use the same diffusion loss as in MAR paper
link: https://arxiv.org/abs/2412.08635

industry-level solution

VibeVoice: A Frontier Open-Source Text-to-Speech Model
tl;dr: apply LatentLM architecture to long-form conversational audio synthesis
- train σ-VAE for audio compression: 7.5Hz is insane (3200x compression)
- model can generate up to 90min with 4 speakers
- beats Gemini + ElevenLabs on human eval, 10x fewer steps than VALL-E 2
link: https://microsoft.github.io/VibeVoice/

NextStep-1: Toward Autoregressive Image Generation with Continuous Tokens at Scale
tl;dr: scale next-token diffusion to 14B parameters with lightweight flow matching for state-of-the-art image generation
- start to use flow matching for diffusion loss
- 14B transformer + 157M flow head (same quality as 528M head) - ratio doesn't matter, confirms transformer does all modeling
- add channel-wise norm in tokenizer critical for stability at high CFG
link: https://stepfun.ai/research/en/nextstep1

my thoughts

The core win: continuous latents via diffusion head = no VQ-VAE bottleneck. Smoother reconstruction, fewer artifacts, VAE training just works. Diffusion head size doesn't matter (2M vs 45M, same quality). Means transformer already learned everything, head just samples.

Clean merge of AR and diffusion - not Frankenstein hybrid, just "model sequences autoregressively, sample via diffusion instead of argmax."

In addition this inherits the entire causal LLM toolkit (KV caching, flash attention, etc.) - transformer backbone stays autoregressive, only head changed.

I guess it should perfectly work as neural foundation models. Let's see.