На семинаре AIRI рассказали про работу трансформеров в рамках доклада «Современные трансформеры для видео и не только».

На презентации (см. фото) сравнили три подхода: RNN, Attention, SSM.

Особое внимание привлекают SSM — модели, которые могут стать альтернативой классическим трансформерам.

SSM (State Space Models) и новая модель Mamba предлагают линейную сложность и локальную рекурсию, что делает их особенно эффективными для длинных последовательностей. Это открывает путь к более быстрому и экономичному инференсу, что особенно важно для работы с видео, аудио и другими типами данных, требующих мгновенного анализа в режиме реального времени.

👉 Важно: исследование Гарварда указывает, что трансформеры по-прежнему лучше показывают себя в задачах с долгосрочной памятью (например, копирование и повтор). Так что SSM пока — не полноценная замена, а скорее мощное дополнение.

Репозиторий:
• Mamba на GitHub — с туториалами, Colab-ноутбуками и готовыми весами.

Что почитать:
• https://huggingface.co/blog/lbourdois/get-on-the-ssm-train
• https://arxiv.org/abs/2312.00752

#ssm #инференс #трансформеры

🚀 ©ТехноТренды