🌟 Mixture-of-Recursions: концепция селективного ризонинга.

Архитектура Mixture-of-Recursions (MoR), предложенная Google в соавторстве с KAIST AI объединяет в едином фреймворке традиционные подходы разделения параметров и адаптивные вычисления, заставляя модель думать над каждым токеном с разной глубиной.

Под капотом MoR - рекурсивный трансформер, который прогоняет входные данные через один и тот же блок слоев несколько раз. Но главная фишка в том, что количество этих прогонов, или глубина рекурсии, не фиксированное, а динамическое и определяется для каждого токена индивидуально.

Легковесный обучаемый роутер анализирует токен и решает, сколько вычислительных усилий на него потратить. Простые слова могут пройти всего один цикл рекурсии, в то время как семантически нагруженные термины отправятся на более глубокую обработку из нескольких циклов.

Это дает два главных преимущества:

🟢Во-первых, модель тратит вычислительные ресурсы только на те токены, которые все еще активны на данной глубине рекурсии. Токены, которые вышли раньше, в дальнейших вычислениях не участвуют. Это уже само по себе сокращает объем вычислений.

🟢Во-вторых, что самое интересное для инженеров, MoR позволяет реализовать очень эффективное KV caching. Вместо того чтобы хранить в памяти огромный кеш для каждого виртуального слоя, модель кеширует KV-пары только для активных в данном цикле рекурсии токенов. Это кардинально снижает требования к памяти и ускоряет инференс, решая одну из главных головных болей при развертывании LLM.

При одинаковом бюджете на обучение (в FLOPs) и меньшем размере самой модели MoR показывает более низкую перплексию и лучшие результаты в few-shot задачах, чем стандартные и рекурсивные аналоги.

▶️ Попробовать MoR можно на практике - код для трейна и оценки доступен в репозитории проекта на Github.


📌Лицензирование: Apache 2.0 License.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Architecture #MoR

🧠 Sam Altman: целые профессии исчезнут из‑за ИИ — и это уже началось

Выступая в Вашингтоне, CEO OpenAI заявил:

🗣️ “Некоторые профессии, как, например, поддержка клиентов — просто исчезнут. Совсем. Звонок в поддержку? Это будет ИИ — и это нормально.”

📞 По его словам, современные линии поддержки уже работают на больших языковых моделях:
— мгновенные ответы
— ноль переводов
— минимум ошибок

🩺 Та же технология помогает в медицине: ИИ учится на миллионах пар “симптом → диагноз” и быстрее врачей находит причины болезней.

⚠️ Но есть и тёмная сторона:
“Представьте: враждебная страна соединяет ИИ с кибератаками — и за секунды стирает балансы или останавливает биржи. Вот это меня пугает.”

🔜 Полный материал

@machinelearning_interview