🚀 Прорыв в оптимизации LLM: Tree Attention — новый алгоритм для сверхбыстрого масштабирования!

Исследователи представили революционный алгоритм Tree Attention, который обещает трансформировать обучение и интерфейс больших языковых моделей (LLM).

Ключевые преимущества:
🔥 Ускорение до 8 раз по сравнению с Ring Attention
🧠 Вдвое меньшее использование пиковой памяти
🌐 Значительное снижение межузловых коммуникаций
📊 Сравнение методов (на 1М токенов, 64 GPU):
Стандартное внимание: 100% (базовая линия)
Ring Attention: 60% времени базовой линии
Tree Attention: всего 15% времени базовой линии!
🔬 Теоретическая основа:
Функция энергии самовнимания связывает его с энергетическими моделями
Байесовская интерпретация как метод максимального правдоподобия

⚙️ Технические детали:
Сложность O(N/p + log p) для последовательности длины N на p процессорах
Древовидная структура редукции на основе свойств logsumexp и max
Интеграция с Flash Attention 2 и оптимизированными операциями NCCL
🖥️ Практическое применение:
Оптимизация для GPU-кластеров с учетом топологии сети
Непревзойденная эффективность для контекстов >1M токенов
🔮 Влияние на будущее AI:
Tree Attention может стать ключом к созданию LLM с гигантскими контекстными окнами, открывая путь к моделям с долгосрочной памятью и более глубоким пониманием сложных текстов.
🔗 Для углубленного изучения:
Рекомендуем заинтересованным читателям искать последние публикации по ключевым словам "Tree Attention", "GPU optimization for LLM" на научных порталах, таких как arXiv или Google Scholar.

Tree Attention — это не просто оптимизация, а потенциальный прорыв в масштабировании AI. Представьте LLM, способную анализировать целые книги за один проход или вести длительный диалог без потери контекста!

💬 А что вы думаете? Как Tree Attention может изменить ваши AI-проекты? Поделитесь мнением в комментариях!

📌 Почитать
#AI #MachineLearning #TreeAttention #LLM #GPUOptimization

@data_analysis_ml

🚀 Новое исследование Hunyuan: Reinforcement Learning on Pre-training Data (RLPT)

Этот метод решает главную проблему масштабирования LLM - ограниченность размеченного текста.

🌟 RLPT даёт моделям возможность учиться рассуждениям напрямую на данных предобучения, без дорогой ручной разметки.

Как это работает:
1️⃣ Модель во время обучения сама исследует данные и учится более общим стратегиям рассуждений.
2️⃣ Никакой дополнительной разметки — награды извлекаются прямо из предобучающих данных.
3️⃣ Награды за предсказание следующего сегмента позволяют масштабировать RL на этапе предобучения.

Результаты:
✅ На Qwen3-4B-Base прирост: +3.0 (MMLU), +5.1 (MMLU-Pro), +8.1 (GPQA-Diamond), +6.0 (KOR-Bench), +6.6 (AIME24), +5.3 (AIME25).
✅ Чем больше вычислений, тем сильнее рост.
✅ Технология создаёт базу для дальнейших улучшений в RLVR.

📄 Подробнее: https://arxiv.org/pdf/2509.19249

#AI #RLPT #LLM #MachineLearning #NLP

@data_analysis_ml

UnMaskFork: несколько диффузионных моделей вместе решают одну задачу

Статья от Sakana UnMaskFork, принятая на ICML 2026, предлагает новый способ масштабирования вычислений во время вывода для маскированных диффузионных языковых моделей.

Обычные LLM генерируют текст последовательно - токен за токеном. Маскированные диффузионные модели начинают с полностью скрытого текста и постепенно восстанавливают его части, причём могут заполнять несколько фрагментов параллельно.

Но привычный подход к test-time scaling - повысить температуру и сгенерировать много разных ответов, для таких моделей работает не слишком эффективно.

UnMaskFork решает проблему иначе:

- несколько диффузионных моделей работают над одним ответом;
- каждая по очереди раскрывает те участки, в которых наиболее уверена;
- промежуточный результат передаётся следующей модели;
- поиск по дереву Монте-Карло выбирает наиболее перспективную последовательность действий.

Разнообразие создаётся не случайностью, а переключением между моделями с разными сильными сторонами.

В экспериментах подход улучшил результаты Dream-Coder на задачах по программированию и показал стабильный рост качества на математических бенчмарках при увеличении вычислений во время вывода.

При этом UnMaskFork:

- не требует дополнительного обучения;
- не меняет внутреннюю архитектуру моделей;
- работает как отдельный алгоритм координации;
- позволяет комбинировать модели, обученные на разных данных и разными методами.

Работа продолжает исследования Sakana AI в области «коллективного разума» моделей - систем, где результат достигается не одной большой LLM, а координацией нескольких разных моделей.

Блог: https://pub.sakana.ai/umf
Статья: https://arxiv.org/abs/2602.04344

#AI #LLM #DiffusionModels #ICML2026 #MachineLearning #SakanaAI