🌟 Esoteric Language Models: гибридные AR+MDM языковые модели.

Eso-LM - это новый класс языковых моделей, сочетающий автогрегрессионные (AR) и маскированные диффузионные методы (MDM), чтобы сбалансировать качество генерации и скорость работы.

Основная идея состоит в том, чтобы устранить слабые места обеих технологий: медленное выполнение AR-моделей и низкую эффективность MDM при сохранении их ключевых преимуществ - параллелизма.

Архитектура строится на гибридной функции потерь, которая одновременно обучает модель как AR-генератору, так и MDM-декодеру. Это достигается через модифицированный механизм внимания, который динамически переключается между причинным (для AR-фазы) и двусторонним (для MDM-фазы) режимами.

В отличие от классических MDM, Eso-LM использует разреженные матрицы внимания, позволяя кэшировать KV даже во время диффузионного этапа. Эта техника ощутимо сокращает вычислительную нагрузку за счет обработки только тех токенов, которые нужно «демаскировать» на каждом шаге.

Процесс генерации разбит на 2 стадии:

🟢На этапе диффузии модель последовательно раскрывает часть маскированных токенов, используя оптимизированный шедулер, который минимизирует количество проходов через сеть.

🟢На автогрегрессионной фазе, оставшиеся токены дополняются слева направо, с опорой на уже сгенерированный контекст.

Обе стадии используют единый KV-кэш, что исключает повторные вычисления и ускоряет работу в разы. В итоге, для длинных последовательностей (8192 токена), Eso-LM работает в 65 раз быстрее, чем стандартные MDM.

Экспериментальные модели обучали на сетах LM1B (1 млрд. слов) и OpenWebText с использованием токенизаторов BERT и GPT-2 соответственно.

Тесты показали, что Eso-LM не только улучшает скорость, но и устраняет «модовое коллапсирование» (деградацию качества при малом числе шагов), характерное для предыдущих решений (BD3-LM).

На наборе OWT модель достигла уровня perplexity 21.87 при высокой скорости генерации, оставаясь конкурентоспособной как с MDM, так и с AR-моделями.

▶️ Разработчики, а это совместный проект Cornell University, NVIDIA и MBZUAI, опубликовали код для инференса, обучения и оценки Eso-LM в репозитории на Github и веса экспериментальных моделей:

🟠Eso-LM(B)-alpha-1 - чистый MDM с максимальной скоростью, но меньшим качеством;

🟠Eso-LM(B)-alpha-0.25 - баланс между MDM и AR, в которой пожертвовали частью скорости ради перплексии и стабильности.


📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Набор моделей
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #EsoLM #HybridModel

🍏Иллюзия мышления: понимание сильных и слабых сторон моделей рассуждения через призму сложности задач

Apple внезапно опубликовала исследование, которое разоблачает популярные LLM с "цепочкой размышлений" (Chain-of-Thought) — такие как Gemini 2.5 Pro, OpenAI o3 и DeepSeek R1.

📌 Что тестировали?
Логические задачи:
• башни Ханоя (100+ шагов!)
• загадка про волка, козу и капусту
• головоломки с правилами и условиями

И всё это — с усложнением.

💥 Результаты:

— 🔁 Модели не думают, а вспоминают
Они не решают задачу шаг за шагом, а ищут похожие примеры в своей базе знаний. Это имитация мышления, а не само мышление.

— 🤯 "Переосмысление" вредит
Если задача простая, модель находит верный ответ — и… продолжает «думать» дальше, усложняя всё и случайно портя решение.

— 🧠 Больше размышлений ≠ лучше результат
Дать больше токенов и времени на размышления не помогает. На сложных задачах модели просто сдаются быстрее. Даже "бесконечный" бюджет не спасает.

— 🧪 Few-shot примеры не работают
Даже если расписать пошаговое решение и дать примеры — модель всё равно ломается, если задача ей незнакома.

— 🏗 Модели обожают Ханой, но ненавидят загадки
Башни Ханоя решаются идеально даже на 100+ шагов.
А вот в простой задаче с козой и капустой — модели сдаются на 4-м шаге. Почему? Ханой — в датасетах, загадки про реку — нет.

🍏 Интересно, что Apple выпустила это исследование за день до WWDC 2025.
Подколка конкурентам? А завтра, может, и своё покажут. 🤔

📎 Исследование: https://ml-site.cdn-apple.com/papers/the-illusion-of-thinking.pdf

@data_analysis_ml

#AI #LLM #AGI #Apple #WWDC2025 #PromptEngineering #NeuralNetworks

🌟 ether0: специализированная модель с ризонингом для химии.

Ether0 - специализированная модель с 24 млрд. параметров, разработанная FutureHouse для проектирования соединений и решения сложных задач в химии.

В отличие от традиционных моделей, она не просто пересказывает теорию, а решает практические задачи: считает атомы, проверяет химическую стабильность и генерирует структуры, подходящие для синтеза, используя естественный язык для рассуждений и вывода структур в формате SMILES.

SMILES (Simplified Molecular Input Line Entry System) — это линейная текстовая нотация для описания структуры химических соединений с использованием коротких ASCII-строк. Он позволяет кодировать молекулярные графы, включая информацию о связях, атомах и хиральности, что делает его удобным для обмена данными в химинформатике.

Пайплайн инференса выглядит так: пользователь вводит текстовый запрос (например, «создай ингибитор киназы с 30 атомами»), модель запускает цепочку рассуждений. Они работают параллельно, предлагая варианты, а потом выбирается лучший результат. Это позволяет комбинировать экспертизу: одна часть системы фокусируется на структуре кольца, другая — на функциональных группах, третья — на токсичности.

Основой ether0 стала Mistral-Small-24B-Instruct-2501, которую адаптировали в несколько итераций.

Сначала исходная модель Mistral прошла стадию SFT на примерах цепочек рассуждений, сгенерированных другими моделями.

Затем ее усилили обучением на группах связанных задач предсказания растворимости и синтеза. После этого, знания объединили в общий пул через дистилляцию, а затем улучшили его с помощью общего RL.

В завершении - GRPO, который сравнивает несколько вариантов ответов на один вопрос, выбирая наиболее точные. Финальный штрих - алайнмент. Модель обучили избегать генерации опасных соединений через дополнительные данные и RL.

В тестах ether0 сравнивали с общими LLM (Claude, o1), специализированными химическими моделями (ChemDFM, TxGemma) и традиционными подходами (Molecular Transformer).

На тестовых задачах с множественным выбором (MCQ), она показала 50,1% точности в режиме zero-shot, что близко к результату o1-2024-12-17 (52,2%).

В задачах проектирования молекул (предсказание реакций) ether0 достигла 70% точности после 46 000 примеров, а MT, обученный на полном наборе данных USPTO (480 000 реакций), показал лишь 64,1%.

ether0 превзошла людей-экспертов и специализированные модели в OA, а тесты на безопасность показали, что модель отказывается от 80% опасных запросов, не теряя точности .


📌 Лицензирование: Apache 2.0 License.


🟡Статья
🟡Модель
🟡Техотчет
🟡Demo
🖥 GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Ether0 #Chemistry #FutureHouse