🌟 HumanOmniV2: модель, которая понимает контекст видео.

Alibaba Group разработали HumanOmniV2, модель на базе Qwen2.5-Omni-7B-thinker, которая получила навык осмысления визуального контекста за счет изменения самого процесса мышления модели. Ее научили следовать строгому формату: сначала описать контекст, потом рассуждать и только затем давать ответ.

Теперь, прежде чем отвечать на вопрос, модель генерирует подробное описание сцены в теге <context>. На этом этапе она фиксирует, кто что делает, какой фон, какие звуки слышны. Только после этого в теге <think> она строит логическую цепочку рассуждений, связывая вопрос с собранным контекстом. И лишь в конце выдает результат в теге <answer> .

Чтобы этот подход работал, его усилили системой вознаграждений на основе RL. За точность и правильный формат модель получает стандартные награды, но были введены и две новых:

🟢«Награда за контекст» дается, если его описание полное и релевантное, причем качество этого описания оценивает другая, более мощная LLM;

🟢«Логическая награда» проверяет, что в своих рассуждениях модель действительно использовала данные из видео и аудио, а не проигнорировала их.

Для оценки HumanOmniV2 создали бенчмарк IntentBench (633 видео, 2689 вопросов) на основе Social-IQ 2.0, EMER и MDPE.

Его фишка в том, что вопросы требуют одновременного анализа: видеоряда (жесты, микровыражения), диалогов (тон, смысл реплик) и социального контекста (ирония, обман, скрытые намерения).

Тестовая модель обошла открытые аналоги на 3 бенчмарках:

🟠Daily-Omni: 58.47% (53.13% у MiniCPM-o 2.6);
🟠WorldSense: 47.1% (45.4% у Qwen2.5-Omni);
🟠IntentBench: 69.33% (64.20% у Qwen2.5-Omni).


📌Лицензирование: Apache 2.0 License.


🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #MMLM #HumanOmniV2 #Alibaba

🧠 ** Phi-4-mini-flash-reasoning —новая компактная модель от Microsoft с мощной математической логикой**

Модель Phi-4-mini-flash-reasoning — это часть семейства Phi‑4 от Microsoft. Она специально создана для глубокого математического мышления, при этом остаётся лёгкой, быстрой и экономной по ресурсам.

🔍 Что делает её особенной

- Модель на 3.8B параметров, но приближается по качеству к 7B–8B аналогам.
- Контекст до 64K токенов — идеально для задач с длинной цепочкой логики.
- Оптимизирована под математику: подходит для доказательств, символьных вычислений, задач с несколькими шагами и сложных текстовых задач.

🚀 Достижения:

| Модель | AIME24 | AIME25 | Math500 | GPQA |
|----------------------------------|--------|--------|---------|------|
| Phi-4-mini-**Flash**-Reasoning | **52.29** | **33.59** | **92.45** | **45.08** |
| Phi-4-mini-Reasoning | 48.13 | 31.77 | 91.20 | 44.51 |
| DeepSeek-R1-Qwen-1.5B | 29.58 | 20.78 | 84.50 | 37.69 |
| DeepSeek-R1-LLaMA-8B | 43.96 | 27.34 | 87.48 | 45.83 |
| Bespoke-Stratos-7B | 21.51 | 18.28 | 80.73 | 38.51 |

📈 *Модель превосходит другие по точности, несмотря на компактный размер.*

⚙️ Производительность

- Модель построена на гибридной архитектуре decoder + SSM, что даёт:
- модель способна генерировать длинные ответы примерно в 10 раз быстрее, чем её базовая версия
- почти линейный рост задержки (в отличие от квадратичного у обычных моделей)
- Тестировалась на A100-80GB, без tensor parallelism.

📌 *Идеальна для мобильных устройств и приложений с ограниченными ресурсами.*
⚠️ На что стоит обратить внимание

- Оптимизирована только под математическое мышление, не предназначена для общего NLP.
- Из-за размера ограничена в фактических знаниях — желательно использовать с поиском или RAG.

Phi-4-mini-flash-reasoning — это пример того, как небольшая модель может быть очень умной, если её правильно обучить и оптимизировать под конкретные задачи.

📌 Модель: https://huggingface.co/microsoft/Phi-4-mini-flash-reasoning