🔥 Mistral Small 3.1: Новый король малых моделей?

Недели не прошло, как вышла Gemma 3 27B, а сегодня Mistral AI выпускает ответочку — Mistral Small 3.1 (24B).

Технические характеристики и преимущества:

- Размер: 24B
- Контекст: 128K токенов
- Скорость: 150 токенов/сек (vLLM в батче по 16 на 4xH100)
- Мультимодальность: есть
- Лицензия: Apache 2.0

Mistral Small 3.1 обходит GPT-4o Mini, Claude 3.5 Haiku и Gemma 3 по ключевым метрикам:

- GPQA Diamond — сложные вопросы с глубоким рассуждением
- MMLU/MMLU Pro — академические и профессиональные знания
- MM-MT-Bench — понимание изображений
- Многоязычность — особенно в европейских языках

- Локальный запуск: работает на одной RTX 4090 или Mac с 32GB RAM (в Q4 нарезке. Полный размер модели 48гигов)
- Function calling: есть

Уже доступна на Hugging Face (базовая и instruct-версии), в API на платформе Mistral AI и в Google Cloud Vertex AI.
В ближайшие недели ожидается и на NVIDIA NIM.

#MistralAI #Small
———
@tsingular