🔥 Сегодня Mistral AI представила новые модели — Ministral 3B и Ministral 8B

Ministral 3B и Ministral 8B, разработанные для on-device вычислений. Эти модели предлагают превосходную производительность в задачах reasoning, commonsense и function-calling, поддерживая контекст до 128k токенов.

⚙️ Ministral 3B разработана для сверхэффективного использования на устройствах с ограниченными ресурсами (e.g.: смартфоны). Ministral 8B предлагает больше возможностей для сложных задач. Обе модели поддерживают до 128k контекста и используют передовые методы pruning и quantization для снижения нагрузки на железо.

Бенчмарки показывают неплохой буст в сравнение с существующими Llama 3.1 / 3.2 и Gemma 2 моделями.


🤖 Ministral 8B: ссылка на модель

Новая диффузионная модель от Nvidia: Sana

Основные особенности:

— DC-AE энкрдер, (если интересно вот ссылка) который понижает в 32 раза, вместо привычных 8ми для vqVAE, без сильных потерь

— Линейный DiT: по сути ViT, где фьюз происходит не через аттеншен, а через марицу рангом d << n (где, n это количество image token’ов). Подробнее про метод у Яныка на ютубе. Имхо это не аттеншн, но называйте как хотите.

— Вместо T5 взяли small LLM (decoder only), не прошло и 2 лет…

— Кастомный сэмплер: Flow-DPM-Solver

Обещают может и не лучшее качество, но супер быструю скорость и резолюшн 4096х4096 (благодаря DC-AE).

💻 Code (будет тут)
📝 paper
😈 demo на градио

p.s.: погененрил в демо, 1024х1024 работает норм, но пишет с ошибками.

Microsoft AI представили Phi-4 — Small Language Model 14 млрд

Так, результаты сопоставимы с гораздо более крупными моделями, такими как GPT-4 и Llama-3.

Ключевые особенности Phi-4:
• Synthetic Data Generation: Используются подходы вроде chain-of-thought prompting для создания данных, стимулирующих системное мышление, завещание у нотариуса, кофе душистый
• Post-Training Refinement: Direct Preference Optimization и rejection sampling для улучшения логической согласованности и точности ответов.
• Extended Context Length: Увеличенная длина контекста до 16K токенов для сложных задач с длинными цепочками рассуждений.

Результаты:
• GPQA: 56.1 (лучше GPT-4o с 40.9 и Llama-3 с 49.1).
• MATH: 80.4

📝 Phi-4 Технический Репорт

✳️ Claude 3.7 Sonnet доступна всем!

Anthropic представили Claude 3.7 Sonnet (лучшую на этой неделе) LLM в их линейке, обладающий гибридным режимом рассуждения. Это означает, что модель может выдавать мгновенные ответы или работать в расширенном reasoning-режиме.

🖥 Claude Code – интеллектуальный агент для разработки

Anthropic также представили Claude Code – инструмент для автоматизации программирования прямо из командной строки. Он умеет:
🔹 Анализировать код и редактировать файлы
🔹 Запускать тесты и отлаживать программы
🔹 Автоматически коммитить и пушить изменения в GitHub
🔹 Использовать командную строку для выполнения сложных задач

Результаты раннего тестирования показывают, что Claude Code сокращает время на выполнение сложных задач с 45 минут до одного запроса (прям так и пишут, ок, цитирую).

Но самое крутое то, что модель доступна всем, даже бесплатным пользователям!

💻 Го тестить: https://claude.ai/