🔬 Janus-Pro - новый мультимодальный генератор от DeepSeek

Для понимания изображений: SigLIP-L энкодер (384x384)
Для генерации: Специализированный токенизатор с даунсемплингом 16x

Фундамент: DeepSeek-LLM-7B-base
Общая архитектура: единый трансформер для всех модальностей

Эффективное использование памяти благодаря раздельным путям обработки

💪 Где показывает превосходство:

Понимание изображений:
- Превосходит специализированные модели в задачах VQA
- Лучше справляется с абстрактными рассуждениями о визуальном контенте


Генерация:
- Качество на уровне специализированных моделей
- Более стабильное соответствие текстовым промптам

Мультизадачность:
- Свободное переключение между пониманием и генерацией
- Нет деградации производительности при смене режимов

🎯 Технические преимущества:
- Меньше конфликтов в обучении благодаря раздельным путям
- Лучшая масштабируемость архитектуры
- Более эффективное использование вычислительных ресурсов

Что особенно интересно: архитектура Janus-Pro решает фундаментальную проблему unified моделей, при этом не усложняя систему дополнительными компонентами. Это редкий случай, когда "простое решение" оказывается действительно эффективным.

🔮 Перспективы:
Судя по архитектуре, модель имеет серьезный потенциал для масштабирования. Особенно интересно будет увидеть версию на базе их 70B модели - теоретически, это может дать качественный скачок в обеих модальностях.

https://github.com/deepseek-ai/Janus
paper

Demo

АСТАНАВИТЕСЬ!!!111 Адин адин!!
Уважаемые DeepSeek, новый год через 2 дня. Идите уже отдыхать и закупать видеокарты :))))

#DeepSeek #Janus #multimodal
———
@tsingular