Azure AI расширяет каталог моделей

Azure AI Model Catalog пополнился новыми ИИ-моделями.
Добавлены генеративные модели, работающие с текстом и изображениями от разработчиков, включая Hugging Face и NVIDIA.
Каталог теперь включает модели Phi, Mistral, Jais, Code Llama, Nemotron, Command, а также Phi-1-5, Whisper V3, BLIP, CLIP, Nemotron-3, SAM и Stable Diffusion.
Использование многих инференс-двигателей и контейнеров для улучшения работы с GPU.
Применяются Gradient Checkpointing, Low Rank Adaptation и DeepSpeed ZeRO для ускорения настройки моделей.
Azure AI Content Safety обеспечивает безопасность работы с Stable Diffusion, выявляя вредоносный контент.
Фокусировка на разработке безопасных и современных ИИ-решений.

Давно говорю,- каждая уважающая себя корпорация или государство должны создавать каталог по образу HuggingFace.

#AzureAI #HuggingFace #Nemotron

NVIDIA допилили Llama: выпустили Nemotron-51B

NVIDIA представила Llama 3.1-Nemotron-51B - оптимизированную версию Llama-3.1-70B.

Новый подход - Neural Architecture Search (NAS) позволил создать модель, обеспечивающую в 2.2 раза более быстрый инференс.

Меньше жрёт память, что позволяет запускать в 4 раза больше задач на одном GPU (рекомендован H100 80Gb).

Есть версия Llama-3.1-Nemotron-40B-Instruct для диалогов.

Попробовать можно тут:
https://build.nvidia.com/nvidia/llama-3_1-nemotron-51b-instruct

В этот раз ставка сделана на скорость, при сохранении результата. Даже в части тестов получается на 1-2% слабее Llama 3.1 70B.
Ну и H100 80Gb не в каждом гараже, конечно, есть пока.

#NVIDIA #Llama #Nemotron
-------
@tsingular

Nvidia втихую выпустила Nemotron 70B: новый лидер открытых языковых моделей?

Компания Nvidia представила Nemotron 70B - дообученная Llama 3.1.
Модель с 70 миллиардами параметров превосходит GPT-4 по многим тестам.
Отличается улучшенной архитектурой и быстродействием.
Демонстрирует впечатляющие результаты в понимании контекста и многоязычности.
Поддерживает тонкую настройку для конкретных отраслей и задач.

Доступна через Hugging Face и Ollama, требует минимум 2 GPU с 43-80 ГБ памяти.
Обрабатывает до 128 тысяч токенов на входе и 4 тысячи на выходе. (вот тут слабовато)

2х4090 тянет на Олламе с Q4 по 75 символов в секунду. 🚀🧠

#Nvidia #Nemotron #LLM
-------
@tsingular

NVIDIA анонсировало обновлённый Nemotron - семейство моделей для агентного ИИ

Llama Nemotron представляет набор открытых языковых моделей с различными размерами: Nano, Super и Ultra.

Cosmos Nemotron, - мультимодалка, обеспечивает обработку визуальных данных, видео и изображений.

NIM микросервисы предоставляют функционал для поиска и анализа мультимедийного контента.

Разработчики получат бесплатный доступ через NVIDIA Developer Program и Hugging Face.

#NVIDIA #Nemotron
-------
@tsingular