Mistral AI запускает endpoint API

Mistral AI открывает разработчикам генеративные модели AI для интеграции.
Доступно три конечные точки для генерации текста, причем каждая отличается по соотношению производительности и стоимости.
Доступна поддержка мультимедийности: английский, французский и другие языки, а также интерпретация кода.

Для доступа по API есть библиотеки на Python и JavaScript.

Реализованы функции модерации для контроля качества генерации.

Работает все на железе NVIDIA - TensorRT-LLM и Triton.

Для использования API требуется регистрация. Формат API endpoints - как у OpenAI

Mistal похоже нацелился обогнать OpenAI & Anthropic.

#MistralAI #TensorRT #API

NVIDIA ускоряет AI на ПК с RTX через TensorRT

TensorRT – это SDK от NVIDIA, призванный оптимизировать генеративный AI для GPU GeForce и RTX.
Платформа значительно повышает эффективность AI-приложений на локальных ПК.
Среди прочего TensorRT ускоряет работу популярных моделей AI, включая Stable Diffusion и SDXL, на 40%.
Расширение для Stable Diffusion WebUI удваивает производительность в том числе в ControlNets.
Бенчмарк UL Procyon AI Image Generation показывает ускорение на 50% по сравнению со сборками без TensorRT.
Blackmagic Design и Topaz Labs отмечают значительный прирост производительности AI-инструментов после интеграции с TensorRT.
TensorRT-LLM – открытая библиотека для ускорения LLM, поддерживающая известные модели и популярные фреймворки, в том числе ChatRTX.

#NVIDIA #TensorRT #StableDiffusion
-------
@tsingular