NVIDIA представила NVIDIA Dynamo, преемника NVIDIA Triton Inference Server — программную среду с открытым исходным кодом для разработчиков, обеспечивающую ускорение инференса, а также упрощающую масштабирование рассуждающих ИИ-моделей в ИИ-фабриках с минимальными затратами и максимальной эффективностью. Глава NVIDIA Дженсен Хуанг (Jensen Huang) назвал Dynamo «операционной системой для ИИ-фабрик».
#nvidia #software #инференс #ии #opensource
#servernews @servernewsru

https://servernews.ru/1120076/?utm_source=nova&utm_medium=tg&utm_campaign=sn

NVIDIA анонсировала NVIDIA AI Data Platform — настраиваемую эталонную архитектуру, которую ведущие поставщики смогут использовать для создания нового класса ИИ-инфраструктуры для требовательных рабочих нагрузок ИИ-инференса: корпоративных платформ хранения со специализированными ИИ-агентами, использующих ускорители, сетевые решения и ПО NVIDIA.
#nvidia #ии #инференс #схд #сотрудничество #hardware
#servernews @servernewsru

https://servernews.ru/1120186/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Консорциум MLCommons опубликовал результаты тестирования различных аппаратных решений в бенчмарке MLPerf для машинного обучения (МО), о чём сообщил ресурс IEEE Spectrum. Он отметил, что ускорители NVIDIA с архитектурой Blackwell превзошли все остальные чипы, но последняя версия ускорителей Instinct от AMD — Instinct MI325X — оказалась на уровне конкурирующего решения NVIDIA H200. Сопоставимые результаты были получены в основном в тестах одной из маломасштабных больших языковых моделей (LLM) — Llama2 70B. Чтобы лучше отражать особенности развития МО, консорциум добавил три новых теста MLPerf.
#mlperf #nvidia #amd #бенчмарк #software #ии #инференс
#servernews @servernewsru

https://servernews.ru/1120777/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Компания Google Cloud представила тензорный ускоритель TPU седьмого поколения Ironwood, который охарактеризовала как свой самый производительный и масштабируемый настраиваемый ИИ-ускоритель на сегодняшний день и первый среди её чипов, разработанный специально для инференса.
#google #hardware #ии #tpu #ускоритель #инференс
#servernews @servernewsru

https://servernews.ru/1121034/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Шведская компания ZeroPoint Technologies, специализирующаяся на создании решений для оптимизации памяти, объявила о стратегическом альянсе с южнокорейским разработчиком ИИ-чипов Rebellions с целью разработки ИИ-ускорителей для инференс. Компании планируют представить новые продукты в 2026 году, обещая «беспрецедентную производительность в пересчёте на токены в секунду на Вт (TPS/W)», пишет EE Times.
#hardware #ии #rebellions #ram #компрессия #hbm #ускоритель #инференс
#servernews @servernewsru

https://servernews.ru/1121013/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Компания NTT объявила о создании ИИ-чипа, предназначенного для задач инференса на периферии. Изделие может применяться для обработки видео высокой чёткости, в том числе в формате 4K, в реальном времени на устройствах со строгими ограничениями по мощности.
#hardware #ntt #ии #периферийныевычисления #инференс #ускоритель
#servernews @servernewsru 

NVIDIA объявила о стратегическом партнёрстве с Google Cloud с целью внедрения агентного ИИ на предприятиях, которые хотели бы локально использовать семейство моделей Google Gemini с помощью платформ NVIDIA Blackwell HGX/DGX, а также функции NVIDIA Confidential Computing для повышения безопасности данных.
#nvidia #hardware #ииагент #ии #облако #гибридноеоблако #dgx #hgx #конфиденциальность #частноеоблако #инференс #b200 #googlecloudplatform
#servernews @servernewsru 

Провайдер Cloud.ru представил Evolution ML Inference — первый, по словам компании, в России управляемый облачный сервис для инференса больших языковых моделей (LLM), который позволит эффективно управлять вычислительными ресурсами. С его помощью клиенты смогут помимо моделей GigaChat от Cloud.ru запускать и развертывать собственные ИИ-модели, а также open source модели из библиотеки Hugging Face на базе облачных ускорителей.
#cloudru #ии #облако #инференс #software
#servernews @servernewsru 

Разработчик ИИ-ускорителей SambaNova, по сообщению EE Times, проводит реорганизацию, направленную на трансформацию бизнеса. Стартап, в частности, намерен сосредоточиться на предоставлении облачных услуг в сфере ИИ, включая, ресурсы для инференса.
#hardware #sambanovasystems #инференс #ии #персонал #реструктуризация #облако #servernews @servernewsru

https://servernews.ru/1121937/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Компании GigaIO и d-Matrix объявили о стратегическом партнёрстве с целью создания «самого масштабируемого в мире» решения для инференса, ориентированного на крупные предприятия, которые разворачивают ИИ в большом масштабе. Ожидается, что новая платформа поможет устранить узкие места в плане производительности и упростить внедрение крупных ИИ-систем.
#hardware #dmatrix #gigaio #ии #инференс #hpc #суперкомпьютер #servernews @servernewsru

https://servernews.ru/1122305/?utm_source=nova&utm_medium=tg&utm_campaign=sn