NVIDIA объявила о доступности NVIDIA NIM, микросервисов инференса, которые предоставляют готовые модели в виде заранее оптимизированных контейнеров, доступных для развёртывания в облаках, ЦОД или на рабочих станциях. Это, по словам компании, позволяет разработчикам возможность без труда создавать приложения генеративного ИИ за считанные минуты, хотя ранее на это уходили недели.
#nvidia #ии #software #контейнеризация #инференс #llm #разработка
#servernews @servernewsru

https://servernews.ru/1105815/?utm_source=nova&utm_medium=tg&utm_campaign=sn

NVIDIA объявила, что набор инференес-микросервисов NVIDIA NIM будет работать с open source платформой KServe на базе Kubernetes, которая позволит автоматизировать развёртывание ИИ-моделей. Это также делает NIM широкодоступным на платформах различных компаний, таких как Canonical, Nutanix и Red Hat.
#nvidia #software #ии #инференс #контейнеризация #kubernetes
#servernews @servernewsru

https://servernews.ru/1105821/?utm_source=nova&utm_medium=tg&utm_campaign=sn

В ходе конференции Worldwide Developer Conference (WWDC), состоявшейся в понедельник, компания Apple упомянула о том, что её серверы на собственных чипах и ОС используются для новых ИИ-сервисов Apple Intelligence. Как отмечает The Register, прямо компания не говорила ни о CPU, ни об ОС и никогда не подтверждала слухи об ИИ-серверах собственной разработки, но отсылки ко всем этим компонентам оказались разбросаны по презентациям на WWDC.
#hardware #облако #apple #сервер #ии #информационнаябезопасность #конфиденциальность #инференс
#servernews @servernewsru

https://servernews.ru/1106322/?utm_source=nova&utm_medium=tg&utm_campaign=sn

На Computex 2024 AMD анонсировала новое поколение серверных процессоров EPYC Turin на базе архитектуры Zen 5. При этом компания продемонстрировала слайды, из которых следует, что новые решения серьёзно опережают процессоры Intel Xeon. Так, 128-ядерный Turin сравнивается с 64-ядерным Xeon Platinum 8592+ (Emerald Rapids). AMD говорит о 2,5–5,4-кратном превосходстве, однако Intel опровергает полученные результаты и достаточно подробно разбирает вопрос тестирования в своём блоге.
#hardware #cpu #бенчмарк #intel #amd #xeon #turin #emeraldrapids #ии #инференс #epyc
#servernews @servernewsru

https://servernews.ru/1106533/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Компания M**a, по сообщению The Register, провела исследование, результаты которого говорят о том, что ошибки в работе ИИ-систем могут возникать из-за аппаратных сбоев, а не только по причине несовершенства алгоритмов. Это может приводить к неточным, странным или просто плохим ответам ИИ.
#hardware #ии #инференс #llm #ff #исследование #сбой
#servernews @servernewsru

https://servernews.ru/1106889/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Стартап Etched, основанный в 2022 году выпускниками Гарварда, анонсировал самый быстрый, по его словам, ИИ-ускоритель Sohu. Секрет высокой производительности очень прост — Sohu представляет собой узкоспециализированный 4-нм ASIC, который умеет работать только с моделями-трансформерами. При этом в длинном анонсе новинки обещана чуть ли не революция в мире ИИ.
#hardware #asic #etched #ии #ускоритель #инференс
#servernews @servernewsru

https://servernews.ru/1107043/?utm_source=nova&utm_medium=tg&utm_campaign=sn

В настоящее время ИИ является основным драйвером инвестиций в ЦОД, капитальные затраты на которые в этом году вырастут почти на 30 %, пишет The Register со ссылкой на исследование Omdia. Согласно прогнозу аналитиков, в течение нескольких лет ИИ станет основной серверной рабочей нагрузкой в ЦОД.
#omdia #ии #цод #сервер #hardware #анализрынка #прогноз #инференс #гиперскейлер
#servernews @servernewsru

https://servernews.ru/1107278/?utm_source=nova&utm_medium=tg&utm_campaign=sn

NVIDIA заявила, что инвестиции в покупку её ускорителей весьма выгодны, передаёт ресурс HPCwire. По словам NVIDIA, компании, строящие огромные ЦОД, получат большую прибыль в течение четырёх-пяти лет их эксплуатации. Заказчики готовы платить миллиарды долларов, чтобы не отстать в ИИ-гонке.
#nvidia #hardware #blackwell #ии #llm #rubin #финансы #инференс #цод #гиперскейлер
#servernews @servernewsru

https://servernews.ru/1107501/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Спрос на ИИ-системы и соответствующие серверы привёл к росту заказов на SSD корпоративного класса в последние два квартала. По данным TrendForce, производители компонентов для твердотельных накопителей налаживают производственные процессы, готовясь к массовому выпуску накопителей нового поколения, которые появятся на рынке в 2025.
#hardware #ssd #ии #trendforce #анализрынка #прогноз #tlcnand #qlcnand #llm #инференс
#servernews @servernewsru

https://servernews.ru/1109569/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Компания Ola-Krutrim, дочернее предприятие одного из крупнейших в Индии производителей электрических двухколёсных транспортных средств Ola Electric, по сообщению Tom's Hardware, объявила о разработке первых в стране специализированных чипов для задач ИИ. Анонсированы изделия Bodhi 1, Ojas и Sarv 1. Впоследствии выйдет решение Bodhi 2. Но, судя по всему, речь всё же идёт о совместной работе с Untether AI.
#hardware #индия #ии #инференс #ускоритель #untetherai
#servernews @servernewsru

https://servernews.ru/1109636/?utm_source=nova&utm_medium=tg&utm_campaign=sn