В ходе конференции Worldwide Developer Conference (WWDC), состоявшейся в понедельник, компания Apple упомянула о том, что её серверы на собственных чипах и ОС используются для новых ИИ-сервисов Apple Intelligence. Как отмечает The Register, прямо компания не говорила ни о CPU, ни об ОС и никогда не подтверждала слухи об ИИ-серверах собственной разработки, но отсылки ко всем этим компонентам оказались разбросаны по презентациям на WWDC.
#hardware #облако #apple #сервер #ии #информационнаябезопасность #конфиденциальность #инференс
#servernews @servernewsru

https://servernews.ru/1106322/?utm_source=nova&utm_medium=tg&utm_campaign=sn

На Computex 2024 AMD анонсировала новое поколение серверных процессоров EPYC Turin на базе архитектуры Zen 5. При этом компания продемонстрировала слайды, из которых следует, что новые решения серьёзно опережают процессоры Intel Xeon. Так, 128-ядерный Turin сравнивается с 64-ядерным Xeon Platinum 8592+ (Emerald Rapids). AMD говорит о 2,5–5,4-кратном превосходстве, однако Intel опровергает полученные результаты и достаточно подробно разбирает вопрос тестирования в своём блоге.
#hardware #cpu #бенчмарк #intel #amd #xeon #turin #emeraldrapids #ии #инференс #epyc
#servernews @servernewsru

https://servernews.ru/1106533/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Компания M**a, по сообщению The Register, провела исследование, результаты которого говорят о том, что ошибки в работе ИИ-систем могут возникать из-за аппаратных сбоев, а не только по причине несовершенства алгоритмов. Это может приводить к неточным, странным или просто плохим ответам ИИ.
#hardware #ии #инференс #llm #ff #исследование #сбой
#servernews @servernewsru

https://servernews.ru/1106889/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Стартап Etched, основанный в 2022 году выпускниками Гарварда, анонсировал самый быстрый, по его словам, ИИ-ускоритель Sohu. Секрет высокой производительности очень прост — Sohu представляет собой узкоспециализированный 4-нм ASIC, который умеет работать только с моделями-трансформерами. При этом в длинном анонсе новинки обещана чуть ли не революция в мире ИИ.
#hardware #asic #etched #ии #ускоритель #инференс
#servernews @servernewsru

https://servernews.ru/1107043/?utm_source=nova&utm_medium=tg&utm_campaign=sn

В настоящее время ИИ является основным драйвером инвестиций в ЦОД, капитальные затраты на которые в этом году вырастут почти на 30 %, пишет The Register со ссылкой на исследование Omdia. Согласно прогнозу аналитиков, в течение нескольких лет ИИ станет основной серверной рабочей нагрузкой в ЦОД.
#omdia #ии #цод #сервер #hardware #анализрынка #прогноз #инференс #гиперскейлер
#servernews @servernewsru

https://servernews.ru/1107278/?utm_source=nova&utm_medium=tg&utm_campaign=sn

NVIDIA заявила, что инвестиции в покупку её ускорителей весьма выгодны, передаёт ресурс HPCwire. По словам NVIDIA, компании, строящие огромные ЦОД, получат большую прибыль в течение четырёх-пяти лет их эксплуатации. Заказчики готовы платить миллиарды долларов, чтобы не отстать в ИИ-гонке.
#nvidia #hardware #blackwell #ии #llm #rubin #финансы #инференс #цод #гиперскейлер
#servernews @servernewsru

https://servernews.ru/1107501/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Спрос на ИИ-системы и соответствующие серверы привёл к росту заказов на SSD корпоративного класса в последние два квартала. По данным TrendForce, производители компонентов для твердотельных накопителей налаживают производственные процессы, готовясь к массовому выпуску накопителей нового поколения, которые появятся на рынке в 2025.
#hardware #ssd #ии #trendforce #анализрынка #прогноз #tlcnand #qlcnand #llm #инференс
#servernews @servernewsru

https://servernews.ru/1109569/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Компания Ola-Krutrim, дочернее предприятие одного из крупнейших в Индии производителей электрических двухколёсных транспортных средств Ola Electric, по сообщению Tom's Hardware, объявила о разработке первых в стране специализированных чипов для задач ИИ. Анонсированы изделия Bodhi 1, Ojas и Sarv 1. Впоследствии выйдет решение Bodhi 2. Но, судя по всему, речь всё же идёт о совместной работе с Untether AI.
#hardware #индия #ии #инференс #ускоритель #untetherai
#servernews @servernewsru

https://servernews.ru/1109636/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Южнокорейский стартап FuriosaAI на мероприятии анонсировал специализированный чип RNGD (произносится как «Renegade»), который позиционируется в качестве альтернативы ускорителям NVIDIA. Новинка предназначена для работы с большими языковыми моделями (LLM) и мультимодальным ИИ.
#hardware #furiosaai #llm #ии #ускоритель #инференс #pciexpress50
#servernews @servernewsru

https://servernews.ru/1110041/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Южнокорейский стартап Rebellions представила на днях план развития своих ИИ-ускорителей. Как сообщает Business Korea, компания ускорит выпуск ИИ-чипов нового поколения, которые получат 4-нм модули памяти HBM3e производства Samsung. Samsung же будет отвечать за объединение чипов и HBM в одной упаковке.
#hardware #ускоритель #южнаякорея #rebellions #ии #samsung #инференс
#servernews @servernewsru

https://servernews.ru/1110055/?utm_source=nova&utm_medium=tg&utm_campaign=sn

NVIDIA анонсировала NVIDIA NIM Agent Blueprints, каталог предварительно обученных, настраиваемых программных решений, предоставляющий разработчикам набор инструментов для создания и развёртывания приложений генеративного ИИ для типовых вариантов использования, таких как аватары для обслуживания клиентов, RAG, виртуальный скрининг для разработки лекарственных препаратов и т.д.
#nvidia #ии #software #автоматизация #llm #инференс #контейнеризация #разработка
#servernews @servernewsru

https://servernews.ru/1110075/?utm_source=nova&utm_medium=tg&utm_campaign=sn

NVIDIA сообщила, что её платформы показали самые высокие результаты во всех тестах производительности уровня ЦОД в бенчмарке MLPerf Inference v4.1, где впервые дебютировал ускоритель семейства Blackwell.
#nvidia #mlperf #бенчмарк #ии #инференс #software
#servernews @servernewsru

https://servernews.ru/1110141/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Компании Intel и IBM намерены активно сотрудничать в сфере облачных ИИ-решений. По данным HPC Wire, доступ к ускорителям Intel Gaudi 3 будет предоставляться в облаке IBM Cloud с начала 2025 года. Сотрудничество обеспечит и поддержку Gaudi 3 ИИ-платформой IBM Watsonx. IBM Cloud станет первым поставщиком облачных услуг, принявшим на вооружение Gaudi 3 как для гибридных, так и для локальных сред.
#ibm #intel #ускоритель #облако #ibmcloud #watsonx #hardware #habana #инференс
#servernews @servernewsru

https://servernews.ru/1110231/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Вместе с процессорами Telum II для систем z17 компания IBM представила и собственные ускорители Spyre, ещё больше расширяющие возможности будущих мейнфреймов в области обработки ИИ-нагрузок. Они станут дополнением к встроенным в Telum ИИ-блокам.
#hardware #ibm #ии #ускоритель #мейнфрейм #инференс #pciexpress50 #z17
#servernews @servernewsru

https://servernews.ru/1110080/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Американский стартап Cerebras Systems, занимающийся разработкой чипов для систем машинного обучения и других ресурсоёмких задач, объявил о запуске, как утверждается, самой производительной в мире ИИ-платформы для инференса — Cerebras Inference. Ожидается, что она составит серьёзную конкуренцию решениям на основе ускорителей NVIDIA.
#cerebras #ии #инференс #облако #software
#servernews @servernewsru

https://servernews.ru/1110276/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Компания SambaNova Systems объявила о запуске облачного сервиса SambaNova Cloud: утверждается, что на сегодняшний день это самая быстрая в мире платформа для ИИ-инференса. Она ориентирована на работу с большими языковыми моделями Llama 3.1 405B и Llama 3.1 70B, насчитывающими соответственно 405 и 70 млрд параметров.
#hardware #sambanovasystems #облако #ии #инференс #llm
#servernews @servernewsru

https://servernews.ru/1110773/?utm_source=nova&utm_medium=tg&utm_campaign=sn