Alibaba Cloud раскрыла ряд сведений технического характера, касающихся сетевой инфраструктуры и устройства своих дата-центров, занятых обработкой ИИ-нагрузок, в частности, обслуживанием LLM. Один из ведущих инженеров компании, Эньнань Чжай (Ennan Zhai), опубликовал доклад «Alibaba HPN: A Data Center Network for Large Language Model Training», который будет представлен на конференции SIGCOMM в августе этого года.
#llm #alibabacloud #ии #ethernet #цод #интерконнект #сети #400gbe #broadcom #hpc #облако
#servernews @servernewsru

https://servernews.ru/1107345/?utm_source=nova&utm_medium=tg&utm_campaign=sn

NVIDIA заявила, что инвестиции в покупку её ускорителей весьма выгодны, передаёт ресурс HPCwire. По словам NVIDIA, компании, строящие огромные ЦОД, получат большую прибыль в течение четырёх-пяти лет их эксплуатации. Заказчики готовы платить миллиарды долларов, чтобы не отстать в ИИ-гонке.
#nvidia #hardware #blackwell #ии #llm #rubin #финансы #инференс #цод #гиперскейлер
#servernews @servernewsru

https://servernews.ru/1107501/?utm_source=nova&utm_medium=tg&utm_campaign=sn

AMD сообщила о приобретении за $665 млн крупнейшей в Европе частной ИИ-лаборатории — Silo AI. Silo AI включает более 300 «специалистов мирового уровня» с опытом создания специализированных ИИ-моделей, платформ и решений для ведущих корпоративных клиентов, применяющих их в облачных, встраиваемых и клиентских IT-проектах. Сооснователь Silo AI и её глава Питер Сарлин (Peter Sarlin) сохранит руководящую должность в команде, которая войдёт в AMD Artificial Intelligence Group. Завершение сделки планируется на II половину 2024 года.
#software #ии #финляндия #amd #сделка #llm
#servernews @servernewsru

https://servernews.ru/1107796/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Корпорация NVIDIA и французская компания Mistral AI анонсировали большую языковую модель (LLM) Mistral NeMo 12B, специально разработанную для решения различных задач корпоративного уровня — чат-боты, обобщение данных, работа с программным кодом и пр.
#software #nvidia #mistralai #ии #llm
#servernews @servernewsru

https://servernews.ru/1108275/?utm_source=nova&utm_medium=tg&utm_campaign=sn

То ли в шутку, то ли всерьёз компания Torrance Computer Supply (TCS) начала продажи накопителей с предзаписанными большими язковыми моделями. Доступны как HDD ёмкостью 14 Тбайт, так и карта памяти вместимостью 1 Тбайт.
#hardware #hdd #ии #llm #microsd #opensource
#servernews @servernewsru

https://servernews.ru/1109059/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Спрос на ИИ-системы и соответствующие серверы привёл к росту заказов на SSD корпоративного класса в последние два квартала. По данным TrendForce, производители компонентов для твердотельных накопителей налаживают производственные процессы, готовясь к массовому выпуску накопителей нового поколения, которые появятся на рынке в 2025.
#hardware #ssd #ии #trendforce #анализрынка #прогноз #tlcnand #qlcnand #llm #инференс
#servernews @servernewsru

https://servernews.ru/1109569/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Компания Xperi объявила о заключении соглашения по продаже своего подразделения Perceive, которое занимается разработкой специализированных ИИ-чипов. Покупателем является Amazon, сумма сделки составляет $80 млн в виде денежных средств. Завершить поглощение планируется до конца 2024 года.
#hardware #amazon #ии #сделка #llm #периферийныевычисления
#servernews @servernewsru

https://servernews.ru/1109758/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Государственные китайские организации используют облачные сервисы Amazon, Microsoft и их конкурентов для доступа к передовым американским чипам и технологиям ИИ, пишет Reuters со ссылкой на тендерную документацию, размещённую в общедоступных китайских базах данных. О попытках китайских компаний получить доступ к ИИ-ускорителям на территории США в условиях запрета на их поставки в Китай сообщалось и ранее.
#ии #облако #сша #китай #aws #microsoftazure #санкции #llm #software
#servernews @servernewsru

https://servernews.ru/1109914/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Создание и обучение мощных ИИ-моделей может обходиться компаниям в сотни миллионов и миллиарды долларов в год. Например, OpenAI в 2024-м намерена потратить на эти цели до $7 млрд. Основная часть затрат приходится на аппаратные ресурсы, включая дорогостоящие ускорители NVIDIA. Но, как сообщает Fortune, существует ещё одна важная статья расходов, которая зачастую упускается из виду — необходимость качественной маркировки данных. Между тем именно эта работа требует всё больших финансовых вложений.
#software #ии #финансы #llm #разработка
#servernews @servernewsru

https://servernews.ru/1109968/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Южнокорейский стартап FuriosaAI на мероприятии анонсировал специализированный чип RNGD (произносится как «Renegade»), который позиционируется в качестве альтернативы ускорителям NVIDIA. Новинка предназначена для работы с большими языковыми моделями (LLM) и мультимодальным ИИ.
#hardware #furiosaai #llm #ии #ускоритель #инференс #pciexpress50
#servernews @servernewsru

https://servernews.ru/1110041/?utm_source=nova&utm_medium=tg&utm_campaign=sn

NVIDIA анонсировала NVIDIA NIM Agent Blueprints, каталог предварительно обученных, настраиваемых программных решений, предоставляющий разработчикам набор инструментов для создания и развёртывания приложений генеративного ИИ для типовых вариантов использования, таких как аватары для обслуживания клиентов, RAG, виртуальный скрининг для разработки лекарственных препаратов и т.д.
#nvidia #ии #software #автоматизация #llm #инференс #контейнеризация #разработка
#servernews @servernewsru

https://servernews.ru/1110075/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Red Hat объявила о запуске платформы Red Hat Enterprise Linux AI (RHEL AI) для создания генеративных ИИ-решений в облачных средах. По данным Silicon Angle, анонсированный три месяца назад пакет ПО сделали общедоступным в ходе мероприятия Red Hat Summit.
#software #redhat #opensource #ии #разработка #llm #redhatenterpriselinux #ibm
#servernews @servernewsru

https://servernews.ru/1110662/?utm_source=nova&utm_medium=tg&utm_campaign=sn

(HPE) объявила о доступности входящей в портфель NVIDIA AI Computing by HPE программно-аппаратной платформы HPE Private Cloud AI на базе GreenLake, разработанной совместно с NVIDIA для создания и запуска корпоративных приложений генеративного ИИ. По словам компании, ключевым отличием HPE Private Cloud AI являются решения для автоматизации и оптимизации приложений ИИ, позволяющие предприятию сократить сроки запуска виртуальных помощников с нескольких месяцев до мгновений.
#hpe #hardware #nvidia #llm #ии #частноеоблако #облако #lowcode #hpegreenlake
#servernews @servernewsru

https://servernews.ru/1110649/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Компания SambaNova Systems объявила о запуске облачного сервиса SambaNova Cloud: утверждается, что на сегодняшний день это самая быстрая в мире платформа для ИИ-инференса. Она ориентирована на работу с большими языковыми моделями Llama 3.1 405B и Llama 3.1 70B, насчитывающими соответственно 405 и 70 млрд параметров.
#hardware #sambanovasystems #облако #ии #инференс #llm
#servernews @servernewsru

https://servernews.ru/1110773/?utm_source=nova&utm_medium=tg&utm_campaign=sn