Компания NVIDIA опубликовала новые, ещё более впечатляющие результаты в области работы с большими языковыми моделями (LLM) в бенчмарке MLPerf Inference 4.0. За прошедшие полгода и без того высокие результаты, демонстрируемые архитектурой Hopper в инференс-сценариях, удалось улучшить практически втрое. Столь внушительный результат достигнут благодаря как аппаратным улучшениям в ускорителях H200, так и программным оптимизациям.
#software #nvidia #mlperf #ии #инференс #h200 #бенчмарк
#servernews @servernewsru

https://servernews.ru/1102371/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Корпорация Intel сообщила о том, что её ИИ-ускоритель Habana Gaudi2 остаётся единственной альтернативой NVIDIA H100, протестированной в бенчмарке MLPerf Inference 4.0. При этом, как утверждается, Gaudi2 обеспечивает высокое быстродействие в расчёте на доллар, хотя именно чипы NVIDIA являются безоговорочными лидерами.
#software #mlperf #intel #ии #бенчмарк #инференс #habana #xeon
#servernews @servernewsru

https://servernews.ru/1102394/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Некоммерческий проект MLCommons, занимающийся созданием и поддержкой бенчмарков, широко используемых в ИИ-индустрии, анонсировал новую разработку, передаёт Silicon Angle. Речь идёт об инструменте, позволяющем оценивать безопасность ИИ-систем. Консорциум объявил о создании соответствующей рабочей группы AIS в конце 2023 года.
#software #бенчмарк #ии #llm #mlcommons #информационнаябезопасность
#servernews @servernewsru

https://servernews.ru/1103416/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Согласно результатам исследования, обнародованным Институтом инженеров электротехники и электроники (IEEE) в журнале Transactions on Cloud Computing, процессор Alibaba Yitian 710 на сегодняшний день является самым производительным серверным чипом с архитектурой Arm из тех, которые доступны в составе различных облачных платформ, передаёт The Register.
#hardware #arm #cpu #alibaba #alibabacloud #бенчмарк #облако
#servernews @servernewsru

https://servernews.ru/1104039/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Операторам дата-центров и суперкомпьютеров не хватает инструментов для корректного измерения энергоэффективности их оборудования и оценки прогресса на пути к экоустойчивым вычислениям. Как утверждает NVIDIA, нужна нова система оценки показателей при использовании оборудования в реальных задачах.
#hardware #nvidia #бенчмарк #pue #ии #цод #суперкомпьютер #hpc #энергоэффективность #green500
#servernews @servernewsru

https://servernews.ru/1104833/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Вычислительные платформы NVIDIA снова продемонстрировали высокую производительность, на этот раз в свежих тестах MLPerf Training v4.0. Так, суперкомпьютер NVIDIA EOS-DFW более чем утроил свою производительность в LLM-тесте на базе GPT-3 175B по сравнению с прошлогодним результатом.
#nvidia #ии #mlperf #software #h200 #h100 #бенчмарк
#servernews @servernewsru

https://servernews.ru/1106360/?utm_source=nova&utm_medium=tg&utm_campaign=sn

На Computex 2024 AMD анонсировала новое поколение серверных процессоров EPYC Turin на базе архитектуры Zen 5. При этом компания продемонстрировала слайды, из которых следует, что новые решения серьёзно опережают процессоры Intel Xeon. Так, 128-ядерный Turin сравнивается с 64-ядерным Xeon Platinum 8592+ (Emerald Rapids). AMD говорит о 2,5–5,4-кратном превосходстве, однако Intel опровергает полученные результаты и достаточно подробно разбирает вопрос тестирования в своём блоге.
#hardware #cpu #бенчмарк #intel #amd #xeon #turin #emeraldrapids #ии #инференс #epyc
#servernews @servernewsru

https://servernews.ru/1106533/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Компания AMD, по сообщению ресурса Wccftech, отклонила просьбу стартапа Tiny Corp о сравнительном испытании ИИ-ускорителей Instinct MI300X в бенчмарке MLPerf, который предлагает тесты для множества разных сценариев, в том числе для задач машинного зрения, обработки языка, рекомендательных систем и обучения с подкреплением.
#hardware #amd #mlperf #instinct #ии #бенчмарк
#servernews @servernewsru

https://servernews.ru/1106910/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Портал Phoronix обратил внимание на необычный патч, заметно повышающий производительность Raspberry Pi 5. Инженеры Igalia в результате экспериментов с эмуляцией NUMA на UMA-системах с чипами ARM64 (AArch64) добились повышения эффективности использования памяти. Так, простой патч для ядра Linux позволил улучшить результаты в Geekbench на 6 % в однопоточном режиме и на целых 18 % — в многопоточном.
#software #raspberrypi #linux #ram #broadcom #ядро #бенчмарк
#servernews @servernewsru

https://servernews.ru/1107118/?utm_source=nova&utm_medium=tg&utm_campaign=sn

AMD провела серию тестов, чтобы доказать преимущество своих нынешних процессоров AMD EPYC над Arm-процессорами NVIDIA Grace Superchip. Как отметила AMD, в связи с растущей востребованностью ЦОД некоторые компании начали предлагать альтернативные варианты процессоров, «часто обещающие преимущества по сравнению с обычными решениями x86».
#amd #nvidia #epyc #cpu #бенчмарк #grace #arm
#servernews @servernewsru

https://servernews.ru/1108454/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Гибридный ускоритель NVIDIA Grace Hopper объединяет CPU- и GPU-модули, которые связаны интерконнектом NVLink C2C. Но, как передаёт HPCWire, в строении и работе суперчипа есть некоторые нюансы, о которых рассказали шведские исследователи.
#hardware #nvidia #nvlink #ram #бенчмарк #ускоритель #hpc #cuda #grace #h100
#servernews @servernewsru

https://servernews.ru/1108561/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Всего за пять лет Amazon успела разработать и внедрить четыре поколения серверных Arm-процессоров Graviton. 4-нм Graviton4 получили 96 ядер и 12 каналов памяти DDR5-5600, а также поддержку PCIe 5.0. Всё это дало AWS основание утверждать, что Graviton4 производительнее предшественника на 30 %, а пропускная способность памяти у него выше на 75 %. Насколько это соответствует истине, выяснил ресурс Phoronix, который заодно сравнил новинки с другими современными процессорами.
#hardware #aws #graviton #cpu #бенчмарк #arm
#servernews @servernewsru

https://servernews.ru/1108861/?utm_source=nova&utm_medium=tg&utm_campaign=sn

NVIDIA сообщила, что её платформы показали самые высокие результаты во всех тестах производительности уровня ЦОД в бенчмарке MLPerf Inference v4.1, где впервые дебютировал ускоритель семейства Blackwell.
#nvidia #mlperf #бенчмарк #ии #инференс #software
#servernews @servernewsru

https://servernews.ru/1110141/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Ускорители Blackwell компании NVIDIA опередили в бенчмарках MLPerf Training 4.1 чипы H100 более чем в 2,2 раза, сообщил The Register. По словам NVIDIA, более высокая пропускная способность памяти в Blackwell также сыграла свою роль. Тесты были проведены с использование собственного суперкомпьютера NVIDIA Nyx на базе DGX B200.
#nvidia #mlperf #бенчмарк #b200 #google #tpu #ии #hardware
#servernews @servernewsru

https://servernews.ru/1114029/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Аналитическая компания SemiAnalysis опубликовала результаты исследования, длившегося пять месяцев и выявившего большие проблемы в ПО AMD для работы с ИИ, из-за чего на данном этапе невозможно в полной мере раскрыть имеющийся у ускорителей AMD Instinct MI300X потенциал. Проще говоря, из-за забагованности ПО AMD не может на равных соперничать с лидером рынка ИИ-чипов NVIDIA. При этом примерно три четверти сотрудников последней заняты именно разработкой софта.
#nvidia #amd #ускоритель #software #instinct #бенчмарк #разработка
#servernews @servernewsru

https://servernews.ru/1115855/?utm_source=nova&utm_medium=tg&utm_campaign=sn