Forwarded from Machinelearning
Новый M3 Ultra дебютировал в Mac Studio и сочетает в себе 32-ядерный CPU (из которых 24 – высокопроизводительные, а 8 – энергоэффективные) с 80-ядерным GPU и поддержкой до 512 ГБ🔥
Этого хватит для 4-битного Deep Seek R1 и еще останется место.
По заявлениям Apple, этот чип работает на 1,5 раза быстрее, чем M2 Ultra, и на 1,8 раза быстрее, чем M1 Ultra.
Цены на M4 Max начинаются в США с $2000 до уплаты налогов. За эти деньги вы получите 36 ГБ объединённой памяти и SSD на 512 ГБ.
А вот M3 Ultra начинается с $4000. Внутри 96 ГБ объединённой памяти и SSD на 1 ТБ.
@ai_machinelearning_big_data
#apple #Mac #M3Ultra #M4Max
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔6🔥5
Alex Cheema - сооснователь EXO Labs поделился расчётами производительности кластеров на базе MacMini
И даже выложил отдельно табличку, где можно сравнить разные варианты с H100.
По скорости запуска DeepSeek V3/R1 получается так:
- NVIDIA H100 (80GB): 37.5/s
- AMD MI300X (192GB): 27.6/s
- Apple M2 Ultra (192GB): 4.16/s (9x медленнее H100)
- Apple M3 Ultra (512GB): 1.56/s (24x медленнее H100)
Экономический эффект возникает на масштабе:
NVIDIA H100: 80GB @ 3TB/s, $25,000, $312.50 per GB
AMD MI300X: 192GB @ 5.3TB/s, $20,000, $104.17 per GB
Apple M3 Ultra: 512GB @ 800GB/s, $9,500, $18.55 per GB
проект exolabs как раз концентрируется на том, чтобы за счёт параллелизма добиться снижения потерь на скорости инференса для крупных моделей.
И тогда можно будет на железо для полной не сжатой версии Дипсика тратить не $1.5 млн, а, например, $80К.
Сейчас скорость порядка 2х токенов в секунду на стандартном распараллеливании, - это нельзя, конечно, использовать. Цель - добить 27 токенов/секунду (скорее получится 15-20 по экспериментам) на этом железе.
В любом случае сравнение производительности может пригодиться для построения домашних сред разработки.
#exolabs #M3Ultra #MacMini #cluster
———
@tsingular
И даже выложил отдельно табличку, где можно сравнить разные варианты с H100.
По скорости запуска DeepSeek V3/R1 получается так:
- NVIDIA H100 (80GB): 37.5/s
- AMD MI300X (192GB): 27.6/s
- Apple M2 Ultra (192GB): 4.16/s (9x медленнее H100)
- Apple M3 Ultra (512GB): 1.56/s (24x медленнее H100)
Экономический эффект возникает на масштабе:
NVIDIA H100: 80GB @ 3TB/s, $25,000, $312.50 per GB
AMD MI300X: 192GB @ 5.3TB/s, $20,000, $104.17 per GB
Apple M3 Ultra: 512GB @ 800GB/s, $9,500, $18.55 per GB
проект exolabs как раз концентрируется на том, чтобы за счёт параллелизма добиться снижения потерь на скорости инференса для крупных моделей.
И тогда можно будет на железо для полной не сжатой версии Дипсика тратить не $1.5 млн, а, например, $80К.
Сейчас скорость порядка 2х токенов в секунду на стандартном распараллеливании, - это нельзя, конечно, использовать. Цель - добить 27 токенов/секунду (скорее получится 15-20 по экспериментам) на этом железе.
В любом случае сравнение производительности может пригодиться для построения домашних сред разработки.
#exolabs #M3Ultra #MacMini #cluster
———
@tsingular
👍9❤5✍4🔥3🤔1🤨1