Появилось больше деталей по ASIC-чипу для трансформеров от Etched
Стартап Etched запустил первый специализированный ASIC-чип Sohu для трансформеров.
Производительность устройства - 500,000 токенов в секунду. (1 том Война и Мир - 710тыс знаков или примерно 230тыс токенов. 2 тома в секунду получается)
Один сервер с 8 ASIC чипами заменяет 160 GPU H100 от NVIDIA.
Ключевые характеристики: 144 ГБ памяти, поддержка моделей до 100 трлн параметров, открытый программный стек.
Встроены алгоритмы speculative decoding, beam search, MCTS и MoE.
Первый анонс был летом, - https://t.iss.one/tsingular/2002
акции NVIDIA могут подупасть, конечно, когда эта ракета взлетит.
Пока ранний доступ и сбор инвестиций.
Но Асики давно напрашивались. Будем майнить ИИ. 🤔
#Etched #ASIC #Sohu
-------
@tsingular
Стартап Etched запустил первый специализированный ASIC-чип Sohu для трансформеров.
Производительность устройства - 500,000 токенов в секунду. (1 том Война и Мир - 710тыс знаков или примерно 230тыс токенов. 2 тома в секунду получается)
Один сервер с 8 ASIC чипами заменяет 160 GPU H100 от NVIDIA.
Ключевые характеристики: 144 ГБ памяти, поддержка моделей до 100 трлн параметров, открытый программный стек.
Встроены алгоритмы speculative decoding, beam search, MCTS и MoE.
Первый анонс был летом, - https://t.iss.one/tsingular/2002
акции NVIDIA могут подупасть, конечно, когда эта ракета взлетит.
Пока ранний доступ и сбор инвестиций.
Но Асики давно напрашивались. Будем майнить ИИ. 🤔
#Etched #ASIC #Sohu
-------
@tsingular
👍8