SambaNova бьёт рекорды скорости с Llama 3.1
Компания SambaNova Systems установила рекорд производительности на модели Llama 3.1 405B, достигнув 123 токенов в секунду.
Это в 4 раза быстрее ближайших конкурентов благодаря инновационному ASIC-чипу SN40L.
На Llama 3.1 8B система генерирует свыше 1000 токенов в секунду.
Платформа предлагает корпорациям возможность развертывания приватных GPT-моделей с раз дешевле.
https://fast.snova.ai/
Интересный конкурент Groq.
У Groq, кстати 405B пока нет.
API, правда по запросу.
Headquartered in Palo Alto, California, SambaNova Systems was founded in 2017 by industry luminaries, and hardware and software design experts from Sun/Oracle and Stanford University.
Investors include SoftBank Vision Fund 2, funds and accounts managed by BlackRock, Intel Capital, GV, Walden International, Temasek, GIC, Redline Capital, Atlantic Bridge Ventures, Celesta, and several others.
#SambaNova #Llama #ASIC
Компания SambaNova Systems установила рекорд производительности на модели Llama 3.1 405B, достигнув 123 токенов в секунду.
Это в 4 раза быстрее ближайших конкурентов благодаря инновационному ASIC-чипу SN40L.
На Llama 3.1 8B система генерирует свыше 1000 токенов в секунду.
Платформа предлагает корпорациям возможность развертывания приватных GPT-моделей с раз дешевле.
https://fast.snova.ai/
Интересный конкурент Groq.
У Groq, кстати 405B пока нет.
API, правда по запросу.
Headquartered in Palo Alto, California, SambaNova Systems was founded in 2017 by industry luminaries, and hardware and software design experts from Sun/Oracle and Stanford University.
Investors include SoftBank Vision Fund 2, funds and accounts managed by BlackRock, Intel Capital, GV, Walden International, Temasek, GIC, Redline Capital, Atlantic Bridge Ventures, Celesta, and several others.
#SambaNova #Llama #ASIC
👍2
Появилось больше деталей по ASIC-чипу для трансформеров от Etched
Стартап Etched запустил первый специализированный ASIC-чип Sohu для трансформеров.
Производительность устройства - 500,000 токенов в секунду. (1 том Война и Мир - 710тыс знаков или примерно 230тыс токенов. 2 тома в секунду получается)
Один сервер с 8 ASIC чипами заменяет 160 GPU H100 от NVIDIA.
Ключевые характеристики: 144 ГБ памяти, поддержка моделей до 100 трлн параметров, открытый программный стек.
Встроены алгоритмы speculative decoding, beam search, MCTS и MoE.
Первый анонс был летом, - https://t.iss.one/tsingular/2002
акции NVIDIA могут подупасть, конечно, когда эта ракета взлетит.
Пока ранний доступ и сбор инвестиций.
Но Асики давно напрашивались. Будем майнить ИИ. 🤔
#Etched #ASIC #Sohu
-------
@tsingular
Стартап Etched запустил первый специализированный ASIC-чип Sohu для трансформеров.
Производительность устройства - 500,000 токенов в секунду. (1 том Война и Мир - 710тыс знаков или примерно 230тыс токенов. 2 тома в секунду получается)
Один сервер с 8 ASIC чипами заменяет 160 GPU H100 от NVIDIA.
Ключевые характеристики: 144 ГБ памяти, поддержка моделей до 100 трлн параметров, открытый программный стек.
Встроены алгоритмы speculative decoding, beam search, MCTS и MoE.
Первый анонс был летом, - https://t.iss.one/tsingular/2002
акции NVIDIA могут подупасть, конечно, когда эта ракета взлетит.
Пока ранний доступ и сбор инвестиций.
Но Асики давно напрашивались. Будем майнить ИИ. 🤔
#Etched #ASIC #Sohu
-------
@tsingular
👍8