SambaNova бьёт рекорды скорости с Llama 3.1
Компания SambaNova Systems установила рекорд производительности на модели Llama 3.1 405B, достигнув 123 токенов в секунду.
Это в 4 раза быстрее ближайших конкурентов благодаря инновационному ASIC-чипу SN40L.
На Llama 3.1 8B система генерирует свыше 1000 токенов в секунду.
Платформа предлагает корпорациям возможность развертывания приватных GPT-моделей с раз дешевле.
https://fast.snova.ai/
Интересный конкурент Groq.
У Groq, кстати 405B пока нет.
API, правда по запросу.
Headquartered in Palo Alto, California, SambaNova Systems was founded in 2017 by industry luminaries, and hardware and software design experts from Sun/Oracle and Stanford University.
Investors include SoftBank Vision Fund 2, funds and accounts managed by BlackRock, Intel Capital, GV, Walden International, Temasek, GIC, Redline Capital, Atlantic Bridge Ventures, Celesta, and several others.
#SambaNova #Llama #ASIC
Компания SambaNova Systems установила рекорд производительности на модели Llama 3.1 405B, достигнув 123 токенов в секунду.
Это в 4 раза быстрее ближайших конкурентов благодаря инновационному ASIC-чипу SN40L.
На Llama 3.1 8B система генерирует свыше 1000 токенов в секунду.
Платформа предлагает корпорациям возможность развертывания приватных GPT-моделей с раз дешевле.
https://fast.snova.ai/
Интересный конкурент Groq.
У Groq, кстати 405B пока нет.
API, правда по запросу.
Headquartered in Palo Alto, California, SambaNova Systems was founded in 2017 by industry luminaries, and hardware and software design experts from Sun/Oracle and Stanford University.
Investors include SoftBank Vision Fund 2, funds and accounts managed by BlackRock, Intel Capital, GV, Walden International, Temasek, GIC, Redline Capital, Atlantic Bridge Ventures, Celesta, and several others.
#SambaNova #Llama #ASIC
👍2