🚀 Инференс языковых моделей на Go с yzma
🚀Основные моменты:
- Поддержка VLM, LLM, SLM и TLM.
- Полная аппаратная активация для оптимальной производительности.
- Простота использования без C компилятора.
- Совместимость с последними версиями
- Примеры использования для различных моделей.
📌 GitHub: https://github.com/hybridgroup/yzma
#go
yzma позволяет использовать языковые модели, включая VLM и LLM, на вашем оборудовании с полной аппаратной поддержкой. Работает на Linux, macOS и Windows без необходимости в CGo, что упрощает интеграцию.🚀Основные моменты:
- Поддержка VLM, LLM, SLM и TLM.
- Полная аппаратная активация для оптимальной производительности.
- Простота использования без C компилятора.
- Совместимость с последними версиями
llama.cpp.- Примеры использования для различных моделей.
📌 GitHub: https://github.com/hybridgroup/yzma
#go
🔥3❤1🤔1