🚀 Инференс языковых моделей на Go с yzma

yzma позволяет использовать языковые модели, включая VLM и LLM, на вашем оборудовании с полной аппаратной поддержкой. Работает на Linux, macOS и Windows без необходимости в CGo, что упрощает интеграцию.

🚀Основные моменты:
- Поддержка VLM, LLM, SLM и TLM.
- Полная аппаратная активация для оптимальной производительности.
- Простота использования без C компилятора.
- Совместимость с последними версиями llama.cpp.
- Примеры использования для различных моделей.

📌 GitHub: https://github.com/hybridgroup/yzma

#go

🚀 Удобная передача файлов с croc

croc — это инструмент для простой и безопасной передачи файлов между любыми двумя компьютерами. Он обеспечивает сквозное шифрование и поддерживает кроссплатформенные передачи без необходимости в локальном сервере или перенаправлении портов.

🚀 Основные моменты:
- Передача файлов и папок с шифрованием
- Поддержка Windows, Linux и Mac
- Возможность возобновления прерванных передач
- Использование прокси, включая Tor
- IPv6 с поддержкой IPv4

📌 GitHub: https://github.com/schollz/croc

#go

🔒 OpenPCC: Приватные AI-инференсы

OpenPCC — это открытая платформа для безопасного запуска AI-моделей, обеспечивающая конфиденциальность данных. Она позволяет запускать модели без раскрытия запросов и результатов, используя шифрование и аппаратную аттестацию. Проект стремится стать стандартом в области приватности AI.

🚀 Основные моменты:
- Открытый и аудитируемый фреймворк для AI.
- Защита данных с помощью шифрования и анонимности.
- Поддержка пользовательских AI-моделей.
- Сообщество управляет развитием и стандартами.

📌 GitHub: https://github.com/openpcc/openpcc

#go