#AI #大模型 #模型部署 #AirLLM

⭐  AirLLM：4GB 显存跑 70B 大模型的开源框架

🌟 简介:基于分层加载机制的 Python 推理库，将模型按层拆分并动态载入显存，突破硬件限制，无需量化即可在消费级显卡上运行百亿/千亿级超大模型。

📖 核心功能
极限省显存：4GB 显存跑 70B 模型，8GB 显存挑战 405B 参数。
无损推理：无需对原模型进行大幅量化、剪枝或蒸馏。
加速扩展：支持 4bit/8bit 分块量化叠加，进一步提升推理速度。

🔘 @TossLab 🔘 @TossLabChannel