⚙️ اجرای مستقیم هوش مصنوعی مولد روی دستگاه — بدون نیاز به سرور!

♻️گوگل از LiteRT-LM رونمایی کرد؛ چارچوبی برای اجرای مدل‌های زبانی بزرگ (LLM) به‌صورت آفلاین، با تأخیر بسیار پایین و بدون تماس API.

🔹 مزیت برای توسعه‌دهندگان:

✅اجرای مستقیم روی دستگاه (بدون وابستگی به سرورهای ابری)
✅حذف هزینه‌های API
✅دسترسی به هوش مصنوعی مولد محلی (Local GenAI)


🧠 نکات کلیدی:

❌همچنین LiteRT-LM هم‌اکنون در Gemini Nano و Gemma روی Chrome، Chromebook Plus و Pixel Watch استفاده می‌شود.
❌رابط C++ متن‌باز (نسخه پیش‌نمایش) برای ادغام در پروژه‌های سفارشی.

❌ساختار شامل دو بخش است:
• Engine:
شامل مدل پایه و منابع مشترک بین وظایف.
• Session:
محیط اختصاصی هر وظیفه با قابلیت Clone، Copy-on-Write و سوییچ سریع.

❌پشتیبانی از CPU، GPU و NPU با سازگاری بین‌سیستمی (Android، Linux، macOS، Windows).

❌برای Pixel Watch از نسخه سبک‌سازی‌شده استفاده شده تا در محدودیت حافظه و اندازه باینری جا بگیرد.


🧩 گوگل کل اکوسیستم هوش مصنوعی روی‌دستگاه را متن‌باز کرده است:

LiteRT:
موتور سریع اجرای مدل‌ها روی دستگاه.

LiteRT-LM:
رابط C++ مخصوص LLM با امکاناتی مثل ذخیره زمینه و کش پرسش‌ها.

LLM Inference API:
رابط‌های آماده برای Kotlin، Swift و JS برای جاسازی آسان GenAI در برنامه‌ها.


📎 جزئیات بیشتر:
🔗 developers.googleblog.com

#Google #LiteRT #LiteRTLM #GenAI #EdgeAI #هوش_مصنوعی #LLM
@rss_ai_ir