مدلی جمع‌وجور اما قوی؛ نگاهی به EmbeddingGemma گوگل

مدل EmbeddingGemma یکی از جدیدترین مدل‌های گوگل در حوزه‌ی text embedding هست که با وجود حجم کم، عملکرد چشمگیری ارائه می‌ده. این مدل فقط ۳۰۸ میلیون پارامتر داره اما در بنچمارک معتبر MTEB تونسته در میان مدل‌های زیر ۵۰۰ میلیون، جزو بهترین‌ها باشه. همین ویژگی باعث شده هم سبک و سریع باشه، هم دقت بالایی داشته باشه.

ساختار EmbeddingGemma بر پایه‌ی Gemma3 طراحی شده و برخلاف بسیاری از مدل‌های مشابه که صرفاً از causal attention استفاده می‌کنن، این مدل از bi-directional attention بهره می‌بره. نتیجه اینه که مثل یک encoder قدرتمند عمل می‌کنه و در وظایفی مثل semantic search یا retrieval کیفیت بهتری نشون می‌ده. ورودی‌های طولانی تا حدود ۲۰۴۸ توکن رو پردازش می‌کنه و خروجی اولیه‌اش یک بردار ۷۶۸ بعدی هست. علاوه بر این، با کمک روش Matryoshka Representation Learning (MRL) می‌شه ابعاد رو تا ۱۲۸ کاهش داد، بدون افت محسوس در کیفیت.

از نظر کاربرد، EmbeddingGemma دامنه‌ی گسترده‌ای رو پوشش می‌ده: از semantic search و دسته‌بندی و خوشه‌بندی متن گرفته تا retrieval-augmented generation (RAG) و حتی code search. این مدل با ابزارهایی مثل Sentence Transformers، LangChain، LlamaIndex و Haystack به‌طور کامل سازگاره و همین باعث می‌شه هم در محیط‌های سروری و هم روی دستگاه‌های شخصی یا حتی در مرورگرها به‌راحتی استفاده بشه، بدون نیاز به اینترنت و مصرف حافظه‌ای کمتر از 200 مگابایت در نسخه‌های کوانتایز شده.

داده‌های آموزشی EmbeddingGemma شامل حدود ۳۲۰ میلیارد توکن از منابع مختلف مثل متون عمومی، مستندات فنی، داده‌های کد و داده‌های ساخته‌شده برای وظایف خاصه. تمام این داده‌ها پیش از آموزش با دقت انتخاب و فیلتر شدن تا کیفیت و ایمنی نهایی مدل حفظ بشه.

قابلیت fine-tuning هم یکی از نقاط قوت اصلی این مدل محسوب می‌شه. برای نمونه، نسخه‌ای که روی دیتاست پزشکی MIRIAD بازآموزی فاین تون شده، عملکردی بهتر از مدل‌هایی با دو برابر اندازه نشون داده. این یعنی EmbeddingGemma برای حوزه‌های تخصصی هم به‌راحتی قابل تطبیقه و می‌تونه خروجی قابل اعتماد ارائه بده.

در مجموع، EmbeddingGemma مدلی سبک، سریع و امنه که در عین حال چندزبانه هم هست. ترکیب این ویژگی‌ها باعث می‌شه گزینه‌ای ایده‌آل برای پژوهشگران، توسعه‌دهندگان و شرکت‌هایی باشه که به دنبال یک راهکار کارآمد برای تولید embedding با کیفیت بالا و هزینه‌ی پایین هستن.

🔗 لینک صفحه hf مدل

🔤🔤🔤🔤🔤🔤🔤

🥇 اهورا اولین اپراتور هوش مصنوعی راهبردی ایران در حوزه ارائه خدمات و سرویس‌های زیرساخت هوش مصنوعی

🛍کد تخفیف ۱۰ درصدی محصولات اهورا برای اعضای کانال
AHURA5

🌐 لینک وب‌سایت اهورا

@reza_jafari_ai