انتشار مدل اپن‌سورس Phi-3.5-MoE توسط مایکروسافت

نسخه جدید مدل زبانی Phi توسط مایکروسافت به نام Phi-3.5-MoE منتشر شد. این نسخه دارای معماری MoE است (برای آشنایی با این معماری اینجا را بخوانید) و جز مدل‌های زبانی کوچک و یا به اختصار SLM است. هر prompt این مدل توانایی دریافت حدودا ۱۲۵ هزار لغت را دارد (سایز context window حدودا ۱۲۸ کیلو بایت است). این نسخه نسبت به مدل‌های مشابه Gemma 2 9B و Llama 3 8B عملکرد بهتری داشته است. Phi-3.5-MoE به صورت اپن‌سورس تحت لایسنس MIT در پلتفرم HuggingFace در دسترس عموم قرار گرفته است (اینجا را مشاهده کنید).

#moe
#phi
#microsoft

🌑 آقای هوش مصنوعی🌑
🎥رسانه هوش مصنوعی دانشگاه تهران

@MrArtificialintelligence