🤖 چطور میتوان چندین مدل متخصص را بدون آموزش دوباره، در یک مدل واحد و قدرتمند ادغام کرد؟
پژوهشگران از CAS، HKISI-CAS، Sun Yat-sen و Peking روشی جدید به نام RobustMerge معرفی کردهاند؛ تکنیکی برای ترکیب چندین مدل تخصصی بدون نیاز به آموزش مجدد و بدون ریسک نشت دادهها.
🔍 مسئله اصلی
هر مدل یک توانایی خاص دارد:
OCR 📄 بینایی 👁 گفتگو 💬 کدنویسی 🧑💻
اما ادغام آنها همیشه باعث افت دقت، تداخل وزنها و هزینهی سنگین آموزش میشود.
🧠 ایده RobustMerge این روش با دو تکنیک کلیدی، تعادل میان مدلها را حفظ میکند:
✔️ Low-Rank Analysis
برای استخراج جهتهای اصلی دانش
✔️ Cross-Task Normalization
برای جلوگیری از غالب شدن یک مدل بر دیگران
نتیجه:
چندین مدل متخصص تبدیل به یک مدل همهکاره (MLLM) میشوند که توانایی خود را حفظ کرده و حتی در برخی وظایف عملکرد بهتر نشان میدهد.
📌 لینکها:
Paper: arxiv.org/abs/2502.17159
Code: github.com/AuroraZengfh/RobustMerge
---
@rss_ai_ir
#هوش_مصنوعی #ادغام_مدلها #MLLM #AI #RobustMerge #پژوهش_هوش_مصنوعی #بدون_آموزش_مجدد
پژوهشگران از CAS، HKISI-CAS، Sun Yat-sen و Peking روشی جدید به نام RobustMerge معرفی کردهاند؛ تکنیکی برای ترکیب چندین مدل تخصصی بدون نیاز به آموزش مجدد و بدون ریسک نشت دادهها.
🔍 مسئله اصلی
هر مدل یک توانایی خاص دارد:
OCR 📄 بینایی 👁 گفتگو 💬 کدنویسی 🧑💻
اما ادغام آنها همیشه باعث افت دقت، تداخل وزنها و هزینهی سنگین آموزش میشود.
🧠 ایده RobustMerge این روش با دو تکنیک کلیدی، تعادل میان مدلها را حفظ میکند:
✔️ Low-Rank Analysis
برای استخراج جهتهای اصلی دانش
✔️ Cross-Task Normalization
برای جلوگیری از غالب شدن یک مدل بر دیگران
نتیجه:
چندین مدل متخصص تبدیل به یک مدل همهکاره (MLLM) میشوند که توانایی خود را حفظ کرده و حتی در برخی وظایف عملکرد بهتر نشان میدهد.
📌 لینکها:
Paper: arxiv.org/abs/2502.17159
Code: github.com/AuroraZengfh/RobustMerge
---
@rss_ai_ir
#هوش_مصنوعی #ادغام_مدلها #MLLM #AI #RobustMerge #پژوهش_هوش_مصنوعی #بدون_آموزش_مجدد
🥰9👏6🎉5🔥4❤2👍2😁2