Python3

Forwarded from گوربه

🎓 آموزش معماری Mamba

📍 قسمت ۳: یک مثال واقعی – Mamba چطور یه جمله رو می‌فهمه؟

سلام به هوش‌مصنوعی‌بازهای آینده! 🧠
تو قسمت قبل فهمیدیم Mamba برخلاف ترنسفورمر، متن رو به شکل ترتیبی و کم‌هزینه پردازش می‌کنه.

حالا بیایید با یه مثال واقعی ببینیم دقیقاً چه اتفاقی داخل Mamba می‌افته وقتی یه جمله ساده واردش می‌کنیم.

📝 جمله‌ای که می‌خوایم بررسی کنیم:

> «علی امروز فوتبال بازی کرد.»

می‌خوایم ببینیم مدل Mamba چطور این جمله رو مرحله‌به‌مرحله پردازش می‌کنه.

🔄 مرحله ۱: تبدیل کلمات به بردار

هر کلمه اول تبدیل می‌شه به یه بردار عددی (مثل ترنسفورمرها)

مثلاً:

* «علی» → \[0.3, 0.1, 0.9, ...]
* «امروز» → \[0.7, 0.2, 0.4, ...]
* و همین‌طور بقیه

🔹 این کار با Embedding Layer انجام می‌شه. یعنی متن رو به زبان ریاضی تبدیل می‌کنیم.

🔄 مرحله ۲: به‌روزرسانی حافظه (State Update)

حالا Mamba شروع می‌کنه هر کلمه رو به‌ترتیب بررسی کردن:

1. اول «علی» وارد می‌شه → مدل یه "وضعیت اولیه" (state) براش می‌سازه
2. بعد «امروز» میاد → با وضعیت قبلی ترکیب می‌شه → وضعیت جدید ساخته می‌شه
3. بعد «فوتبال» میاد → دوباره وضعیت قبلی به‌روزرسانی می‌شه
4. همین‌طور ادامه می‌ده تا به «کرد» برسه

🔁 تو هر مرحله فقط یه وضعیت کوچیک (یه بردار چندعددی) به‌روزرسانی می‌شه، نه اینکه کل جمله بازنگری بشه!

🔄 مرحله ۳: گیت‌ها (Gating)

Mamba از یه چیزی شبیه دریچه (gate) استفاده می‌کنه که تصمیم می‌گیره:

* چه مقدار از اطلاعات جدید وارد حافظه بشه
* چه مقدار از اطلاعات قبلی حفظ بشه
* و چی باید از بین بره

این باعث می‌شه فقط چیزای مهم باقی بمونن. مثل حافظه‌ی فعال مغز ما که چیزای بی‌ربط رو فراموش می‌کنه!

🔄 مرحله ۴: تولید خروجی

وقتی همه‌ی کلمات خونده شدن، مدل می‌تونه برای هر کلمه یه خروجی بده.
مثلاً:

* تصمیم بگیره جمله درباره کیه (علی)
* چه کاری انجام داده (بازی کرده)
* کِی (امروز)

✅ و این خروجی می‌تونه تو کارهای مختلف استفاده بشه:

* پیش‌بینی کلمه بعدی
* خلاصه‌سازی
* ترجمه
* یا تولید پاسخ تو چت‌بات

🧠 تفاوت کلیدی با ترنسفورمر:

ترنسفورمر به کل جمله همزمان نگاه می‌کنه.
Mamba ولی یه حافظه‌ی زنده داره که دائم آپدیت می‌شه.

🌊 شبیه یه جریان هست، نه یه عکس از کل جمله!
و این یعنی سرعت و مصرف کمتر، بدون افت عملکرد.

📌 نتیجه‌گیری پارت ۳:

* هر کلمه به‌ترتیب وارد مدل می‌شه
* یه وضعیت کوچیک (state) با هر ورودی آپدیت می‌شه
* مدل فقط اطلاعات لازم رو حفظ می‌کنه
* در نهایت خروجی دقیق و با معنا تولید می‌کنه
* بدون نیاز به attention یا محاسبات سنگین!

🔜 در قسمت بعد (پارت ۴):
می‌ریم سراغ ساختار داخلی Mamba به زبان خیلی ساده
تا بفهمیم دقیقاً این «state update» و «gate» چطور توی کد کار می‌کنن!

❤3

70 views08:31