🇵🇱 استارتاپ لهستانی Pathway معماری جدیدی از شبکه‌های عصبی معرفی کرد —

🧬 Biological Dragon Hatchling (BDH)

هدف از این پروژه، ترکیب دو مسیر اصلی تکامل هوش مصنوعی است: ترنسفورمرها و مدل‌های الهام‌گرفته از مغز انسان.
مطالعات (از جمله پژوهش اخیر DeepMind) نشان داده‌اند که بین ساختار مغز و معماری ترنسفورمر شباهت‌های عمیقی وجود دارد — اما مدل‌های زبانی امروزی هنوز فاقد چند ویژگی کلیدی مغز هستند.

در BDH، پژوهشگران Pathway تصمیم گرفتند این شکاف را پر کنند و برخی ویژگی‌های واقعی مغز را درون ترنسفورمر «پیوند» دهند.
نتیجه، یک شبکه گرافی است که در آن:

نورون‌ها → رأس‌ها (nodes)

سیناپس‌ها → یال‌های وزن‌دار (weighted edges) هستند.
هر نورون فقط با همسایگان خود ارتباط دارد — درست مثل مغز انسان 🧠



---

⚙️ روش یادگیری:

در این مدل از قانون هب (Hebb’s Rule) استفاده شده است — همان قانونی که در مغز واقعی هم برقرار است:

> «نورون‌هایی که با هم فعال می‌شوند، ارتباط‌شان قوی‌تر می‌شود.»



اگر دو نورون A و B بارها همزمان فعال شوند، وزن سیناپس بین آنها افزایش می‌یابد.
در عمل، این مکانیزم مشابه نوعی توجه (attention) است.


---

🧠 حافظه کوتاه‌مدت و بلندمدت:

وزن‌ها در این مدل به دو بخش تقسیم می‌شوند:

ثابت (Fixed weights): حافظه بلندمدت؛ فقط در مرحله آموزش به‌روز می‌شوند.

پویا (Dynamic weights): حافظه کوتاه‌مدت؛ در طول فرایند استدلال تغییر می‌کنند.
هر گام استدلال، در واقع نوعی «به‌روزرسانی محلی» در شبکه سیناپسی است.



---

💻 نسخه‌ی تانسوری (BDH-GPU):

✳️برای آموزش سریع‌تر، نسخه‌ای از BDH به‌صورت تانسوری بازنویسی شده که با ماتریس‌ها و وکتورها کار می‌کند — یعنی می‌توان آن را مثل ترنسفورمر معمولی آموزش داد.
✳️ساختار شامل لایه‌های Attention، MLP، ReLU و اکتیواسیون‌های اختصاصی است.


---

📊 نتایج جالب:

1️⃣ قابلیت تفسیر بالا:
هر جفت نورون (i, j) سیناپس مخصوص به خود را دارد و وضعیت آن قابل مشاهده است.
هر نورون معنای مشخصی دارد — واقعاً یک مفهوم واحد را نمایش می‌دهد.

2️⃣ ادغام ساده مدل‌ها:
دو مدل BDH را می‌توان با یک کنکات ساده (concatenation) به هم متصل کرد — فوق‌العاده برای مقیاس‌پذیری.

3️⃣ قانون مقیاس (Scaling Laws):
همچنین BDH همان رفتار مقیاس‌پذیری GPT-2 را نشان می‌دهد، و در تعداد پارامتر برابر، به دقت مشابهی در چندین وظیفه دست یافته است.
این یعنی هسته اصلی توان ترنسفورمر حفظ شده است ⚡


---

🔗 کد منبع در GitHub
📄 مقاله در arXiv

@rss_ai_ir
#هوش_مصنوعی #شبکه_عصبی #Pathway #BDH #AI #DeepLearning #Neuroscience #Transformers

⚡️ معماری Mamba-3 بی‌سروصدا در کنفرانس ICLR منتشر شد — و شاید این آغاز پایان عصر ترنسفورمرها باشد.

✅معماری Mamba-3 نسل جدیدی از معماری‌های مبتنی بر State Space Models (SSM) است که مدل‌ها را هنگام کار با کانتکست‌های طولانی‌تر، سریع‌تر، پایدارتر و کارآمدتر می‌کند.

✅در این معماری دیگر خبری از Attention Layers نیست — مدل به‌جای آن، وضعیت درونی (internal state) خود را در طول زمان ذخیره و به‌روزرسانی می‌کند.


---

📘 مروری کوتاه بر تکامل مامبا:

🔹 Mamba-1:
✳️مفهوم پویایی پیوسته (continuous dynamics) و حافظه انتخابی (selective memory) را معرفی کرد — یعنی مدل می‌توانست به‌صورت هوشمند فقط بخش‌های مهم اطلاعات را به خاطر بسپارد، بدون هزینه سنگین توجه.

🔹 Mamba-2:
✳️نشان داد که به‌روزرسانی وضعیت و مکانیزم توجه، از نظر ریاضی دو روی یک سکه‌اند — و همین کشف باعث شد محاسبات روی GPUها بسیار سریع‌تر شود.

🔹 Mamba-3:
✳️این ایده را به بلوغ رساند. حالا حافظه داخلی مدل به‌صورت پیوسته و نرم‌تر تغییر می‌کند، زیرا به‌جای گام ساده اویلر (Euler Step) از انتگرال‌گیری ذوزنقه‌ای (Trapezoidal Integration) استفاده می‌کند.

✳️در این روش، به‌جای محاسبه‌ی تغییر وضعیت فقط در انتهای بازه، مدل میانگینی از ابتدا و انتها را با ضریب تطبیقی λ لحاظ می‌کند.
نتیجه: دقت بالاتر (تقریب مرتبه دوم) و پویایی طبیعی‌تر حافظه.


---

🧠 چه چیزهایی زیر کاپوت تغییر کرده؟

♻️حافظه به‌صورت ریتمیک (Rhythmic Memory) عمل می‌کند — یعنی می‌تواند الگوهای تکرارشونده و تناوبی را (مثل ساختار زبان یا موسیقی) به‌خوبی یاد بگیرد.

♻️طراحی چندورودی-چندخروجی (MIMO) امکان پردازش موازی چند جریان داده را فراهم کرده — دقیقاً مطابق با ساختار GPUهای مدرن.



---

⚙️ مزایا در عمل:

✅ مدیریت کارآمد توالی‌های طولانی (متن، ژنوم، داده‌های زمانی)
✅ سرعت خطی و تأخیر ثابت — مناسب برای چت‌بات‌ها، ترجمه زنده، و گفتار به گفتار (real-time)
✅ بهره‌وری انرژی بالا و مقیاس‌پذیری عالی — راه را برای هوش مصنوعی روی دستگاه (on-device AI) هموار می‌کند.


---

🚀 معماری Mamba-3 فقط جایگزینی سریع‌تر برای ترنسفورمر نیست — بلکه معماری‌ای تازه است که عمق درک متنی، سرعت و پایداری را هم‌زمان در خود دارد.
از سرورهای عظیم تا گوشی‌های هوشمند.

🟢 جزئیات:
🔗 openreview.net/pdf?id=HwCvaJOiCj

@rss_ai_ir
#هوش_مصنوعی #Mamba3 #SSM #معماری_شبکه_عصبی #LLM #DeepLearning #AI