🪄 معرفی MagicTryOn؛ نسل تازه‌ی ویدئو-پروبار مجازی 👗🎥

🔹 پروژه‌ی MagicTryOn با بهره‌گیری از Diffusion Transformer، امکان تغییر پوشاک روی ویدئو را فراهم می‌کند، بدون آنکه جزئیات لباس از بین برود.

✨ اجزای کلیدی:

✅مبتنی بر VideoX-Fun / Wan2.1-I2V-14B برای تولید ویدئو.
✅توصیف دقیق لباس‌ها با کمک Qwen2.5-VL-7B-Instruct.
✅استفاده از ابزارهای مکمل مانند openpose و densepose برای هماهنگی بدن و لباس.


⚡️ دستاورد:
اگر به دنبال فاین‌تیون کردن WAN 2.1 برای پروبار مجازی بودید، این پروژه همان چیزی است که نیاز دارید.

📌 کد و جزئیات: GitHub
📖 پروژه: MagicTryOn

@rss_ai_ir

#هوش_مصنوعی #VirtualTryOn #Image2Video #Diffusion #Transformers #AIfashion

🔥 RenderFormer
؛ آینده‌ی رندرینگ سه‌بعدی با هوش مصنوعی

مایکروسافت ریسرچ از مدل جدیدی به نام RenderFormer رونمایی کرده که می‌تواند جایگزین روش‌های کلاسیک رندرینگ مثل Ray Tracing و Rasterization شود. این مدل فقط با یادگیری ماشین قادر است صحنه‌های سه‌بعدی واقعی با سایه‌ها، بازتاب‌ها و نورپردازی جهانی تولید کند.

🔹 چطور کار می‌کند؟

✳️صحنه به صورت توکن‌های مثلثی شامل موقعیت، نرمال و جنس ماده نمایش داده می‌شود.
✳️منابع نوری هم با مثلث‌ها مدل‌سازی می‌شوند.

دو ترنسفورمر اصلی دارد:

1. مستقل از زاویه دید → برای سایه‌ها و نور غیرمستقیم
2. وابسته به زاویه دید → برای بازتاب‌ها و افکت‌های پرسپکتیوی




🔹 آموزش و نتایج

✅دیتاست: Objaverse با صدها هزار شیء سه‌بعدی
✅آموزش دو مرحله‌ای: ابتدا کیفیت پایین‌تر، سپس رندر با جزئیات بالا
✅خروجی: تصاویر واقع‌گرایانه با بازتاب‌ها و نورپردازی دقیق


🔹 محدودیت‌ها و آینده

♻️در صحنه‌های بسیار پیچیده هنوز مقیاس‌پذیری سخت است
♻️نیازمند منابع محاسباتی سنگین

⛔️اما راه را برای نسل جدیدی از فناوری‌ها باز می‌کند: از ویدیوهای واقع‌گرایانه تا کاربردهای رباتیک


📎 جزییات بیشتر:
🔗 RenderFormer - Microsoft Research

@rss_ai_ir

#RenderFormer #مایکروسافت #NeuralRendering #3DGraphics #هوش_مصنوعی #Transformers #GlobalIllumination

🇵🇱 استارتاپ لهستانی Pathway معماری جدیدی از شبکه‌های عصبی معرفی کرد —

🧬 Biological Dragon Hatchling (BDH)

هدف از این پروژه، ترکیب دو مسیر اصلی تکامل هوش مصنوعی است: ترنسفورمرها و مدل‌های الهام‌گرفته از مغز انسان.
مطالعات (از جمله پژوهش اخیر DeepMind) نشان داده‌اند که بین ساختار مغز و معماری ترنسفورمر شباهت‌های عمیقی وجود دارد — اما مدل‌های زبانی امروزی هنوز فاقد چند ویژگی کلیدی مغز هستند.

در BDH، پژوهشگران Pathway تصمیم گرفتند این شکاف را پر کنند و برخی ویژگی‌های واقعی مغز را درون ترنسفورمر «پیوند» دهند.
نتیجه، یک شبکه گرافی است که در آن:

نورون‌ها → رأس‌ها (nodes)

سیناپس‌ها → یال‌های وزن‌دار (weighted edges) هستند.
هر نورون فقط با همسایگان خود ارتباط دارد — درست مثل مغز انسان 🧠



---

⚙️ روش یادگیری:

در این مدل از قانون هب (Hebb’s Rule) استفاده شده است — همان قانونی که در مغز واقعی هم برقرار است:

> «نورون‌هایی که با هم فعال می‌شوند، ارتباط‌شان قوی‌تر می‌شود.»



اگر دو نورون A و B بارها همزمان فعال شوند، وزن سیناپس بین آنها افزایش می‌یابد.
در عمل، این مکانیزم مشابه نوعی توجه (attention) است.


---

🧠 حافظه کوتاه‌مدت و بلندمدت:

وزن‌ها در این مدل به دو بخش تقسیم می‌شوند:

ثابت (Fixed weights): حافظه بلندمدت؛ فقط در مرحله آموزش به‌روز می‌شوند.

پویا (Dynamic weights): حافظه کوتاه‌مدت؛ در طول فرایند استدلال تغییر می‌کنند.
هر گام استدلال، در واقع نوعی «به‌روزرسانی محلی» در شبکه سیناپسی است.



---

💻 نسخه‌ی تانسوری (BDH-GPU):

✳️برای آموزش سریع‌تر، نسخه‌ای از BDH به‌صورت تانسوری بازنویسی شده که با ماتریس‌ها و وکتورها کار می‌کند — یعنی می‌توان آن را مثل ترنسفورمر معمولی آموزش داد.
✳️ساختار شامل لایه‌های Attention، MLP، ReLU و اکتیواسیون‌های اختصاصی است.


---

📊 نتایج جالب:

1️⃣ قابلیت تفسیر بالا:
هر جفت نورون (i, j) سیناپس مخصوص به خود را دارد و وضعیت آن قابل مشاهده است.
هر نورون معنای مشخصی دارد — واقعاً یک مفهوم واحد را نمایش می‌دهد.

2️⃣ ادغام ساده مدل‌ها:
دو مدل BDH را می‌توان با یک کنکات ساده (concatenation) به هم متصل کرد — فوق‌العاده برای مقیاس‌پذیری.

3️⃣ قانون مقیاس (Scaling Laws):
همچنین BDH همان رفتار مقیاس‌پذیری GPT-2 را نشان می‌دهد، و در تعداد پارامتر برابر، به دقت مشابهی در چندین وظیفه دست یافته است.
این یعنی هسته اصلی توان ترنسفورمر حفظ شده است ⚡


---

🔗 کد منبع در GitHub
📄 مقاله در arXiv

@rss_ai_ir
#هوش_مصنوعی #شبکه_عصبی #Pathway #BDH #AI #DeepLearning #Neuroscience #Transformers