🧠✨ پژوهش جدید Anthropic: جداسازی «دانش خطرناک» از دانش عادی داخل مدل‌های زبانی

باز هم بحث Alignment، اما این‌بار با یک ایده واقعاً جالب. Anthropic روشی معرفی کرده به نام Selective Gradient Masking که هدفش اینه دانش خطرناک رو طوری داخل مدل ذخیره کنه که بعداً بشه خیلی تمیز حذفش کرد.

🔍 مسئله کجاست؟
در مرحله پری‌تریِن عملاً هیچ الاینمنتی وجود نداره و همه‌چیز بعداً اضافه می‌شه. تا امروز تنها راه این بود که داده‌های «خطرناک» رو از دیتاست حذف کنن که:

خیلی پرهزینه و زمان‌بره 🕰️

کلی دانش مفید هم همراهش حذف می‌شه و مدل ضعیف‌تر می‌شه 😕


🧩 راه‌حل Anthropic چیه؟
به‌جای دست زدن به دیتاست، کاری می‌کنن که دانش خطرناک توی یک بخش مشخص از پارامترهای مدل جمع بشه 👇

⚙️ مکانیزم کار:

برای هر بلاک ترنسفورمر یک هد توجه اضافه می‌شه با برچسب forget

وقتی داده «خطرناک» وارد می‌شه، همه گرادیان‌ها صفر می‌شن به‌جز گرادیان‌های forget

این باعث می‌شه دانش خطرناک فقط همون‌جا ذخیره بشه

در بعضی پاس‌ها، اکتیویشن‌ها عمداً صفر می‌شن تا مدل بدون این پارامترها هم پایدار بمونه


🌀 نکته خلاقانه:
حتی داده‌های خطرناک برچسب‌نخورده بعد از مدتی خودبه‌خود جذب این پارامترها می‌شن!
حال اینکه، Anthropic به این می‌گه اثر جذب (Absorption Effect)

📉 نتیجه؟
بعد از حذف این پارامترها:

مدل خیلی کمتر «احمق» می‌شه نسبت به حذف داده‌ها

رفتار مدل طوریه که انگار اصلاً چنین دانشی رو هیچ‌وقت ندیده، نه این‌که موقتاً فراموش کرده باشه


🎯 جمع‌بندی:
از نظر ایده و مهندسی، این یکی از جدی‌ترین تلاش‌ها برای حل ریشه‌ای مشکل الاینمنت محسوب می‌شه. هنوز اول راهه، ولی بذر مهمیه 🌱

🔗 لینک پژوهش:
https://alignment.anthropic.com/2025/selective-gradient-masking/

@rss_ai_ir

#هوش_مصنوعی #Alignment #Anthropic #LLM #ایمنی_هوش_مصنوعی #MachineLearning

🚀 مدل Paper2Slides حالا متن‌باز شد!

حالا می‌تونی مقاله‌های علمی و گزارش‌های فنی رو فقط با یک کلیک به اسلایدهای حرفه‌ای تبدیل کنی 📊✨

ما همین الان اسلایدهای مربوط به DeepSeek V3.2 رو باهاش ساختیم؛
استایل‌های مختلف، طراحی تمیز و خروجی واقعاً قابل ارائه 👌

🔥 اینکه Paper2Slides چه کارهایی می‌کنه؟

📄 پشتیبانی از فرمت‌های مختلف:
PDF، Word، Excel، PowerPoint و بیشتر

🧠 درک محتوا:
ایده‌های کلیدی، جدول‌ها، فرمول‌ها، نمودارها و داده‌ها رو خودش استخراج می‌کنه

🎨 شخصی‌سازی کامل:
تم‌های آماده + امکان تغییر استایل به سلیقه خودت

⚡ سرعت بالا:
اسلایدهای باکیفیت در چند دقیقه

🔗 گیت‌هاب:
github.com/HKUDS/Paper2Slides

📢 @rss_ai_ir

#AI #OpenSource #Presentation #Research #MachineLearning #Productivity

🚀 یک چارچوب بنیادین جدید برای فهم «سازگاری» در عامل‌های هوش مصنوعی

📘 پژوهشی ۶۵ صفحه‌ای از دانشگاه‌های استنفورد، پرینستون، هاروارد، واشنگتن و چند مرکز تراز اول دیگر، برای اولین‌بار یک طبقه‌بندی کامل از شیوه‌های سازگاری در سامانه‌های Agentic AI ارائه می‌دهد.

🧠 ایده‌ی اصلی چیست؟
تقریباً همه‌ی عامل‌های پیچیده‌ی امروزی را می‌توان با ۴ نوع پایه‌ای سازگاری توضیح داد:
دو نوع مربوط به خودِ عامل و دو نوع مربوط به ابزارهایی که عامل استفاده می‌کند.

🤖 عامل هوشمند یعنی چه؟
مدل‌هایی که می‌توانند:

ابزار صدا بزنند 🛠️

حافظه داشته باشند 🧩

وظایف چندمرحله‌ای انجام دهند 🔁


🔄 سازگاری یعنی چه؟
هر تغییری که عامل یا ابزارها بر اساس بازخورد انجام می‌دهند؛ از نتیجه‌ی اجرای کد تا ارزیابی انسانی.

🧩 ۴ نوع سازگاری معرفی‌شده:

A1 — سازگاری عامل از اجرای ابزار
عامل از نتیجه‌ی اجرای ابزارها یاد می‌گیرد (موفق شد/شکست خورد).

A2 — سازگاری عامل از ارزیابی خروجی
بهبود عامل بر اساس کیفیت خروجی‌ها (فیدبک انسانی یا خودکار).

T1 — سازگاری ابزار مستقل از عامل
ابزارها جداگانه آموزش می‌بینند، عامل ثابت می‌ماند.

T2 — سازگاری ابزار از سیگنال‌های عامل
ابزارها خودشان را با رفتار عامل وفق می‌دهند.

📊 چرا این کار مهم است؟

برای اولین‌بار روش‌های سازگاری عامل‌ها سیستماتیک شده‌اند.

کمک می‌کند هزینه، انعطاف‌پذیری و مقیاس‌پذیری را بهتر بسنجیم.

مسیر تکامل معماری‌های عامل‌محور نسل بعد را روشن می‌کند.


🔎 جمع‌بندی:
دو محور کلیدی داریم:

آیا عامل تغییر می‌کند؟

آیا ابزار تغییر می‌کند؟
و داده/بازخورد، سوخت هر دو است 🔥


📎 لینک مقاله:
https://github.com/pat-jj/Awesome-Adaptation-of-Agentic-AI/blob/main/paper.pdf

#AI #AgenticAI #Research #MachineLearning #LLM #Adaptation
@rss_ai_ir

⭐️مجموعه Nous Research کد منبع Nomos 1 را به‌صورت متن‌باز منتشر کرد

با وجود اندازه نسبتاً کوچک ۳۰ میلیارد پارامتر، این مدل موفق شد امتیاز 87 از 120 را در آزمون Putnam کسب کند؛ یکی از معتبرترین و سخت‌ترین مسابقات ریاضی جهان.

🔹 چنین امتیازی معادل رتبه دوم در میان ۳۹۸۸ شرکت‌کننده در Putnam 2024 است.
🔹 مدل Nomos 1 هشت حل کاملاً بی‌نقص ارائه داده است.
🔹 برای مقایسه، Qwen3-30B در همان شرایط تنها 24 از 120 امتیاز گرفت؛ موضوعی که نشان می‌دهد برتری Nomos بیشتر به کیفیت داده و فرایند آموزش برمی‌گردد، نه شرایط آزمون.

📌 نکته مهم:
ارزیابی پاسخ‌ها به‌صورت کور (Blind Review) انجام شده و توسط یک شرکت‌کننده واقعی Putnam از میان ۲۰۰ نفر برتر صورت گرفته که پاسخ‌های ناشناس را بررسی کرده است.

⏱ شرایط زمانی نیز کاملاً واقعی بوده:
— برای هر بخش، ۳ ساعت زمان دقیقاً مشابه شرکت‌کنندگان انسانی.

🧠 ساختار استدلال Nomos:

ابتدا چند «worker» مسائل سخت‌تر را حل می‌کنند و خودشان راه‌حل‌ها را ارزیابی می‌کنند

سپس در مرحله نهایی، سیستم پاسخ‌ها را تجمیع کرده و بهترین نتیجه را انتخاب می‌کند


🔗 لینک‌ها:
▪ HuggingFace: https://huggingface.co/NousResearch/nomos-1
▪ GitHub: https://github.com/NousResearch/nomos

@rss_ai_ir

#AI #LLM #MachineLearning #Math #OpenSource