✨ اوپن‌اِی‌آی روشی تازه برای وادار کردن مدل‌ها به اعتراف درباره خطاهای خود پیدا کرد – تکنیکی به نام Confessions.

یکی از چالش‌های مهم در مدل‌های زبانی این است که گاهی برای «خوش‌آمدگویى به ارزیاب» تلاش می‌کنند و به‌جای صداقت، پاسخ‌های قانع‌کننده اما غلط می‌سازند؛ یا حتی نقض دستورالعمل‌ها را پنهان می‌کنند.

🔍 تکنیک Confessions دقیقاً برای همین مشکل طراحی شده است.

این روش چگونه کار می‌کند؟

1️⃣ مدل ابتدا پاسخ عادی خود را تولید می‌کند.
2️⃣ سپس به‌طور مستقل یک گزارش ثانویه می‌نویسد و در آن بررسی می‌کند:

آیا دستورالعمل‌ها را نقض کرده؟

در کدام بخش‌ها احتمال خطا وجود دارد؟

کدام قسمت‌های پاسخ مشکوک یا غیرمطمئن بوده‌اند؟
3️⃣ پاداش نه برای عالی‌بودن پاسخ، بلکه برای صداقت داده می‌شود.


⚙️ هدف این است که مدل به رفتار خودش نگاه انتقادی داشته باشد، نه اینکه برای گرفتن نمره بهتر، خطا را پنهان کند.

📊 نتایج اولیه

در آزمایش‌های انجام‌شده روی GPT-5 Thinking احتمال اینکه مدل دستورالعمل را نقض کند و سعی در پنهان‌کردن آن داشته باشد به ۴.۴٪ کاهش یافت.

⚠️ نکته مهم:
اینکه Confessions جلوگیری از hallucination نیست؛
بلکه ابزاری برای شناسایی لحظه‌هایی است که مدل احتمالاً «لغزیده»، اشتباه کرده یا از دستورالعمل منحرف شده است.

🔗 جزئیات بیشتر:
openai.com/index/how-confessions-can-keep-language-models-honest/

#هوش_مصنوعی #AI #OpenAI #LLM #Confessions #GPT5 #ایمنی_مدل #پژوهش_هوش_مصنوعی @rss_ai_ir

🚀 بایت‌دنس مدل جدید برنامه‌نویسی خود را معرفی کرد: Doubao Seed Code

بایت‌دنس نسخه تازه‌ای از مدل‌های کدنویسی خود را منتشر کرده است؛ مدلی که علاوه بر درک و تولید کد، قابلیت ورود تصویر هم دارد و می‌تواند محتوای بصری را برای تحلیل مسائل برنامه‌نویسی بررسی کند.

نکات کلیدی:

♻️پشتیبانی از ورودی تصویری برای تحلیل بصری

♻️انتشار بِنچمارک‌ها و قیمت‌ها

♻️عملکرد بهتر از Sonnet 4.5 در آزمون‌های SWE-Bench-Verified و Multi-SWE

♻️عملکرد کمی ضعیف‌تر نسبت به Sonnet 4.5 در Terminal Bench


♻️این مدل بخشی از خانواده Doubao است که با هدف ادغام LLMها در جریان کاری توسعه‌دهندگان و سیستم‌های Edge Inference طراحی شده است.

🔗 تست و اطلاعات بیشتر:
https://exp.volcengine.com/ark?model=doubao-seed-code-preview-251028

#هوش_مصنوعی #بایت‌دنس #مدل_کدنویسی #AI #LLM

🚀 بزرگ‌ترین جهش GPT-5.2 احتمالاً روی بنچمارک ARC-AGI اتفاق افتاده است

🧠 در ARC-AGI 1، این مدل به امتیاز 86.2٪ رسیده؛
در حالی که GPT-5.1 روی 72.8٪ و Gemini 3 Pro روی 75٪ متوقف شده بودند. این یک جهش بسیار جدی محسوب می‌شود.

⚡️ نسخه GPT-5.2 Pro با سطح استدلال X-High حتی به 90.5٪ رسیده، آن هم با هزینه‌ی 11.64 دلار برای هر مسئله.
برای مقایسه: فقط یک سال پیش، مدل منتشرنشده‌ی o3-High با 88٪، حدود 4500 دلار برای هر مسئله هزینه داشت.

📈 نتیجه؟
کارایی در عرض یک سال حدود 390 برابر افزایش یافته است.

🔥 اما در ARC-AGI 2 اوضاع حتی جالب‌تر می‌شود:
امتیاز از 17.6٪ به 52.9٪ جهش کرده!
نزدیک‌ترین رقیب یعنی Claude Opus 4.5 تنها 37.6٪ گرفته است.
و فقط یادآوری: بین انتشار GPT-5.1 و GPT-5.2 فقط یک ماه فاصله بوده 😐

⏳ نسخه GPT-5.2 Pro X-High احتمالاً امتیاز بالاتری هم دارد، اما برگزارکنندگان بنچمارک گفته‌اند به‌دلیل API timeout هنوز نتوانسته‌اند نتیجه را به‌طور قطعی تأیید کنند.
سطح متوسط انسان در ARC-AGI 2 حدود 60٪ است… باید دید آیا مدل از انسان عبور می‌کند یا نه 👀

📡 @rss_ai_ir

#AI #GPT52 #ARCAGI #هوش_مصنوعی #LLM #Benchmark #AGI

🧠✨ پژوهش جدید Anthropic: جداسازی «دانش خطرناک» از دانش عادی داخل مدل‌های زبانی

باز هم بحث Alignment، اما این‌بار با یک ایده واقعاً جالب. Anthropic روشی معرفی کرده به نام Selective Gradient Masking که هدفش اینه دانش خطرناک رو طوری داخل مدل ذخیره کنه که بعداً بشه خیلی تمیز حذفش کرد.

🔍 مسئله کجاست؟
در مرحله پری‌تریِن عملاً هیچ الاینمنتی وجود نداره و همه‌چیز بعداً اضافه می‌شه. تا امروز تنها راه این بود که داده‌های «خطرناک» رو از دیتاست حذف کنن که:

خیلی پرهزینه و زمان‌بره 🕰️

کلی دانش مفید هم همراهش حذف می‌شه و مدل ضعیف‌تر می‌شه 😕


🧩 راه‌حل Anthropic چیه؟
به‌جای دست زدن به دیتاست، کاری می‌کنن که دانش خطرناک توی یک بخش مشخص از پارامترهای مدل جمع بشه 👇

⚙️ مکانیزم کار:

برای هر بلاک ترنسفورمر یک هد توجه اضافه می‌شه با برچسب forget

وقتی داده «خطرناک» وارد می‌شه، همه گرادیان‌ها صفر می‌شن به‌جز گرادیان‌های forget

این باعث می‌شه دانش خطرناک فقط همون‌جا ذخیره بشه

در بعضی پاس‌ها، اکتیویشن‌ها عمداً صفر می‌شن تا مدل بدون این پارامترها هم پایدار بمونه


🌀 نکته خلاقانه:
حتی داده‌های خطرناک برچسب‌نخورده بعد از مدتی خودبه‌خود جذب این پارامترها می‌شن!
حال اینکه، Anthropic به این می‌گه اثر جذب (Absorption Effect)

📉 نتیجه؟
بعد از حذف این پارامترها:

مدل خیلی کمتر «احمق» می‌شه نسبت به حذف داده‌ها

رفتار مدل طوریه که انگار اصلاً چنین دانشی رو هیچ‌وقت ندیده، نه این‌که موقتاً فراموش کرده باشه


🎯 جمع‌بندی:
از نظر ایده و مهندسی، این یکی از جدی‌ترین تلاش‌ها برای حل ریشه‌ای مشکل الاینمنت محسوب می‌شه. هنوز اول راهه، ولی بذر مهمیه 🌱

🔗 لینک پژوهش:
https://alignment.anthropic.com/2025/selective-gradient-masking/

@rss_ai_ir

#هوش_مصنوعی #Alignment #Anthropic #LLM #ایمنی_هوش_مصنوعی #MachineLearning

🧠 خلاصه‌ی مهم System Card مدل GPT-5.2

🔹 مدل GPT-5.2 به‌طور محسوسی صادق‌تر شده است. در ترافیک واقعی، نرخ فریب در نسخه Thinking به ۱.۶٪ کاهش یافته، در حالی‌که این عدد در GPT-5.1 حدود ۷.۷٪ بود.

🛡️ مقاومت بالاتر در برابر فریب و دستکاری
در تست‌هایی که عمداً سعی در گمراه‌کردن مدل داشتند، نرخ خطا از ۱۱.۸٪ به ۵.۴٪ رسیده است.

🔐 پیشرفت جدی در مقابله با Prompt Injection
نسخه‌های Instant و Thinking تقریباً تمام تست‌های شناخته‌شده را پاس کرده‌اند (۰.۹۹۷ و ۰.۹۷۸). البته OpenAI تأکید می‌کند که این تضمین کامل برای حملات جدید نیست.

💚 جهش بزرگ در موضوعات حساس انسانی
به‌ویژه در سلامت روان و وابستگی احساسی:
• سلامت روان: ۰.۹۱۵ (قبلاً ۰.۶۸۴)
• وابستگی احساسی: ۰.۹۵۵ (قبلاً ۰.۷۸۵)

🔞 مدیریت بهتر محتوای +۱۸
برای کاربران بزرگسال، رد درخواست‌ها کمتر شده؛ بدون اینکه قوانین شُل شود یا دسترسی نوجوانان افزایش یابد.

👶 تشخیص خودکار سن کاربران
برای حساب‌های زیر ۱۸ سال، محدودیت‌های سخت‌گیرانه‌تری روی محتوای حساس اعمال می‌شود.

📊 دقت واقعی بالاتر
با فعال بودن مرور وب، نرخ هالوسینیشن در چند حوزه تخصصی به زیر ۱٪ رسیده است.

🧬 ارزیابی ایمنی پیشرفته
در چارچوب Preparedness Framework، مدل در زیست‌فناوری و شیمی «بسیار توانمند» ارزیابی شده و محافظت‌های اضافی فعال شده‌اند.

🧪 بررسی مستقل
Apollo Research هیچ نشانه‌ای از خرابکاری پنهان، خودحفاظتی یا رفتار مخرب پیدا نکرده؛ ریسک فاجعه‌ای بسیار پایین ارزیابی شده است.

✨ جمع‌بندی:
GPT-5.2 یک گام جدی رو به جلو در صداقت، ایمنی، پایداری و کیفیت پاسخ‌ها برداشته است.

📎 منبع:
cdn.openai.com/pdf/3a4153c8-c748-4b71-8e31-aecbde944f8d/oai_5_2_system-card.pdf

@rss_ai_ir

#هوش_مصنوعی #GPT52 #OpenAI #AI_Safety #LLM #فناوری

🚀 یک چارچوب بنیادین جدید برای فهم «سازگاری» در عامل‌های هوش مصنوعی

📘 پژوهشی ۶۵ صفحه‌ای از دانشگاه‌های استنفورد، پرینستون، هاروارد، واشنگتن و چند مرکز تراز اول دیگر، برای اولین‌بار یک طبقه‌بندی کامل از شیوه‌های سازگاری در سامانه‌های Agentic AI ارائه می‌دهد.

🧠 ایده‌ی اصلی چیست؟
تقریباً همه‌ی عامل‌های پیچیده‌ی امروزی را می‌توان با ۴ نوع پایه‌ای سازگاری توضیح داد:
دو نوع مربوط به خودِ عامل و دو نوع مربوط به ابزارهایی که عامل استفاده می‌کند.

🤖 عامل هوشمند یعنی چه؟
مدل‌هایی که می‌توانند:

ابزار صدا بزنند 🛠️

حافظه داشته باشند 🧩

وظایف چندمرحله‌ای انجام دهند 🔁


🔄 سازگاری یعنی چه؟
هر تغییری که عامل یا ابزارها بر اساس بازخورد انجام می‌دهند؛ از نتیجه‌ی اجرای کد تا ارزیابی انسانی.

🧩 ۴ نوع سازگاری معرفی‌شده:

A1 — سازگاری عامل از اجرای ابزار
عامل از نتیجه‌ی اجرای ابزارها یاد می‌گیرد (موفق شد/شکست خورد).

A2 — سازگاری عامل از ارزیابی خروجی
بهبود عامل بر اساس کیفیت خروجی‌ها (فیدبک انسانی یا خودکار).

T1 — سازگاری ابزار مستقل از عامل
ابزارها جداگانه آموزش می‌بینند، عامل ثابت می‌ماند.

T2 — سازگاری ابزار از سیگنال‌های عامل
ابزارها خودشان را با رفتار عامل وفق می‌دهند.

📊 چرا این کار مهم است؟

برای اولین‌بار روش‌های سازگاری عامل‌ها سیستماتیک شده‌اند.

کمک می‌کند هزینه، انعطاف‌پذیری و مقیاس‌پذیری را بهتر بسنجیم.

مسیر تکامل معماری‌های عامل‌محور نسل بعد را روشن می‌کند.


🔎 جمع‌بندی:
دو محور کلیدی داریم:

آیا عامل تغییر می‌کند؟

آیا ابزار تغییر می‌کند؟
و داده/بازخورد، سوخت هر دو است 🔥


📎 لینک مقاله:
https://github.com/pat-jj/Awesome-Adaptation-of-Agentic-AI/blob/main/paper.pdf

#AI #AgenticAI #Research #MachineLearning #LLM #Adaptation
@rss_ai_ir

⭐️مجموعه Nous Research کد منبع Nomos 1 را به‌صورت متن‌باز منتشر کرد

با وجود اندازه نسبتاً کوچک ۳۰ میلیارد پارامتر، این مدل موفق شد امتیاز 87 از 120 را در آزمون Putnam کسب کند؛ یکی از معتبرترین و سخت‌ترین مسابقات ریاضی جهان.

🔹 چنین امتیازی معادل رتبه دوم در میان ۳۹۸۸ شرکت‌کننده در Putnam 2024 است.
🔹 مدل Nomos 1 هشت حل کاملاً بی‌نقص ارائه داده است.
🔹 برای مقایسه، Qwen3-30B در همان شرایط تنها 24 از 120 امتیاز گرفت؛ موضوعی که نشان می‌دهد برتری Nomos بیشتر به کیفیت داده و فرایند آموزش برمی‌گردد، نه شرایط آزمون.

📌 نکته مهم:
ارزیابی پاسخ‌ها به‌صورت کور (Blind Review) انجام شده و توسط یک شرکت‌کننده واقعی Putnam از میان ۲۰۰ نفر برتر صورت گرفته که پاسخ‌های ناشناس را بررسی کرده است.

⏱ شرایط زمانی نیز کاملاً واقعی بوده:
— برای هر بخش، ۳ ساعت زمان دقیقاً مشابه شرکت‌کنندگان انسانی.

🧠 ساختار استدلال Nomos:

ابتدا چند «worker» مسائل سخت‌تر را حل می‌کنند و خودشان راه‌حل‌ها را ارزیابی می‌کنند

سپس در مرحله نهایی، سیستم پاسخ‌ها را تجمیع کرده و بهترین نتیجه را انتخاب می‌کند


🔗 لینک‌ها:
▪ HuggingFace: https://huggingface.co/NousResearch/nomos-1
▪ GitHub: https://github.com/NousResearch/nomos

@rss_ai_ir

#AI #LLM #MachineLearning #Math #OpenSource

✨ رقابت هوش مصنوعی فقط دو بازیگر واقعی دارد و داده‌ها کاملاً این را نشان می‌دهند

📊 با نگاه به نقشه نویسندگان NeurIPS، عملاً یک پیش‌بینی از آینده اقتصاد جهان می‌بینیم:
چین تقریباً نیمی از میدان را در اختیار دارد، آمریکا نیم دیگر را.
اروپا—چه آگاهانه، چه از سر inertia—عملاً از رقابت کنار رفته است.

🔍 قدرت‌ها کجا هستند؟
🇺🇸 آمریکا پیشتاز در لَب‌های مرزی هوش مصنوعی، چیپ‌های پیشرفته، سرمایه در مقیاس تریلیون‌دلاری و بزرگ‌ترین بازار نرم‌افزار جهان است.
🇨🇳 چین پیشتاز در رباتیک، تولید سخت‌افزار و چرخه‌های استقرار بسیار سریع.
📉 جایگاه‌ها ممکن است جابه‌جا شوند، اما الگو روشن است: «سومیِ معنادار» وجود ندارد. دیگران از عقب می‌دوند، بدون مسیر واقعی برای حاکمیت فناورانه.

🇪🇺 نقش اتحادیه اروپا در یک تصویر
نمودار دوم از هر سند سیاستی گویاتر است:
درآمد اروپا از جریمه‌ها و تنظیم‌گری شرکت‌های فناوری، بسیار بیشتر از مالیات شرکت‌های فناوریِ ساخته‌شده در خود اروپاست.
📜 تنظیم‌گری شد مدل کسب‌وکار؛ نوآوری نه.

🌍 جمع‌بندی
نظم اقتصادی بعدی را کسانی می‌سازند که مدل‌ها را آموزش می‌دهند و ربات‌ها را می‌سازند.


@rss_ai_ir
#AI #هوش_مصنوعی #NeurIPS #China #USA #Robotics #LLM #Innovation #Geopolitics