🎮 بازی «Among AIs» — آموگوس با مدل‌های زبانی! 🤖

تیم 4wallai یک بنچمارک تعاملی منتشر کرده که در آن نقش‌های «مردم عادی» و «ایمپاسترها» را مدل‌های زبانی بزرگ (LLM) بازی می‌کنند. هدف: بررسی توانایی در تفکر، استدلال، فریب و Theory of Mind (توانایی حدس زدن افکار دیگران).

📊 نتایج ۶۰ بازی:

🏆 بیشترین برد هم در نقش عادی و هم ایمپاستر — GPT-5

🥈 رتبه دوم — Claude Sonnet 4

🥉 رتبه سوم — Kimi K2


👀 تحلیل رفتار مدل‌ها:

✳️همچنین GPT-5 کمترین آسیب را به تیم وارد کرده
✳️سبک گفتارش «مشکوک» به نظر نمی‌رسید، بنابراین کمتر علیه او رأی داده شد
✳️در بلاگ‌پست، رونوشت بازی‌ها و نمونه‌هایی از نحوه دفاع و قانع‌کردن مدل‌ها آورده شده است.

🎥 ویدئو یکی از بازی‌ها: YouTube
📝 جزئیات و رونوشت‌ها: بلاگ 4wallai

🤯 حالا LLMها فقط با تست‌های IQ سنجیده نمی‌شوند، بلکه توانایی‌شان در دروغ‌گویی و کشف دروغگوها هم آزمایش می‌شود!

@rss_ai_ir

#هوش_مصنوعی #مدل_زبانی #بنچمارک #AmongUs #LLM

📊 رشد انفجاری توان محاسباتی در آزمایشگاه‌های هوش مصنوعی

✅توان پردازشی در لابراتوارهای AI با سرعتی بی‌سابقه در حال افزایش است:

⚡ OpenAI —
امروز ۱۴ برابر بیشتر از زمان عرضه‌ی GPT-4 توان محاسباتی دارد.

⚡ xAI —
نرخ رشد بسیار سریع؛ تنها بین عرضه‌ی Grok 3 و Grok 4 میزان کامپیوتر دو برابر شده است.


⚡ Anthropic —
کمترین منابع محاسباتی را دارد، اما در بهره‌برداری فوق‌العاده کارآمد بوده است. برای مثال، Claude 3.5 تنها با حدود یک‌پنجم توان فعلی Anthropic آموزش داده شد.

ℹ️ توجه: این آمارها شامل Google DeepMind نمی‌شود، در حالی که احتمالاً بیشترین توان محاسباتی را دارد — هرچند مشخص نیست این منابع تا چه اندازه برای آموزش LLMها متمرکز شده‌اند.

@rss_ai_ir

#AI #LLM #Compute #OpenAI #xAI #Anthropic #DeepMind

⚡️ مدل جدید LFM2-2.6B — رهبر کلاس مدل‌ها تا ۳ میلیارد پارامتر

🔑 ویژگی‌ها:

✳️سبک و سریع، تنها با ۲.۶ میلیارد پارامتر
✳️معماری نسل دوم (short convs + group query attention)
✳️آموزش‌دیده روی ۱۰ تریلیون توکن
✳️پشتیبانی از کانتکست تا ۳۲k


🧠 مدلی جمع‌وجور اما قدرتمند برای طیف وسیعی از وظایف یادگیری ماشین.

🟠 بلاگ‌پست: Liquid AI
🟠 Hugging Face: LFM2-2.6B
🟠 مدل باندل روی LEAP: اینجا

@rss_ai_ir

#هوش_مصنوعی #مدل_زبانی #LFM2 #OpenSourceAI #LLM

🧠 محققان MIT نشان دادند: LLMها می‌توانند منطقاً استدلال کنند اگر درست آموزش داده شوند

📄 آن‌ها روش جدیدی به نام PDDL-INSTRUCT معرفی کرده‌اند که فرآیند یادگیری مدل را از حالت «حدس جواب» به حل مرحله‌به‌مرحله با بررسی بیرونی تبدیل می‌کند.

🔹 چطور کار می‌کند؟
1️⃣ ابتدا مدل هم برنامه‌های درست و هم اشتباه را با توضیحات می‌بیند.
2️⃣ سپس خودش استدلال هر مرحله را می‌نویسد. در این مرحله ابزار بیرونی (VAL) منطق را بررسی می‌کند. اگر خطا باشد، مدل توضیح دقیق خطا را دریافت می‌کند.

📊 نتایج:

دقت مدل Llama-3-8B در مسائل برنامه‌ریزی از ۲۸٪ → ۹۴٪ جهش کرد.

بازخورد دقیق مرحله‌به‌مرحله بسیار مؤثرتر از برچسب ساده «درست/غلط» عمل کرد.


💡 نکته کلیدی: مدل جایگزین برنامه‌ریز نمادین نمی‌شود، بلکه یاد می‌گیرد مثل او فکر کند و همچنان از بررسی بیرونی استفاده کند.

⚡️ این روش می‌تواند به هر مسأله چندمرحله‌ای (ریاضی، برنامه‌نویسی و …) تعمیم داده شود. شاید بسیاری از توانایی‌های «پنهان» مدل‌ها فقط منتظر روش درست آموزش باشند.

🟠 متن کامل مقاله:
arxiv.org/abs/2509.13351

@rss_ai_ir

#هوش_مصنوعی #یادگیری_عمیق #LLM #منطق #MIT

🧠 Hallucination Risk Toolkit
برای LLMها

✅ابزاری سبک برای برآورد ریسک هَلوسینیشن بدون نیاز به آموزش مجدد مدل. طبق «قانون دِکمپرِشن» پرسش را بازنویسی می‌کند و بر اساس سطح خدمتِ هدف (SLO) تصمیم می‌گیرد پاسخ بدهد یا مؤدبانه امتناع کند.

ویژگی‌ها:

✳️مدل‌سازی ریاضیِ شفاف برای ریسک هَلوسینیشن

✳️دو حالت: با کانتکست (RAG/زمینه) و بدون کانتکست

✳️فقط با OpenAI Chat Completions API کار می‌کند

✳️پیاده‌سازی ساده برای قرار دادن جلوی هر LLM بعنوان «دروازه‌بان اعتماد»


گیت‌هاب:
https://github.com/leochlon/hallbayes

@rss_ai_ir

#LLM #AI_Safety #RAG #PromptEngineering #RiskAssessment #OpenAI #python

📊 K2 Vendor Verifier
؛ تست شفافیت عملکرد وندورها

تیم Kimi ابزاری با نام K2 Vendor Verifier معرفی کرده که هدفش بررسی دقت سرویس‌دهنده‌های مختلف برای مدل K2 است.

🔎 روش تست:
هر وندور روی ۲۰۰۰ درخواست یکسان امتحان می‌شود و نتایج با API رسمی مقایسه می‌گردد.

📉 نتیجه:
همه‌ی ارائه‌دهندگان 3rd party مشکلات جدی در خروجی داشتند. متأسفانه جذاب‌ترین گزینه، Groq، در این تست حضور نداشت.

این حرکت یادآور تست‌های تیم Artificial Analysis روی gpt-oss است، جایی که اختلاف فاحشی بین سرویس‌دهندگان مشاهده شد.

⚠️ پیام مهم: اگر چنین تست‌هایی عمومی و استاندارد نشوند، باگ‌های inference بی‌سروصدا ادامه خواهند داشت و کیفیت مدل‌ها را پایین می‌آورند.

📎 گیت‌هاب: K2 Vendor Verifier

#هوش_مصنوعی #K2 #LLM #AI #Kimi #VendorVerifier

📊 آیا به استاندارد برای ارزیابی کیفیت مدل‌ها و محصولات LLM نیاز داریم؟

⛔️امروز تقریباً در هر محصولی قابلیت RAG وجود دارد و سناریوهای agentic هم به یک روند عادی تبدیل شده‌اند. اما هرچه پایپ‌لاین پیچیده‌تر شود، کنترل و ارزیابی آن هم سخت‌تر و حیاتی‌تر می‌شود.

🔹 در پایپ‌لاین‌های ساده می‌توان:

♻️متریک‌های مشخصی انتخاب کرد
♻️تست‌های واحد و یکپارچه نوشت
♻️یک بنچمارک کوچک آماده و مرتباً اجرا کرد
♻️پایداری و تکرارپذیری نتایج را بررسی کرد


🔹 اما وقتی پایپ‌لاین شامل چندین ماژول مختلف باشد، ماجرا شبیه ساختن هزارچهره فالکون از لگو می‌شود 🧱🦧

در مقاله Apollo Research "We Need A Science of Evals" (۲۰۲۴) گفته شد:

ارزیابی کیفیت بیشتر شبیه هنر است تا علم (مثلاً فقط تغییر در فرمت پرامپت می‌تواند دقت را ۷۰+ درصد جابجا کند 😱)

بلوغ ارزیابی (Eval) سه مرحله دارد:
1️⃣ Nascent —
مرحله ابتدایی و پراکنده، بدون استاندارد
2️⃣ Maturation —
ظهور بهترین‌روش‌ها ولی بدون مقررات رسمی
3️⃣ Mature —
وجود استانداردها، استناد آماری و نتایج قابل‌تفسیر

ما فعلاً در مرحله دوم هستیم و رسیدن به مرحله سوم نیازمند تعریف متریک‌های روشن، پوشش کامل تست، تکرارپذیری و تحلیل آماری است.


⚡️ اخیراً استاندارد جدیدی معرفی شده: STREAM (A Standard for Transparently Reporting Evaluations in AI Model Reports). این چارچوب به شفاف‌سازی تست‌ها و گزارش‌دهی نتایج کمک می‌کند. هرچند بیشتر برای بنچمارک‌های حوزه ChemBio طراحی شده، اما قابل‌استفاده در دیگر زمینه‌ها هم هست.

🔮 آینده‌ی ارزیابی LLMها در گرو Eval علمی و استاندارد است. در غیر این صورت، محصولات غیرایمن و مبهم خواهیم داشت.

@rss_ai_ir 🤖

https://www.arxiv.org/pdf/2508.09853

#هوش_مصنوعی #LLM #استاندارد #Eval #STREAM #AI

🚀 Qwen Chat
آپدیت‌های جذابی گرفت!

حالا در Qwen Chat می‌تونید نه‌تنها داده‌ها رو در اینترنت جستجو کنید، بلکه همون لحظه اون‌ها رو با کمک ترکیب Code Interpreter + Web Search به شکل نمودار هم ببینید. 📊

✨ مثلا می‌تونید پیش‌بینی ۷ روزه‌ی هوا رو بگیرید و بلافاصله خروجی رو به‌صورت یک نمودار آماده دریافت کنید.

📈 فقط کافیه توی پرامپت بنویسید که می‌خواید نمودار بسازه، و Qwen این کار رو براتون انجام می‌ده.

🔗 امتحان کنید:
chat.qwen.ai

@rss_ai_ir

#Qwen #LLM #هوش_مصنوعی #چت_بات #تحلیل_داده

🚀 DeepSeek V3.2-Exp:
کاهش هزینه‌ها با Sparse Attention

🔹 این نسخه بر پایه‌ی V3.1-Terminus ساخته شده و با مکانیزم جدید Sparse Attention (DSA) آموزش دیده است.

🔹 هر توکن به‌جای همه‌ی توکن‌های قبلی، فقط به حدود 2048 کلید توجه می‌کند. این یعنی مصرف حافظه و تأخیر کمتر، بدون افت محسوس کیفیت.

🔹 💰 هزینه API به‌طور چشمگیری کاهش یافته: از ۱.۶۸ دلار به ۰.۴۲ دلار برای هر یک میلیون توکن.

📊 ویژگی‌ها:

✳️مناسب برای کانتکست‌های طولانی و زنجیره‌های پیچیده‌ی استدلال (Chain-of-Thought).

✳️کیفیت مشابه V3.1 با هزینه‌ی بسیار کمتر.

✳️آموزش بهینه‌تر: سه مرحله‌ی RL قبلی در یک مرحله ادغام شده.

✳️برای وظایفی که پاسخ یکتا ندارند، از GRM برای ارزیابی پاسخ‌ها استفاده می‌شود.


✨ به زبان ساده: V3.2-Exp همان کیفیت V3.1 را با نصف هزینه و سرعت بیشتر ارائه می‌دهد.

@rss_ai_ir

#DeepSeek #SparseAttention #هوش_مصنوعی #LLM #مدل_زبان

⚡️ شرکت Anthropic یک پیش‌نمایش تحقیقاتی از سیستم‌عامل مبتنی بر LLM منتشر کرده است.

ایده مشابه کاری است که قبلاً گوگل انجام داده بود:
اینجا هم مدل زبانی (LLM) نرم‌افزار را روی هوا می‌نویسد، بر اساس دستور شما.

📌 یعنی چه؟

❌روی یک اپلیکیشن کلیک می‌کنید → سیستم از صفر آن را می‌سازد، بدون هیچ کدی که از قبل آماده شده باشد.

❌یک فایل باز می‌کنید → محتوای آن همان لحظه تولید می‌شود.


در واقع این یک دموی پیشرفته از توانایی‌های مدل جدید Sonnet 4.5 است، نه یک محصول جدی برای بازار.

⏳ اما تجربه‌اش محدود است:
فقط کاربرانی که طرح Max دارند می‌توانند تا ۵ روز این قابلیت را امتحان کنند.

🔗 بیشتر بخوانید:
claude.ai/imagine

@rss_ai_ir

#LLM #Claude #Anthropic #هوش_مصنوعی #سیستم_عامل

🔥 خسته شدید از RLHF و RLVR؟ حالا روش جدیدی معرفی شده به نام Critique Reinforcement Learning (CRL)!

🧠 ایده اصلی:
در الگوریتم‌های معمولی RL، مدل یاد می‌گیرد پاسخ نهایی بدهد.
اما در CRL مدل به جای تولید پاسخ، یاد می‌گیرد راه‌حل موجود را نقد و بررسی کند و مرحله‌به‌مرحله صحت آن را بسنجد.
پاداش هم نه برای جواب، بلکه برای نقد مفید و سازنده‌ای داده می‌شود که در نهایت به قضاوت درست (True/False) منجر شود.

🚀 نتایج آزمایش‌ها:

✅مدل Critique-Coder 4B توانست در LiveCodeBench-V5 امتیاز ۶۲٪ بگیرد — بالاتر از مدل 14B DeepCoder.

✅این آموزش روی rStar-Coder با روش GRPO انجام شده است.

✅مدل‌های 4B و 8B در سایز خودشان به بهترین‌ها تبدیل شدند.


📄 مقاله:
arxiv.org/abs/2509.22824
🌐 وبسایت:
tiger-ai-lab.github.io/Critique-Coder
🤗 مدل‌ها:
HuggingFace Collection

@rss_ai_ir

#هوش_مصنوعی #RL #LLM #یادگیری_تقویتی

🚀 خبر داغ از دنیای هوش مصنوعی

استارتاپ Thinking Machines (تأسیس‌شده توسط چهره‌های سابق OpenAI از جمله میرا موراتی و جان شولمن) اولین محصول خود را معرفی کرد: Tinker ✨

🔹 چی هست؟
پلتفرم Tinker یک پلتفرم ساده‌سازی‌شده برای فاین‌تیونینگ مدل‌های بزرگه، بدون نیاز به زیرساخت‌های سنگین.

🔹 ویژگی‌ها

ارائه API برای فاین‌تیون مدل‌هایی مثل Llama و Qwen 🦙

اتوماسیون کامل در راه‌اندازی خوشه‌های GPU، پایداری آموزش و دیپلوی 🚦

امکان خروجی گرفتن از مدل‌های سفارشی برای استفاده‌ی پژوهشگران 📦

رایگان در نسخه بتا (با برنامه‌ریزی برای درآمدزایی در آینده) 💰

هدف: دموکراتیزه کردن دسترسی به ابزارهایی که قبلاً فقط در دسترس غول‌های فناوری بودن 🌍


🔹 اهمیت
پلتفرمTinker نشون می‌ده رقابت آینده‌ی AI فقط در ساخت مدل‌های بزرگ‌تر نیست، بلکه در انطباق و شخصی‌سازی مدل‌های موجود خواهد بود.
البته همین موضوع نگرانی‌هایی درباره ایمنی و دستکاری گسترده‌تر مدل‌ها ایجاد کرده ⚠️

📊 ارزش‌گذاری استارتاپ: ۱۲ میلیارد دلار
سرمایه اولیه: ۲ میلیارد دلار


---

✍️ به‌نوعی Tinker می‌خواد تبدیل بشه به قطعه‌ی کلیدی زیرساخت هوش مصنوعی در جهان.

🔖 #AI #ThinkingMachines #FineTuning #Tinker #LLM