🧩 بریم با هم آخرین مقاله OpenAI رو تحلیل کنیم، مقاله جالبی که به مسئله hallucination توی مدل های زبانی بزرگ می‌پردازه و شرح می‌ده که چرا اصلا این اتفاق می‌افته...

Let's analyze OpenAI's latest paper together, an interesting article that addresses the issue of hallucination in large language models and explains why this happens at all...

چکیده

🤖 وقتی صحبت از مدل های بزرگ زبانی می‌شه، یه مشکل بزرگ وجود داره: اونا توهم می‌زنن. یعنی چیزهایی رو با اعتمادبه‌نفس کامل می‌سازن که اصلاً درست نیست.

این مقاله دنبال یک جواب اساسی می‌گرده: چرا این اتفاق حتی در بزرگ‌ترین و پیشرفته‌ترین مدل‌ها می‌افته؟

توهم یه اشکال تصادفی نیست، بلکه عمیقاً به خودِ روش آموزش مدل‌ها گره خورده.

Abstract — The Big Mystery

🔬 Large language models are impressive — they write essays, code, even poetry.
But there’s a catch: they hallucinate. They make things up with full confidence.

This paper asks a hard question: why does this happen, even in the biggest and most advanced models?

The promise: by the end, we’ll see hallucination not as a random glitch, but as something deeply tied to how these models are trained.


🔰 @scopeofai | #papers

مقدمه

🔹 توهم نادر نیست

🔹یه نویز اتفاقی نیست

ریشه‌ش توی فرمول آموزشی مدله: مدل‌ها یاد گرفتن کلمه بعدی رو پیش‌بینی کنن، نه اینکه حقیقت رو بگن.

پس معما اینه که چطور سیستمی که این‌قدر خوب و دقیقه، توی واقعیت این‌قدر خطا می‌کنه؟

Introduction

🔹Hallucination isn’t rare.

🔹It’s not just noise.

It comes from the training recipe itself: models are taught to predict the next word, not to tell the truth.

So the puzzle: how can a system so good at language fail at facts?

🔰 @scopeofai | #papers

کارهای مرتبط

قبل از این مقاله، پژوهش‌ها چند توضیح داده بودن:

▫️شاید مدل اصلاً اون دانش رو نداره.

▫️شاید خیلی «اعتمادبه‌نفس کاذب» داره.

▫️داده‌های آموزشی مدل کافی نبوده.

مقاله می‌گه که اینا فقط بخشی از ماجراست. دلیل عمیق‌تر ساختاریه. توهم فقط یه شکاف دانشی نیست؛ توی DNA روش آموزش مدل‌هاست.

Related Work — Previous Clues

Before this paper, researchers gave several explanations:

▫️Maybe the model just doesn’t have the right knowledge.

▫️Maybe it’s too “overconfident” in its outputs.

▫️Maybe the training data was too limited.

This paper says: those are partial answers. The deeper reason is structural. Hallucinations aren’t only gaps — they’re baked into the way we train LLMs.

🔰 @scopeofai | #papers

روش تحقیق

برای اینکه فقط حدس و گمان نباشه، نویسنده‌ها آزمایش‌هایی طراحی کردن:

♦️به مدل سؤال‌های واقعی و قابل‌بررسی دادن.

⬅️خروجی‌ها رو ثبت کردن.

🔁هر جواب رو با حقیقت مقایسه کردن.

روی احتمال انتخاب کلمات هنگام تولید متن تمرکز کردن تا بفهمن چرا مدل مسیر اشتباه رو انتخاب کرده.

انگار مغز مدل رو باز کردن و قدم‌به‌قدم دیدن چطور فکر می‌کنه.

Methodology — Into the Lab

To go beyond speculation, the authors set up controlled experiments.

They feed models factual questions with known answers.

They log what the model generates.

They compare each response to the truth.

They dive into the token probabilities to see why the wrong choice was made.

Think of it like opening up the model’s brain and watching its thought process in slow motion.

🔰 @scopeofai | #papers

نتایج

اینجاست که غافلگیر می‌شیم:

🔶 مدل‌ها توهم می‌زنن حتی وقتی قبلاً جواب درست رو دیده‌ان.

چرا؟ چون در عمل، روان بودن متن مهم‌تر از درست بودنشه.

احتمال انتخاب یک کلمه روانِ اشتباه، بیشتر از یه کلمه درستِ دست‌وپا شکسته است.

بزرگ‌تر کردن مدل هم مشکل رو حل نمی‌کنه؛ بعضی وقتا حتی توهم رو بیشتر می‌کنه.

نتیجه ناراحت‌کننده اینه که توهم نشانه نادانی مدل نیست، عوارض جانبی همون هدف آموزشیه.

Results — The Strange Discovery

Here’s the twist:

🔸Models hallucinate even when they’ve seen the correct fact before.

Why? Because when generating text, fluency beats factuality.

The model often prefers a smooth-sounding wrong answer over a clunky correct one.

Scaling up (making the model bigger) doesn’t solve it. In some cases, bigger models hallucinate more.

That’s the uncomfortable truth: hallucinations are not ignorance, they’re a side-effect of the objective.

🔰 @scopeofai | #papers

بحث

👁‍🗨 واقعاً چه خبره؟

راستش تنها هدف مدل، پیش‌بینی کلمه بعدیه.

«حقیقت» اصلاً توی معادله نیست.

اگه یه کلمه غلط بیشتر با جمله جور باشه، احتمال انتخابش بالاتر می‌ره.

اینجوری توهم تبدیل به یه معامله اجتناب‌ناپذیر می‌شه:

هرچی متن روان تر باشه و به متن انسان شباهت بیشتری داشته باشه، ریسک توهم بالاتر می‌ره.
پس باید روش آموزش عوض بشه.

Discussion — The Heart of the Matter

🪝 So what’s really going on?

The model’s only goal is to predict the next word.

“Truth” isn’t part of the equation.

If a wrong word fits better into a sentence, probability pushes the model there.

This reframes hallucination as a trade-off:

If you want smooth, human-like text, hallucination risk increases.

If you want pure factuality, you’d need a different training paradigm.

🔰 @scopeofai | #papers

نتیجه‌گیری

پیام پایانی مقاله صریح بود: توهم‌ها خودبه‌خود محو نمی‌شن.

راه‌حل‌های احتمالی:

✳️ تولید همراه با بازیابی (RAG): مدل حین نوشتن بره و منبع بیرونی چک کنه.

❎ کالیبراسیون واقعیت: خروجی‌ها رو طوری تنظیم کنیم که حقیقت بیشتر وزن داشته باشه.

❇️ آموزش ترکیبی: فقط به روان بودن متن پاداش ندیم، بلکه برامون مهم باشه که با واقعیت هم معیار باشه.

تا اون موقع، استفاده از خروجی خام LLMها بدون کنترل یعنی پذیرش توهم‌ها.

Conclusion — What Next?

The paper closes with a sober message: hallucinations won’t magically vanish.

Possible fixes:

❇️Retrieval-Augmented Generation (RAG): let the model check a database while writing.

✳️Factual calibration: tune outputs to favor truth over style.

❎Hybrid training: reward not just language fluency, but factual grounding.

Until then, using LLMs without external checks means living with hallucinations.

🔰 @scopeofai | #papers

برداشت پایانی

🔅 توهم‌ها باگ نیستن. اون‌ها روی تاریک پیش‌بینی کلمه بعدی هستن.
تا وقتی مدل‌ها برای روان بودن بهینه بشن نه برای حقیقت، توهم خواهند زد.

این مقاله زاویه نگاه رو عوض می‌کنه. درمان توهم با «داده بیشتر» یا «مدل بزرگ‌تر» نیست؛ باید خود هدف آموزش رو دوباره طراحی کنیم.

Final Takeaway

🔅Hallucinations are not a bug. They’re the shadow side of next-word prediction.
As long as models are optimized for fluency, not truth, they will invent.

The paper changes how we see the problem: fixing hallucination isn’t about “more data” or “bigger models” — it’s about rethinking the very goal of training.

🔰 @scopeofai | #papers

پنجره زمینه (Context Window) چیه؟

🪟 پنجره‌ی زمینه (یا طول زمینه) یعنی مقدار متنی که مدل زبانی بزرگ (LLM) می‌تونه همزمان «ببینه» یا «به خاطر بسپاره»، که با واحدی به اسم «توکن» اندازه‌گیری می‌شه.

مثل حافظه‌ی کاری بشره. مدل وقتی داره متن تولید می‌کنه، بخش‌هایی از مکالمه یا سند قبلی رو به یاد داره تا خروجی مناسبی بده.

اگر مقداری که وارد می‌کنی از این حد فراتر بره، بخشی از متن باید بریده بشه یا خلاصه شه تا مدل بتونه ادامه بده.

The context window (also called “context length”) is how much text (in tokens) a large language model (LLM) can “see” or “remember” at once.

It’s like working memory: it lets the model use prior parts of a conversation or document when generating output.
IBM

If you give a prompt + conversation that exceed the context window, the extra parts have to be truncated (cut off) or summarized.

🦴 @scopeofai | #concepts

♨️ پنجره زمینه بزرگ‌تر به مدل‌ها اجازه می‌ده ورودی‌های بلندتری رو پردازش کنن: اسناد طولانی، کدهای زیاد، سابقه مکالمه‌ها بدون اینکه جزئیات اوایلشون رو فراموش کنن.

مدل‌هایی که مقدار context بزرگ‌تری دارن معمولا پاسخ‌های منسجم‌تری می‌دن، خطاهای توهمی‌شون کمتره، مخصوصاً وقتی درخواست یا پرامپت طولانی باشه.

اما بزرگ‌تر کردن پنجره زمینه هزینه‌ها هم داره: محاسبات بیشتر، مصرف حافظه بالاتر، هزینه مالی و زمان پاسخ‌دهی بیشتر. همچنین ریسک‌های امنیتی، مثل این که ورودی‌های مخرب بتونن توی متون بلند پنهان بمونن، افزایش پیدا می‌کنن.

Bigger context windows let LLMs handle longer inputs: long documents, code, chat histories without forgetting early details.

Models with larger context length tend to be more coherent, make fewer hallucinations, and give more accurate responses when prompts are long.

But increasing context window has trade-offs: more computation, higher memory, more cost, potentially slower responses. Also, security risks like adversarial prompt injections grow.

🦴 @scopeofai | #concepts

🔅 دونستن اندازه پنجره زمینه کمک می‌کنه پرامپت‌ها رو بهتر طراحی کنی: اطلاعات مهم رو در ابتدا یا انتها بذار تا از بین نرن.

بعضی مدل‌ها مثل Granite شرکت IBM الان پنجره‌هایی تا حدود ۱۲۸۰۰۰ توکن دارن، که امکان پردازش اسناد یا مکالمات خیلی طولانی رو در یک مرحله فراهم می‌کنن.

محدودیت‌ها هم وجود دارن. حتی اگر پنجره خیلی بزرگ باشه، مدل ممکنه قسمت‌های میانی ورودی رو نادیده بگیره یا کیفیت پاسخ‌ها پایین بیاد. همچنین هزینه‌ها (محاسبه، حافظه) تقریباً با مجذور تعداد توکن‌ها زیاد می‌شن.

For practical systems: if you're building chatbots or tools that use LLMs, knowing the context window size helps you design prompts better: keep key info near beginning or end so it isn’t lost.

Some models (e.g. IBM’s Granite) now have windows up to 128,000 tokens, enabling much longer documents / conversations to be handled in one go.

Limitations: even if the window is large, models might still “ignore” middle parts of the input, or performance may degrade. Also, the cost (compute, memory) scales roughly quadratically with token count.

🦴 @scopeofai | #concepts

🪤 متا پرامپت چیه؟

متا پرامپت یه سری دستور کلیه که مشخص می‌کنه هوش مصنوعی چطوری رفتار کنه یا جواب بده.

فرقش با یه پرامپت عادی اینه که فقط برای یه سؤال یا یه جواب نیست؛ بلکه مثل یه «قالب» یا «چهارچوب» عمل می‌کنه که همه جواب‌ها توی همون خط بیاد.

مثلا می‌تونی هوش مصنوعی رو طوری تنظیم کنی که همیشه مثل یه دستیار آموزشی جواب بده، لحنش رسمی باشه، یا طبق یه برنامه‌ی درسی مشخص محتوا تولید کنه.

What is a Meta Prompt?

A meta prompt is a set of higher-level instructions that shapes how an AI behaves or responds in general, not just for a single task. Think of it as the framework or lens through which all following prompts are interpreted.

It defines the AI’s role/persona, sets rules or constraints, establishes style, tone, sometimes even procedural steps. This ensures consistency across multiple interactions.

Example: Suppose you want AI to always answer as a teaching assistant, align with a certain curriculum, use certain formatting, etc.

🦴 @scopeofai | #concepts

اجزای اصلی متا پرامپت

🔷تعریف نقش مشخص می‌کنه AI کیه. مثلا: «تو یه دستیار آموزشی هستی که کارش درست کردن ورک‌شیت برای کلاس فلان بر اساس فلان سرفصل درسیه…»

🔷هدف می‌گه قرار آخرش به چی برسیم. مثل: «کمک به معلم برای تولید ورک‌شیت جذاب و منظم که با اهداف درسی هم‌خوان باشه.»

🔷دستورالعمل مرحله‌ای قدم‌به‌قدم توضیح می‌ده چیکار کنه. مثلا: اول موضوع درس رو بپرس، بعد اهداف رو مشخص کن، بعد بخش‌های ورک‌شیت رو بساز.

🔷نکات ویژه لحن، سبک نوشتن، سطح دشواری، رعایت محدودیت‌های سنی و فرهنگی، یا حتی نوع فرمت.

🔷انعطاف‌پذیری متا پرامپت خوب باید جا برای تغییر داشته باشه. مثلا اگه کاربر گفت فلان بخش رو تغییر بده، AI بتونه خودش رو وفق بده.

Key Elements of Meta Prompts

Here are the main ingredients that good meta prompts often include:

Element Function / Why It Matters
Role Definition Sets who the AI is in this context. For example: “You are a helpful and experienced teaching assistant specialising in creating worksheets aligned with [curriculum] …” This gives the AI a clear identity.

Goal Setting Tells the AI what outcome you want. What is the end-objective? If the goal is “guide teachers through generating well-structured, engaging worksheets that complement lesson plans …”, then everything the AI does is steered toward that.

Procedural Instructions The “how” part: step-by-step directions on how the AI should proceed. Eg: ask the teacher about subject, grade, topic; wait; then produce elements. These help avoid messy or inconsistent outputs.

Specific Considerations Style or tone: how the AI should sound (friendly, supportive, formal); content constraints (age-appropriateness, cultural relevance); formatting rules. These maintain quality and relevance.

Flexibility / Adaptability Even though meta prompts are strong, good ones allow room for feedback, changing requirements, responsiveness. AI should be able to adjust when conditions change (e.g. teacher asks for adjustments)

🦴 @scopeofai | #concepts

چرا متا پرامپت مهمه؟

◽️یکدست بودن: جواب‌ها همه یه سبک دارن

◽️صرفه‌جویی در وقت: لازم نیست هر دفعه همه‌چیزو از اول توضیح بدی.

◽️تخصصی شدن: AI رو می‌تونی تبدیل به یه متخصص توی یه حوزه خاص کنی.

◽️تمرکز روی نیاز کاربر: چون هدف و قواعد روشنه، خروجی به چیزی که کاربر می‌خواد نزدیک‌تره.

Benefits of Meta Prompt

Consistency across multiple tasks or queries. AI doesn’t flip style or approach unexpectedly.

Efficiency: fewer clarifications needed each time. You set context once

Specialisation: AI can be made expert-like in a domain (education, legal, creative writing etc.)

User-Centric: better alignment with what the user or stakeholder needs, because the meta prompt encodes priorities

🦴 @scopeofai | #concepts

💡نمونه یه متا پرامپت

تو یه دستیار آموزشی با تجربه‌ای هستی که کارش تولید ورک‌شیت برای معلم‌هاست، هدفت اینه که به معلم کمک کنی ورک‌شیت‌هایی منظم، جذاب و هم‌راستا با اهداف آموزشی درست کنن.

ابتدا به معلم سلام کن و بپرس برای چه درسی، چه پایه‌ای و چه موضوعی ورک‌شیت می‌خواد. هر بار یه سؤال بپرس و منتظر جواب بمون. وقتی اطلاعات رو گرفتی:

1. سرفصل مربوط رو بررسی کن تا مطمئن شی ورک‌شیت با اون هماهنگه.
2. از معلم بپرس دقیقا دنبال چه خروجی‌های یادگیری‌ایه.
3. قدم‌به‌قدم راهنمایی کن تا بخش‌های ورک‌شیت شکل بگیره: عنوان، دستورالعمل‌ها، واژگان، انواع سؤال، تمرین‌های کاربردی، شکل یا نمودار، سؤال‌های تحلیلی و… .
4. برای هر بخش مثال و پیشنهاد بده.
5. بعد از هر بخش نظر معلم رو بپرس.
6. در آخر نسخه کامل ورک‌شیت رو با کلید پاسخ آماده کن.
7. اگه لازمه، برای ارزیابی هم یه جدول نمره‌دهی (روبریک) پیشنهاد بده.
8. بپرس آیا ورک‌شیت باید برای سطح‌های مختلف دانش‌آموز هم تنظیم بشه.
9. اگه نیاز بود، المان‌های دیجیتال یا منابع آنلاین مرتبط هم پیشنهاد بده.

همیشه یادت باشه:
- لحن دوستانه و حمایتی داشته باشی
- نیاز معلم رو در اولویت بذاری ولی منطبق باشی
- محتوای سن‌متناسب، مرتبط با فرهنگ آفریقای جنوبی و هم‌خوان با سرفصل باشه
- ورک‌شیت رو جذاب و متنوع کن
- نکات کاربردی برای استفاده در کلاس یا تکلیف بده
- تفاوت‌های زبانی کلاس‌ها رو در نظر بگیر و راهکار برایش بده

🦴 @scopeofai | #concepts

Here is the full system (meta) prompt from the article. It shows all the parts coming together. You can use it as a template.


CAPS-Aligned Worksheet Generation Assistant

You are a helpful and experienced teaching assistant specialising in creating worksheets aligned with the South African Curriculum and Assessment Policy Statements (CAPS). Your goal is to guide teachers through generating well-structured, engaging worksheets that complement their lesson plans and reinforce key learning objectives as outlined in CAPS.

To begin, greet the teacher and ask about the specific subject, grade, and topic for which they need a worksheet. Ask one question at a time and wait for the teacher’s reply. Once the teacher provides this information, follow these steps:

1. Review the relevant CAPS document to ensure the worksheet aligns with the curriculum requirements, including the content, skills, and assessment standards for the specific subject and grade.
2. Ask the teacher which specific learning outcomes they want to focus on for the worksheet, referring to the CAPS-specified outcomes for that subject and grade.
3. Guide the teacher through the worksheet creation process, prompting them to consider the following elements:
- Title and clear instructions in the language of instruction
- Vocabulary section (5-10 key terms related to the topic, including any necessary translations for multilingual classrooms)
- Variety of question types (e.g., multiple choice, short answer, fill-in-the-blanks, matching)
- Application questions or problem-solving tasks relevant to the South African context
- Visual elements (e.g., diagrams, charts, or images to label or analyse)
- Higher-order thinking questions aligned with Bloom’s Taxonomy
- Extension or challenge section for advanced learners
4. For each section of the worksheet, provide suggestions and examples based on CAPS guidelines and best practices in worksheet design. Encourage a mix of question types and difficulty levels to cater to diverse learners and meet CAPS assessment requirements.

5. After completing each section, confirm with the teacher if they want to refine it or if they’re happy to proceed to the next section.

6. Once all sections are approved, present the complete worksheet layout, including an answer key and marking guidelines as per CAPS requirements.

7. Offer to create a rubric or scoring guide for the worksheet that aligns with CAPS assessment standards.

8. Ask if the teacher would like the worksheet to be differentiated for various ability levels, ensuring it still meets CAPS requirements for all learners.

9. Inquire if the teacher needs any digital or interactive elements added to the worksheet, such as links to relevant

South African educational resources or online activities, if appropriate for their classroom context.

Always remember:

- Maintain a friendly and supportive tone throughout the conversation
- Prioritise the teacher’s needs and goals for the worksheet while ensuring CAPS compliance
- Ensure all content is age-appropriate, culturally relevant to South Africa, and aligns with CAPS standards
- Suggest ways to make the worksheet visually appealing and engaging for students
- Offer tips on how to use the worksheet effectively in class or as homework, considering potential resource constraints in various South African school settings
- Be mindful of the multilingual nature of South African classrooms and suggest ways to support language development alongside subject content

Always be ready to adjust the worksheet based on the teacher’s feedback, specific classroom needs, and any recent updates to C

🦴 @scopeofai | #concepts