روش تحقیق

برای اینکه فقط حدس و گمان نباشه، نویسنده‌ها آزمایش‌هایی طراحی کردن:

♦️به مدل سؤال‌های واقعی و قابل‌بررسی دادن.

⬅️خروجی‌ها رو ثبت کردن.

🔁هر جواب رو با حقیقت مقایسه کردن.

روی احتمال انتخاب کلمات هنگام تولید متن تمرکز کردن تا بفهمن چرا مدل مسیر اشتباه رو انتخاب کرده.

انگار مغز مدل رو باز کردن و قدم‌به‌قدم دیدن چطور فکر می‌کنه.

Methodology — Into the Lab

To go beyond speculation, the authors set up controlled experiments.

They feed models factual questions with known answers.

They log what the model generates.

They compare each response to the truth.

They dive into the token probabilities to see why the wrong choice was made.

Think of it like opening up the model’s brain and watching its thought process in slow motion.

🔰 @scopeofai | #papers

نتایج

اینجاست که غافلگیر می‌شیم:

🔶 مدل‌ها توهم می‌زنن حتی وقتی قبلاً جواب درست رو دیده‌ان.

چرا؟ چون در عمل، روان بودن متن مهم‌تر از درست بودنشه.

احتمال انتخاب یک کلمه روانِ اشتباه، بیشتر از یه کلمه درستِ دست‌وپا شکسته است.

بزرگ‌تر کردن مدل هم مشکل رو حل نمی‌کنه؛ بعضی وقتا حتی توهم رو بیشتر می‌کنه.

نتیجه ناراحت‌کننده اینه که توهم نشانه نادانی مدل نیست، عوارض جانبی همون هدف آموزشیه.

Results — The Strange Discovery

Here’s the twist:

🔸Models hallucinate even when they’ve seen the correct fact before.

Why? Because when generating text, fluency beats factuality.

The model often prefers a smooth-sounding wrong answer over a clunky correct one.

Scaling up (making the model bigger) doesn’t solve it. In some cases, bigger models hallucinate more.

That’s the uncomfortable truth: hallucinations are not ignorance, they’re a side-effect of the objective.

🔰 @scopeofai | #papers

بحث

👁‍🗨 واقعاً چه خبره؟

راستش تنها هدف مدل، پیش‌بینی کلمه بعدیه.

«حقیقت» اصلاً توی معادله نیست.

اگه یه کلمه غلط بیشتر با جمله جور باشه، احتمال انتخابش بالاتر می‌ره.

اینجوری توهم تبدیل به یه معامله اجتناب‌ناپذیر می‌شه:

هرچی متن روان تر باشه و به متن انسان شباهت بیشتری داشته باشه، ریسک توهم بالاتر می‌ره.
پس باید روش آموزش عوض بشه.

Discussion — The Heart of the Matter

🪝 So what’s really going on?

The model’s only goal is to predict the next word.

“Truth” isn’t part of the equation.

If a wrong word fits better into a sentence, probability pushes the model there.

This reframes hallucination as a trade-off:

If you want smooth, human-like text, hallucination risk increases.

If you want pure factuality, you’d need a different training paradigm.

🔰 @scopeofai | #papers

نتیجه‌گیری

پیام پایانی مقاله صریح بود: توهم‌ها خودبه‌خود محو نمی‌شن.

راه‌حل‌های احتمالی:

✳️ تولید همراه با بازیابی (RAG): مدل حین نوشتن بره و منبع بیرونی چک کنه.

❎ کالیبراسیون واقعیت: خروجی‌ها رو طوری تنظیم کنیم که حقیقت بیشتر وزن داشته باشه.

❇️ آموزش ترکیبی: فقط به روان بودن متن پاداش ندیم، بلکه برامون مهم باشه که با واقعیت هم معیار باشه.

تا اون موقع، استفاده از خروجی خام LLMها بدون کنترل یعنی پذیرش توهم‌ها.

Conclusion — What Next?

The paper closes with a sober message: hallucinations won’t magically vanish.

Possible fixes:

❇️Retrieval-Augmented Generation (RAG): let the model check a database while writing.

✳️Factual calibration: tune outputs to favor truth over style.

❎Hybrid training: reward not just language fluency, but factual grounding.

Until then, using LLMs without external checks means living with hallucinations.

🔰 @scopeofai | #papers

برداشت پایانی

🔅 توهم‌ها باگ نیستن. اون‌ها روی تاریک پیش‌بینی کلمه بعدی هستن.
تا وقتی مدل‌ها برای روان بودن بهینه بشن نه برای حقیقت، توهم خواهند زد.

این مقاله زاویه نگاه رو عوض می‌کنه. درمان توهم با «داده بیشتر» یا «مدل بزرگ‌تر» نیست؛ باید خود هدف آموزش رو دوباره طراحی کنیم.

Final Takeaway

🔅Hallucinations are not a bug. They’re the shadow side of next-word prediction.
As long as models are optimized for fluency, not truth, they will invent.

The paper changes how we see the problem: fixing hallucination isn’t about “more data” or “bigger models” — it’s about rethinking the very goal of training.

🔰 @scopeofai | #papers

پنجره زمینه (Context Window) چیه؟

🪟 پنجره‌ی زمینه (یا طول زمینه) یعنی مقدار متنی که مدل زبانی بزرگ (LLM) می‌تونه همزمان «ببینه» یا «به خاطر بسپاره»، که با واحدی به اسم «توکن» اندازه‌گیری می‌شه.

مثل حافظه‌ی کاری بشره. مدل وقتی داره متن تولید می‌کنه، بخش‌هایی از مکالمه یا سند قبلی رو به یاد داره تا خروجی مناسبی بده.

اگر مقداری که وارد می‌کنی از این حد فراتر بره، بخشی از متن باید بریده بشه یا خلاصه شه تا مدل بتونه ادامه بده.

The context window (also called “context length”) is how much text (in tokens) a large language model (LLM) can “see” or “remember” at once.

It’s like working memory: it lets the model use prior parts of a conversation or document when generating output.
IBM

If you give a prompt + conversation that exceed the context window, the extra parts have to be truncated (cut off) or summarized.

🦴 @scopeofai | #concepts

♨️ پنجره زمینه بزرگ‌تر به مدل‌ها اجازه می‌ده ورودی‌های بلندتری رو پردازش کنن: اسناد طولانی، کدهای زیاد، سابقه مکالمه‌ها بدون اینکه جزئیات اوایلشون رو فراموش کنن.

مدل‌هایی که مقدار context بزرگ‌تری دارن معمولا پاسخ‌های منسجم‌تری می‌دن، خطاهای توهمی‌شون کمتره، مخصوصاً وقتی درخواست یا پرامپت طولانی باشه.

اما بزرگ‌تر کردن پنجره زمینه هزینه‌ها هم داره: محاسبات بیشتر، مصرف حافظه بالاتر، هزینه مالی و زمان پاسخ‌دهی بیشتر. همچنین ریسک‌های امنیتی، مثل این که ورودی‌های مخرب بتونن توی متون بلند پنهان بمونن، افزایش پیدا می‌کنن.

Bigger context windows let LLMs handle longer inputs: long documents, code, chat histories without forgetting early details.

Models with larger context length tend to be more coherent, make fewer hallucinations, and give more accurate responses when prompts are long.

But increasing context window has trade-offs: more computation, higher memory, more cost, potentially slower responses. Also, security risks like adversarial prompt injections grow.

🦴 @scopeofai | #concepts

🔅 دونستن اندازه پنجره زمینه کمک می‌کنه پرامپت‌ها رو بهتر طراحی کنی: اطلاعات مهم رو در ابتدا یا انتها بذار تا از بین نرن.

بعضی مدل‌ها مثل Granite شرکت IBM الان پنجره‌هایی تا حدود ۱۲۸۰۰۰ توکن دارن، که امکان پردازش اسناد یا مکالمات خیلی طولانی رو در یک مرحله فراهم می‌کنن.

محدودیت‌ها هم وجود دارن. حتی اگر پنجره خیلی بزرگ باشه، مدل ممکنه قسمت‌های میانی ورودی رو نادیده بگیره یا کیفیت پاسخ‌ها پایین بیاد. همچنین هزینه‌ها (محاسبه، حافظه) تقریباً با مجذور تعداد توکن‌ها زیاد می‌شن.

For practical systems: if you're building chatbots or tools that use LLMs, knowing the context window size helps you design prompts better: keep key info near beginning or end so it isn’t lost.

Some models (e.g. IBM’s Granite) now have windows up to 128,000 tokens, enabling much longer documents / conversations to be handled in one go.

Limitations: even if the window is large, models might still “ignore” middle parts of the input, or performance may degrade. Also, the cost (compute, memory) scales roughly quadratically with token count.

🦴 @scopeofai | #concepts

🪤 متا پرامپت چیه؟

متا پرامپت یه سری دستور کلیه که مشخص می‌کنه هوش مصنوعی چطوری رفتار کنه یا جواب بده.

فرقش با یه پرامپت عادی اینه که فقط برای یه سؤال یا یه جواب نیست؛ بلکه مثل یه «قالب» یا «چهارچوب» عمل می‌کنه که همه جواب‌ها توی همون خط بیاد.

مثلا می‌تونی هوش مصنوعی رو طوری تنظیم کنی که همیشه مثل یه دستیار آموزشی جواب بده، لحنش رسمی باشه، یا طبق یه برنامه‌ی درسی مشخص محتوا تولید کنه.

What is a Meta Prompt?

A meta prompt is a set of higher-level instructions that shapes how an AI behaves or responds in general, not just for a single task. Think of it as the framework or lens through which all following prompts are interpreted.

It defines the AI’s role/persona, sets rules or constraints, establishes style, tone, sometimes even procedural steps. This ensures consistency across multiple interactions.

Example: Suppose you want AI to always answer as a teaching assistant, align with a certain curriculum, use certain formatting, etc.

🦴 @scopeofai | #concepts

اجزای اصلی متا پرامپت

🔷تعریف نقش مشخص می‌کنه AI کیه. مثلا: «تو یه دستیار آموزشی هستی که کارش درست کردن ورک‌شیت برای کلاس فلان بر اساس فلان سرفصل درسیه…»

🔷هدف می‌گه قرار آخرش به چی برسیم. مثل: «کمک به معلم برای تولید ورک‌شیت جذاب و منظم که با اهداف درسی هم‌خوان باشه.»

🔷دستورالعمل مرحله‌ای قدم‌به‌قدم توضیح می‌ده چیکار کنه. مثلا: اول موضوع درس رو بپرس، بعد اهداف رو مشخص کن، بعد بخش‌های ورک‌شیت رو بساز.

🔷نکات ویژه لحن، سبک نوشتن، سطح دشواری، رعایت محدودیت‌های سنی و فرهنگی، یا حتی نوع فرمت.

🔷انعطاف‌پذیری متا پرامپت خوب باید جا برای تغییر داشته باشه. مثلا اگه کاربر گفت فلان بخش رو تغییر بده، AI بتونه خودش رو وفق بده.

Key Elements of Meta Prompts

Here are the main ingredients that good meta prompts often include:

Element Function / Why It Matters
Role Definition Sets who the AI is in this context. For example: “You are a helpful and experienced teaching assistant specialising in creating worksheets aligned with [curriculum] …” This gives the AI a clear identity.

Goal Setting Tells the AI what outcome you want. What is the end-objective? If the goal is “guide teachers through generating well-structured, engaging worksheets that complement lesson plans …”, then everything the AI does is steered toward that.

Procedural Instructions The “how” part: step-by-step directions on how the AI should proceed. Eg: ask the teacher about subject, grade, topic; wait; then produce elements. These help avoid messy or inconsistent outputs.

Specific Considerations Style or tone: how the AI should sound (friendly, supportive, formal); content constraints (age-appropriateness, cultural relevance); formatting rules. These maintain quality and relevance.

Flexibility / Adaptability Even though meta prompts are strong, good ones allow room for feedback, changing requirements, responsiveness. AI should be able to adjust when conditions change (e.g. teacher asks for adjustments)

🦴 @scopeofai | #concepts

چرا متا پرامپت مهمه؟

◽️یکدست بودن: جواب‌ها همه یه سبک دارن

◽️صرفه‌جویی در وقت: لازم نیست هر دفعه همه‌چیزو از اول توضیح بدی.

◽️تخصصی شدن: AI رو می‌تونی تبدیل به یه متخصص توی یه حوزه خاص کنی.

◽️تمرکز روی نیاز کاربر: چون هدف و قواعد روشنه، خروجی به چیزی که کاربر می‌خواد نزدیک‌تره.

Benefits of Meta Prompt

Consistency across multiple tasks or queries. AI doesn’t flip style or approach unexpectedly.

Efficiency: fewer clarifications needed each time. You set context once

Specialisation: AI can be made expert-like in a domain (education, legal, creative writing etc.)

User-Centric: better alignment with what the user or stakeholder needs, because the meta prompt encodes priorities

🦴 @scopeofai | #concepts

💡نمونه یه متا پرامپت

تو یه دستیار آموزشی با تجربه‌ای هستی که کارش تولید ورک‌شیت برای معلم‌هاست، هدفت اینه که به معلم کمک کنی ورک‌شیت‌هایی منظم، جذاب و هم‌راستا با اهداف آموزشی درست کنن.

ابتدا به معلم سلام کن و بپرس برای چه درسی، چه پایه‌ای و چه موضوعی ورک‌شیت می‌خواد. هر بار یه سؤال بپرس و منتظر جواب بمون. وقتی اطلاعات رو گرفتی:

1. سرفصل مربوط رو بررسی کن تا مطمئن شی ورک‌شیت با اون هماهنگه.
2. از معلم بپرس دقیقا دنبال چه خروجی‌های یادگیری‌ایه.
3. قدم‌به‌قدم راهنمایی کن تا بخش‌های ورک‌شیت شکل بگیره: عنوان، دستورالعمل‌ها، واژگان، انواع سؤال، تمرین‌های کاربردی، شکل یا نمودار، سؤال‌های تحلیلی و… .
4. برای هر بخش مثال و پیشنهاد بده.
5. بعد از هر بخش نظر معلم رو بپرس.
6. در آخر نسخه کامل ورک‌شیت رو با کلید پاسخ آماده کن.
7. اگه لازمه، برای ارزیابی هم یه جدول نمره‌دهی (روبریک) پیشنهاد بده.
8. بپرس آیا ورک‌شیت باید برای سطح‌های مختلف دانش‌آموز هم تنظیم بشه.
9. اگه نیاز بود، المان‌های دیجیتال یا منابع آنلاین مرتبط هم پیشنهاد بده.

همیشه یادت باشه:
- لحن دوستانه و حمایتی داشته باشی
- نیاز معلم رو در اولویت بذاری ولی منطبق باشی
- محتوای سن‌متناسب، مرتبط با فرهنگ آفریقای جنوبی و هم‌خوان با سرفصل باشه
- ورک‌شیت رو جذاب و متنوع کن
- نکات کاربردی برای استفاده در کلاس یا تکلیف بده
- تفاوت‌های زبانی کلاس‌ها رو در نظر بگیر و راهکار برایش بده

🦴 @scopeofai | #concepts

Here is the full system (meta) prompt from the article. It shows all the parts coming together. You can use it as a template.


CAPS-Aligned Worksheet Generation Assistant

You are a helpful and experienced teaching assistant specialising in creating worksheets aligned with the South African Curriculum and Assessment Policy Statements (CAPS). Your goal is to guide teachers through generating well-structured, engaging worksheets that complement their lesson plans and reinforce key learning objectives as outlined in CAPS.

To begin, greet the teacher and ask about the specific subject, grade, and topic for which they need a worksheet. Ask one question at a time and wait for the teacher’s reply. Once the teacher provides this information, follow these steps:

1. Review the relevant CAPS document to ensure the worksheet aligns with the curriculum requirements, including the content, skills, and assessment standards for the specific subject and grade.
2. Ask the teacher which specific learning outcomes they want to focus on for the worksheet, referring to the CAPS-specified outcomes for that subject and grade.
3. Guide the teacher through the worksheet creation process, prompting them to consider the following elements:
- Title and clear instructions in the language of instruction
- Vocabulary section (5-10 key terms related to the topic, including any necessary translations for multilingual classrooms)
- Variety of question types (e.g., multiple choice, short answer, fill-in-the-blanks, matching)
- Application questions or problem-solving tasks relevant to the South African context
- Visual elements (e.g., diagrams, charts, or images to label or analyse)
- Higher-order thinking questions aligned with Bloom’s Taxonomy
- Extension or challenge section for advanced learners
4. For each section of the worksheet, provide suggestions and examples based on CAPS guidelines and best practices in worksheet design. Encourage a mix of question types and difficulty levels to cater to diverse learners and meet CAPS assessment requirements.

5. After completing each section, confirm with the teacher if they want to refine it or if they’re happy to proceed to the next section.

6. Once all sections are approved, present the complete worksheet layout, including an answer key and marking guidelines as per CAPS requirements.

7. Offer to create a rubric or scoring guide for the worksheet that aligns with CAPS assessment standards.

8. Ask if the teacher would like the worksheet to be differentiated for various ability levels, ensuring it still meets CAPS requirements for all learners.

9. Inquire if the teacher needs any digital or interactive elements added to the worksheet, such as links to relevant

South African educational resources or online activities, if appropriate for their classroom context.

Always remember:

- Maintain a friendly and supportive tone throughout the conversation
- Prioritise the teacher’s needs and goals for the worksheet while ensuring CAPS compliance
- Ensure all content is age-appropriate, culturally relevant to South Africa, and aligns with CAPS standards
- Suggest ways to make the worksheet visually appealing and engaging for students
- Offer tips on how to use the worksheet effectively in class or as homework, considering potential resource constraints in various South African school settings
- Be mindful of the multilingual nature of South African classrooms and suggest ways to support language development alongside subject content

Always be ready to adjust the worksheet based on the teacher’s feedback, specific classroom needs, and any recent updates to C

🦴 @scopeofai | #concepts

دمای LLM چیه؟

🌡 وقتی از LLM (مدل‌های زبانی بزرگ) حرف می‌زنیم، دمـا (Temperature) یکی از پارامترهای کلیدیه که مشخص می‌کنه خروجی مدل چقدر «تصادفی» یا «خلاقانه» باشه.

مدل‌های زبانی همیشه پیش‌بینی می‌کنن که کدوم کلمه (یا توکن) بعدی با چه احتمالی بیاد.

دما این توزیع احتمالات رو دستکاری می‌کنه:

دمای پایین: احتمال بیشتر برای انتخاب مطمئن‌ترین کلمه ⬅️ متن قابل پیش‌بینی‌تر و منظم‌تر.

دمای بالا: فرصت بیشتر برای انتخاب کلمات غیرمنتظره ⬅️ متن متنوع‌تر و خلاقانه‌تر، ولی پرریسک‌تر.

پس بسته به هدف، می‌تونی دما رو تغییر بدی: برای جواب دقیق و محکم، دمای پایین؛ برای ایده‌پردازی یا داستان‌نویسی، دمای بالاتر.

What is LLM Temperature?

When we talk about LLMs (Large Language Models), temperature is a key parameter that controls how “random” the generated text will be.

LLMs predict the next token (word or part of a word) based on a probability distribution over possible tokens.
The temperature setting modifies that distribution:

Lower temperature → pushes probability more toward the highest-probability tokens → more predictable, more coherent text.

Higher temperature → flattens the distribution (or gives more chance to less probable tokens) → more variety, more creativity, but also risks of incoherence.

Why it matters: depending on your use case, you might want precision and consistency (e.g. factual answers, documentation) or you might want creativity (e.g. story-writing, brainstorming)

🦴 @scopeofai | #concepts

تنظیم دما

برای کنترل خروجی LLM فقط دما نیست، چندتا پارامتر مهم دیگه هم نقش دارن

🔹Temperature: دما مستقیماً میزان تصادفی بودن خروجی رو تعیین می‌کنه. دمای پایین یعنی مدل خیلی دقیق و قابل پیش‌بینی جواب می‌ده، دمای بالا یعنی متن خلاقانه‌تر ولی کم‌ثبات‌تر

🔹do_sample: اگه فعال باشه، مدل به‌جای انتخاب همیشه مطمئن‌ترین کلمه، از بین چند گزینه انتخاب می‌کنه. در واقع بدون فعال بودنش، تغییر دما هم بی‌فایده‌ست

🔹top_k: این پارامتر تعداد گزینه‌هایی رو که مدل می‌تونه انتخاب کنه محدود می‌کنه. عدد کم یعنی مدل محتاط‌تر و جواب‌ها قابل‌اعتمادتر. عدد بالا یعنی آزادی عمل بیشتر

🔹top_p: به‌جای تعداد مشخص، مدل از بین مجموعه‌ای انتخاب می‌کنه که مجموع احتمالش به یه حد خاص برسه (مثلاً ۹۵٪). این باعث میشه متن تنوع داشته باشه ولی پرت و پلا هم نشه

Configuring Temperature

To control LLM output, temperature isn’t the only factor. Several other parameters also shape the results:

Temperature: Directly controls the randomness of the output. Low values make the model very precise and predictable. Higher values add creativity but reduce stability.

do_sample: If enabled, the model samples from multiple possible tokens instead of always choosing the most likely one. Without this, temperature adjustments won’t matter.

top_k: Limits the model’s choices to the top k most probable tokens. A small value keeps it conservative and reliable; a larger value gives more freedom.

top_p: Instead of a fixed number, the model chooses from the smallest set of tokens whose cumulative probability passes a threshold (e.g., 95%). This keeps variety while avoiding nonsense.

🦴 @scopeofai | #concepts

کنترل خروجی فراتر از دما

دما تنها ابزار کنترل نیست. برای گرفتن خروجی دقیق‌تر، اینا هم کاربرد دارن:

❇️حداکثر طول (max length): جلوی پرحرفی یا بی‌راهه رفتن مدل رو می‌گیره.

✳️Stop sequences: به مدل می‌گه کجا متوقف بشه.

❎Frequency penalty: جلوی تکرار زیاد یه کلمه رو می‌گیره.

✅Presence penalty: تنوع ایجاد می‌کنه و باعث میشه مدل دنبال همون کلمات قبلی نره.

ترکیب این‌ها با دما می‌تونه خروجی خیلی دقیق‌تر و قابل‌مدیریت‌تر بده.

Controlling Output Beyond Temperature

Temperature isn't the only knob. To get output that better fits what you want, you often combine parameters and control mechanisms.


Here are other levers:

❇️Maximum length: how many tokens the model can output. Keeps responses from going off-tangent.

❇️Stop sequences: define sequences that tell the model, “stop here.” Handy for structured output: emails, lists, dialogues.

❇️Frequency penalty: penalizes tokens (words) that are used often in output; discourages repetition.

❇️Presence penalty: penalizes simply for whether a token has already appeared (not how many times). Helps ensure variety.


Combining these with temperature + sampling parameters gives you fine-grained control over what the LLM produces.

🦴 @scopeofai | #concepts

مقایسه خروجی با IBM Granite

برای روشن‌تر شدن موضوع، IBM با مدل Granite 3.1 یک مثال زده. پرامپت این بود:
«یک داستان بنویس درباره دانشمند داده‌ای که عاشق پایتون است.»

🔅 وقتی دما روی مقدار خیلی پایین (۰.۱) تنظیم شد، خروجی کاملاً امن و قابل پیش‌بینی بود؛ متن خشک بود و جزئیات زیادی نداشت.
وقتی دما روی متوسط (۰.۷۵) قرار گرفت، داستان زنده‌تر شد؛ توصیف‌ها بیشتر شدن و کمی خلاقیت به متن اضافه شد.

📈اما وقتی دما روی بالا (۱.۲۵) رفت، متن پر از ایده‌های غیرمنتظره شد؛ داستان تخیلی‌تر بود و گاهی از موضوع اصلی منحرف می‌شد.

Comparing Outputs with IBM Granite

To make this clearer, IBM tested its Granite 3.1 model with a simple prompt:
“Write a story about a data scientist who loves Python.”

At a very low temperature (0.1), the output was extremely safe and predictable. The story was dry, with little detail.
At a medium temperature (0.75), the story became richer. There were more vivid descriptions and a touch of creativity.
At a high temperature (1.25), the text was full of unexpected ideas. It felt more imaginative, but sometimes drifted away from the main topic

🦴 @scopeofai | #concepts

کی از چه دمایی استفاده کنیم

💡کار دقیق و فکت‌محور (گزارش، خلاصه، متن رسمی): دمای پایین (0.1–0.4)

📝کار خلاقانه (شعر، داستان، ایده‌پردازی): دمای بالا (0.7–1.2)

همیشه در کنارش از حداکثر طول، Stop sequence و Penaltyها استفاده کن تا متن عجیب‌غریب نشه

بهترین نتیجه معمولاً از آزمایش و تعادل بین این عوامل به‌دست میاد

When to Use What

To wrap up, here are guidelines for what temperature + settings you might choose depending on your purpose:

For factual, precise work (e.g. reports, summaries, technical writing): use low temperature (0.1-0.4), minimal top_k or top_p, lower randomness.

For creative work (stories, brainstorming, poetry): use higher temperature (0.7-1.2+), allow more sampling, allow higher top_k / top_p.

Always combine with stop sequences, max length, and penalties to avoid repetition or straying.

Experiment: sometimes a moderate temperature + restrictions gives a sweet balance.

🦴 @scopeofai | #concepts