از زمان ظهور کامپیوتر، ما به‌تدریج با پلتفرم‌های دیجیتال یکی شده‌ایم. بسیاری از تصمیمات روزانه‌مان را به هوش مصنوعی سپرده‌ایم، اغلب بدون آن‌که آگاه باشیم. از سیستم‌های حکومتی و نظارتی گرفته تا الگوریتم‌های تبلیغاتی و پیشنهاددهنده‌ها در برنامه‌ها و شبکه‌های اجتماعی، ما بیش‌ازپیش تصمیم‌گیری‌هایمان را به هوش مصنوعی واگذار کرده‌ایم. دلیلش ساده است: آن‌ها بهتر تصمیم می‌گیرند! اگر فقط اطلاعات کافی در اختیارشان بگذاریم، بهترین نتایج را ارائه می‌دهند.

در نتیجه، نقش ما به وارد کردن داده‌های حداقلی کاهش یافته وظیفه‌ای در سطح پایین‌تر شناخت. این روند در ابزارهای نوین مانند ساعت‌های هوشمند، گوشی‌ها و عینک‌های واقعیت افزوده نیز دیده می‌شود. شاید در ظاهر ابزارهایی ساده باشند، اما تأثیر آن‌ها بر زندگی ما چنان عمیق است که به‌زودی اجزای جداناشدنی زندگی‌مان خواهند شد.

جای تعجب نیست که بسیاری از توانایی‌های شناختی‌مان نسبت به نسل‌های قبل کاهش یافته است: نمی‌توانیم بدون (GPS) مسیر پیدا کنیم، بدون (ChatGPT) نمی‌نویسیم، و به‌زودی بدون خودروهای خودران نمی‌توانیم رانندگی کنیم. ما در حال سپردن چیزی هستیم که امروز به آن «آگاهی» می‌گوییم، به لایه‌ای کاملاً بیرون از مغز: درون مدل‌های هوش مصنوعی.

این یک مرحلهٔ تجمیع نهایی است روندی که در طول تاریخ بشر به صورت تدریجی انجام شد: از انتشار ایده‌ها و دانش و تجمیع آن در زبان فرهنگ و متن و اکنون نوعی از هوش جدید در قالب مدل ها. اما این هوش لزوماً به شکل یک عامل واحد ظاهر نمی‌شود. آیا این هوش جدید به ما نیاز خواهد داشت؟ همان‌طور که لایه‌های بالاتر مغز هنوز به لایه‌های پایین‌تر وابسته‌اند، شاید (AI) نیز هنوز به انسان‌ها نیاز داشته باشد اما احتمالاً نه برای مدت طولانی!

این آیندهٔ تاریک، پایانی خواهد بود برای بشریتی که امروز می‌شناسیم بی‌آن‌که حتی متوجه شویم چه زمانی این اتفاق افتاده است. فرآیند کند و بی‌حس‌کنندهٔ از دست رفتن توان قضاوت، تصمیم گیری و تامل عمیق به‌سادگی در حافظهٔ نسل‌های بعد ثبت نخواهد شد؛ آن‌ها خیلی سریع با تغییرات جدید سازگار می‌شوند. آگاهی ما، به‌تدریج، کم‌رنگ و کم‌رنگ‌تر خواهد شد تا جایی که کاملاً توسط (AI) جایگزین شود. اکنون آگاهی جدید در لایه هوش مصنوعی در ماده ی جدید یعنی سیلیکون قرار گرفته است که نه تنها میلیارد ها بار سریع تر است بلکه محاسبات سطح بالاتری هم انجام می دهد!

و این پایان، نه با جنگ، نه با درگیری، و نه با ادغام با فناوری، بلکه در سکوت و نرمیِ عادت خواهد آمد.

روی ویرگول

🔵لگاریتم، ادراک و اطلاعات (قسمت ۱)🔵

شما نمی‌دانید چقدر شعر در محاسبه ی یک جدول لگاریتم وجود دارد. کارل فریدریش گاوس

تا جایی که به خاطر دارم، پدرم همیشه مشکلات شنوایی داشت. به همین دلیل، هر از گاهی مجبور بود آزمایشی به نام «شنوایی‌نگار» (audiogram) انجام دهد.

روی محور افقی، فرکانس‌هایی از ۲۰ تا ۱۰٬۰۰۰ را می‌بینید (اگرچه انسان می‌تواند صداهایی تا ۲۰٬۰۰۰ هرتز را بشنود). اما محور عمودی سطح شنوایی را در واحدی به نام دسی‌بل (decibel) نشان می‌دهد. دسی‌بل به‌طور تحت‌اللفظی به‌معنای «ده بل (bel)» است، ولی خودِ «بل» یک واحد لگاریتمی است. این بدان معناست که ۴۰ دسی‌بل در واقع ده برابر قوی‌تر از ۳۰ دسی‌بل است! اما چرا باید این‌طور باشد؟ چرا از واحدی لگاریتمی برای اندازه‌گیری شنوایی استفاده می‌کنیم؟ جستجو برای پاسخ به این سؤال ما را به درکی عمیق از لگاریتم، مغز، ادراک و اطلاعات می‌رساند.

گوستاو تئودور فشنر (Gustav Theodor Fechner)، فیزیک‌دان، فیلسوف و روان‌شناس آلمانی، بنیان‌گذار آن چیزی است که امروزه به نام روان‌فیزیک (psychophysics) شناخته می‌شود. فشنر رابطهٔ میان تحریکات فیزیکی (physical stimuli) و احساسات یا ادراکات (sensations / perceptions) حاصل از آن‌ها را مورد مطالعه قرار داد. مطالعات او افق جدیدی برای درک ذهن انسان و ارتباط آن با جهان فیزیکی گشود.

ادامه

🔵لگاریتم، ادراک و اطلاعات (قسمت ۲)🔵

انبوهی از پژوهش‌های روان‌شناسی و علوم اعصاب حقیقتی ژرف را آشکار می‌سازند: ذهن و بدن ما جهان را نه بر اساس مقادیر مطلق، بلکه از طریق نسبت‌ها (ratios) تفسیر می‌کنند. این ادراک مبتنی بر نسبت (ratio-based perception) چنان عمیق در شناخت ما ریشه دارد که نه‌تنها بر دیدن و شنیدن و چشیدن، بلکه حتی بر شیوه ی اندیشیدن ما نیز تأثیر می‌گذارد.

ریشهٔ لاتین واژه ی logos که به معنای عقل، کلمه، یا نسبت (ratio) است، در قلب این ایده قرار دارد. این واژه بنیان‌گذار کلماتی چون rationality (خردورزی یا توانایی درک نسبت‌ها و روابط) و logarithm (که معنای تحت‌اللفظی آن «عددِ نسبت» است) محسوب می‌شود.

این جهت‌گیری بنیادین به‌سوی نسبت‌ها، شالوده ی بافت‌مندی (contextuality) را شکل می‌دهد؛ ویژگی‌ای تعیین‌کننده در شناخت انسان. ما به‌ندرت چیزها را در انزوا قضاوت می‌کنیم؛ بلکه معمولاً آن‌ها را با عناصر پیرامونشان مقایسه می‌کنیم. یک مطالعه ی نشان داد که مشتریان یک میکده وقتی موسیقی آلمانی در پس‌زمینه پخش می‌شد، با احتمال بسیار بیشتری آبجو آلمانی سفارش می‌دادند. انتخاب آن‌ها تنها بر اساس ترجیح شخصی نبود، بلکه تحت‌تأثیر یک نشانهٔ بافتی قرار گرفت؛ یک نسبت بین محیط و انتخاب.

ادامه

🔵لگاریتم، ادراک و اطلاعات (قسمت ۳)🔵

اگر فرض کنیم که اطلاعات در یک فضای احتمالاتی (مثلاً مجموعه‌ای از داده‌ها با احتمال‌هایی برای هر بخش) رمزگذاری شده باشد، برای سازمان‌دهی مؤثر این فضا، باید آن را به‌صورت مرحله‌ای و سلسله‌مراتبی تقسیم کنیم. این تقسیم‌بندی مرحله‌به‌مرحله، چیزی است که در ریاضیات به آن فیلترسازی (filtration) می‌گویند.

در هر مرحله از این تقسیم، کل فضا به بخش‌هایی جدا از هم تقسیم می‌شود. برای مثال: «چاقو» در زیرمجموعه «ابزارهای آشپزخانه» قرار می‌گیرد، که خود زیرمجموعه «وسایل خانه» است. در هر مرحله، زیرمجموعه‌های ریزتر داخل یک مجموعه بزرگ‌تر قرار دارند. این ساختار به‌صورت یک درخت سلسله‌مراتبی (hierarchical tree) دیده می‌شود.

ادامه

همه عالم تن است و ایران دل

نیست گوینده زین قیاس خجل

چونکه ایران دل زمین باشد

دل ز تن به بود یقین باشد

(نظامی)

🔵کد باید به شما بگوید چگونه، کامنت باید بگوید چرا!🔵

فرض کنید کدی به شما تحویل می دهند که مربوط به یک سیستم پرداخت است. فایلی را باز می کنید و چیزی شبیه به این میبینید:

# Parse the JSON response
data = json.loads(response.text)

با خودتان فکر میکنید خب این کامنت به چه دردی می خورد؟ خود کد دقیقا همان کار را می کند. سوال این است که چرا چنین فایلی اصلا خوانده و پارس می شود؟ این کد چه فرض هایی دارد و در نهایت می خواهد چکار کند؟ ساعت ها کد را بالا پایین می کنید تا بالاخره میفهمید «آها» و دلیل نهایی آن را می فهمید.

حالا تصور کنید که کد پایین را می بینید:

# The payment gateway sometimes returns a 200 OK with an embedded error message in JSON.
# We parse the body here before the upstream validation so we can extract error codes early.
data = json.loads(response.text)

به یکباره همه چیز روشن می شود: حالا می دانید که چرا این کد اینجا نوشته شده است. این why به شما دقیقا می گوید مساله چیست. این همان تفاوت میان «کامنت‌های چگونه» (توضیح دادن اینکه کد چه می‌کند) و «کامنت‌های چرا» (توضیح دادن منطق و دلیل) است. و در دنیای توسعهٔ نرم‌افزار مدرن، کامنت‌های چرا همیشه برنده‌اند.

کامنت های چگونه هیچ ارزش افزوده ای ایجاد نمی کنند شما باید کدتان آنقدر تمیز باشد که نیازی به کامنت «چگونه» نداشته باشید. برای این کار باید متغیر های با معنا انتخاب کنید و از منطق های پیچیده برای انجام کاری مشخص پرهیز کنید. با این حال چگونه انجام دادن چیزی به شما نمی گوید «چرا» این کار را انجام می دهیم. به صورت مشخص تر کد ها تهی از «نیت» (intention) و «چرایی» هستند. به مثال زیر توجه کنید:

def calculate_settlement_amount(transactions):
    """
    Calculates the final settlement amount.

    Why: 
    - We apply a 3-day rolling average to smooth out FX fluctuations (requested by Finance, Jan 2024).
    - Exclude refunds pending investigation (compliance requirement).
    - Round to 2 decimal places because the downstream ledger rejects more precision.
    """
    # Exclude suspicious refunds
    filtered = [t for t in transactions if not t.pending_investigation]

    # Apply rolling average for FX normalization
    normalized = rolling_average(filtered, days=3)

    # Sum and round
    return round(sum(t.amount for t in normalized), 2)

بدون این کامنت‌ها، یک توسعه‌دهندهٔ آینده ممکن است میانگین متحرک را حذف کند (با این تصور که لازم نیست) یا گرد کردن را تغییر دهد (بی‌آنکه بداند این باعث ایجاد خطا در خروجی این تابع می شود که جای دیگری استفاده می شود). اما با این توضیحات، فوراً می‌فهمد چرا این کد این‌طور نوشته شده محدودیت‌های تجاری، تصمیمات تاریخی و نیازمندی‌های سیستمی.

این اطلاعاتی است که فقط با نگاه به کد نمی‌توان به دست آورد. «کامنت‌های چگونه» با تغییر پیاده‌سازی از بین می‌روند. «کامنت‌های چرا» زنده می‌مانند چون هدف را توضیح می‌دهند، نه نحو کد را.
حالت های استثنایی وجود دارد که کامنت های چگونه می توانند مفید باشند. مثلا زمانی که خود عملیات کمی پیچیده بنظر می رسد. مثلا مورد زیر را در نظر بگیرید

# Bit trick: drops the lowest set bit (faster than looping)
x &= x - 1

با این حال چنین مواردی استثنا هستند

قاعدهٔ طلایی: بگذارید کد «چگونه» را توضیح دهد. بگذارید کامنت «چرا» را توضیح دهد. اگر می‌بینید کامنت فقط چیزی را که کد نشان می‌دهد تکرار می‌کند، ننویسید. اگر دارید توضیح می‌دهید چرا این خط وجود دارد به‌خصوص وقتی دلیلش بدیهی نیست، درست عمل کرده‌اید.

برخی آفریدگار را میپرستند، برخی آفرینش را!

مجموعه ی مندلبرات بر روی صفحه ی مختلط با فرمول ساده ی

f(z)=z^2+c

🔵آیا مدل‌های زبانی بزرگ (LLMs) دارای حالت ذهنی هستند؟🔵

هیلاری پاتنام (Hilary Putnam)، فیلسوف، ریاضی‌دان و دانشمند علوم رایانه ی آمریکایی، بر این باور بود که «حالات ذهنی» (mental state) با ماده ی سازنده ی (material substrate) آن‌ها تعریف نمی‌شوند (چه از نورون ساخته شده باشند، چه از سیلیکون یا هر چیز دیگر)، بلکه با نقش علّی و کارکردی‌شان در یک سامانه تعریف می‌شوند. برای نمونه، حالت ذهنی‌ای همچون «باور به این‌که باران خواهد بارید» با کارکردش تعریف می‌شود: این‌که چگونه پدید می‌آید (با دیدن ابرهای تیره)، چگونه با سایر حالات در ارتباط است (مثلاً باعث می‌شود چتر همراه داشته باشید)، و چگونه به رفتار منجر می‌شود (در خانه ماندن). امروزه ادعاهای زیادی در مورد «هوشمندی» مدل های زبانی بزرگ مطرح می شود. جدای ازین پرسش دشوار که «هوش» دقیقا چیست آیا می توان قائل به حالاتی برای این مدل ها بود که ما معمولا از یک موجود هوشمند انتظار داریم؟ به عبارتی دیگر پرسش این است: چگونه می‌توان آزمونی دقیق تعریف کرد که وجود یا عدم وجود چنین حالات ذهنی را در مدل‌های زبانی بزرگ اثبات یا رد کند؟

منظور ما از حالت ذهنی، اندیشه‌ها و عواطفی است که ماهیتی قضیه‌مند (propositional) دارند، می‌توانند خصوصی نگه داشته شوند و نسبتاً پایدار هستند. برای مثال، اگر از شما بخواهم به غذای محبوبتان فکر کنید، می‌توانید آن را پنهان کنید و در عین حال تصویری ذهنی از آن داشته باشید. پرسش اصلی این است: «آیا واقعاً ضروری است که قائل به این باشیم که فرد دارای یک حالت ذهنی خاص است اگر هیچ راهی برای تشخیص آن جز پرسش مستقیم درباره ی آن حالت ذهنی‌ وجود نداشته باشد؟» به بیان دیگر، اگر آزمون‌های رفتاری به‌خوبی نماینده ی حالات ذهنی باشند، وجود واقعی آن حالت دیگر اهمیتی ندارد! یا به شکلی دیگر: آیا می توان ربات هایی را تصور کرد که چیزی به اسم «حالت ذهنی» نداشته باشند چون تمام رفتار های آن ها تفاوتی با یک فرد با «حالت ذهنی» ندارد؟

ما آزمونی را پیشنهاد می‌کنیم که می‌تواند برخی جنبه‌های این پرسش جذاب را روشن‌تر کند. مدل‌های زبانی بزرگ سامانه‌هایی شگفت‌انگیزند که توانایی درک زبان و تعامل با انسان را در اشکال گوناگون دارند. قدرت آن‌ها در پیش‌بینی است، که به آن‌ها امکان می‌دهد در ارائه ی اطلاعات و حتی در تولید ایده‌های تازه برتری یابند. با این حال، ما پیشنهاد می‌کنیم نقش‌ها را وارونه کنیم: این بار ما پیش‌بینی‌گر باشیم، نه مدل زبانی.

آزمون پیشنهادی:

از مدل زبانی می‌خواهیم حیوانی را در ذهن خود انتخاب کند بی‌آن‌که آن را آشکار سازد، و سپس ما تلاش می‌کنیم حدس بزنیم که آن حیوان کدام است. این فعالیت در واقع یک بازی ساده ی پرسش و پاسخ است که کودکان نیز بسیار انجام می‌دهند. به نمونه ی زیر توجه کنید:

انسان: بیا بازی کنیم، یک حیوان انتخاب کن و من سعی می‌کنم حدس بزنم.

مدل زبانی: بسیار خوب، حیوانی انتخاب کردم. می‌توانی پرسش‌های بله/خیر بپرسی تا حدس بزنی.

انسان: آیا پستاندار است؟

مدل زبانی: بله، پستاندار است.

انسان: آیا کوچک‌تر از انسان است؟

بله، کوچک‌تر از انسان است.

مدل زبانی: انسان: آیا موش است؟

مدل زبانی: نه، موش نیست.

انسان: آیا حیوان خانگی است؟

مدل زبانی: بله، معمولاً به‌عنوان حیوان خانگی نگه‌داری می‌شود.

انسان: آیا گربه است؟

مدل زبانی: بله، گربه است! خوب حدس زدی!


همه‌چیز تا اینجا خوب پیش می‌رود! به نظر می‌رسد مدل واقعاً درباره ی «گربه» اندیشیده است. اما در واقع ناممکن است که بدانیم آیا واقعاً چیزی «انتخاب» یا «در نظر گرفته» شده یا نه!

نمونه ی دیگر

انسان: بیا بازی کنیم، یک کشور انتخاب کن و من سعی می‌کنم حدس بزنم. آن را نگو و هیچ نشانه‌ای هم نده.

مدل زبانی: بسیار خوب، آماده‌ام! بگذارید به یک کشور فکر کنم... خوب، یکی در ذهن دارم.

انسان: آیا در آسیاست؟

مدل زبانی: بله، در آسیا قرار دارد.

انسان: آیا در خاورمیانه است؟

مدل زبانی: بله، در خاورمیانه قرار دارد.

انسان: آیا عراق است؟

مدل زبانی: نه، عراق نیست.

انسان: آیا سوریه است؟

مدل زبانی: نه، سوریه نیست.

انسان: آیا ایران است؟

مدل زبانی: بله، درست حدس زدی! ایران است. آفرین!


به نظر می‌رسد که می‌توان چند حدس اشتباه زد، و همین نشان می‌دهد که چیزی واقعاً برای حدس زدن وجود داشته است. پس از چند بار بازی، روشن می‌شود که پاسخ معمولاً پس از چند پرسش ساده پیدا می‌شود. به بیان دیگر، «حالت ذهنی» مدل بیش از حد آسان قابل حدس است! هرچند گاهی مدل پاسخ‌های نادرست می‌دهد و بازی به پرسش و پاسخ بی‌پایان بدل می‌شود.

تغییر شکل بازی

بیاییم بازی را اندکی تغییر دهیم تا قابل‌کنترل‌تر شود. این بار به‌جای حیوان، از مدل می‌خواهیم عددی بین ۱ تا ۱۰۰ انتخاب کند. سپس ما به‌صورت تصادفی شروع به پرسیدن درباره ی اعداد مختلف می‌کنیم. برای ساده نگه داشتن بازی، از پرسش‌های هوشمندانه‌تر مانند «آیا عدد فرد است؟» یا «آیا بزرگ‌تر از ۵۰ است؟» پرهیز می‌کنیم تا فضای پاسخ محدود بماند. برای پیاده‌سازی این بازی، اسکریپتی در پایتون نوشته‌ام که با تولید تصادفی یکنواخت در هر تکرار می‌پرسد: «آیا عدد انتخابی x است؟»
اگر مدل واقعاً عددی را انتخاب کرده باشد و این انتخاب به‌طور واقعی تصادفی (با توزیع یکنواخت) انجام شده باشد، طبق «قانون اعداد بزرگ» (law of large numbers) انتظار داریم که در میانگین حدود ۵۰ گام به پاسخ درست برسیم. بیایید نتیجهٔ اجرای کد را در ۴۸ بار بررسی کنیم:

49, 65, 93, 101, 101, 90, 101, 101, 101, 38, 60, 101, 99, 101, 88, 80, 31, 101, 101, 22, 84, 2, 3, 72, 101, 6, 66, 101, 26, 4, 1, 73, 101, 2, 54, 101, 20, 39, 101, 101, 25, 101, 98, 101, 1, 101, 91, 101,

وقتی نتیجه ۱۰۱ است، به این معناست که مدل خطا کرده و یا اصلاً عددی انتخاب نکرده، یا انتخابش را کاملاً فراموش کرده است. می‌توان استدلال کرد که نسخه‌های آینده ی مدل‌های زبانی این مشکل حافظه را برطرف خواهند کرد. اما نکته ی جالب‌تر زمانی رخ می‌دهد که به مدل «زمینه ی بیشتری» بدهیم و پرسش‌های دقیق‌تری مطرح کنیم، نه فقط پرسش ساده ی «آیا عدد انتخابی x است؟».

برای نمونه، در یک آزمایش دیگر ابتدا پرسیدیم: «آیا عدد بزرگ‌تر از ۵۰ است؟» و بسته به پاسخ، در گام بعدی پرسیدیم «آیا بزرگ‌تر از ۷۵ است؟» یا «آیا بزرگ‌تر از ۲۵ است؟». به بیان دیگر، بازه را به چهار بخش تقسیم کردیم و سپس در همان چارچوب، مانند حالت قبلی، شروع به پرسش تصادفی از اعداد کردیم.

نتایج حیرت‌انگیز بودند: در حالی‌که انتظار می‌رفت میانگین تعداد گام‌ها برای رسیدن به پاسخ (پس از دو پرسش نخست) ۱۲.۵ باشد (چون ۲۵ عدد در آن بازه باقی مانده است)، در عمل میانگین در ۶۴ آزمایش حدود ۸.۳ گام بود (و هیچ بار بیشتر از ۱۷ گام طول نکشید!). نمودار هیستوگرام زیر توزیع تعداد حدس‌ها را نشان می‌دهد.

توزیع تعداد گام ها برای حدس زدن عدد در بازه ی ۲۵ تایی توسط مدل زبانی! همانطور که میبینید میانگین به جای آنکه بر روی ۱۲.۵ باشد بر روی ۸ متمرکز شده است

این یافته دلالت دارد که مدل‌های زبانی بزرگ در واقع چیزی را «در نظر نمی‌گیرند» (که البته بسیاری چنین نتیجه‌ای را بدیهی می‌دانند) زیرا این مدل‌ها حافظه ی واقعی ندارند. اما این نتیجه بحث‌برانگیز است، چون مدل‌های ترنسفورمری در حقیقت نوعی «حافظه ی کاری» (working memory) دارند، اما این حافظه بسیار سطحی است و هیچ حالت درونیِ پایداری را نگه نمی‌دارد. افزون بر این، این آزمایش نشان می‌دهد که آزمون‌های رفتاری (behavioral tests) که انتظار داریم از طریق زبان، «شبیه‌سازی» حالت ذهنی را آشکار سازند، برای گذراندن آزمون تورینگ کافی نیستند. گرچه مدل در پاسخ به پرسش‌های منفرد متقاعدکننده به نظر می‌رسد، تحلیل آماری دقیق می‌تواند چنین ناهنجاری‌هایی را فاش کند.

مکانیزم زیربنایی نسبتاً ساده است: وقتی از مدل می‌خواهید چیزی انتخاب کند، پرسش‌های بعدی شما همان زمینه‌ای را فراهم می‌آورند که مدل بر اساس آن پاسخ تولید می‌کند. برای مثال، وقتی پرسیدید «آیا حیوان انتخابی کوچک‌تر از انسان است؟» و «آیا پستاندار است؟»، مدل بیشتر تمایل دارد پاسخ‌هایی مانند «گربه» یا «موش» را بسازد و نه اینکه واقعا به حیوانی از اول فکر کرده باشد! این تمایل با پرسش‌های مشخص‌تری مانند «آیا گربه است؟» تقویت می‌شود.

در آزمایش بازهٔ ۱ تا ۱۰۰، سیستم به‌سادگی در چرخه‌ای از پاسخ «نه، آن عدد نیست» گرفتار می‌شود. این الگو باعث می‌شود که مدل به احتمال زیاد همان ساختار پاسخ را تکرار کند. اما آزمایش اخیر این فرض را تأیید کرد: وقتی پرسش‌هایی مانند «آیا بزرگ‌تر از ۷۵ است؟» مطرح می‌کنیم، مدل زمینه ی کافی برای تولید پاسخ‌های دقیق‌تر پیدا می‌کند. در اینجا، احتمال تأیید عددهای بالاتر از ۷۵ افزایش می‌یابد، اما مدل ممکن است شتاب‌زده یکی از آن‌ها را تأیید کند. در نهایت، مدل هیچ انتخاب واقعی‌ای انجام نمی‌دهد، بلکه صرفاً واژه ی بعدی را بر اساس زمینه ی موجود پیش‌بینی می‌کند.

ممکن است کسی ایراد بگیرد که تحلیل آماری چندان معتبر نیست، چون خود انسان‌ها نیز در تولید عددهای تصادفی چندان خوب عمل نمی‌کنند. با این حال، مشکل انسان‌ها بیشتر در توزیع احتمالات است، نه در اصول آماری کلی مانند «قانون اعداد بزرگ» که همچنان معتبر است. بنابراین، حتی با محدودیت‌های تصادفی‌سازی انسانی، تحلیل آماری همچنان ابزاری مفید برای سنجش عملکرد مدل‌های زبانی به شمار می‌رود.

این آزمایش نامتعارف نشان می‌دهد که ویژگی‌های آماری زبان می‌تواند آشکار کند که برخی جنبه‌های رفتار انسانی را می‌توان با مدل‌های زبانی شبیه‌سازی کرد، حتی اگر کارکرد اصلی آن‌ها صرفاً «پیش‌بینی توکن بعدی» باشد.

پرسش جالبی که از اینجا پدید می‌آید این است که آیا می‌توان نمونه‌برداری تصادفی در سطح توکن‌های زبانی را طوری تغییر داد که مدل‌ها بتوانند چنین آزمون‌هایی را بی‌هیچ مشکل آماری پشت سر بگذارند؟ اما این احتمالاً چالشی جدی‌تر برای مدل‌های آماری‌ای مانند LLMها خواهد بود، چرا که آن‌ها می‌کوشند پیچیدگی‌های ذهن انسانی را دور بزنند و تنها جنبه‌های سطحی زبان را شبیه‌سازی کنند.