با توجه به مواردی که گفتم به یه تعریف دقیق از عدم قطعیت رسیدیم و روش هایی ایجاد کردیم که میتونیم میزان عدم قطعیت رو اندازه گیری کنیم و در نهایت نمونه گیری تطبیقی بر اساس دو معیار آنتروپی و واران ‌تروپی ایجاد کنیم.

این کاریه که برخی از مدل های زبانی در فرآیند (CoT) یا زنجیره تفکر برای افزایش قدرت استدلال در زمان استنتاج انجام میدن:

توی حالت اول(آنتروپی پایین، واران‌ تروپی پایین) مدل نه تنها به انتخاب اول خودش اطمینان داره، بلکه اگه انتخاب اول اشتباه باشه، میدونه که گزینه بعدی چه خواهد بود.

در این حالت، نمونه‌ گیری تطبیقی پیشنهاد میکنه که از روش انتخاب بیشترین احتمال (argmax) استفاده کنیم، یعنی توکنی رو انتخاب کنیم که بالاترین احتمال رو داره.

تو حالت بعدی(آنتروپی پایین، واران‌ تروپی بالا )، مدل چند گزینه رو با احتمال بالا پیش‌ بینی می‌کنه.

این یه موقعیت پیچیده ‌ست، شاید مدل داره به یه شاخه جدید از نتایج فکر می ‌کنه یا فقط چند گزینه معادل مثل مترادف‌ ها رو پیشنهاد میده.

توی این حالت می‌ تونیم شاخه‌ بندی یا branching کنیم، یعنی هر دو گزینه با احتمال بالا رو پیگیری کنیم و ببینیم هر کدوم به کجا میرسن و بعد از یه نقطه مشخص نتایج رو با هم مقایسه کنیم.

روش‌های زیادی برای branching هست که البته خودش نیاز به توضیحات جدا داره.

بسته به نتیجه branching، می‌تونیم واکنش‌های مختلفی داشته باشیم. مثلاً اگه به دو شاخه با اطمینان نسبتا یکسان برسیم (طبق آنتروپی و واران‌ تروپی)، ولی محتوای هر شاخه متفاوت باشه، می‌تونیم این انتخاب رو به عنوان یه سوال از کاربر بپرسیم تا کمک کنه مسیر درست رو پیدا کنیم.(جدیدا به پاسخ های چت جی پی تی توجه کرده باشین برخی مواقع پاسخ های متفاوت میده و از کاربر می‌پرسه که کدوم پاسخ رو می پسنده)

حالت سوم (آنتروپی بالا، واران ‌تروپی پایین)نشون‌ دهنده‌ی یه حالت عدم اطمینان در مدله.

مدل شاید داره چیزی رو می ‌بینه که اصلا نمی‌شناسه، یا ممکنه تمام گزینه‌ها از نظرش تقریبا مشابه و قابل ‌جایگزینی باشن.

تو این شرایط، بهترین کار اینه که به مدل کمک کنیم تا به یه حالت اطمینان بالاتر برسه.

روش Entropix  پیشنهاد می‌کنه که از یه توکن فکری"thinking token " به عنوان توکن بعدی استفاده کنیم، مثل " Wait.."

این توکن فکری رو توی خروجی مدل میگذاریم تا مدل متوجه بشه نیاز داره بیشتر روی جوابش فکر کنه و زمان بیشتری برای پردازش قبل از اینکه جواب نهایی رو بده، بذاره.

مثلاً اگه مدل می‌خواد بگه «پایتخت آلمان پاریسه» ولی مطمئن نیست، ممکنه توکن فکری رو اضافه کنه و نتیجه‌ اش رو این‌طور بگه: «پایتخت آلمان پاریسه... صبر کن، نه، درواقع برلینه».

در حالت آخر(آنتروپی بالا، واران ‌تروپی بالا ) مدل هیچ انتخاب واضحی نداره، اما نسبت به بعضی خروجی‌ ها اطمینان بیشتری داره. این یه وضعیت پیچیده‌ست.

میشه به این موضوع اینطور فکر کرد که هر کدوم از گزینه ‌های برتر ممکنه انتخاب‌های خوبی باشن (مثلا ممکنه مترادف هم باشن)، پس می‌تونیم یکی رو به صورت تصادفی انتخاب کنیم که به این حالت higher temperature گفته میشه
 
https://github.com/xjdr-alt/entropix

چند روز پیش درباره نسخه جدید Claude 3.5 Sonnet نوشتم که تعامل و دستورات کاربر با کامپیوتر رو از طریق کیبورد مجازی یا صدا فراهم کرده.

کاری که احتمالا این مدل انجام میده شناسایی مطمئن آیکون‌ها و عناصر قابل ‌تعامل توی رابط کاربری و درک مفهوم و معنای عناصر مختلف در تصویر و ارتباط دقیق این عناصر با عملی که کاربر می‌خواد انجام بده، هست.

امروز مایکرسافت OmniParser رو به صورت متن باز ارائه کرد. OmniParser  یه ماژول جمع ‌و جور(با سرعت بالا) برای پردازش صفحه هست و میتونه عکس‌ های رابط  کاربری رو به عناصر ساختار یافته تبدیل کنه. 

این ماژول رو می‌شه با مدل‌ های مختلف متن باز زبانی تلفیق کرد تا عامل ‌هایی ساخت که بتونن روی رابط ‌های کاربری عمل کنن، مثل کاری که Claude 3.5 Sonnet انجام میده با این تفاوت که به صورت لوکال اجرا میشه و 100% در کنترل خودتونه.
 
کد :
https://github.com/microsoft/OmniParser
 
لینک مقاله:
 https://arxiv.org/abs/2408.00203

بنظرم باید هر روز هر چه بیشتر به سمت مدل های متن باز حرکت کنیم، تصور اینکه مثلا Calude 3.5 Sonnet هر چند ثانیه یه اسکرین‌ شات از کامپیوترم بگیره و از اون اطلاعات برای آموزش هوش مصنوعی خودش استفاده کنه تا دانش جدید بسازه و توانایی‌ های خود مختاری رو پیدا کنه، به نظرتون این استفاده منصفانه حساب میشه؟

بخوام منطقی باشم بایستی اقرار کنم که خود مون همون داده ‌ای هستیم که این مدل‌ ها روش آموزش می‌ بینن و این کار به جایی میرسه که شغل‌ های بسیاری از افراد جامعه رو جایگزین می ‌کنن و عموم مردم مجبور میشن برای تعداد شغل‌ های کمتری بجنگن که در نتیجه به خاطر عرضه و تقاضا، حقوق هم کمتر میشه.

اگه مردم برای سهمی از این وضعیت جدید تلاش نکنن، تمام ارزش به سمت هوش مصنوعی‌، مدیران شرکت ‌های تکنولوژی و ربات‌ ها میره.

بزرگ‌ ترین مشکل مدل های هوشمند فعلی و مدل های آینده‌ ای که ممکنه به هوش عمومی مصنوعی (AGI) برسه، اینه که تمامشون تو حوزه خصوصی و تحت مالکیت سرمایه دارن هستن و اهمیتی به آسیب‌های اجتماعی‌ که ممکنه ایجاد کنن، نمیدن.

در عین حال، ثروتی که تولید می‌ کنن، تو دست یه عده ‌ی خیلی محدودی جمع می‌ شه.

همین الان هم تقریبا تو خیلی از کسب ‌وکارها از سطح بالای اتوماسیون استفاده می‌ شه، ولی همچنان حس می‌ کنیم که مردم بیشتر از همیشه کار می‌کنن، ساعت‌ های بیشتری رو می‌ گذرونن، با حقوق کمتر، مزایای کمتر، و به سختی می‌ تونن گذران زندگی کنن.

چرا همچنان فکر می‌کنیم که AGI قراره کاری برای بهتر شدن جامعه و حل مشکلات فعلی بکنه؟

حداقل کاری که می‌کنه اینه که مشکلات موجود رو بزرگ ‌تر و وسیع تر ‌می ‌کنه!

یان لِکون پیش‌بینی می‌کند که هوش مصنوعی در ۵ تا ۷ سال آینده به سطح هوش حیوانات خواهد رسید و در عرض یک دهه به سطح هوش انسان، اما این ممکن است بیشتر طول بکشد چون "احتمالی وجود دارد که مسائل سخت‌تر از آنچه فکر می‌کنیم باشند."

متا نسخه‌ای متن باز شبیه NotebookLM گوگل رو منتشر کرد.

هر چند مزیت NotebookLM گوگل داشتن پنجره‌ ی زمینه (context window) با ظرفیت ۲ میلیون توکنه و می‌تونه به‌ صورت هم‌ زمان ۵۰ فایل PDF رو پردازش کنه. البته صداهای موجود در مدل زبانی گوگل واقعاً عالی هستن

https://github.com/meta-llama/llama-recipes/tree/main/recipes/quickstart/NotebookLlama

امشب کمی در مورد خود بهبودی یا self-improvement در هوش مصنوعی بحث کنیم.

 برای صدها سال، توانایی خود بهبود دهی یکی از اصول بنیادی درک ما از انسان بودن بوده، یعنی توانایی خود مختاری و ایجاد معنا به عنوان افراد و جمع ‌ها.

 حالا به نظرتون اگه انسان‌ ها دیگه تنها موجودات خود بهبود دهنده در جهان نباشن، این چه معنی داره؟

یا چطور می ‌خوایم از بین رفتن این درک استثنایی خودمون رو توجیه کنیم؟

برای پاسخ به این سوالا کمی برگ های تاریخ رو ورق بزنیم ببینیم این مفهوم از کی وارد هوش مصنوعی شد و حالا کجای این ماجرا قرار گرفتیم.

مفهوم هوش مصنوعی خود بهبود دهنده به گذشته ای دور برمی‌گرده. ریاضیدانی به نام I.J. Good  توی سال 1965 درباره «انفجار هوش» نوشت، که می‌ تونه منجر به ایجاد یک ماشین فوق‌ هوشمند بشه.

 بعدتر، توی سال 2007، یود کوسکی، که بنیان‌گذار LessWrong هست، اصطلاح Seed AI رو مطرح کرد. در خلال مطالب لینک ها رو میگذارم چون حاوی مطالب ارزشمندیه که نمیشه به اختصار اینجا در موردش نوشت.

https://www.historyofinformation.com/detail.php?id=2142

https://intelligence.org/files/LOGI.pdf

این اصطلاح به هوش مصنوعی‌ اشاره داره که قابلیت خود بهبوی رو داراست. سال 2015 هم سم آلتمن توی وبلاگش به همین موضوع پرداخت و گفت این نوع سیستم ها هنوز کمی دور هستن ولی احتمالا بزرگ ‌ترین تهدید برای ادامه بقای بشریت هستن هر چند در اون زمان این حرف‌ ها هم به نوعی برای بزرگ کردن اهمیت و ارزش شرکت خودش مطرح شده بود.

https://blog.samaltman.com/machine-intelligence-part-1

ادامه دارد...

با اینکه مفهوم هوش مصنوعی خود بهبود دهنده توضیحش راحت ‌تر از عملی کردنشه، محققین توی این زمینه موفقیت ‌های نسبی هم به دست آوردن. 

اما بیشتر تلاش ‌ها به جای اینکه بخوان ویژگی‌ های داخلی یا کد پایه مدل رو به صورت لحظه ‌ای تغییر بدن، تمرکز روی استفاده از یک مدل زبانی بزرگ برای طراحی و آموزش یک مدل جانشین بهتر دارن.

 به عبارت دیگه، این هم ادامه همون روش‌ های قدیمی فناوریه که توش از ابزارها برای ساخت ابزارهای بهتر بهره می‌بریم یا از چیپ ‌های کامپیوتری برای طراحی چیپ ‌های جدید استفاده می‌کنیم.

مثلا فوریه امسال محققین متا یه مدل زبانی خود پاداش ‌دهنده رو پیشنهاد کردن که برای ایجاد یک تابع پاداش جدید برای مدل بعدی طراحی شده  بود. این تحقیق بخشی از همون سلسله تلاش هاست که تمرکز بر کم کردن ترجیحات انسانی در مدل های زبانی داره، تا مدل های زبانی در سطح عملکرد انسانی باقی نمونن.

به عبارت ساده تر، هدف مقالاتی مثل این کاهش وابستگی به ترجیحات انسانیه. با معرفی مدل‌ های خود پاداش‌ دهنده، سعی دارن به نوعی ظرفیت‌ های هوش مصنوعی رو فراتر از محدودیت ‌های انسانی گسترش بدن و به سمت پیشرفت‌های بیشتر در طراحی و عملکرد مدل ‌ها حرکت کنن.

https://arxiv.org/pdf/2401.10020

ادامه دارد...

با درخواست از یه مدل زبانی که خودش به عنوان قاضی عمل میکنه، محققان متا تونستن مدل‌ های جدیدی بسازن که توی رقابت‌ های خودکار و رو در رو با سایر مدل‌ ها تو AlpacaEval عملکرد بهتری داشتن.

 توی بخشی از مقاله قید شده که تنظیم دقیق Llama 2 70B  در سه مرحله توسط روش پیشنهادی، منجر به ایجاد مدلی شد که از خیلی سیستم‌ های موجود توی جدول رده‌بندی AlpacaEval 2.0، از جمله Claude 2، Gemini Pro و GPT-4 0613، از نظر عملکرد جلو می ‌زنه.

 

یا تو ماه ژوئن محققان Anthropic  کاری شبیه به متا رو انجام دادن که مجموعه ای از مدل ها بود که قابلیت خود تغییری در تابع پاداش و پارامتر ها رو دارا بودن.

 این موضوع میتونه برای طرفدارای داستان های علمی تخیلی نگران‌ کننده باشه، چون نشون میده که مدل‌ ها میتونن به طور خودکار از محدودیت‌ هایی انسانی اعمال شده در اونها فرار کنن و کنترل‌ ها رو دور بزنن.

https://arxiv.org/pdf/2406.10162

ادامه داره...

اینها فقط بخش کوچکی از تحقیقات خود بهبود دهی در زمینه هوش مصنوعیه  Deepmind، Microsoft و Apple هم مقالات مشابهی منتشر کردن و به این مفهوم پرداختن.

 با این حال، با توجه به تحقیقاتی که تا الان دیدیم ممکنه به اون لحظه پرواز هوش مصنوعی که بعضی ها فکر میکنن، نزدیک نباشیم. 

جیم فان، مدیر ارشد تحقیقاتی Nvidia  توی یه پست اشاره کرد که مدل ‌های خود بهبود دهنده در محیط‌ های تحقیقاتی معمولا بعد از سه دور پیشرفت به یه نقطه اشباع می‌رسن. بعد از اون، به جای اینکه به سمت فوق ‌هوش برن، معمولا هر مدل جدید نتایج بدتری رو نسبت به مدل قبلی نشون میده.

مدل های هوشمند خود آموز میتونن در شرایطی که بهترین پاسخ مشخصه، مثل بازی‌های رومیزی (GO)، نتایج فوق‌ العاده‌ای نشون بدن، اما وقتی از یه مدل زبانی عمومی خواسته میشه که خودش رو قضاوت و بهبود بده، ممکنه با مشکلاتی مواجه بشه.

مخصوصا وقتی به ارزیابی استدلال انتزاعی که بخش بزرگی از هوش انسانی رو تعریف می‌ کنه، میرسه. ایشون میگه من هنوز نمایشی قانع کننده از مدل ‌های زبانی خود بهبود دهنده ندیدم که به خوبی AlphaZero باشه، بازی هایی که مدل از صفر فقط با بازی کردن با خودش یاد می‌گیره.

https://x.com/DrJimFan/status/1754552129229140215

ادامه دارد...

با توجه به مواردی که عنوان شد ، تلاش برای رسیدن به آخرین اختراعی که انسان نیاز داره بسازه(هوش مصنوعی خود بهبود دهنده که منجر به انفجار پدیده هوش میشه) طبق گفته I.J. Good قطعا ادامه خواهد داشت.

اما در حال حاضر، تشخیص اینکه آیا واقعا در آستانه یه هوش مصنوعی هستیم که از کنترل خارج میشه و در یک حلقه خود بهبود دهنده قرار می‌گیره، خیلی سخته.

در عوض، ممکنه بیشتر شاهد استفاده از ابزارهای جدید هوش مصنوعی برای بهبود ابزارهای آینده باشیم، به شیوه‌هایی که میتونه از عادی تا تحول ‌آفرین متغیر باشه.

پایان.

این مقاله جدید از Google DeepMind به بررسی مدل‌های زبانی بزرگ و چگونگی کاهش هزینه و پیچیدگی اونها از طریق اشتراک‌گذاری پارامترها می‌پردازه.

 به اشتراک‌گذاری پارامترها، روشی برای کاهش اندازه و هزینه مدل‌ هاست، اما تا به حال در LLM های مدرن به‌ خوبی بهره‌ برداری نشدن. در این مقاله، با استفاده از روش layer tying به‌عنوان روشی برای به اشتراک‌ گذاری پارامترها در مدل‌های Transformer پرداخته و رویکردی جدیدی به نام Recursive Transformer رو معرفی کردن که پارامترها را بین لایه‌ های مختلف مدل به اشتراک می‌گذاره، بدون اینکه افت عملکرد قابل توجهی رخ بده

در مدل پیشنهادی، به جای استفاده از چندین لایه‌ی یکتا در مدل، از یه مجموعه بلوک منفرد از لایه ها که چندین بار تکرار میشه استفاده میکنن. این روش موجب میشه تا اندازه مدل‌ به صورت چشمگیری کاهش و بازدهی افزایش پیدا کنه.

این روش در مدل‌ های Recursive Transformers استفاده میشه تا هم در مصرف حافظه صرفه‌ جویی بشه و هم پیچیدگی مدل کاهش پیدا کنه. با تکرار همان بلوک لایه‌ها، تعداد کل پارامترها به شدت کاهش پیدا میکنه، چون دیگه نیازی به ساخت و ذخیره لایه‌ های مختلف و منحصر به‌ فرد نیست.

این روش می‌تونه سرعت استنتاج در مدل های زبانی رو ۲ تا سه برابر افزایش بده.


arxiv.org/pdf/2410.20672

Mathematics for Computer Science

یک کتاب ۱۰۴۸ صفحه‌ای که به‌صورت رایگان
توسط MIT منتشر شده و تمرکز آن بر توضیح استفاده از مدل‌ها و روش‌های ریاضی برای تحلیل مسائل در علوم کامپیوتر است.

 مدل HOVER  که توسط آزمایشگاه NVIDIA GEAR ایجاد شده با فقط 1.5 میلیون پارامتر نشون داده که یاد گرفتن مهارت‌های حرکتی پیچیده نیاز به مدل‌های خیلی بزرگ نداره و شبیه‌سازی فیزیک رو تا ۱۰ هزار برابر سریع‌تر می‌کنه، ربات های انسان نما می‌تونن به اندازه‌ ی یک سال حرکت رو تو کمتر از یک ساعت یاد بگیرن.

جیم فن میگه لازم نیست هر مدل بنیادی خیلی بزرگ باشه. ما یه شبکه عصبی با ۱.۵ میلیون پارامتر رو آموزش دادیم که می‌تونه بدن یه ربات انسان‌نما رو کنترل کنه. برای ما آدما راه رفتن، حفظ تعادل و حرکت دادن دست و پا به موقعیت‌های دلخواه کلی پردازش ناخود آگاه می‌خواد. این "ناخودآگاهی" رو تو مدل HOVER جمع کردیم، مدلی که یاد می‌گیره چطور موتورهای یه ربات انسان‌ نما رو هماهنگ کنه تا بتونه حرکت و اشیاء رو کنترل کنه.

Wonder Animation 

هر ویدیویی رو به یه صحنه انیمیشنی سه‌بعدی با کاراکترهای کامپیوتری تبدیل میکنه!

این تکنولوژی واقعا یه تحول بزرگ محسوب می‌شه. اگه استفاده ازش آسون بشه و به‌راحتی قابل پیاده‌ سازی باشه، می‌تونه همه چیز رو تو حوزه‌های تولید تصویر و ویدیو با هوش مصنوعی متحول کنه.

 علاوه بر این، چون با دارایی‌های مجازی کار می‌کنی، انعطاف زیادی داری و می‌تونی هر زاویه دوربین یا نوع شات رو آزادانه تغییر بدی، که این خودش دستت رو برای خلاقیت بیشتر باز می‌ ذاره.

https://adsknews.autodesk.com/en/news/autodesk-launches-wonder-animation-video-to-3d-scene-technology/

ماه اکتبر ماه پر خبری بود، مهمترین ها:
Flux 1.1 pro
منتشر شد و قابلیت‌های پیشرفته‌ای برای تولید تصویر رو نشون میده.

متا از مدل جدیدی به نام Movie Gen رونمایی کرده که می‌تونه از طریق متن، ویدیو، تصویر و صدا تولید کنه.

پیکا Video Model 1.5 رو با قابلیت‌های جدید به نام "Pika Effects" معرفی کرد.

Adobe
 هم مدل ویدیو سازی خودش به نام Firefly Video رو معرفی کرد.

استارتاپ Rhymes AI مدل آریا (Aria) رو که یک مدل چندرسانه‌ای و متن‌ باز با قابلیت‌ هایی مشابه مدل‌ های خصوصی هم‌ رده هست، عرضه کرد‌.

متا یک مدل speech-to-speech به نام Meta Spirit LM رو به صورت متن‌باز منتشر کرد.

Mistral AI 
مدل جدیدی به نام Ministral رو در دو سایز ۳ میلیارد و ۸ میلیارد پارامتری معرفی کرد.

DeepSeek-AI
 مدل چند رسانه‌ای جدیدی به نام Janus AI رو که می‌تونه هم متن و هم تصویر رو تشخیص بده و تولید کنه، به صورت متن‌ باز عرضه کرده.

گوگل دیپ‌ مایند و MIT مدل تولید تصویر از متن به نام Fluid رو با ۱۰.۵ میلیارد پارامتر و عملکردی در سطح پیشرو معرفی کردند.

Stable Diffusion
 نسخه ۳.۵ رو در سه اندازه به صورت متن‌ باز منتشر کرد.

Anthropic
 هم مدل Claude 3.5 Sonnet New رو با پیشرفت‌های قابل توجه نسبت به نسخه قبلی و همچنین Claude 3.5 Haiku رونمایی کرد.

https://nhlocal.github.io/AiTimeline/

قابلیت جستجو به چت جی پی تی اضافه شد.

چت‌ جی‌ پی‌ تی حالا می‌تونه خیلی بهتر از قبل توی وب جستجو کنه. حالا می‌تونی پاسخ‌ های سریع و به‌ موقع بگیری که لینک‌هایی به منابع مرتبط وب هم داره و دیگه نیازی نیست برای این اطلاعات به موتور جستجو بری

https://openai.com/index/introducing-chatgpt-search/

چند ماه پیش به صورت های مالی گوگل در سه ماهه سوم نگاه کردیم و به درآمد وسیع گوگل از محل موتور جستجو اشاره شد و چت جی پی تی که خودش رو برای ورود به این حوزه آماده می‌کنه، اما به نظرتون آیا مدل های زبانی هم راه موتور های جستجو در راستای ساختار منفعت طلبانه خودشون خواهند پیمود؟

موتورهای جستجو، به دلیل ساختارهای انگیزشی نادرست و منفعت‌ طلبانه، به جای حقیقت‌ جویی به سمت تبلیغات و منافع تجاری گرایش یافتن. به عبارت دیگه، حقیقت در این فضا ابزاری شده برای اهداف تجاری و نه الزاما برای دانایی و آگاهی.

پارادایم حاکم بر موتورهای جستجو هیچ وقت معرفت‌گرا (epistemic) نبودن، بلکه اقتصادی و سود محورن. عبور از این وضعیت نیاز به ساختار جدیدی داره که به جای نمایش داده‌های دستکاری‌شده، به‌طور مستقیم دسترسی به حقیقت رو امکان‌ پذیر کنه، چیزی که نیازمند تغییری بنیادین در نحوه مصرف و ارزش‌گذاری دانش در جامعه ست.

از منظر فلسفی ما با دوگانه کانتی «دانش به‌ مثابه هدف» و «دانش به‌ مثابه وسیله» روبرو هستیم که به نظر مدل های زبانی در قالب موتور های جستجو اون رو حل نخواهند کرد، نیاز به مدل هایی داریم که دانش رو فی‌ نفسه ارزشمند بدونن، نه ابزاری برای سود!

یه پروژه جالب متن باز برای کاوش کردن در افکار درونی مدل های زبانی هنگام چت کردن

در حال حاضر این پروژه شامل دانلود و مدیریت مدل‌ های زبانی از Huggingface هست که می‌تونید باهاشون چت کنید یا متن تولید کنید. 

همچنین اطلاعاتی از کلمات جایگزینی که مدل زبانی می‌تونسته انتخاب کنه و احتمال هر کدوم رو هم نشون میده. 

یه اسلایدر هم داره که میتونه حداقل احتمال کلماتی که نمایش داده می‌شن رو تنظیم کنید و یه حالت نمایش Heatmap هم داره که میشه باهاش میزان اطمینان مدل زبانی نسبت به هر کلمه (تعداد کلمات جایگزین) رو ببینید، که اینطوری پیدا کردن مسیرهای جایگزین برای بررسی آسون تر می‌ شه.

 تمام مسیرهای بررسی‌ شده هم ذخیره شده، و میتونید  آزادانه بینشون جا به‌ جا شید.

https://github.com/TC-Zheng/ActuosusAI

هر چند مدل‌های زبانی در تولید متن عملکرد فوق‌ العاده‌ای دارن ولی ممکنه رفتارهای ناخواسته‌ای هم یاد بگیرن، چون داده‌های آموزشی اونها شامل محتواهای متنوع و بعضا حساسه، مثل مطالب دارای حق کپی‌ رایت یا اطلاعات شخصی. 

برای حل این مشکل روشی بنام یادگیری‌ زدایی ماشینی یا Machine unlearning معرفی شد، که یه حوزه جدید در هوش مصنوعیه که به چالش فراموش کردن یا کاهش دانسته‌ ها و رفتارهای نامطلوب در مدل‌های یادگیری ماشینی، به‌ویژه در مدل‌های زبانی می‌پردازه، بدون این‌که نیاز به آموزش مجدد (که بسیار پر هزینه و زمان‌بره) باشه. 

این روش سعی می‌ کنه تا بخش خاصی از اطلاعات یاد گرفته شده را از مدل حذف کنه ولی در عین حال عملکرد کلی مدل رو حفظ کنه.مثل این مقاله :

https://arxiv.org/abs/2405.15152

اما مسیله‌ای که به اون توجه زیادی نشده اینه که آیا واقعا این روش‌های یادگیری‌ زدایی میتونن باعث «فراموشی» کامل اطلاعات مشکل‌ ساز بشن، یا فقط اونها رو موقتا پنهان می‌کنن.

 آزمایش‌ هایی که تاکنون برای ارزیابی این روش‌ ها استفاده میشدن، این مسئله رو به خوبی تشخیص نمی دان.

 این مقاله نشون میده که وقتی از کوانتیزه‌ کردن (quantization)، یعنی فشرده‌سازی و کاهش دقت عددی مدل، روی مدل‌ های یادگیری‌ زدایی شده استفاده می‌کنیم، اطلاعاتی که باید فراموش میشدن دوباره ظاهر میشن.

برای بررسی دقیق‌تر این موضوع، نویسندگان مقاله چندین آزمایش با استفاده از روش‌های مختلف کوانتیزه‌ کردن و در سطوح دقت عددی مختلف انجام دادن.

 نتایج نشون میده که مدل‌ هایی که فرآیند یادگیری‌ زدایی روشون اعمال شده، با اعمال کوانتیزاسیون، تا ۸۳ درصد از اطلاعات فراموش شده رو بازیابی میکنه.

در واقع مقاله نشون میده که فرآیند های یادگیری‌ زدایی کنونی بیشتر به پنهان کردن اطلاعات می‌پردازن تا به فراموشی کامل اونها.

https://arxiv.org/abs/2410.16454