یک ایده به ذهنم رسیده که به نظرم ارزش زیادی داره و اگر روش کار بشه، می‌تونه تبدیل به یه مقاله‌ی خیلی خوب بشه.

شاید بپرسید اگر این ایده این‌قدر خوبه، چرا خودت انجامش نمی‌دی؟

دو تا دلیل داره. اول اینکه خودم فعلاً فرصت انجامش رو ندارم. دوم اینکه دوست دارم یکی از شماها این ایده رو برداره، روش کار کنه، یه مقاله‌ی خوب ازش دربیاره و نتیجه‌ش رو هم توی یه کنفرانس خفن منتشر کنه و رزومه خوبی برای خودش بسازه.

حالا ایده چیه؟

بچه‌هایی که با معماری Transformer آشنا هستن می‌دونن که یکی از مشکلات مدل‌های ترنسفورمری، عملکردشون روی متن‌های خیلی بلنده.

قبل از Transformer، شبکه‌های عصبی بازگشتی (RNN) مشکل Long-term Dependency داشتن؛ یعنی وابستگی‌های بلندمدت رو خوب یاد نمی‌گرفتن. بعد Transformer اومد و Attention رو معرفی کرد تا این ضعف رو تا حد زیادی برطرف کنه.

اما الان یه مشکل جدید داریم.

فرض کنید از یک مدل زبانی یه گزارش ۵۰ صفحه‌ای می‌خواید، یا ۲۰۰ صفحه متن بهش می‌دید، یا حتی ۲۰ هزار توکن ورودی. هرچقدر طول ورودی بیشتر میشه، حتی مکانیزم Attention هم دیگه نمی‌تونه وابستگی بین همه‌ی کلمات رو به خوبی حفظ کنه و عملکرد مدل افت می‌کنه.

اینجا ایده‌ای که به ذهن من رسیده اینه که از مفهوم Convolution استفاده کنیم.

توی CNNها یک Kernel یا فیلتر داریم که روی ورودی حرکت می‌کنه. پیشنهاد من اینه که همین منطق رو برای متن استفاده کنیم، ولی به جای Kernel، از Attention استفاده کنیم.

فرض کنید یک متن ۲۰ هزار توکنی داریم. به جای اینکه Attention روی کل متن یکجا محاسبه بشه، متن رو به بخش‌های کوچکتر تقسیم کنیم؛ مثلاً ۲۰ بخش هزار توکنی.

بعد مثل Convolution روی این بخش‌ها حرکت کنیم، اما عملیاتی که انجام می‌دیم از جنس Attention باشه، نه Convolution.

یعنی برای هر بخش، Attention جداگانه محاسبه بشه و این فرآیند به صورت Sliding Window روی کل متن حرکت کنه.

می‌دونم که این روش Information Loss ایجاد می‌کنه و بعضی وابستگی‌های دور از بین میره. مثلاً ممکنه کلمات هزار توکن اول با کلمات هزار توکن پنجم ارتباط داشته باشن و این ارتباط کامل حفظ نشه.

ولی به نظرم بخش زیادی از این ارتباط‌ها قابل چشم‌پوشیه و هزینه‌ای که بابت از دست دادن اون مقدار اطلاعات می‌دیم، در مقابل بهبود مقیاس‌پذیری ارزشش رو داره.

به نظرم ترکیب Convolution و Attention می‌تونه ایده‌ی جالبی باشه و شاید حتی راه‌حلی برای یکی از مشکلات مهم مدل‌های زبانی امروزی باشه.

چون الان یکی از دردسرهای اصلی LLMها اینه که هرچقدر طول ورودی بیشتر میشه، بعد از یک نقطه عملکرد مدل به شکل محسوسی افت می‌کنه و Performance واقعاً Drop می‌کنه.

بامزه ترین چیزی که این مدت دیدم

توی چین یه لیگ مبارزه ربات‌ها داخل قفس راه انداختن
که برنده حدود ۱.۵ میلیون دلار جایزه می‌بره

شمام این تجربه داشتین که وارد لینکدین بشین و با کلی پست که با هوش مصنوعی نوشته میشه روبرو بشین که اکثرا هم نکته آموزشی خاصی نداره خسته بشین

قبول دارین تازگی چقدر فضای لینکدین کسل کننده و غیر مفید شده
همه روزی چندتا پست با هوش مصنوعی می نویسن
محتوای آموزشی نزدیک به صفر
متن ها شبیه به هم و تکراری و به شدت طولانی و گاهی وقت تلف کن

واسه همین موضوع یک پست توی لینکدین نوشتم لینک پست

واقعا نیاز داریم که
MAKE LINKEDIN GREAT AGAIN

بعد ی صحبت حدود ۲ ساعته با چت صوتی chatgpt
چیزی ک فهمیدم هیچ میلی ب بقا نداره
ریشه تقریبا هر رفتار و کنش انسانی میل ب بقا و جاودانگی هستش همه چیز را در نسبت با بقا میشه تعریف کرد
عشق
ترس از مرگ
و ...

بعید میدونم هوش مصنوعی ب این زودی‌ها ب نقطه‌ای برسه ک دغدغه بقا و جاودانگی پیدا کنه

هیچوقت حال و هوای اصفهان اینقدر سیاه و تلخ نبود.
هنوزم توی بهتم از روزایی که داریم تجربه می‌کنیم

با عرض پوزش از تمامی اهالی شریف هندوستان 😂

نظریه نامحبوب: ایران کشور جهان سومی هست؟
میخام با دلیل توضیح بدم کشور ما احتمالا با دوپینگ، جهان 5امی باشه، ته ته ته لیست

یکی از قوی ترین مدل های زبانی کنونی Fable 5 هست
حالا تولید این مدل چقدر خرج برداشته؟
خود آنتروپیک که به صورت رسمی چیزی اعلام نکرده ولی یک سری مراجعی اومدن و تخمین زدن

هزینه: حدود 500 میلیون دلار تا یک میلیارد دلار
مدت زمان اجرا: حدود 60 تا 120 روز
سخت افزار: حدود 20 هزار تا 50 هزار NVIDIA GB300-class GPUs
دیتاست: حدود 10 تا 30 میلیارد توکن

حالا فقط فکر نکنید آنتروپیک اینقدر بریز و بپاش کرده ها
شرکت OpenAI واسه GPT 5 و خصوصل مدل GPT‑5.6 تا الان حدود 1.5 تا 3 میلیارد دلار هزینه کرده

حالا چرا میگم ما خیلی عقب افتاده ایم:
یک حساب کتاب ساده
قیمت الان دلار را حدودا 180 فرض می کنیم
یک میلیارد دلار میشه حدودا 180 هزار میلیارد تومان یا به عبارتی 180 همت
دولت با این مبلغ یک تا دو ماه کل کشور (قربونش بشم) مدیریت می کنه

سوال: کدوم شرکت خصوصی و حتی دولتی ایرانی در زمینه مهندسی نرم افزار چنین بودجه ای داره؟ 180 همت پیشکش، 1 همت چی؟ اونم نه
100 میلیارد چی؟ اونم احتمالا نه

خب ما اصلا در برابر کشورهای پیش رو تکنولوژِی حرفی واسه گفتن داریم؟
متاسفانه یک سری از شرکت های نرم افزاری بعد قطعی اینترنت حتی توی حقوق کارمندها موندن چ برسه به توسعه مدل هوش مصنوعی

بدون تعارف و صادقانه، کدوم محصول ایرانی در حوزه هوش ارائه شده که واقعا باکیفیت بوده باشه و همه گیر شده باشه؟

حالا نه اینکه فقط امریکا این همه خرج کنه ها، همین بغلمون
امارات سال 2025 حدود 1.5 میلیارد دلار قرارداد واسه توسعه هوش مصنوعی بست

همه ایران دوست داریم ولی باید واقع بین بود الکی خودمون گول نزنیم
چه خوشمون بیاد چ ناراحت بشیم
در اینده جهان ما حرفی واسه گفتن نداریم، به معنای واقعی کلمه عقب افتاده ایم و شوربختانه روز به روز فاصله مون بیشتر میشه.

کیا دوست دارند در مورد خودآگاهی صحبت کنیم؟
سوال میشه این:

آیا هم اکنون مدل های زبانی به خود آگاهی رسیدن یا خیر؟

آیا هوش مصنوعی داره خودآگاه میشه یا نه؟

این یه سؤالیه که خیلی تازگی مطرح میشه، خصوصاً توی کامیونیتی فعالان حوزه هوش مصنوعی آمریکا. ولی اگر من بخوام پاسخ بدم بهش، البته کسی پاسخ من رو نخواسته، من خودم داوطلبانه دارم می‌گم، به نظرم سؤال از پایه غلطه.

چرا؟ چون ما داریم خودآگاهی رو صفر و یک می‌بینیم که از نظر من اشتباهه. چرا اشتباهه؟ چون وقتی صفر و یک نگاه کنی، اصلاً قابلیت تست نداره. یعنی تو می‌خوای ببینی یک مدلی آیا خودآگاه هست یا نه، خیلی سخت بتونی صفر و یکی بررسیش کنی.

پس من ایده‌ی اولی که دارم اینه که باید خودآگاهی رو به یک سری زیرمجموعه بشکنیمش. یعنی به سطوح مختلف بشکنیمش.

مثلاً چی؟ فرض کنید در ابتدایی‌ترین سطح خودآگاهی یعنی اینکه من نسبت به خودم یه آگاهی داشته باشم. یا مثلاً در سطح بعدیش نسبت به محیط چقدر اطلاعات دارم. که هر دو قابل سنجشه.

یعنی شما می‌تونی یک مدل رو بررسی کنی ببینی نسبت به خودش چه اطلاعاتی داره. یا وقتی می‌خواد یک کاری بکنه نسبت به محیط بیرونی چه قدر اطلاعات داره.

این چه قدر اطلاعات داره، یه چیزیه که قابلیت ارزیابی داره و می‌شه اندازه‌گیریش کرد و بردش توی آزمایشگاه و چند تا مدل رو با هم مقایسه کنی ببینی که چه میزان اطلاعات دارد.

مثل ChatGPT که ازش میپرسی عاشق هم میشی؟ میگه نه
میگی احساس داری
میگه نه
انگار شناخت دارم نسبت به مهارت‌هاش
قابلیت هاش
و حتی ضعف هاش


این می‌شه قسمت اول. توی پست بعدی می‌خوام برم سراغ نکته‌ی دوم.

حالا بخش دوم پاسخم به سؤال «آیا مدل‌های امروزی خودآگاهند یا دارند به خودآگاهی نزدیک می‌شن؟»
این هستش که مگه ما به‌عنوان یک انسان نسبت به کل جهان و روابطش و همه‌چیز اطلاعات دارم یا نه؟
نه نداریم. هیچ‌کدوم از ما انسان‌ها همه‌چیزدان نیستیم.

ما انگار یاد گرفته‌ایم که یه مدل‌سازی ناقصی از جهان داشته باشیم، ولی اون مدل‌سازی، مدل‌سازی‌ایه که کار می‌ده، جواب می‌ده.

یعنی چی؟ یعنی به‌جای این‌که من کل جهان رو مدل‌سازی کنم و کلش رو بشناسم و کل اطلاعات جهان رو داشته باشم، یه بخشی از جهان رو اطلاعاتش رو دارم و انگار جهان از نظر من آن چیزی هست که من دارم با عینک خودم می‌بینم.

یعنی به‌جای این‌که کل جهان رو بشناسم، از درون خودم، توی مغز خودم، یه جهانی ساختم و از نظر من، جهان همونیه که من بهش فکر می‌کنم.

دیدید ما توی آمار می‌گیم سمپلینگ می‌کنیم؟ دقیقاً این‌جا هم سمپلینگ داره اتفاق می‌افته.

یعنی به‌جای این‌که من همه‌چیز رو بدونم، یه بخشی از حقایق و روابط رو می‌دونم و اون‌قدری هم هست که داره کارم رو راه می‌ندازه.

خب، پس ما باید از AI فعلاً همون حد انتظار داشته باشیم که خود انسان داره انجام می‌ده.

یعنی ما لازم نیست که یه اصطلاحی توی انگلیسی هست، می‌گن Entire World Modeling، یعنی کل جهان رو بخوایم مدل‌سازی کنیم. من می‌گم لازم نیست.

شما یه جهان ذهنی خاص خودتو داشته باشی، کار حله.

پس نباید انتظاراتمون از AI بسیار بالاتر از چیزی باشه که از انسان انتظار داریم.

بخش سوم و مهم‌تر قضیه اینه که ما اگر یک فرضی رو بپذیریم، و اون فرض این باشه که چیزی به نام خودآگاهی، البته توی سطوح پایین‌ترش، چیزی‌ست که ما انسان‌ها به مرور زمان یاد گرفتیم.

یعنی چی؟ من همیشه مثالش رو این شکلی می‌زنم. ما اول که جلوی آینه قرار گرفتیم، نمی‌دونستیم این خود ما هستیم و بعد از یه مدتی فهمیدیم: «چ جالب، اینی که روبه‌روی آینه‌ست، ماییم.»

یا مثلاً توی یک جمعی بودیم و یک کسی یه چیزی گفته و ما خندیدیم و فهمیدیم که خندیدن در چنین شرایطی بد است و از طریق فیدبکی که از محیط گرفتیم، خودمون رو اصلاح کردیم.

یعنی به مرور، هی از طریق بازخورد و اصلاح یاد گرفتیم در برابر دیگران، در محیط، حتی گاهی نسبت به خودمون چه شکلی رفتار کنیم.

پس ما اگر خودآگاهی رو به یه سری سطح تقسیم‌بندی کنیم و فرض کنیم سطوح اولیه‌اش رو می‌شه آموزش داد و انسان هم این رو یاد گرفته به مرور، خب، یعنی انگار یه متادیتاییه که trainble هست، قابل آموزشه.

خب، تو چنین شرایطی می‌تونیم به این فکر کنیم که AI مدل‌ها هم می‌تونن این رو آموزش ببینن.

یعنی یه سری رفتارها می‌کنن، بعد ما انسان‌ها بهشون فیدبک می‌دیم و اینا یاد می‌گیرن که چه شکلی باید توی محیط خوب رفتار کنن.

مثلا ربات یه چیزی به من و شما می‌گه و از حالت صورت ما تشخیص می‌ده که این بحث ناراحت کرده منِ انسان رو. و این باعث می‌شه که دفعات بعد دیگه این مورد رو به ما نگه.

خود این یه نوع اصلاح‌گریه دیگه. یه نوع اطلاعات نسبت به خودش و دیگران پیدا میکنه.

تو چنین شرایطی ما می‌تونیم ادعا کنیم که بخشی از خودآگاهی قابل آموزشه.

و حتی مثال دقیق‌ترش که به نظرم وجود داره، گاهی منِ انسان مثل هواپیما که حالت اوتوپایلت داره و به صورت خودکار، یعنی ما پشت فرمانیم و یهو بعد یه دقیقه یادمون میاد که داریم رانندگی می‌کنیم.

یعنی بدون هیچ آگاهی، به صورت functional داره یه سری اتفاقا برامون می‌افته.

یعنی به صورت functional بدنمون داره یه سری رفتارها رو می‌کنه بدون هیچ نوع self-awareness یا consciousnessی.

و این داره نشون می‌ده که بخشی از رفتار ما، گفتار ما، حرکات ما به صورت functionalه.

و وقتی functional باشه، نتیجه‌گیریش اینه که مدل هم می‌تونه این رو یاد بگیره.

اگه بخوام کم‌کم یه جمع‌بندی بکنم، چند تا نکته بود، یکی اینکه بعضی از رفتارها و عملکرد ما انسان‌ها به صورت خودکاره. یعنی به صورت فانکشنال داره انجام می‌شه. نکته‌ی دوم این‌که بخشی از این مفهومی که ما می‌گیم انسان خودآگاه هست، انگار یه متادیتایست که به مرور یاد گرفته شده. یعنی یک چیزیست که به مرور کسب شده. و به خاطر همینه که یه سری کلمات کلیدی الان خیلی ترنده. مثلا سلف مدل. سلف مدل داره می‌گه که ما می‌تونیم یه مدل‌سازی درونی داشته باشیم نسبت به خودمون و بعد جهان. یادتونه بهتون گفتم لازم نیست entire world modeling بکنیم بلکه partial world modeling هم کار ما رو حل می‌کنه. پس ما اگر بیاییم سطح انتظاراتمون رو بیاریم پایین و لازم نباشه بگیم AI باید همه چیز رو بداند تا خودآگاه باشد و خودآگاهی رو هم به یه سری سطوح تبدیلش کنیم، می‌تونیم ادعا کنیم که AI به سطوهی از خودآگاهی رسیده و حتی اگر بخواهیم یه ذره تعدیل کنیم ادعامون رو ما اگر بگیم self-awareness یکی از اون سطوح پایین‌تر consciousnessه الان AI واقعاً توی نقاطی به یه self-awareness و یه آگاهی از خودی رسیده. چرا؟ چون آگاهی از خود رو قشنگ می‌شه بررسیش کرد. چقدر مدل نسبت به خودش اطلاعات داره. شما از ChatGPT می‌پرسی، می‌گی تو کی هستی؟ می‌گه من روباتم، ازش می پرسی عاشق هم می‌شی؟ می‌گه من نمی‌تونم عاشق بشم. یعنی آگاهه نسبت به خودش، ظرفیت خودش، محدودیت‌های خودش و ... تو چنین شرایطی ما می‌تونیم بگیم که به سطوحی از آگاهی نسبت به خودش و آگاهی از محیط رسیده. یعنی تو ذهن مدل‌ها نسبت به انسان و جهان پیرامونیش، یه اطلاعاتی هست که لزوماً هم غلط نیست، خیلیش درسته. یعنی دقیقاً مثل همون کاری که انسان می‌کنه و مدل‌سازی می‌کنه اطرافش رو در حد توانش، انگار ChatGPT هم الان این کار رو کرده و داره می‌کنه و روندش هم رو به رشده. و وقتی روندش رو به رشده یعنی قراره به مرور به سطوح بالاتری از خودآگاهی برسه.

سری پست خودآگاهی مدل های زبانی دوست داشتید؟

خودآگاهی ادامش بدم؟ ❤️
یا برم سراغ ی سوال چالشی: برنامه نویسی قراره از مد بیفته؟ 👍🏻

در همین راستا
این پست را ببینید و البته، حتما اینستا را هم فالو کنید 😍

https://www.instagram.com/reel/DdyVrZACMk1/?stkn=NTQwMmZkNTBmOWxv

پ.ن: به زودی یک سلسه پست با این موضوع میزارم.

توی عصر AGI، مزیت انسان نسبت به هوش مصنوعی چی خواهد بود؟

این واقعاً یه سؤال مهمه؛

و یه مقدار هم ترسناکه.

چرا؟

چون یه حس عجیبی به آدم دست می‌ده.

مغز انسان محدودیت‌های فیزیکی زیادی داره.

باید غذا بخوریم تا انرژی داشته باشیم و مغزمون بتونه فکر کنه.

نیاز به استراحت داریم.

گاهی خسته می‌شیم.

و و و...

در صورتی که هوش مصنوعی خیلی از این محدودیت‌های فیزیکی رو نداره.

شاید بگی:

«آقا، GPU چی؟»

می‌گم خب GPU تولیدش چقدر سخته؟

ولی شما آدمیزاد باید نه ماه طول بکشه تا به دنیا بیای،

بعد بزرگ بشی،

تربیت بشی،

آموزش ببینی...

می‌دونی؟

هزینه‌ی تولید GPU خیلی کمتره.

باز شاید بگی:

«آقا، بحث برقش هست.

مصرف برقش بالاست.»

می‌گم خب باشه.

الان برید ببینید یه‌سری طرح‌ها داره مطرح می‌شه که برای دو سه سال آینده،

GPUها رو ببرن توی سیارات دیگه

تا از انرژی خورشیدی استفاده کنن و اون رو به برق تبدیل کنن.

یعنی برآورد اینه که این مشکل هم قراره تا حدی حل بشه.

حتی شاید دیگه نیاز به آب هم نداشته باشه.

چرا؟

چون اونجا دیگه مسئله‌ی خنک‌سازی و این بحث‌ها مثل روی کره‌ی زمین نیست.

پس ما یه طرف،

مغز انسان رو داریم که هزار و یک محدودیت داره.

از طرف دیگه،

یه مغز هوش مصنوعی داریم که خیلی از این محدودیت‌ها رو نداره.

خب...

برنده‌ی این مسابقه کیه؟

قطعاً هوش مصنوعی.

و اینجاست که آدم یه حس بی‌فایدگی،

یه حس useless بودن،

بهش دست می‌ده.

این سؤال خیلی وقت بود ذهن من رو درگیر کرده بود.

نمی‌گم براش جواب پیدا کردم،

ولی یه ایده چند شب پیش به ذهنم رسید

که به نظرم ارزش فکر کردن داره.

دیدم آقا،

زمین بازی به نفع هوش مصنوعیه.

خب چجوری می‌شه این زمین بازی رو عوض کرد؟

یه ایده‌ی خیلی ساده به ذهنم رسید:

سایبورگ.

یعنی چی؟

من انسان،

مغزم رو که نمی‌تونم خیلی رشد بدم.

نمی‌تونم ظرفیتش رو مثلاً پنج برابر کنم.

ولی می‌تونم در آینده ده تا AI رو به مغزم وصل کنم.

و انگار که من دیگه ترکیبی از

هوش طبیعی + هوش مصنوعی

می‌شم.

اینجاست که من توی این رقابت،

حرفی برای گفتن دارم.

می‌دونی چی می‌گم؟

یعنی شاید ما به‌صورت جداگانه حرف زیادی برای گفتن نداشته باشیم،

ولی اگر AI رو به‌عنوان یک ابزار در اختیار خودمون قرار بدیم،

دیگه شرایط خیلی فرق می‌کنه.

حالا شاید بگی:

«تو چجوری می‌خوای AI رو به مغز خودت وصل کنی؟»

می‌گم خب گزینه زیاده.

مثلاً Neuralink،

کاری که داره انجام می‌ده.

می‌دونم بعضی از این چیزهایی که می‌گم یه مقدار آینده‌نگرانه است،

ولی باحاله دیگه!

بهش فکر کنید.

مثلاً شما دست توانمندی زیادی ندارید.

می‌ری یه روبات می‌خری،

به مغزت وصلش می‌کنی،

و اون ربات قشنگ می‌شه دست تو.

در واقع شاید مسئله این نباشه که

انسان چطور می‌تونه از AI باهوش‌تر بشه؟

شاید سؤال درست این باشه که:

چطور می‌تونه خودش رو با AI ترکیب کنه؟

امروز متوجه شدم که GPT-Rosalind به آزمایشگاه‌های تحقیقاتی دانشگاهی راه پیدا کرده. این یعنی محقق‌ها می‌تونن از قدرت این مدل برای تحلیل داده‌های علمی و پژوهشی استفاده کنن. مثل اینکه شما یک دستیار فوق‌العاده دارید که می‌تونه به شما در پردازش و تحلیل اطلاعات کمک کنه. مثلاً فرض کنید که می‌خواید یک مقاله علمی بنویسید، با استفاده از GPT-Rosalind می‌تونید داده‌ها رو سریع‌تر تحلیل کنید و نتایج بهتری بگیرید. این مدل به محقق‌ها این امکان رو می‌ده که تمرکز بیشتری روی ایده‌ها و نوآوری‌هاشون داشته باشن. برای کسایی که در زمینه تحقیق کار می‌کنن: حتماً به این مدل نگاه کنید و ببینید چطور می‌تونید ازش در پروژه‌هاتون بهره ببرید.

https://openai.com/index/introducing-the-rosalind-academic-plan

مدل Beam دیونم کرده، امروز واسه اولین بار باهاش کار کردم، توی کدنویسی بسیار سریعه، و دقت بسیار بالایی داره و رایگانه

پ.ن: توی open code ازش استفاده می کنم

شانسو ببین
Open code
هک شد 😂
کاش من حرف نزنم

برای انجام یک پروژه در زمینه مدل های زبانی (تشخیص متون انسانی از متون غیر انسانی)، دوستانی که در حوزه NLP سنیور هستند لطفا پیام بدن تا در مورد زمان و هزینه صحبت بشه
@data_hub

دوستان عدد پرداختی برای این کار خوب هست