فقط هم ۷ میلیون پارامتر داره و با ۱۰۰۰ نمونه آزمایشی ترین شده

عملکرد خوبش از نظر آماری کاملا غیرممکنه

باید حتما تحلیلش کنم

جالبه که این همه مقاله روزانه توی arxiv منتشر می‌شه ولی یهو مقاله‌ای که کلا دوازده صفحه و یک نویسنده داره میوفته روی زبون‌ها
خیلی رویکرد هوشمندانه‌ایه. دقیقا اسمش با ماهیت مدل و تعداد صفحاتش جور در میاد:
Less Is More

تنها وقتی چت‌های شما برای ترین کردن مدل‌های OpenAI مورد استفاده قرار نمی‌گیره که حالت "Temporary Chat" رو فعال کنید.

بقیه مواقع از تمام کلمات و ورودی‌های شما استفاده تکنولوژیک مي‌شه.

There's a cost for everything

محوشدگی گرادیان (Gradient Vanish)

محوشدگی گرادیان یعنی وقتی شبکه‌ٔ عصبی عمیق رو آموزش می‌دیم، سیگنالِ یادگیری (گرادیان) موقع برگشت از لایه‌های آخر به لایه‌های اول اونقدر ضعیف می‌شه که تقریباً به صفر می‌رسه.
در نتیجه لایه‌های ابتدایی که باید مهم‌ترین ویژگی‌ها رو یاد بگیرن عملاً هیچ تغییری نمی‌کنن و مدل پیشرفت نمی‌کنه.
این مشکل معمولاً به خاطر عمق زیاد شبکه و وزن‌های اولیه‌ی نامناسب رخ می‌ده که راه‌حل داره و بعدا بهشون می‌پردازم

Gradient vanishing happens when a deep neural network tries to learn, but the learning signal (the gradient) becomes extremely small as it flows backward through many layers. By the time it reaches the early layers . the ones responsible for learning fundamental features the gradient is almost zero, so those layers barely update and the model stops improving. This usually comes from very deep architectures, bad weight initialization, or activation functions that squash values too much. AI engineers handle it with techniques like skip connections, LayerNorm, and modern activations that keep the gradient alive.

گرادیان چی هست اصلا؟


گرادیان تو یادگیری عمیق همون جهت و اندازه‌ی شیبِ خطاست.
یعنی به ما می‌گه اگه وزن‌های شبکه رو یک ذره کم یا زیاد کنیم، خطا چطور تغییر می‌کنه. مدل بعد از هر بار پیش‌بینی، خطا رو حساب می‌کنه و با گرفتن گرادیان می‌فهمه برای کمتر کردن این خطا باید وزن‌ها رو به کدوم سمت حرکت بده.

هرچی مقدار گرادیان بزرگ‌تر باشه یعنی خطا نسبت به اون وزن حساس‌تره و باید تغییر بیشتری بدیم، هرچی کوچک‌تر باشه یعنی نزدیکیم به نقطه‌ای که خطا کمینه‌ست.

کلِ فرایند یادگیری درواقع همین دنبال کردن و درس گرفتن از گرادیانه تا شبکه کم‌کم بهتر و دقیق‌تر بشه.

Gradients are essentially vectors of partial derivatives of the neural network's loss function concerning its weights and biases. The loss function quantifies the difference between the predicted output of the neural network and the actual target values

🦴 @scopeofai | #concepts

💡 برای یادگیری خودخوان مهندسی پرامپت، این سایت می‌تونه منبع جامع و مناسبی براتون باشه. تقریبا تمام روش‌های پیشرفته پرامپت‌نویسی رو پوشش داده:

https://www.promptingguide.ai/

One of the best websites to learn prompting on your own

کومت الان توی اندروید قابل‌دسترسه.
واقعا فوق‌العادست و تمام استانداردهایی که برای یه مرورگر داشتید رو می‌تونه عوض کنه

با دستیار صوتیش بدون تایپ کردن می‌تونید به هر صفحه وب که خواستید برید چون پرپلکسیتی به کل مرورگر دسترسی داره و به عنوان یه ایجنت داخل مرورگر عمل می‌کنه.

سیرینیواس قبلا گفته بود که ما با کومت به تمام اطلاعات حسابتون دسترسی داریم.
اگه به این موضوع حساسید، یه اکانت فیک بسازید و با ایمیل اصلی خودتون وارد نشید.

ایلیا سوتسکور از آینده هوش مصنوعی و اثرش روی زندگی آدم‌ها می‌گه

به عقیده اون، در آینده‌ای نه چندان دور پیشرفت هوش مصنوعی باعث می‌شه رفتار انسان‌ها تغییر کنه و شرکت‌های بزرگ با هم متحد بشن که همه روی امنیت مدل‌هاشون کار بکنن.

جایی که "امنیت" مهم‌ترین دغدغه شرکت‌ها می‌شه‌. نه نوآوری

چرا به هوش مصنوعی علاقه دارید؟
دوست دارم دلیل هاتونو بدونم
یا اینکه اصلا علاقه دارید یا نه

دیسکاشنو باز کردم کانال از این یکنواختی و خشکی در بیاد
یه لحظه خودمو گذاشتم جای مخاطب و دیدم این کانال چقدر خشک و جدیه انصافا :)))

پس شما هم لطفا از خودتون یه نوع انرژی یا مشارکت نشون بدید
یادگیری توی تعاملات خیلی راحت‌تر و جذاب‌تره

شایعه شده بود که تبلیغات دارن به چت جی پی تی اضافه میشن.
ولی اصلا این‌طور نبود و بنده خدا فقط داشت اپ پیشنهاد میداد به عنوان یه ابزار کمکی اخر حرفاش که باعث سوءتفاهم شد.