🧠 شبکه‌های عصبی کمتر از انتظار برای یادگیری زحمت می‌کشند‌!

پیش از یادگیری، وزن‌های اتصالات در شبکه‌های عصبی کاملا تصادفی هستند (معمولا توزیع نرمال دارند).

پژوهش چاپ شده در نوریپس سال ۲۰۲۰ (لینک) نشان می‌دهد که یادگیری در تمام اتصالات شبکه‌های عصبی (RNN) رخ نمی‌دهد. تغییرات اتصالات در اثر یادگیری معمولا پیچیده و سراسری نیست.

برعکس، تغییرات مهم در چند مسیر محدود اتفاق می‌افتند--- ماتریس تغییر کم‌مرتبه (یا شاید بهش می‌گیم کم‌رتبه) است‌.

نکته جالب‌تر: اگر اتصالاتی که حین یادگیری تغییر نکرده‌اند و تصادفی مانده‌اند را بُر بزنید و مخلوط کنید، شبکه آنچه یاد گرفته را فراموش می‌کند‌. بنابرین یادگیری روی همان وزن‌های تصادفی دست نخورده اولیه سوار می‌شود.

یادگیری فقط چند نقطه حساس این ساختار تصادفی بزرگ را خم می‌کند.


@physics_daily | از نورون تا هوش

🤬 کدوم یکی هوش مصنوعیه؟
این روزها واقعا تشخیصش سخت شده.

@physics_daily

😂 مارکتینگ با پوست طبیعی

این روزها شرکت‌ها می‌خوان بگن هوش مصنوعی‌شون پوست رو طبیعی ترسیم می‌کنه. با کک و مک و چین و چروک و فرو رفتگی و برآمدگی‌هاش. شبیه سمت راستی.

اونوقت شماها سعی می‌کنید شبیه سمت چپی باشید.

@physics_daily | از نورون تا هوش

🆒 مغز هوش مصنوعی چه شکلیه؟

تصویرگری زیبا از یه شبکه عصبی عمیق.

@physics_daily | از نورون تا هوش

🧠 ممکن است پرسروصداترین سیگنال‌های نورونی ربطی به رفتار (خروجی) نداشته باشند

امروزه, چه در داده‌های مغزی، چه در تحلیل طرز کار هوش مصنوعی، به دنبال بازنمایی‌های عصبی (رپرزنتیشن‌ها) هستیم.

بازنمایی عصبی نوعی فعالیت نورون‌هاست که با رفتار (یا به طور کلی کارکرد سیستم) ارتباط مستقیم دارد.

مطالعه اخیر چاپ شده در ایلایف (لینک) نشان می‌دهد بیشتر فعالیت عصبی می‌تواند ارتباطی با خروجی (مثلا رفتار) نداشته باشد.

خیلی وقت‌ها، بازنمایی‌ها زیر سایه فعالیت غالب شبکه پنهان می‌شوند.

خب خیلی مهمه. باید هم داده‌های مغزی و هم فعالیت شبکه‌های عصبی مصنوعی رو جور دیگه‌ای، با لحاظ کردن اینکه فعالیت غالب می‌تونه گمراه‌کننده باشه، تحلیل کنیم.

@physics_daily | از نورون تا هوش

🧠 رفتار پنهان‌کارانه شبکه‌های عصبی

✏️ خلاصه عمومی مقاله رو نوشتم که در این پست تقدیم شد. این لینک خلاصه‌ای که نوشتم، البته می‌تونید از گزینه instant view استفاده کنید و مطالعه کنید.

خود مقاله:
Aligned and oblique dynamics in recurrent neural networks، elife, 2024

👍 عاشق خلاصه کردن و توضیح دادن مقالات این زمینه هستم. اگر استقبال بشه مقالات بیشتری رو پوشش می‌دیم.

@physics_daily | از نورون تا هوش

🆒 دوست دارید شبیه‌سازی کردن رو تجربه کنید؟ پوریا داره دکتری دانشگاه تهران می‌خونه و با ذوق و سلیقه مثال‌زدنی مهارت و دانشش رو منتقل می‌کنه.
@the_maze2022

🧠 کالبد شکافی هوش‌های مصنوعی دوقلو،
تجارب گذشته در بخش نامرئی اتصالات ذخیره می‌شود

بررسی دوقلوها که معمولا در ژنتیک مطرح می‌شود، اینبار سر از دنیای هوش مصنوعی (RNNها) درآورده است.

مطالعه جذابی که همین دو ماه پیش روی آرکایو قرار گرفت (لینک) نشان می‌دهد عمیق شدن روی جزییات هزاران اتصال عصبی می‌تواند کاری بیهوده باشد.

💥 به جای آن، خاصیت‌های هندسی شبکه که می‌توان آن‌ها را با تنها ده متغیر ناقابل توصیف کرد، عملکرد و یادگیری شبکه را هدایت می‌کنند.

این متغیرهای هندسی، در بیان ساده، میزان شباهت یا هم‌پوشانی قسمت‌های مختلف شبکه عصبی را نشان می‌دهند. برای همین به آن‌ها هم‌پوشانی گفته می‌شود--- اندازه‌گیری هم‌پوشانی‌ها آسونه، نگران نباشید.

اما ریاضیات فراتر هم می‌رود و نکته جالبی را نشان می‌دهد:

صرفا ۴ هم‌پوشانی مسئول رفتار سیستم، پاسخ آن به ورودی و پایین آوردن خطا حین یادگیری هستند. به این‌ها هم‌پوشانی‌های مرئی گفته می‌شود.
در عوض، ۶ هم‌پوشانی نامرئی داریم که اثری بر خروجی شبکه نمی‌گذارند، اما مثل یک دفترچه‌ی یادداشت خاطرات گذشته‌ی شبکه را در خود نگه می‌دارند.

برای آزمودن این یافته نظری، مولفین از شبکه‌های عصبی دوقلو استفاده کردند.

طبیعتا، این شبکه‌ها در ابتدا کامل یکسان هستند. مولفین هر شبکه را در مسیر متفاوتی با تجارب متفاوتی پیش بردند. مثلا به اولی یاد دادند مساله الف را حل کند و به دومی مساله ب. بعد، هردو را وادار کردند تا حل مساله مشترکی (مثلا ج) یاد بگیرند.

🔪🧠 وقتی توانمندی هردو شبکه‌ در حل مساله مشترک دقیقا یکسان شد، پژوهشگران این دو را کالبد شکافی کردند.

نتیجه نهایی:
۱. با نگاه کردن به هم‌پوشانی‌های مرئی تفاوت چشم‌گیری بین دوقلوها دیده نمی‌شد.
۲. اما با نگاه کردن به هم‌پوشانی‌های نامرئی، تفاوت تجارب گذشته آشکار می‌شد.


💣 یعنی گذشته‌ی شبکه عصبی، حتی وقتی در رفتار فعلی دیده نمی‌شود، ممکن است در بخش خاموش سیم‌کشی پنهان شده باشد.

@physics_daily | از نورون تا هوش

🔥 به زودی در همین کانال توضیحش می‌دم.

@physics_daily | از نورون تا هوش

🧠 مغز چطور پیش‌زمینه را در تصمیم‌گیری لحاظ می‌کند؟

صدای انفجار می‌شنوید! اگر چهارشنبه‌سوری باشد، ممکن است لبخند بزنید. اگر نباشد، شاید حدس بزنید جنگ شروع شده و استرس بگیرید یا به شعف بیایید.

مغز شما به پیش‌زمینه (کانتکست) اهمیت می‌دهد. اما دقیقا چطور این کار را می‌کند؟

قبلا تصور می‌شد که مغز اطلاعاتِ نامربوط به پیش‌زمینه را (مثل حضور دسته کلاغ‌ها در آسمان حین رانندگی) در نواحی حسی اولیه فیلتر و حذف می‌کند.

درعوض اطلاعات مربوط به پیش‌زمینه را (مثل لغزندگی جاده حین رانندگی) نگه می‌دارد.

بنابرین، فقط اطلاعات مربوط به پیش‌زمینه را به مراکز تصمیم‌گیری (PFC) می‌فرستد.

مطالعه چاپ شده در نیچر با بیش از دوهزار ارجاع نشان می‌دهد اینطور نیست. اطلاعات مرتبط و نامرتبط به پیش‌زمینه، با هم، وارد مرکز تصمیم‌گیری مغز شما می‌شود.
در عوض، نورون‌های مرکز تصمیم‌گیری در مسیرهای هندسی جذابی فعالیت جمعی می‌کنند که توسط پیش‌زمینه تعیین می‌شود.

همانطور که جوی مسیر حرکت آب را مشخص می‌کند، پیش‌زمینه رسیدن به تصمیم را هدایت می‌کند.

پژوهشگران با مطالعه شبکه‌های عصبی مصنوعی RNN نشان دادند که همان الگوریتمِ هندسی پیدا شده در مغز در هوش مصنوعی هم به طور خودجوش بروز می‌کند.

توضیح کامل‌تر مقاله به شکل
۱. فایل صوتی
۲. فایل نوشتاری
در پست بعدی تقدیم می‌شه.

این کانال رو به علاقمندان مغز، هوش مصنوعی، فیزیک و ریاضیات معرفی کنید.

@physics_daily | از نورون تا هوش

❓ اگر با هر قدم نصف فاصله تا مقصد رو بری، در چند قدم به مقصد می‌رسی؟

من میگم یکم بیشتر نگاه کنیم بالاخره می‌رسه. 🤭

@physics_daily