🧠 شبکه‌های عصبی کمتر از انتظار برای یادگیری زحمت می‌کشند‌!

پیش از یادگیری، وزن‌های اتصالات در شبکه‌های عصبی کاملا تصادفی هستند (معمولا توزیع نرمال دارند).

پژوهش چاپ شده در نوریپس سال ۲۰۲۰ (لینک) نشان می‌دهد که یادگیری در تمام اتصالات شبکه‌های عصبی (RNN) رخ نمی‌دهد. تغییرات اتصالات در اثر یادگیری معمولا پیچیده و سراسری نیست.

برعکس، تغییرات مهم در چند مسیر محدود اتفاق می‌افتند--- ماتریس تغییر کم‌مرتبه (یا شاید بهش می‌گیم کم‌رتبه) است‌.

نکته جالب‌تر: اگر اتصالاتی که حین یادگیری تغییر نکرده‌اند و تصادفی مانده‌اند را بُر بزنید و مخلوط کنید، شبکه آنچه یاد گرفته را فراموش می‌کند‌. بنابرین یادگیری روی همان وزن‌های تصادفی دست نخورده اولیه سوار می‌شود.

یادگیری فقط چند نقطه حساس این ساختار تصادفی بزرگ را خم می‌کند.


@physics_daily | از نورون تا هوش

🤬 کدوم یکی هوش مصنوعیه؟
این روزها واقعا تشخیصش سخت شده.

@physics_daily

😂 مارکتینگ با پوست طبیعی

این روزها شرکت‌ها می‌خوان بگن هوش مصنوعی‌شون پوست رو طبیعی ترسیم می‌کنه. با کک و مک و چین و چروک و فرو رفتگی و برآمدگی‌هاش. شبیه سمت راستی.

اونوقت شماها سعی می‌کنید شبیه سمت چپی باشید.

@physics_daily | از نورون تا هوش

🆒 مغز هوش مصنوعی چه شکلیه؟

تصویرگری زیبا از یه شبکه عصبی عمیق.

@physics_daily | از نورون تا هوش

🧠 ممکن است پرسروصداترین سیگنال‌های نورونی ربطی به رفتار (خروجی) نداشته باشند

امروزه, چه در داده‌های مغزی، چه در تحلیل طرز کار هوش مصنوعی، به دنبال بازنمایی‌های عصبی (رپرزنتیشن‌ها) هستیم.

بازنمایی عصبی نوعی فعالیت نورون‌هاست که با رفتار (یا به طور کلی کارکرد سیستم) ارتباط مستقیم دارد.

مطالعه اخیر چاپ شده در ایلایف (لینک) نشان می‌دهد بیشتر فعالیت عصبی می‌تواند ارتباطی با خروجی (مثلا رفتار) نداشته باشد.

خیلی وقت‌ها، بازنمایی‌ها زیر سایه فعالیت غالب شبکه پنهان می‌شوند.

خب خیلی مهمه. باید هم داده‌های مغزی و هم فعالیت شبکه‌های عصبی مصنوعی رو جور دیگه‌ای، با لحاظ کردن اینکه فعالیت غالب می‌تونه گمراه‌کننده باشه، تحلیل کنیم.

@physics_daily | از نورون تا هوش

🧠 رفتار پنهان‌کارانه شبکه‌های عصبی

✏️ خلاصه عمومی مقاله رو نوشتم که در این پست تقدیم شد. این لینک خلاصه‌ای که نوشتم، البته می‌تونید از گزینه instant view استفاده کنید و مطالعه کنید.

خود مقاله:
Aligned and oblique dynamics in recurrent neural networks، elife, 2024

👍 عاشق خلاصه کردن و توضیح دادن مقالات این زمینه هستم. اگر استقبال بشه مقالات بیشتری رو پوشش می‌دیم.

@physics_daily | از نورون تا هوش

🆒 دوست دارید شبیه‌سازی کردن رو تجربه کنید؟ پوریا داره دکتری دانشگاه تهران می‌خونه و با ذوق و سلیقه مثال‌زدنی مهارت و دانشش رو منتقل می‌کنه.
@the_maze2022

🧠 کالبد شکافی هوش‌های مصنوعی دوقلو،
تجارب گذشته در بخش نامرئی اتصالات ذخیره می‌شود

بررسی دوقلوها که معمولا در ژنتیک مطرح می‌شود، اینبار سر از دنیای هوش مصنوعی (RNNها) درآورده است.

مطالعه جذابی که همین دو ماه پیش روی آرکایو قرار گرفت (لینک) نشان می‌دهد عمیق شدن روی جزییات هزاران اتصال عصبی می‌تواند کاری بیهوده باشد.

💥 به جای آن، خاصیت‌های هندسی شبکه که می‌توان آن‌ها را با تنها ده متغیر ناقابل توصیف کرد، عملکرد و یادگیری شبکه را هدایت می‌کنند.

این متغیرهای هندسی، در بیان ساده، میزان شباهت یا هم‌پوشانی قسمت‌های مختلف شبکه عصبی را نشان می‌دهند. برای همین به آن‌ها هم‌پوشانی گفته می‌شود--- اندازه‌گیری هم‌پوشانی‌ها آسونه، نگران نباشید.

اما ریاضیات فراتر هم می‌رود و نکته جالبی را نشان می‌دهد:

صرفا ۴ هم‌پوشانی مسئول رفتار سیستم، پاسخ آن به ورودی و پایین آوردن خطا حین یادگیری هستند. به این‌ها هم‌پوشانی‌های مرئی گفته می‌شود.
در عوض، ۶ هم‌پوشانی نامرئی داریم که اثری بر خروجی شبکه نمی‌گذارند، اما مثل یک دفترچه‌ی یادداشت خاطرات گذشته‌ی شبکه را در خود نگه می‌دارند.

برای آزمودن این یافته نظری، مولفین از شبکه‌های عصبی دوقلو استفاده کردند.

طبیعتا، این شبکه‌ها در ابتدا کامل یکسان هستند. مولفین هر شبکه را در مسیر متفاوتی با تجارب متفاوتی پیش بردند. مثلا به اولی یاد دادند مساله الف را حل کند و به دومی مساله ب. بعد، هردو را وادار کردند تا حل مساله مشترکی (مثلا ج) یاد بگیرند.

🔪🧠 وقتی توانمندی هردو شبکه‌ در حل مساله مشترک دقیقا یکسان شد، پژوهشگران این دو را کالبد شکافی کردند.

نتیجه نهایی:
۱. با نگاه کردن به هم‌پوشانی‌های مرئی تفاوت چشم‌گیری بین دوقلوها دیده نمی‌شد.
۲. اما با نگاه کردن به هم‌پوشانی‌های نامرئی، تفاوت تجارب گذشته آشکار می‌شد.


💣 یعنی گذشته‌ی شبکه عصبی، حتی وقتی در رفتار فعلی دیده نمی‌شود، ممکن است در بخش خاموش سیم‌کشی پنهان شده باشد.

@physics_daily | از نورون تا هوش

🔥 به زودی در همین کانال توضیحش می‌دم.

@physics_daily | از نورون تا هوش

🧠 مغز چطور پیش‌زمینه را در تصمیم‌گیری لحاظ می‌کند؟

صدای انفجار می‌شنوید! اگر چهارشنبه‌سوری باشد، ممکن است لبخند بزنید. اگر نباشد، شاید حدس بزنید جنگ شروع شده و استرس بگیرید یا به شعف بیایید.

مغز شما به پیش‌زمینه (کانتکست) اهمیت می‌دهد. اما دقیقا چطور این کار را می‌کند؟

قبلا تصور می‌شد که مغز اطلاعاتِ نامربوط به پیش‌زمینه را (مثل حضور دسته کلاغ‌ها در آسمان حین رانندگی) در نواحی حسی اولیه فیلتر و حذف می‌کند.

درعوض اطلاعات مربوط به پیش‌زمینه را (مثل لغزندگی جاده حین رانندگی) نگه می‌دارد.

بنابرین، فقط اطلاعات مربوط به پیش‌زمینه را به مراکز تصمیم‌گیری (PFC) می‌فرستد.

مطالعه چاپ شده در نیچر با بیش از دوهزار ارجاع نشان می‌دهد اینطور نیست. اطلاعات مرتبط و نامرتبط به پیش‌زمینه، با هم، وارد مرکز تصمیم‌گیری مغز شما می‌شود.
در عوض، نورون‌های مرکز تصمیم‌گیری در مسیرهای هندسی جذابی فعالیت جمعی می‌کنند که توسط پیش‌زمینه تعیین می‌شود.

همانطور که جوی مسیر حرکت آب را مشخص می‌کند، پیش‌زمینه رسیدن به تصمیم را هدایت می‌کند.

پژوهشگران با مطالعه شبکه‌های عصبی مصنوعی RNN نشان دادند که همان الگوریتمِ هندسی پیدا شده در مغز در هوش مصنوعی هم به طور خودجوش بروز می‌کند.

توضیح کامل‌تر مقاله به شکل
۱. فایل صوتی
۲. فایل نوشتاری
در پست بعدی تقدیم می‌شه.

این کانال رو به علاقمندان مغز، هوش مصنوعی، فیزیک و ریاضیات معرفی کنید.

@physics_daily | از نورون تا هوش

🔥 مقاله بعدی که به زودی بررسی می‌کنیم.

@physics_daily | از نورون تا هوش

❓ حدس شما چیه؟

من و شما در کلاس مشترکی شرکت می‌کنیم و یاد می‌گیریم شنای قورباغه کنیم، یا فلان انتگرال رو بگیریم.

سوال: اگر به اون بخش از مغزهامون نگاه کنیم که یادگیری مورد نظر درش انجام شده، آیا فعالیت عصبی مشابهی می‌بینیم؟ یا مثلا می‌بینیم شبکه‌های نورونی ما دو راه کاملا متفاوت برای حل مساله واحد پیدا کرده‌اند؟

همین سوال رو می‌شه درباره هوش مصنوعی هم پرسید.

فعلا نظرسنجی کنیم تا بعد خلاصه مقاله رو تقدیم کنم.

@physics_daily | از نورون تا هوش

🧠 فردیت و یگانگی در شبکه‌های عصبی—
ذهنِ هوش مصنوعی می‌تواند شبیه ذهنِ ما باشد؟

مثل قبل، اینجا خلاصه رو می‌گم و در پست بعدی بررسی مقاله رو به صورت فایل صوتی و نوشتاری تقدیم می‌کنم.

آیا فعالیت نورونی مغز من و شما، پس از یادگیری کاری یکسان، مثلا شنای قورباغه، به هم شبیه می‌شود؟

آیا شبکه‌های عصبی زیستی و مصنوعی راه‌های مشابهی برای حل مساله یکسان پیدا می‌کنند؟

پژوهشگران حدود سه هزار شبکه عصبی مصنوعی را زیر ذره‌بین مطالعه گذاشتند (لینک مقاله نوریپس ۲۰۱۹). این شبکه‌های متفاوت، برای انجام وظیفه‌ای یکسان آموزش دیده بودند. نتیجه این بررسی شگفت‌انگیز بود!

البته که هر شبکه الگوهای فعالیت نورونی خاص خودش را نشان می‌دهد‌. و این الگوهای فعالیت نورونی شکل هندسی مشخصی دارند. جالب اینجاست که هندسه شبکه‌های متفاوت، حتی بعد از یادگیری وظیفه یکسان، مشابه نشد!

این پاسخ ناامید کننده بود. با اینکه شبکه‌ها مساله یکسانی را حل می‌کردند، هندسه فعالیت نورونی آن‌ها حسابی متفاوت از آب در آمد. دقت کنید تمام این تنوع هندسی مساله‌ای واحد را حل می‌کرد! پس می‌شد نتیجه گرفت که هندسه فعالیت نورونی هیچ اطلاعات خاصی درباره چگونگی حل آن مساله آشکار نمی‌کند.

پژوهشگران این بار عمیق‌تر شدند تا به جای هندسه فعالیت نورونی، قوانین پنهانی که فعالیت نورونی را هدایت می‌کند کشف کنند. آن‌ها این قوانین را با گراف‌ها نمایش دادند. این گراف‌ها مسیر دینامیک نورون‌ها را هدایت می‌کنند.

شگفت‌انگیزتر اینکه این گراف‌ها در تمام شبکه‌های عصبی، پس یادگیری یکسان، یکسان شد.

بنابرین، شبکه‌های عصبی در هندسه فعالیت نورونی خود «فردیت» دارند و در ریخت‌شناسی ساختار دینامیکی (همین گراف‌ها) «یگانگی.»

این مطالعه چارچوب جدید و قدرتمندی برای فهم بهتر شباهت‌ها و تفاوت‌های هوش زیستی و مصنوعی ارائه می‌دهد و نشان می‌دهد اصول کلی یادگیری و محاسبات عصبی می‌تواند در هردو یگانه باشد.

این کانال رو به علاقمندان مغز، هوش مصنوعی، فیزیک و ریاضیات معرفی کنید.


بررسی کامل در فایل صوتی و نوشتاری به زودی 👇🏻👇🏻👇🏻
@physics_daily

| از نورون تا هوش