درک گسسته ی لاپلاسین

در این پست لاپلاسین گسسته را بررسی می کنیم این ابزار عالی ای به ما می دهد که چند فرآیند جدید را که با پست how nature works هم مرتبط است را به ما یاد می دهد. در ویرگول بخوانید:
نسخه فارسی:
https://vrgl.ir/7Wdzf

نسخه ی انگلیسی:
https://hilbert-cantor.medium.com/discrete-laplacian-8a5dde7ff001

درک گسسته ی لاپلاسین قسمت دوم

در این قسمت به خواص لاپلاسین بخصوص مساله ی eigenvalue های آن اشاره می کنیم. برای درک شهودی آن از مثال انتقال حرارت استفاده میکنیم. این پایه ای برای درک سیستم های پیچیده ای را به ما می دهد که میتوان با بررسی ماتریس انتقال آن ها خواص مختلف آن مثل پایداری و حتی self organization را بررسی کرد

https://hilbert-cantor.medium.com/discrete-laplacian-2-4fc608a3ea37

تا جایی که یادمه من هم تقریبا مثل همه ی دانش آموزا از ریاضی فراری بودم. ریاضی همون موضوع ترسناک و سخت و حوصله سر بر بود که باید دلهره هاش رو توی سوالای میان ترم و پایان ترم حس کنی و پایین ترین نمره ی توی کارنامه و حس بد ازینکه حتما باهوش نیستی! و با نمره ی علوم و تاریخ هم نمیتونی جبرانش کنی. با این حال علاقه عمومی به علم داشتم.

اولین بار در کتابخانه به جای کتاب های علمی معمول تر چشمم به کتاب «مفاهیم ریاضیات جدید» خورد و اولین سوالی که برایم پیش آمد مگر ریاضی هم قدیم و جدید دارد! با ورق زدن صفحه های کتاب اثری از فرمول و معادلات ترسناک نبود و سعی کردم بروم و بخوانمش! کتاب همچون داستانی برای من خودنمایی کرد. تصور اینکه بتوان یک کتاب ریاضی را باز کرد و حسی از یک رمان ماجراجویی با نشان دادن اینکه هر مفهموم ریاضی از کجا آغاز شده و تصور ما چگونه از مفاهیم بسیار اساسی که شاید گاهی حتی به آن فکر هم نکنیم و پیش فرض بگیریم تغییر کرده است. کتاب با سوال اساسی که اصلا خود ریاضیات چیست و آیا برای ریاضیات محدودیتی وجود دارد و معنای حقیقت ریاضی چیست آغاز میکند و به مجموعه ها تغییر میکند تا به مفاهیم جالب تری مانند توپولوژی، جبر و نظریه ی گروه ها برسد!

اگر پیش خودتان فکر میکنید دانستن این همه ریاضی اضافه چه فایده ای دارد. فایده های چنین مطالعه ای حداقل بالا رفتن نمره های ریاضیای و فیزیکتان باشد مثل من که نمره ی ریاضیاتم از پایین ترین نمره ها در راهنمایی به بالاترین نمرات در دبیرستان تغییر کرد.
اما ( حتی بدون درگیر شدن با جزییات فرمول ها) خواندن ریاضی می تواند روش فکر کردن شما به مسائل را تغییر دهد و منظور من از مسائل صرفا مسايل ریاضی صرف نیست بلکه شیوه ی فکر کردن روزمره. این تاثیر تا به امروز برای من چنان عمیق بود که حس کردم چنین کتابی نیاز است که در قفسه ی خانه باشد و گه گاهی آن را ورق زد. بنابراین نسخه ی انگلیسی کتاب را سفارش دادم (عکس بالا)!

کتاب نوشته ی یان استیورات و به قلم جمشید پرویزی ترجمه شده است. ترجمه بسیار روان و ساده و دقیق است. یان استیوارت استاد دانشگاه واروید و خودش فارغ التحصیل کمبریج است از معدود نویسنده های عمومی علمی است که در حوزه ی ریاضیات کتاب های پرفروش می نویسد و خودش یک ریاضیدان شناخته شده است. اون کتاب های بسیار دیگری هم در حوزه ی علم دارد که تقریبا هیچ کدام دیگر ترجمه نشده است!

When introducing colleagues to the attention mechanism, a common question is how attention scores differ from weights in a fully-connected layer.

Conceptually, attention mechanisms allow transformers to attend to different parts of a sequence or image. On the surface, this sounds very similar to a fully connected layer!

In attention mechanisms, the calculation of attention weights involves comparing each input element to every other element, resulting in dynamic and input-dependent weights. Attention mechanisms allow a neural networks to selectively weigh the importance of different input features, allowing the model to focus on the most relevant parts of the input for a given task.

In contrast, the weights of a convolutional or fully-connected layer are fixed after training. (As a side note: the self-attention mechanism can be implemented using fully-connected layers; the dynamic, input-dependent nature comes from the pairwise sequence comparisons though, not the weight parameters.)

shorturl.at/bcq67

مدتی پیش این میم (meme) رو دیدم که علاوه بر نکته ی خنده دارش واقعیت جالبی رو هم نشون میده: کاری که طرف کرده «غلط» نیست به این معنی که حدودا میشه گفت درسته!
خب اولین سوالی که پیش میاد یعنی چی؟ اینجا اصلا ساختار رعایت نشده!‌ فقط هر چی که رنگ های مشابه داره کنار هم قرار داده شده. اما وقتی میگیم حدودا یعنی تقریبی! یعنی اگه من شکل اسب روی کارتن پازل رو هم نشونتون ندم شما میتونید تشخیص بدید که این یک اسبه پس جواب طرف خیلی هم غلط نیست!
شاید باورش سخت باشه ولی این درست بودن به معنای نظریه ی اطلاعاتیه!

در نظریه اطلاعات چیزی که برای ما اهمیت داره ساختار به معنای عرفی اون یعنی قرار دادن هر چیزی «دقیقا» سرجاش نیست بلکه چیزی که حدودی هم شبیه به ساختار مد نظر باشه برای منظور ما کافیه به همین خاطر در نظریه اطلاعات ما به فرآیند های تصادفی و توزیع احتمال علاقه نشون میدیم. چنین طرز نگاه کردنی شاید بنظر غلط باشه اما در عمل کار رو راه میندازه!‌ مثلا برای اینکه ما تشخیص بدیم یک شکل «اسب» هستش اتفاقا غلطه که بریم و ببینیم که دقیقا هر قسمت اسب چه شکلی میشه برعکس اون بازنمایی که ما داریم (یه جوری در مغز قرار گرفته) یک بازنمایی احتمالاتیه! یعنی ما حدودا میدونیم کله ی اسب و یال هاش چجوری، تقریبا دمش و تقریبا پاهاش! اصلا به همین خاطر هست که ما حتی یک نقاشی کج و کوله بچگانه از یک اسب رو بازم به صورت اسب تشخیص میدیم!
مهم نیست این بازنمایی توسط چه سیستمی ذخیره شده (شبکه های عصبی عمیق یک مدل احتمالاتی یا به نحو کمی اسرار آمیزی توسط مغز!) و این دقیقا هوش کلاود شنون ( Claude Shannon) بود! شنون تشخیص داد که اطلاعات در بسیاری از مواقع چیزی جز تشخیص همین توزیع ها نیست.

مثلا برای رنگ اسب ما بیشتر انتظار داریم که رنگ هایی مثل قهوه ای و سیاه و سفید ببینیم اما اگر اسبی سبز باشه اسب نیست؟ در واقع اسب سبز هم یک امکانه ولی احتمالش کمتره (شاید یک اسب کارتونی!) دنیای واقعی باعث میشه ما به دنبال تعریف های دقیق برای «چیزها» نباشیم چیزی که ما یاد میگیریم نه ساختار به معنای سفت و سخت و قانونی اون بلکه یک ابر هست که در زبان ریاضی به توزیع ترجمه میشه. توزیع ها حاوی اطلاعات هستند و نظمی رو توصیف میکنند! مثلا اینکه رنگ اسب ها معمولا سفید و سیاه و قهوه ایه تا سبز یا صورتی خودش یک نظم هست در مقابل نظم، بی نظمی قرار میگیره. وقتی یک ویژگی هیچ تفاوتی بین مقدارهاش وجود نداشته باشه در بی نظم ترین حالت ممکن خواهد بود مثلا جهت کله ی اسب در تصویر تاثیری در «اسب بودن» شکل نداره!‌ با احتمال مساوی کله ی اسب میتونه چپ یا راست یا وسط تصویر باشه! ما به چنین چیزی توجهی نمیکنیم!
اما بی نظمی رو چطور میشه تعریف کرد؟
(ادامه دارد)

اگه چیزی قطعا اتفاق بیفته یا قطعا اتفاق نیفته چنین چیزی هیچ بی نظمی ای نداره. مثلا هیچ شیر خوراکی ای نمیتونه چیزی غیر از سفید باشه! بیشترین بی نظمی اما زمانی اتفاق میفته که هیچ گونه پیش بینی پذیری ای وجود نداره و همه ی حالت ها دقیقا با یک احتمال اتفاق میفتن (مثل رنگ لباس). اگه خودمون رو به دو حالت محدود کنیم. احتمال صد و صفر باید بی نظمی صفر داشته باشن و ۵۰ درصد بیشترین بی نظمی رو!‌
[0 1] -> 0
[1 0] -> 0
[0.5 0.5] -> max
یعنی چیزی شبیه به شکل پایین

اما آیا میشه بی نظمی رو باز هم به اجزای سازنده ش شکست به چیزی که ساده تر بشه درکش کرد؟ اینجاست که اساسی ترین بخش (اتم)‌ نظریه شنون رو میبینیم. شنون مفهوم «غافلگیری» (surprisal) را اساسی ترین بخش نظریه خودش می دونه!‌ اگر چیزی احتمال ۱۰۰ درصد باشه اصلا غافلگیر کننده نیست بنابراین مقدار غافلگیری اون صفره. از طرفی هر چه احتمال چیزی کمتر باشه بسیار غافلگیر کننده تره! در واقع احتمال چیزی و غافلگیری اون تقریبا به یک معنا هستند و فقط واحدشون فرق داره. چیزی که احتمالش صفر باشه بی نهایت غافلگیر کننده ست!! یک تابع مطلوب برای تبدیل احتمال به غافلگیری لگاریتمه

حالا چطور میتوان ازین مفهوم به بی نظمی رسید؟ شنون بی نظمی رو میانگین غافلگیری ما از حالت های یک سیستم تعریف میکنه! اینجا نیاز داریم یکم صبر کنیم و به این جمله بیشتر فکر کنیم. فرض کنید شما در یک سیستم سیاسی زندگی میکنید که کاملا بی نظم و بی در پیکره! در چنین سیستمی شما هر روز غافلگیر میشوید. به عبارتی هر چیزی هر روز اتفاق میفته! از طرفی یک سیستم سیاسی پایدار به طور میانگین کمتر شما را غافلگیر می کند بنابراین سرمایه گذاری و برنامه ریزی برای آینده ساده تر است. بخش های غافلگیر کننده ی سیستم (I بالا یعنی p کم) احتمال رخ دادنشان کم است و قسمت های کمتر غافلگیر کننده (I کم یعنی p زیاد) احتمال رخ دادنشان بیشتر است! بنابراین میانگین کم تر خواهد بود! از طرف دیگر در سیستم بی نظم همه چیز به یک اندازه (=یک احتمال) غافلگیر کننده است (I بالا برای همه زمانی که همه احتمال ها مساوی می شوند!)

بنابراین کافی است که میانگین غافلگیری ها را حساب کنیم تا به بنظمی برسیم!

این تعریف از بی نظمی به همه جا از جمله تصویر بالا قابل تعمیم است!

در حالی به عصر هوش مصنوعی صنعتی وارد می شویم و این تکنولوژی به زندگی عموم مردم وارد می شود، به ابزارهای شناختی ای دسترسی پیدا میکنیم که پیش از این قابل تصور نبود. این ابزارها مستقیما به ما در «فکر کردن» و فعالیت های شناختی کمک می کنند این کمک چیزی فراتر از ذخیره، بازیابی، جستجو و دسته بندی اطلاعات است. با این حال وقتی در مورد «هوش» این سیستم ها صحبت می کنیم باید با احتیاط بیشتری در مورد آن صحبت کنیم تا سو تعبیر های معمولی که در مورد «آگاه بودن»، «حیات داشتن» و «زنده بودن» وجود دارد، پیش نیاید.



فارسی https://vrgl.ir/4C1VK
انگلیسی https://hilbert-cantor.medium.com/the-era-of-gpt-4-c27879ede156

"neural networks need to be adversarially robust like the human visual cortex. like you shouldn't be able to change a few pixels and completely change the semantic meaning of an image"

the human visual cortex:

معرفی یک افزونه ی گوگل کروم

این افزونه با استفاده از chatgpt مقالات arxiv را خلاصه کرده و نکات اصلی آن را به شما می گوید. سوالاتی از نویسنده ها می سازد و حتی پیشنهاداتی در مورد مسیرهای پژوهشی بر اساس آن مقاله به شما می دهد.

https://chrome.google.com/webstore/detail/arxivgpt/fbbfpcjhnnklhmncjickdipdlhoddjoh

این کتابخانه با استفاده از ChatGPT بسیاری از کارهای معمول پردازش متن را اتوماتیک میکند، به طور مثال بدون داشتن هیچ دیتاستی بر روی تعدادی برچسب میتوان برچسب ها را تعریف و دسته بندی بدون هیچ آموزشی انجام داد

https://github.com/iryna-kondr/scikit-llm