🔵احتمال منفی!!🔵
تعریف کردن ریاضیات بسیار دشوار است اما می توان برخی از ویژگی های آن را برشمارد. شاید یکی از مهمترین این ویژگی ها گسترش انتزاع تا مرزهای حتی بی معنایی باشد!! ساده ترین مثال خود اعداد هستند. برای یک انسان اولیه گسترده ترین سیستم همان شمارش ساده بود. یک دو سه و... هزاران سال طول کشید تا بشر بتواند درک کند که می توان صفر هم داشت! اغراق نیست که کشف صفر را یکی از بزرگترین کشف های بشر دانسته اند چرا که بشر به نقطه ای رسید که می توانست بفهمد صفر چه «معنایی» می تواند داشته باشد. اینکه مثلا صفر تومان پول داشته باشیم. به همین منوال فهمیدن اعداد منفی و اعشار هم دشوار بود. برای منفی ها باید میفهمیدیم که مثلا منفی هزار تومان چه معنایی دارد! یا اینکه یک چهارم یا هفت سوم یک سیب یعنی چه. همه اینها سطح انتزاع هایی هستند که هیچ پستاندار دیگری قادر به فکر کردن در موردشان نیست (ثابت شده است شمپانزه ها سیستم های ساده ای از شمارش دارند) اما روح ریاضیات انتزاع است و به همین خاطر گسترش دادن مفهوم عدد را متوقف نکرد. ما به اعداد گنگ و بعدا به اعداد موهومی (یا مختلط) رسیدیم. درک معنای اعداد موهومی شاید ساده نباشد اما با ابزارهای ساده ای مانند حقه چرخش می توان آن را هم درک کرد. همه ی این تغییرات با مقاومت روبرو بودند چرا که از دید افراد چنین گسترش هایی بی معنا هستند. حتی تا سال ۱۷۵۸ اجماع کامل در مورد پذیرش اعداد منفی در ریاضیات وجود نداشت. ریاضیدان انگلیسی فرانسیس مازرس در مورد اعداد منفی می گوید:
«باعث تاریکی معادلات و باعث پیچیده شدن مفاهیمی می شود که در اساس ساده هستند...»
گسترش ها لزومی ندارد که معنایی داشته باشند اما باید سازگار باشند! یک مثال ساده این است: همه ما می دانیم در ریاضیات 1/0 بی معنی است. نمی توان یک را بر روی صفر تقسیم کرد. اما تدریس به این طریق (که بسیار معمول است) گمراه کننده و عقیم است. چطور است که ما جایی می خوانیم که ریشه منفی یک بی معنی است ولی بعدا در دانشگاه به ما می گویند می شود آن را تعریف کرد؟! چرا نباید 1/0را تعریف کرد. مثلا گفت این عدد «هذیانی» است!! دلیل اینکه چنین کاری را نمی توان کرد ایجاد ناسازگاری است نه بی معنایی! اگر ذهن کنجکاوی داشته باشید می توانید همین الان آن را امتحان کنید کاغذ و قلم بردارید و 1/0را تعریف کنید و سعی کنید خواص آن را استخراج کنید.
اما احتمال منفی را چطور می توان فهمید. این دیگر چطور گسترشی است؟ من احتمال صفر را می توانم بفهم مثلا احتمال اینکه لیوانی که از دستم افتاده و هزارتکه شده دوباره برگردد و لیوان سالم شود صفر است اما احتمال منفی دیگر چیست؟
برای این مواقع بهتر است کاری به معنا نداشته باشید!! این روحیه عجیب اساس گسترش ریاضیات است! به جای آن ذهن را تا جای ممکن باز بگذارید و اجازه بدهید تخیل به معنای واقعی آن پرواز کند (برخلاف داستان ها و اسطوره ها که واقعا آنقدر که دوست داریم فکر کنیم تخیل آزاد نیست) آنگاه متوجه می شوید احتمال منفی اگرچه بی معنی است اما منجر به تناقض یا ناسازگاری نمی شود. این چیزی است که اولین بار فاینمن و دیراک به آن پی بردند. آن ها متوجه شدند همانطور که داشتن منفی سه سیب نمی تواند نتیجه نهایی یک محاسبه باشد داشتن احتمال منفی هم نتیجه نهایی نیست اما در محاسبات میانی ظاهر می شود و بسیار مفید هم هست. ما شاید حتی امروزه آنقدر از لحاظ زبان پیشرفت نکرده باشیم که بدانیم دقیقا احتمال منفی چیست اما ریاضیات به زبان امروز محدود نیست و از آن فراتر می رود.
این مقاله خلاصه ای از احتمال منفی و کاربردهایش را آورده است. خواندن آن را توصیه می کنم!
تعریف کردن ریاضیات بسیار دشوار است اما می توان برخی از ویژگی های آن را برشمارد. شاید یکی از مهمترین این ویژگی ها گسترش انتزاع تا مرزهای حتی بی معنایی باشد!! ساده ترین مثال خود اعداد هستند. برای یک انسان اولیه گسترده ترین سیستم همان شمارش ساده بود. یک دو سه و... هزاران سال طول کشید تا بشر بتواند درک کند که می توان صفر هم داشت! اغراق نیست که کشف صفر را یکی از بزرگترین کشف های بشر دانسته اند چرا که بشر به نقطه ای رسید که می توانست بفهمد صفر چه «معنایی» می تواند داشته باشد. اینکه مثلا صفر تومان پول داشته باشیم. به همین منوال فهمیدن اعداد منفی و اعشار هم دشوار بود. برای منفی ها باید میفهمیدیم که مثلا منفی هزار تومان چه معنایی دارد! یا اینکه یک چهارم یا هفت سوم یک سیب یعنی چه. همه اینها سطح انتزاع هایی هستند که هیچ پستاندار دیگری قادر به فکر کردن در موردشان نیست (ثابت شده است شمپانزه ها سیستم های ساده ای از شمارش دارند) اما روح ریاضیات انتزاع است و به همین خاطر گسترش دادن مفهوم عدد را متوقف نکرد. ما به اعداد گنگ و بعدا به اعداد موهومی (یا مختلط) رسیدیم. درک معنای اعداد موهومی شاید ساده نباشد اما با ابزارهای ساده ای مانند حقه چرخش می توان آن را هم درک کرد. همه ی این تغییرات با مقاومت روبرو بودند چرا که از دید افراد چنین گسترش هایی بی معنا هستند. حتی تا سال ۱۷۵۸ اجماع کامل در مورد پذیرش اعداد منفی در ریاضیات وجود نداشت. ریاضیدان انگلیسی فرانسیس مازرس در مورد اعداد منفی می گوید:
«باعث تاریکی معادلات و باعث پیچیده شدن مفاهیمی می شود که در اساس ساده هستند...»
گسترش ها لزومی ندارد که معنایی داشته باشند اما باید سازگار باشند! یک مثال ساده این است: همه ما می دانیم در ریاضیات 1/0 بی معنی است. نمی توان یک را بر روی صفر تقسیم کرد. اما تدریس به این طریق (که بسیار معمول است) گمراه کننده و عقیم است. چطور است که ما جایی می خوانیم که ریشه منفی یک بی معنی است ولی بعدا در دانشگاه به ما می گویند می شود آن را تعریف کرد؟! چرا نباید 1/0را تعریف کرد. مثلا گفت این عدد «هذیانی» است!! دلیل اینکه چنین کاری را نمی توان کرد ایجاد ناسازگاری است نه بی معنایی! اگر ذهن کنجکاوی داشته باشید می توانید همین الان آن را امتحان کنید کاغذ و قلم بردارید و 1/0را تعریف کنید و سعی کنید خواص آن را استخراج کنید.
اما احتمال منفی را چطور می توان فهمید. این دیگر چطور گسترشی است؟ من احتمال صفر را می توانم بفهم مثلا احتمال اینکه لیوانی که از دستم افتاده و هزارتکه شده دوباره برگردد و لیوان سالم شود صفر است اما احتمال منفی دیگر چیست؟
برای این مواقع بهتر است کاری به معنا نداشته باشید!! این روحیه عجیب اساس گسترش ریاضیات است! به جای آن ذهن را تا جای ممکن باز بگذارید و اجازه بدهید تخیل به معنای واقعی آن پرواز کند (برخلاف داستان ها و اسطوره ها که واقعا آنقدر که دوست داریم فکر کنیم تخیل آزاد نیست) آنگاه متوجه می شوید احتمال منفی اگرچه بی معنی است اما منجر به تناقض یا ناسازگاری نمی شود. این چیزی است که اولین بار فاینمن و دیراک به آن پی بردند. آن ها متوجه شدند همانطور که داشتن منفی سه سیب نمی تواند نتیجه نهایی یک محاسبه باشد داشتن احتمال منفی هم نتیجه نهایی نیست اما در محاسبات میانی ظاهر می شود و بسیار مفید هم هست. ما شاید حتی امروزه آنقدر از لحاظ زبان پیشرفت نکرده باشیم که بدانیم دقیقا احتمال منفی چیست اما ریاضیات به زبان امروز محدود نیست و از آن فراتر می رود.
این مقاله خلاصه ای از احتمال منفی و کاربردهایش را آورده است. خواندن آن را توصیه می کنم!
Azimuth
Negative Probabilities
The physicists Dirac and Feynman, both bold when it came to new mathematical ideas, both said we should think about negative probabilities. These days, Kolmogorov’s axioms for probabilities…
پایتورچ لایتنینگ!
یکی از مزایای کراس به پایتورچ در این است که حلقه یادگیری در آن وجود ندارد به عبارت دیگر شما از یک تابع fit استفاده می کنید و فقط داده ها را به آن پاس می دهید اما در پایتورچ شما مجبورید یک حلقه فور بنویسید و گرادیان ها را صفر کنید داده ها را پاس بدهید و خیلی از کارهای دیگر را به صورت دستی انجام دهید. اما خوشبختانه برای حل این مشکل کتابخانه های کمکی زیادی وجود دارند که مهم ترین آن ها PyTorch lightning است. این کتابخانه کد شما را بسیار ساده می کند و در عین حال امکانات بسیار زیادی را در اختیار شما می گذارد که در حالت عادی ممکن است وقت زیادی از شما بگیرد. به طور مثال:
۱- به شما امکان می دهد که مدل تان را یک بار بر روی آموزش و ولیدیشن تست کنید و مطمین شوید که همه چیز درست کار می کند قبل از اینکه یک ترین بسیار طولانی بگذارید و بعد از چند روز متوجه شوید ولیدیشن تان مشکل داشت. (با استفاده از fast_dev_run=True)
۲- لایتنینگ به شما امکان می دهد که آموزش را بر روی یک درصد دلخواه از دیتا ست آموزش دهید تا باز هم از همه چیز مطمین شوید.
۳- لایتنینگ خودش حواسش به اجرا کردن همه چیز بر روی سی پی یو یا gpuهست کافی است فقط به آن پاس بدهید که می خواهید از gpuاستفاده کنید یا چند تا از gpuها و خودش حتی به صورت درست آن ها رو توزیع می کند!!
۴- لایتنینگ مستقیما به tensorboard (یا wandb یا هر تکنولوژی دیگری) متصل است و همه چیز را برای شما لاگ می کند. می توانید نمودار ها را براحتی ببینید بدون اینکه نگران تنظیمات خاصی باشید. فقط کافی است logger را فراخوانی کنید و عکس، صدا یا نموداری که می خواهید را به آن پاس بدهید تا لاگ کند.
۵- محاسبات ۱۶ بیتی را می توانید بدون فراخوانی apex انجام دهید که سرعت را بالاتر می برد
در اینجا یک ریپو بر اساس ویدیوی زیر ساخته ام که می توانید استفاده کنید.
یکی از مزایای کراس به پایتورچ در این است که حلقه یادگیری در آن وجود ندارد به عبارت دیگر شما از یک تابع fit استفاده می کنید و فقط داده ها را به آن پاس می دهید اما در پایتورچ شما مجبورید یک حلقه فور بنویسید و گرادیان ها را صفر کنید داده ها را پاس بدهید و خیلی از کارهای دیگر را به صورت دستی انجام دهید. اما خوشبختانه برای حل این مشکل کتابخانه های کمکی زیادی وجود دارند که مهم ترین آن ها PyTorch lightning است. این کتابخانه کد شما را بسیار ساده می کند و در عین حال امکانات بسیار زیادی را در اختیار شما می گذارد که در حالت عادی ممکن است وقت زیادی از شما بگیرد. به طور مثال:
۱- به شما امکان می دهد که مدل تان را یک بار بر روی آموزش و ولیدیشن تست کنید و مطمین شوید که همه چیز درست کار می کند قبل از اینکه یک ترین بسیار طولانی بگذارید و بعد از چند روز متوجه شوید ولیدیشن تان مشکل داشت. (با استفاده از fast_dev_run=True)
۲- لایتنینگ به شما امکان می دهد که آموزش را بر روی یک درصد دلخواه از دیتا ست آموزش دهید تا باز هم از همه چیز مطمین شوید.
۳- لایتنینگ خودش حواسش به اجرا کردن همه چیز بر روی سی پی یو یا gpuهست کافی است فقط به آن پاس بدهید که می خواهید از gpuاستفاده کنید یا چند تا از gpuها و خودش حتی به صورت درست آن ها رو توزیع می کند!!
۴- لایتنینگ مستقیما به tensorboard (یا wandb یا هر تکنولوژی دیگری) متصل است و همه چیز را برای شما لاگ می کند. می توانید نمودار ها را براحتی ببینید بدون اینکه نگران تنظیمات خاصی باشید. فقط کافی است logger را فراخوانی کنید و عکس، صدا یا نموداری که می خواهید را به آن پاس بدهید تا لاگ کند.
۵- محاسبات ۱۶ بیتی را می توانید بدون فراخوانی apex انجام دهید که سرعت را بالاتر می برد
در اینجا یک ریپو بر اساس ویدیوی زیر ساخته ام که می توانید استفاده کنید.
GitHub
GitHub - Lightning-AI/pytorch-lightning: Pretrain, finetune ANY AI model of ANY size on multiple GPUs, TPUs with zero code changes.
Pretrain, finetune ANY AI model of ANY size on multiple GPUs, TPUs with zero code changes. - Lightning-AI/pytorch-lightning
🔵برشی از یک کتاب🔵
(فلسفه روشنگری ارنست کاسیرر)
یکی از تصورات اشتباه در مورد سیر تاریخی چیرگی ظاهری علم به دین در اروپا بر این پایه استوار است که جنگی میان علم و دین در میان بوده و سردمداران آن کسانی چون گالیله بودند که با کلیسا بر سر اصول در افتادند. چنین دیدگاهی غلط است چرا که انگیزه خداوند ناظر که در روح قوانین طبیعت حضور دارد در آثار کپلر و گالیله مطرح شده بود و هنوز هم با انگیزه ی قوی دینی که به منزله نیرویی محرک عمل میکند، اشباع شده است. هدف این نظریه یافتن نشانه های الوهیتِ طبیعت در قانون طبیعی است. اما دقیقا به خاطر همین گرایش دینی، که زیر ساخت آن بود، ناگزیر با فرم های سنتی ایمان دینی در افتاد. اگر از این دیدگاه به جنگی که کلیسا بر ضدِ پیشرفتِ روحِ جدیدِ علمِ ریاضیِ طبیعت آغاز کرد بنگریم علت آن را در می یابیم. کلیسا بر ضد یکایک موفقیت های پژوهش علمی نمی جنگید. سازش میان موفقیت های علمی و تعالیم کلیسا امکان پذیر بود. گالیله هم خود زمانی درازا به این سازش می اندیشید و صادقانه در راه آن میکوشید اما سوء تفاهم اندوهباری که در پایان سبب سقوط گالیله شد در این بود که او مخالفتی را که در پی سازش با آن بود در جایی نادرست جستجو می کرد و نو آوری بنیادی روش شناسی خود را دست کم میگرفت. در واقع کیهان شناسی نو نبود که با مخالفت شدید کلیسا روبرو شد زیرا از نظر آنان نظام کوپرنیکوس به عنوان یک مدل ریاضی به همان خوبی نظام بطلمیوسی بود. آن چه تحمل ناپذیر بود و بنیاد های تعالیم کلیسا را تهدید می کرد مفهومِ نوِ حقیقت بود که گالیله آن را اعلام کرده بود: اکنون در کنار حقیقت وحی شده، حقیقت مستقل و اصیل طبیعت پا به عرصه وجود می گذاشت. این حقیقت نه در کلام خدا بلکه در آفرینش او آشکار می شود. این حقیقت بر اساس گواهی کتاب مقدس یا سنت نیست بلکه حقیقتی است که همواره در برابر دیدگان ماست. با سخن محض نمی توان حقیقت طبیعت را کشف کرد بلکه این کار نیاز به ساختهای ریاضی و شکلهای هندسی دارد. این پایه و اساسی برای کارهای نیوتون شد زیرا تا آن زمان هنوز معلوم نبود که قانون اجزا بر کل هم حاکم است. نیوتون نشان داد که این قانون های ریاضی بر کل نیز صادق اند و بدین سان پیروزی شناخت انسان قطعی شد و قدرت سترگ آن کشف گردید. به نظر می رسید قدرت علم انسان با قدرت مهیب طبیعت برابری می کند و به همین خاطر تمام سده هجدهم دستاورد نیوتون را ارج نهاد. این موفقیت روشنگری را مطمئن کرد که بر زمینی محکم ایستاده که شالوده آن متزلزل نمی شود.
(فلسفه روشنگری ارنست کاسیرر)
یکی از تصورات اشتباه در مورد سیر تاریخی چیرگی ظاهری علم به دین در اروپا بر این پایه استوار است که جنگی میان علم و دین در میان بوده و سردمداران آن کسانی چون گالیله بودند که با کلیسا بر سر اصول در افتادند. چنین دیدگاهی غلط است چرا که انگیزه خداوند ناظر که در روح قوانین طبیعت حضور دارد در آثار کپلر و گالیله مطرح شده بود و هنوز هم با انگیزه ی قوی دینی که به منزله نیرویی محرک عمل میکند، اشباع شده است. هدف این نظریه یافتن نشانه های الوهیتِ طبیعت در قانون طبیعی است. اما دقیقا به خاطر همین گرایش دینی، که زیر ساخت آن بود، ناگزیر با فرم های سنتی ایمان دینی در افتاد. اگر از این دیدگاه به جنگی که کلیسا بر ضدِ پیشرفتِ روحِ جدیدِ علمِ ریاضیِ طبیعت آغاز کرد بنگریم علت آن را در می یابیم. کلیسا بر ضد یکایک موفقیت های پژوهش علمی نمی جنگید. سازش میان موفقیت های علمی و تعالیم کلیسا امکان پذیر بود. گالیله هم خود زمانی درازا به این سازش می اندیشید و صادقانه در راه آن میکوشید اما سوء تفاهم اندوهباری که در پایان سبب سقوط گالیله شد در این بود که او مخالفتی را که در پی سازش با آن بود در جایی نادرست جستجو می کرد و نو آوری بنیادی روش شناسی خود را دست کم میگرفت. در واقع کیهان شناسی نو نبود که با مخالفت شدید کلیسا روبرو شد زیرا از نظر آنان نظام کوپرنیکوس به عنوان یک مدل ریاضی به همان خوبی نظام بطلمیوسی بود. آن چه تحمل ناپذیر بود و بنیاد های تعالیم کلیسا را تهدید می کرد مفهومِ نوِ حقیقت بود که گالیله آن را اعلام کرده بود: اکنون در کنار حقیقت وحی شده، حقیقت مستقل و اصیل طبیعت پا به عرصه وجود می گذاشت. این حقیقت نه در کلام خدا بلکه در آفرینش او آشکار می شود. این حقیقت بر اساس گواهی کتاب مقدس یا سنت نیست بلکه حقیقتی است که همواره در برابر دیدگان ماست. با سخن محض نمی توان حقیقت طبیعت را کشف کرد بلکه این کار نیاز به ساختهای ریاضی و شکلهای هندسی دارد. این پایه و اساسی برای کارهای نیوتون شد زیرا تا آن زمان هنوز معلوم نبود که قانون اجزا بر کل هم حاکم است. نیوتون نشان داد که این قانون های ریاضی بر کل نیز صادق اند و بدین سان پیروزی شناخت انسان قطعی شد و قدرت سترگ آن کشف گردید. به نظر می رسید قدرت علم انسان با قدرت مهیب طبیعت برابری می کند و به همین خاطر تمام سده هجدهم دستاورد نیوتون را ارج نهاد. این موفقیت روشنگری را مطمئن کرد که بر زمینی محکم ایستاده که شالوده آن متزلزل نمی شود.
🔥مدل زبانی جدید OpenAI موسوم به GPT-3🔥
دیروز OpenAI سومین مدل زبانی خود به نام GPT-3 را منتشر کرد. این غول ۱۷۵ میلیارد پارامتری بزرگترین مدل زبانی ساخته شده تا کنون است. بزرگترین مدل زبانی قبل از این متعلق به مایکروسافت بود که تعداد پارامتر هایش کمتر از یک دهم این مدل بود. این مدل آنقدر بزرگ است که حتی برای بارگذاری آن در حافظه نیاز به ۷۰۰ گیگابایت رم دارید!! امکانی که به جز غول های فناوری در اختیار بسیاری نیست. معماری اصلی GPT-3 از همان ترنسفورمر ها پیروی می کند ولی با تغییرات بسیار کوچک: ۹۶ سر و ۹۶ لایه ۱۲۲۸۸ توکن برای ورودی متنی و ۳.۲ میلیون اندازه batch!!
اما این مدل زبانی آنقدر قدرتمند است که نیازی به finetune برای کار های جدید ندارد. یعنی چه؟ به طور مثال اگه شما یک مدل زبانی داشته باشید و بخواهید از آن برای مثلا کار ترجمه از انگلیسی به فرانسه استفاده کنید می بایست آن را بر روی متن های مختلف آموزش بدهید یا اصطلاحا fine tune کنید اما GPT3 نیازی به این کار ندارد!! یعنی مثلا کافی است بنویسید:
Translate this sentence to French: This is awesome
و مدل زبانی خودش میداند که باید چکار کند!! یا اینکه بدون آموزش میتوان به آن متن داد و سپس از متن داده شده سوال پرسید!
اما پژوهشگران OpenAI آزمایش های عجیب تری هم ترتیب داده اند. به طور مثال از مدل سوال های ریاضی مانند جمع تفریق و ضرب اعداد یک رقمی دو رقمی و سه رقمی پرسیده اند! مثلا در فرمت:
Q: What is 48 plus 76?
نتایج جالب است چون مدل برای عملیات ریاضی ساده تقریبا بدون خطا کار میکند اما با افزایش تعداد ارقام یا پیچیدگی عملیات خطاها بیشتر می شود. دقت کنید که مدل های زبانی مدلهایی صد در صد اماری هستند که بر روی متن های انگلیسی آموزش داده شده اند و هیچ دانش حسابی ندارند! یعنی مکانیزمی در آن ها به صورت پیش فرض برای انجام چنین کارهایی تعبیه نشده است اما از پس آن برمی آیند!!
همچنین آزمایش های دیگری نشان داده است که انسان ها در ۵۰ درصد موارد نمی توانند بین متن تولیدی (به طول ۲۰۰ کلمه) GPT3 و انسان تمایزی قائل شوند!
جنبه های جالب تر و عجیب تری در مورد این مدل وجود دارد که به تدریج به ان ها میپردازم متاسفانه مقاله OpenAI هفتاد صفحه است که خواندن آن را برای یک روز دشوار میکند!!
[این پست آپدیت می شود!]
دیروز OpenAI سومین مدل زبانی خود به نام GPT-3 را منتشر کرد. این غول ۱۷۵ میلیارد پارامتری بزرگترین مدل زبانی ساخته شده تا کنون است. بزرگترین مدل زبانی قبل از این متعلق به مایکروسافت بود که تعداد پارامتر هایش کمتر از یک دهم این مدل بود. این مدل آنقدر بزرگ است که حتی برای بارگذاری آن در حافظه نیاز به ۷۰۰ گیگابایت رم دارید!! امکانی که به جز غول های فناوری در اختیار بسیاری نیست. معماری اصلی GPT-3 از همان ترنسفورمر ها پیروی می کند ولی با تغییرات بسیار کوچک: ۹۶ سر و ۹۶ لایه ۱۲۲۸۸ توکن برای ورودی متنی و ۳.۲ میلیون اندازه batch!!
اما این مدل زبانی آنقدر قدرتمند است که نیازی به finetune برای کار های جدید ندارد. یعنی چه؟ به طور مثال اگه شما یک مدل زبانی داشته باشید و بخواهید از آن برای مثلا کار ترجمه از انگلیسی به فرانسه استفاده کنید می بایست آن را بر روی متن های مختلف آموزش بدهید یا اصطلاحا fine tune کنید اما GPT3 نیازی به این کار ندارد!! یعنی مثلا کافی است بنویسید:
Translate this sentence to French: This is awesome
و مدل زبانی خودش میداند که باید چکار کند!! یا اینکه بدون آموزش میتوان به آن متن داد و سپس از متن داده شده سوال پرسید!
اما پژوهشگران OpenAI آزمایش های عجیب تری هم ترتیب داده اند. به طور مثال از مدل سوال های ریاضی مانند جمع تفریق و ضرب اعداد یک رقمی دو رقمی و سه رقمی پرسیده اند! مثلا در فرمت:
Q: What is 48 plus 76?
نتایج جالب است چون مدل برای عملیات ریاضی ساده تقریبا بدون خطا کار میکند اما با افزایش تعداد ارقام یا پیچیدگی عملیات خطاها بیشتر می شود. دقت کنید که مدل های زبانی مدلهایی صد در صد اماری هستند که بر روی متن های انگلیسی آموزش داده شده اند و هیچ دانش حسابی ندارند! یعنی مکانیزمی در آن ها به صورت پیش فرض برای انجام چنین کارهایی تعبیه نشده است اما از پس آن برمی آیند!!
همچنین آزمایش های دیگری نشان داده است که انسان ها در ۵۰ درصد موارد نمی توانند بین متن تولیدی (به طول ۲۰۰ کلمه) GPT3 و انسان تمایزی قائل شوند!
جنبه های جالب تر و عجیب تری در مورد این مدل وجود دارد که به تدریج به ان ها میپردازم متاسفانه مقاله OpenAI هفتاد صفحه است که خواندن آن را برای یک روز دشوار میکند!!
[این پست آپدیت می شود!]
Joe Davison Blog
Zero-Shot Learning in Modern NLP
State-of-the-art NLP models for text classification without annotated data
در سال ۱۹۶۹ آپولو ۱۱، شاهکار مهندسی بشر، اولین فضاپیمایی که انسان را بر کره ماه فرود آورد از سی خط کد بالا (به زبان ماشین) برای محاسبه توابع غیر جبری مانند سینوس و کسینوس استفاده کرد.
این کدها در «حافظه های طنابی» فقط خواندنی (read only) ذخیره شده بودند که با دست بافته شده بودند!!!
همچنین تمام سورس کد اصلی سیستم هدایت آپولو ۱۱ (AGC) برای سفینه فرمان (Comanche055) و سفینه ماه‌نشین (Luminary099). دیجیتال شده توسط جمعی در Virtual AGC و موزه MIT.
این کدها در «حافظه های طنابی» فقط خواندنی (read only) ذخیره شده بودند که با دست بافته شده بودند!!!
همچنین تمام سورس کد اصلی سیستم هدایت آپولو ۱۱ (AGC) برای سفینه فرمان (Comanche055) و سفینه ماه‌نشین (Luminary099). دیجیتال شده توسط جمعی در Virtual AGC و موزه MIT.
MatlabTips
🔥مدل زبانی جدید OpenAI موسوم به GPT-3🔥 دیروز OpenAI سومین مدل زبانی خود به نام GPT-3 را منتشر کرد. این غول ۱۷۵ میلیارد پارامتری بزرگترین مدل زبانی ساخته شده تا کنون است. بزرگترین مدل زبانی قبل از این متعلق به مایکروسافت بود که تعداد پارامتر هایش کمتر از یک…
چند نکته جالب دیگر در مورد مدل GPT3 OpenAI:
قدرت مدل در درک «فهم متعارفی» (common sense) از بهترین مدل های آموزش داده شده از قبل بسیار بهتر است. «فهم متعارفی» چیست؟ فهم متعارفی، یکی از دشوار ترین مسایل در هوش مصنوعی (یا شاید دشوار ترین مساله هوش مصنوعی) است. فهم متعارفی فهم روزمره ما از جهان است به طور مثال اگر یک تخم مرغ روی زمین بیفتد میشکند یا اگر نان در آب خیس شود دیگر قابل خوردن نیست یا اینکه اگر به کسی سیلی بزنید درد احساس می کند و ممکن است گریه کند! چنین چیزهایی را ما به کودک آموزش نمی دهیم بلکه خود کودک در تعامل با جهان اطرافش درک میکند. پژوهشگران هوش مصنوعی از چندین دهه پیش و در اوایل متوجه شدند برای آنکه یک سیستم هوشمند داشته باشیم باید بتوانیم چنین نوع دانشی (که در کتاب ها و ویکی پدیا و غیره پیدا نمی شود) را به سیستم ها یاد بدهیم. اگرچه شاید سخت بنظر نرسد اما در عمل مشخص شد چنین دانشی بسیار بسیار بزرگتر از دانش های مکتوب معمول است! امروزه دیتاست هایی برای سنجش فهم متعارفی ساخته شده اند که هر کدام به یک جنبه ان می پردازند. GPT3 توانسته به بالا ترین دقت یک سیستم در آن برسد (هرچند هنوز از انسان بسیار عقب است)
تنها علت موفقیت این مدل بزرگ بودن آن است! هیچ تغییر ساختاری یا معماری در آن انجام نشده است. همین باعث شده سوال های مهمی در مورد آینده هوش مصنوعی مطرح شود. آیا برای رسیدن به هوش انسانی صرفا کافی ست مدلها را بزرگتر و بزرگتر کنیم؟ یا اینکه نیاز داریم متدهای جدیدی را بررسی کنیم. اگر بزرگ کردن مدل تنها راه حل است چنین چیزی برای بسیاری از پژوهشگران غیر قابل دسترس است. یک تخمین نشان داده است هزینه آموزش GPT3 به اضافه هزینه حقوق افراد دخیل در پروژه حداقل ۱۸ میلیون دلار بوده است!! ( ۱۲ میلیون دلار آموزش بر روی سرور های مایکروسافت و ۶ میلیون دلار حقوق و بقیه هزینه ها) چنین عددی با بودجه یک فیلم هالیوودی متوسط برابری میکند! از طرفی نگرانی های زیادی در مورد اثرات زیست محیطی آموزش چنین مدلهای بزرگی وجود دارد چرا که این مدلها در طی چند روز براحتی به اندازه برق یک شهر متوسط انرژی مصرف میکنند. چنین جزییاتی باعث می شود که عقب بایستیم و در مورد اینکه باید درباره آینده هوش مصنوعی چکار کرد دوباره فکر کنیم
#gpt3
@matlabtips
قدرت مدل در درک «فهم متعارفی» (common sense) از بهترین مدل های آموزش داده شده از قبل بسیار بهتر است. «فهم متعارفی» چیست؟ فهم متعارفی، یکی از دشوار ترین مسایل در هوش مصنوعی (یا شاید دشوار ترین مساله هوش مصنوعی) است. فهم متعارفی فهم روزمره ما از جهان است به طور مثال اگر یک تخم مرغ روی زمین بیفتد میشکند یا اگر نان در آب خیس شود دیگر قابل خوردن نیست یا اینکه اگر به کسی سیلی بزنید درد احساس می کند و ممکن است گریه کند! چنین چیزهایی را ما به کودک آموزش نمی دهیم بلکه خود کودک در تعامل با جهان اطرافش درک میکند. پژوهشگران هوش مصنوعی از چندین دهه پیش و در اوایل متوجه شدند برای آنکه یک سیستم هوشمند داشته باشیم باید بتوانیم چنین نوع دانشی (که در کتاب ها و ویکی پدیا و غیره پیدا نمی شود) را به سیستم ها یاد بدهیم. اگرچه شاید سخت بنظر نرسد اما در عمل مشخص شد چنین دانشی بسیار بسیار بزرگتر از دانش های مکتوب معمول است! امروزه دیتاست هایی برای سنجش فهم متعارفی ساخته شده اند که هر کدام به یک جنبه ان می پردازند. GPT3 توانسته به بالا ترین دقت یک سیستم در آن برسد (هرچند هنوز از انسان بسیار عقب است)
تنها علت موفقیت این مدل بزرگ بودن آن است! هیچ تغییر ساختاری یا معماری در آن انجام نشده است. همین باعث شده سوال های مهمی در مورد آینده هوش مصنوعی مطرح شود. آیا برای رسیدن به هوش انسانی صرفا کافی ست مدلها را بزرگتر و بزرگتر کنیم؟ یا اینکه نیاز داریم متدهای جدیدی را بررسی کنیم. اگر بزرگ کردن مدل تنها راه حل است چنین چیزی برای بسیاری از پژوهشگران غیر قابل دسترس است. یک تخمین نشان داده است هزینه آموزش GPT3 به اضافه هزینه حقوق افراد دخیل در پروژه حداقل ۱۸ میلیون دلار بوده است!! ( ۱۲ میلیون دلار آموزش بر روی سرور های مایکروسافت و ۶ میلیون دلار حقوق و بقیه هزینه ها) چنین عددی با بودجه یک فیلم هالیوودی متوسط برابری میکند! از طرفی نگرانی های زیادی در مورد اثرات زیست محیطی آموزش چنین مدلهای بزرگی وجود دارد چرا که این مدلها در طی چند روز براحتی به اندازه برق یک شهر متوسط انرژی مصرف میکنند. چنین جزییاتی باعث می شود که عقب بایستیم و در مورد اینکه باید درباره آینده هوش مصنوعی چکار کرد دوباره فکر کنیم
#gpt3
@matlabtips
مقارنه سایه دماوند و ماه!
این مقارنه فقط در زمان های نزدیک به ماه گرفتگی رخ می دهد، یعنی وقتی خورشید، زمین ( دماوند و سایه آن ) و ماه در یک راستا قرار میگیرند! در طی چهار سال گذشته و صعود به قله در زمان های ماه گرفتگی، شرایط بد جوی مانع از ثبت این تصویر شده بود!
#damavand
Credit: https://twitter.com/ghohroodi/status/1270443388110856200?s=19
این مقارنه فقط در زمان های نزدیک به ماه گرفتگی رخ می دهد، یعنی وقتی خورشید، زمین ( دماوند و سایه آن ) و ماه در یک راستا قرار میگیرند! در طی چهار سال گذشته و صعود به قله در زمان های ماه گرفتگی، شرایط بد جوی مانع از ثبت این تصویر شده بود!
#damavand
Credit: https://twitter.com/ghohroodi/status/1270443388110856200?s=19
اجرای همه مدل های یادگیری ماشین بر روی GPU با استفاده از همینگبرد(مرغ مگس خوار)
مایکروسافت به تازگی کتابخانه ای را منتشر کرده است که با استفاده از آن می توانید تمام مدل های سنتی یادگیری ماشین مانند svm درخت های تصمیم و غیره را بدون هیچ تغییری در کد اصلی بر روی GPU اجرا کنید! فقط کافی است مدل را به با استفاده از یک خط به مدل مثلا پایتورچ تبدیل کنید و در نهایت با استفاده از کلمه کلیدی to بر روی cuda قرار دهید.
(به طور مثال کد بالا بر روی کامپیوتر من بر روی یک جی پی یو(Geforce GTX1080) ۸۰ برابر سریع تر اجرا شد!)
همینگبرد این کار را از طریق تبدیل همه آرایه ها و ماتریس ها به تنسور و همچنین عوض کردن بهینه ساز های معمول با بهینه سازهای هسته ی پایتورچ انجام می دهد!
کتابخانه
مایکروسافت به تازگی کتابخانه ای را منتشر کرده است که با استفاده از آن می توانید تمام مدل های سنتی یادگیری ماشین مانند svm درخت های تصمیم و غیره را بدون هیچ تغییری در کد اصلی بر روی GPU اجرا کنید! فقط کافی است مدل را به با استفاده از یک خط به مدل مثلا پایتورچ تبدیل کنید و در نهایت با استفاده از کلمه کلیدی to بر روی cuda قرار دهید.
(به طور مثال کد بالا بر روی کامپیوتر من بر روی یک جی پی یو(Geforce GTX1080) ۸۰ برابر سریع تر اجرا شد!)
همینگبرد این کار را از طریق تبدیل همه آرایه ها و ماتریس ها به تنسور و همچنین عوض کردن بهینه ساز های معمول با بهینه سازهای هسته ی پایتورچ انجام می دهد!
کتابخانه
اعمال مدل زبانی مبتنی بر transformer به تصویر
ساعاتی پیش OpenAI نتیجه یکی از جالب ترین تحقیقات خود را از اعمال معماری مدل های زبان بر روی تصویر منتشر کرد. در این مقاله دو مدل معروف GPT2 و BERT بر روی تصاویر اعمال شده اند. برای این منظور کافی است فقط تصاویر را صاف کنید (ماتریس دو بعدی را به یک بردار یک بعدی تغییر شکل دهید!) نتایج شگفت انگیز هستند چرا که نشان می دهد مدل های زبانی آنقدر کارا هستند که حتی از state of the art بهتر عمل کردند!
جالب ترین قسمت این کار استفاده از GPT2 برای کامل کردن یک تصویر است (به همان صورتی که قبلا از آن برای کامل کردن جملات استفاده میشد اینجا فقط پیکسل ها را کامل می کند) از آنجایی که می دانیم تنها یک ادامه معنی دار ممکن نیست و با تغییر کوچک در random seed اولیه می توان ادامه های مختلف ساخت ادامه های به یک اندازه درست را شاهد هستیم.
این دقیقا مانند این است که تصویری به یک شخص نشان دهید اما یک مقوا روی بخشی از تصویر بگذارید و از او بخواهید حدس بزند ادامه تصویر چیست.
code
ساعاتی پیش OpenAI نتیجه یکی از جالب ترین تحقیقات خود را از اعمال معماری مدل های زبان بر روی تصویر منتشر کرد. در این مقاله دو مدل معروف GPT2 و BERT بر روی تصاویر اعمال شده اند. برای این منظور کافی است فقط تصاویر را صاف کنید (ماتریس دو بعدی را به یک بردار یک بعدی تغییر شکل دهید!) نتایج شگفت انگیز هستند چرا که نشان می دهد مدل های زبانی آنقدر کارا هستند که حتی از state of the art بهتر عمل کردند!
جالب ترین قسمت این کار استفاده از GPT2 برای کامل کردن یک تصویر است (به همان صورتی که قبلا از آن برای کامل کردن جملات استفاده میشد اینجا فقط پیکسل ها را کامل می کند) از آنجایی که می دانیم تنها یک ادامه معنی دار ممکن نیست و با تغییر کوچک در random seed اولیه می توان ادامه های مختلف ساخت ادامه های به یک اندازه درست را شاهد هستیم.
این دقیقا مانند این است که تصویری به یک شخص نشان دهید اما یک مقوا روی بخشی از تصویر بگذارید و از او بخواهید حدس بزند ادامه تصویر چیست.
code
Forwarded from زانکو (Rohola Zandie)
این وب سایت با استفاده از نمودارهای تعاملی جذاب نشان می دهد سهم هر کشور در حوزه هوش مصنوعی چقدر است. چند نکته کلیدی:
۱- ایالات متحده بزرگترین بخش پژوهش های هوش مصنوعی را در دنیا به خود اختصاص می دهد. حدود ۶۰ درصد مهمترین پژوهش های هوش مصنوعی در دانشگاه ها و شرکتهای آمریکایی انجام می شود. این مهم از طریق جذب استعدادهای جهانی ممکن شده است. طوری که دو سوم این محققان دوره لیسانس خود را از کشور دیگری گرفته اند. (یک سوم از خود آمریکا یک سوم چین و یک سوم از بقیه دنیا)
۲- چین بزرگترین منبع استعداد برای ایالات متحده است. ۵۶ درصد پژوهشگران چینی تحصیلات خود را در آمریکا ادامه می دهند.
۳- حدود سه درصد بالاترین پژوهشگران هوش مصنوعی ایرانی هستند و حدود ۴ درصد پژوهشگران هوش مصنوعی که در آمریکا کار میکنند ایرانی هستند. با این حساب ایران بعد از اسراییل به نسبت جمعیت بیشترین پژوهشگر هوش مصنوعی دارد.
۴- ایران در لیست نخبه های هوش مصنوعی (بالاترین نیم درصد) حضور ندارد.
۵- حدود ۶۷ درصد از محققان ایرانی به آمریکا ۱۴ درصد به کانادا و ۱۰ درصد به استرالیا و ۱۰ درصد به اروپا می روند.
مقاله دیگری با همین موضوع در نیویورک تایمز
۱- ایالات متحده بزرگترین بخش پژوهش های هوش مصنوعی را در دنیا به خود اختصاص می دهد. حدود ۶۰ درصد مهمترین پژوهش های هوش مصنوعی در دانشگاه ها و شرکتهای آمریکایی انجام می شود. این مهم از طریق جذب استعدادهای جهانی ممکن شده است. طوری که دو سوم این محققان دوره لیسانس خود را از کشور دیگری گرفته اند. (یک سوم از خود آمریکا یک سوم چین و یک سوم از بقیه دنیا)
۲- چین بزرگترین منبع استعداد برای ایالات متحده است. ۵۶ درصد پژوهشگران چینی تحصیلات خود را در آمریکا ادامه می دهند.
۳- حدود سه درصد بالاترین پژوهشگران هوش مصنوعی ایرانی هستند و حدود ۴ درصد پژوهشگران هوش مصنوعی که در آمریکا کار میکنند ایرانی هستند. با این حساب ایران بعد از اسراییل به نسبت جمعیت بیشترین پژوهشگر هوش مصنوعی دارد.
۴- ایران در لیست نخبه های هوش مصنوعی (بالاترین نیم درصد) حضور ندارد.
۵- حدود ۶۷ درصد از محققان ایرانی به آمریکا ۱۴ درصد به کانادا و ۱۰ درصد به استرالیا و ۱۰ درصد به اروپا می روند.
مقاله دیگری با همین موضوع در نیویورک تایمز
چرا ادبیات و رمان و داستان ها جالب هستند؟ چون به ما امکان آن را می دهند که در سفری خیالی زندگی های دیگر، انسان های دیگر، زمان های دیگر و کشورها و مکان های دیگر را تجربه کنیم. پر بیراه نیست که می گویند انسان های عادی یک بار زندگی می کنند ولی کسانی که با ادبیات آشنا هستند صدها بار!! این ویژگی ادبیات که با ذهن پیچیده و عجیب ما پیوند می خورد کیفیتی رمزآلود را رقم می زند که انسان را از روزمرگی نجات می دهد و کیفیت دیگری به آن می بخشد. چیزی که به زندگی ارزش زیستن می دهد. در مورد ادبیات و هنر سطرها و کتابها نوشته شده است اما برعکس ریاضیات و فیزیک را امری حوصله سر بر، دشوار و ملال آور توصیف کرده اند که آن را می خوانیم تا فقط شاید در آینده کاری گیر بیاوریم یا از سر ناچاری انجام می دهیم تا شاید پیشرفتی حاصل شود. ریاضیات و فیزیک شبیه پدر یا مادری ست که سر صبح ما را از خواب شیرین ادبیات بیدار میکند و با اردنگی به مدرسه می فرستند چون در نهایت واقعیت سخت و جدی است!!
گفتن این حرف شاید کلیشه بنظر برسد اما بنظر من چنین دیدگاهی از اساس اشتباه است. اساس این اشتباه نبود منابع یا افرادی ست که نشان دهند داستان علم در خالص ترین نوع خود دقیقا همین نیاز را برطرف می کند: نیاز به تجربه ای ماورایی. کندن از روزمرگی های ملال آور و بردن در عالم های خیال. فکر کردن به زمان، ابدیت ابعاد دیگر و خودمان!! این فقط یه ژانر علمی تخیلی در ادبیات نیست بلکه چیزی بسیار افسارگسیخته تر، وحشی تر و خالص تر است. این نوع خیال پردازی بسیار بیشتر از ادبیات ذهن را درگیر می کند چرا که شما را از یک ناظر صرف که خواننده باشد به موجودی بدل می کند که واقعا می تواند از سیر خطی خارج و شما را فعال کند.
اما چگونه این سیر و سلوک را برای همگان هموار کنیم؟ یکی از این راه ها استفاده از خود داستان هاست چرا که روایت پردازی مهمترین عملکرد ذهنی ماست. وقتی به عنوان یک نوجوان برای اولین بار کتاب «بعد چهارم» نوشته رودی راکر را از کتابخانه قرض کردم و شروع به خواندن آن کردم وارد یک سفر خیالی به بعد چهارم شدم. خواندن کتاب دست کمی از داستان ارباب حلقه ها یا هری پاتر ندارد با یک تفاوت مهم و آن اینکه چنین داستانی برای توصیف یک واقعیت ریاضیاتی است نه تصورات یک نویسنده!! داستان با زندگی مربعی شروع می شود که در سطحستان زندگی می کند و سودای کشف واقعیتی برتر را در سر دارد اما تمامی اطرافیان او مثل آقای مثلث و دایره تصور می کنند اون دیوانه شده است! آقای مربع در یک سفر به کشف حجمستان (فضای سه بعدی) می رود که از نگاه او واقعیتی برتر است. پایان مسیر اون خطستان، نقطستان و در نهایت هیچستان است!!
این کتاب متاسفانه تجدید چاپ نشد و بنابراین در حال حاضر در بازار یافت نمی شود اینجا نسخه pdf آن را برای دانلود می گذارم که با توجه به نبود ان در بازار حق مولف هم نقض نمی شود
گفتن این حرف شاید کلیشه بنظر برسد اما بنظر من چنین دیدگاهی از اساس اشتباه است. اساس این اشتباه نبود منابع یا افرادی ست که نشان دهند داستان علم در خالص ترین نوع خود دقیقا همین نیاز را برطرف می کند: نیاز به تجربه ای ماورایی. کندن از روزمرگی های ملال آور و بردن در عالم های خیال. فکر کردن به زمان، ابدیت ابعاد دیگر و خودمان!! این فقط یه ژانر علمی تخیلی در ادبیات نیست بلکه چیزی بسیار افسارگسیخته تر، وحشی تر و خالص تر است. این نوع خیال پردازی بسیار بیشتر از ادبیات ذهن را درگیر می کند چرا که شما را از یک ناظر صرف که خواننده باشد به موجودی بدل می کند که واقعا می تواند از سیر خطی خارج و شما را فعال کند.
اما چگونه این سیر و سلوک را برای همگان هموار کنیم؟ یکی از این راه ها استفاده از خود داستان هاست چرا که روایت پردازی مهمترین عملکرد ذهنی ماست. وقتی به عنوان یک نوجوان برای اولین بار کتاب «بعد چهارم» نوشته رودی راکر را از کتابخانه قرض کردم و شروع به خواندن آن کردم وارد یک سفر خیالی به بعد چهارم شدم. خواندن کتاب دست کمی از داستان ارباب حلقه ها یا هری پاتر ندارد با یک تفاوت مهم و آن اینکه چنین داستانی برای توصیف یک واقعیت ریاضیاتی است نه تصورات یک نویسنده!! داستان با زندگی مربعی شروع می شود که در سطحستان زندگی می کند و سودای کشف واقعیتی برتر را در سر دارد اما تمامی اطرافیان او مثل آقای مثلث و دایره تصور می کنند اون دیوانه شده است! آقای مربع در یک سفر به کشف حجمستان (فضای سه بعدی) می رود که از نگاه او واقعیتی برتر است. پایان مسیر اون خطستان، نقطستان و در نهایت هیچستان است!!
این کتاب متاسفانه تجدید چاپ نشد و بنابراین در حال حاضر در بازار یافت نمی شود اینجا نسخه pdf آن را برای دانلود می گذارم که با توجه به نبود ان در بازار حق مولف هم نقض نمی شود
This media is not supported in your browser
VIEW IN TELEGRAM
مستند The Bit Player سال ۲۰۲۰ در مورد کلاود شانون (Claude Shannon) پدر عصر اطلاعات است که به تازگی به صورت محدود منتشر شده است.
کلاود شنون ریاضیدان، مهندس برق و رمزنگار آمریکایی است که بنیانگذار نظریه اطلاعات است. مقاله او به نام «نظریه ریاضی ارتباطات» در سال ۱۹۴۸ فصل جدیدی در زندگی بشر رقم زد و نوید عصری را میداد که به صورت بنیادی با قبل تفاوت داشت. تقریبا هر آنچه امروزه اطراف خود میبینید اثری از کار او را در خود دارد. از تلفن های ساده گرفته تا پیچیده ترین سیستم های ماهواره ای و کامپیوتر و آیفون و تقریبا هر وسیله الکترونیکی بر اساس نظریه اطلاعات است. میزان اثر گذاری کار او به اندازه ای زیاد است که به سختی بتوان حتی شخص دیگری را در تاریخ علم هم سطح او دانست. به همین خاطر او را در رده بزرگانی چون گالیله، نیوتون و ماکسول میگذارند.
این مستند به کارها و زندگی او میپردازد. خود شخصیت شانون هم نمونه کامل یک دانشمند است. شخصی که تا آخر عمر کنجکاوی کودکانه را با خود داشت
دانلود با کیفیت ۴۸۰
دانلود با کیفیت ۷۲۰
دانلود با کیفیت ۱۰۸۰
کلاود شنون ریاضیدان، مهندس برق و رمزنگار آمریکایی است که بنیانگذار نظریه اطلاعات است. مقاله او به نام «نظریه ریاضی ارتباطات» در سال ۱۹۴۸ فصل جدیدی در زندگی بشر رقم زد و نوید عصری را میداد که به صورت بنیادی با قبل تفاوت داشت. تقریبا هر آنچه امروزه اطراف خود میبینید اثری از کار او را در خود دارد. از تلفن های ساده گرفته تا پیچیده ترین سیستم های ماهواره ای و کامپیوتر و آیفون و تقریبا هر وسیله الکترونیکی بر اساس نظریه اطلاعات است. میزان اثر گذاری کار او به اندازه ای زیاد است که به سختی بتوان حتی شخص دیگری را در تاریخ علم هم سطح او دانست. به همین خاطر او را در رده بزرگانی چون گالیله، نیوتون و ماکسول میگذارند.
این مستند به کارها و زندگی او میپردازد. خود شخصیت شانون هم نمونه کامل یک دانشمند است. شخصی که تا آخر عمر کنجکاوی کودکانه را با خود داشت
دانلود با کیفیت ۴۸۰
دانلود با کیفیت ۷۲۰
دانلود با کیفیت ۱۰۸۰
جهان مغناطیسی پنهان
گروهی از کیهان شناسان و فیزیکدانان موفق به بازنمایی میدان مغناطیسی بسیار بزرگی شده اند که اندازه آن ده میلیون سال نوری است!!! (تصویر عجیب بالا)
فدریکا گووونی می گوید: این فقط نوک کوه یخ است! اما این میدان مغناطیسی عظیم از کجا نشات میگیرد؟
بسیاری از فیزیکدان ها معتقدند اغتشاشات مغناطیسی اولیه بعد از بیگ بنگ دقیقا مانند گرانش منجر به ایجاد ساختارهای مغناطیسی ای شد که امروز شاهد ان هستیم. اهمیت این میدان ها مغناطیسی ممکن است به حل یکی از بزرگترین مسایل کیهان شناسی به نام hubble tension منجر شود. مساله این است که محاسبات کنونی سرعت کمتری نسبت به مشاهدات برای انبساط جهان هستی پیش بینی میکنند. در مقاله ای که اخیرا چاپ شده است این مساله با میدان های مغناطیسی اولیه توضیح داده شده است.
یکی از جالبترین ویژگی های میدان های مغناطیسی این است که مانند یک ارگانیسم زنده عمل میکنند به این معنی که بزرگ می شوند و بخش های بیشتری را به خود ملحق میکنند. شبیه سازی های کامپیوتری هم نشان می دهند چگونه چنین میدان های مغناطیسی منجر به شکل گیری ستاره ها و سیاهچاله های بسیار بزرگ می شوند
گروهی از کیهان شناسان و فیزیکدانان موفق به بازنمایی میدان مغناطیسی بسیار بزرگی شده اند که اندازه آن ده میلیون سال نوری است!!! (تصویر عجیب بالا)
فدریکا گووونی می گوید: این فقط نوک کوه یخ است! اما این میدان مغناطیسی عظیم از کجا نشات میگیرد؟
بسیاری از فیزیکدان ها معتقدند اغتشاشات مغناطیسی اولیه بعد از بیگ بنگ دقیقا مانند گرانش منجر به ایجاد ساختارهای مغناطیسی ای شد که امروز شاهد ان هستیم. اهمیت این میدان ها مغناطیسی ممکن است به حل یکی از بزرگترین مسایل کیهان شناسی به نام hubble tension منجر شود. مساله این است که محاسبات کنونی سرعت کمتری نسبت به مشاهدات برای انبساط جهان هستی پیش بینی میکنند. در مقاله ای که اخیرا چاپ شده است این مساله با میدان های مغناطیسی اولیه توضیح داده شده است.
یکی از جالبترین ویژگی های میدان های مغناطیسی این است که مانند یک ارگانیسم زنده عمل میکنند به این معنی که بزرگ می شوند و بخش های بیشتری را به خود ملحق میکنند. شبیه سازی های کامپیوتری هم نشان می دهند چگونه چنین میدان های مغناطیسی منجر به شکل گیری ستاره ها و سیاهچاله های بسیار بزرگ می شوند
ما همواره ۱۹۸۴ اورول را می خوانیم و از این که در آمریکا به مشکلاتی که در کتاب به آن دچار نیستیم به خود می بالیم. اما این واقعیت مهم را فراموش کرده ایم که در کنار منظرگاه تیره ای که اورول برای ما ترسیم می کند منظرگاه دیگری هم هست که قدری پیچیده تر، قدری ناشناخته تر و به همان اندازه تیره (و چه بسا تیره تر) است. این منظرگاه توسط هاکسلی در کتاب Brave new world (دنیای قشنگ نو) معرفی شده است. اورول نسبت به جهانی هشدار می دهد که ما در آن تحت ستمی بیرونی مانند رژیمی دیکتاتوری یا پادشاهی خودکامه قرار گرفته ایم. اما هاکسلی نسبت به جهانی هشدار می دهد که هیچ رئیس و قیمی مردم را از آزادی، بلوغ ذهنی و تاریخ شان محروم نکرده است اما مردم دلباخته ستمی که به آن ها میشوند شده اند! و شیفته ی تکنولوژی هایی که ظرفیت فکر کردنشان را پایین آورده است. اورول از جهانی می ترسید که درآن کتاب ها ممنوع شده اند اما هاکسلی جهانی را ترسیم می کند که دلیلی برای ممنوع کردن کتابی وجود ندارد چون کسی مشتاق نیست که آن ها را بخواند! اورول از جهانی واهمه دارد که حکومت منابع را از توده ها دریغ کرده و فقط در اختیار طبقه ی مرفه میگذارد، هاکسلی از موقعیتی میترسد که حکومت آنقدر امکانات در اختیار ما قرار می دهند که در نهایت منجر به انفعال و خود خواهی ما میشود. اورول می ترسید که حقیقت پنهان شود، هاکسلی میترسید که حقیقت در دریای ابتذالات غرق شود. اورول از جامعه ای در بند می ترسید اما هاکسلی از جامعه ای مبتذل می ترسید. و به طور خلاصه اورول از کنترل شدن مردم با درد می ترسید و هاکسلی از کنترل شدن مردم با لذت.
https://vrgl.ir/jPvzo
https://vrgl.ir/jPvzo
ویرگول
شبکه های اجتماعی،هوموفیلی و اگزیستانسیالیم
مساله آزادی به عنوان یکی از مباحث مرکزی فلسفه همواره مورد توجه بوده است این که آزادی چیست و چه عواملی آن را محدود میکنند و از همه مهمتر ره…
کد کواین (quine code)
یکی از ویژگی های کامپیوتر های امروزی این است که فرقی بین داده و کد به صورت ذاتی قایل نیستند. این به چه معناست؟ فرض کنید شما یک دستگاه مکانیکی بسازید که جمع یا ضرب کند. نمونه های آن ابزارهایی مثل چرتکه یا امثالهم هستند. به عبارتی «کد» برنامه در درون خود ابزار حک شده است و آن را تک کاربرده کرده است. نمونه های دیگر آن مدارهایی است که در درس مدار منطقی میسازید و مثلا اعداد را به هم جمع میکنند. اما ایده اینکه بتوان برنامه را به عنوان ورودی گرفت و سپس آن را اجرا کرد یک ایده انقلابی بود که منجر به پدید آمدن صنعت نرم افزار شد!
به این ترتیب کامپیوتر می تواند کد شما رو به عنوان ورودی گرفته و خروجی آن را نمایش می دهد. مثلا یک برنامه محاسبه اعداد اول کد شما رو میگیرد و اعداد اول خروجی می دهد! حالا فکر کنید شما برنامه ای پیدا کنید که وقتی آن را به عنوان ورودی به کامپیوتر می دهید خود همان برنامه را خروجی دهد!! در واقع چنین برنامه ای نقطه ثابت (fixed-point) محاسبه گر شماست! چنین ایده ی عجیب و غریبی ابتدا محال بنظر می رسد اما با کمی دقت می توان چنین برنامه ای را تولید کرد. در واقع می توان برای هر زبان برنامه نویسی چنین کدی را یافت. در اینجا خود را به پایتون ۳.۸ محدود می کنیم.
ایده ی اساسی تولید چنین برنامه ای بر اساس خود ارجاعی (self-reference) است که بدون اغراق بزرگترین زهر و تریاق در تمام ریاضیات و منطق است. مسایلی که خود ارجاعی حل میکند ما را به مرتبه جدیدی از حل مساله می رساند و گره هایی که ایجاد می کند هزاران سال است که حل نشده اند! پرداختن به خود ارجاعی خود مجالی جدا می طلبد.
کد پایتون مورد نظر این است:
exec(s:="print('exec(s:=%r)'%s)")
درک این کد بسیار دشوار است! اینجا می خواهم نشان بدهم من چطور وقتی فرمول یا مفهوم پیچیده ای را می بینیم آن را درک میکنم.
بهترین روش شکستن آن مفهوم به اجزایش است آنقدر این شکستن باید ادامه پیدا کند تا به ساده ترین جز برسیم که قابل درک است. اینجا چیزی که عجیب است تابع exec است که معمولا با آن آشنا نیستند. این تابع صرفا یک رشته را میگیرد ولی آن را به صورت کد تفسیر می کند و آن را اجرا می کند. به طور مثال:
exec("print(5)")
خروجی ۵ می دهد. می توان خود این رشته را در یک متغیر مثلا s ریخت:
exec(s:="print(5)")
این مرحله شاید دشوار ترین مرحله باشد. الان می توانیم خود رشته را چاپ کنیم
exec(s:="print(s)")
اجرای آن "print(s)" را خروجی می دهد. حالا کد زیر را:
exec(s:="t=88; print('exec(s:=%r)' %t)")
این قطعه کد متغیر t=88 را می سازد و سپس در دستور بعدی مقدار آن را مساوی r میگذارد. پس خروجی می شود: exec(s:=88)
در نهایت می توان خود کد را درک کرد:
exec(s:="print('exec(s:=%r)'%s)")
این کد به جای متغیر t خود عبارت را با r جایگزین می کند.
حالا ممکن است بپرسید فایده چنین عبارتی چیست؟ آیا صرفا یک بازی و ریاضی است؟ اگرچه اینگونه عبارت ها از لحاظ منطق و ریاضیات جالب و ارزشمند هستند اما یک کاربرد عملی بسیار مهم دارند. این کدها به ما نشان می دهند چطور برنامه هایی بنویسیم که قابلیت کپی کردن خود را دارند!! این دقیقا چیزی است که ژن های انسان و به صورت کلی هر ارگانیسم زنده انجام می دهند. آن ها حاوی کدهایی هستند که اصطلاحا self replicate هستند! ساختن چنین ماشین هایی قطعا یکی از بزگترین دست آوردهای هوش مصنوعی در آینده خواهد بود.
یکی از ویژگی های کامپیوتر های امروزی این است که فرقی بین داده و کد به صورت ذاتی قایل نیستند. این به چه معناست؟ فرض کنید شما یک دستگاه مکانیکی بسازید که جمع یا ضرب کند. نمونه های آن ابزارهایی مثل چرتکه یا امثالهم هستند. به عبارتی «کد» برنامه در درون خود ابزار حک شده است و آن را تک کاربرده کرده است. نمونه های دیگر آن مدارهایی است که در درس مدار منطقی میسازید و مثلا اعداد را به هم جمع میکنند. اما ایده اینکه بتوان برنامه را به عنوان ورودی گرفت و سپس آن را اجرا کرد یک ایده انقلابی بود که منجر به پدید آمدن صنعت نرم افزار شد!
به این ترتیب کامپیوتر می تواند کد شما رو به عنوان ورودی گرفته و خروجی آن را نمایش می دهد. مثلا یک برنامه محاسبه اعداد اول کد شما رو میگیرد و اعداد اول خروجی می دهد! حالا فکر کنید شما برنامه ای پیدا کنید که وقتی آن را به عنوان ورودی به کامپیوتر می دهید خود همان برنامه را خروجی دهد!! در واقع چنین برنامه ای نقطه ثابت (fixed-point) محاسبه گر شماست! چنین ایده ی عجیب و غریبی ابتدا محال بنظر می رسد اما با کمی دقت می توان چنین برنامه ای را تولید کرد. در واقع می توان برای هر زبان برنامه نویسی چنین کدی را یافت. در اینجا خود را به پایتون ۳.۸ محدود می کنیم.
ایده ی اساسی تولید چنین برنامه ای بر اساس خود ارجاعی (self-reference) است که بدون اغراق بزرگترین زهر و تریاق در تمام ریاضیات و منطق است. مسایلی که خود ارجاعی حل میکند ما را به مرتبه جدیدی از حل مساله می رساند و گره هایی که ایجاد می کند هزاران سال است که حل نشده اند! پرداختن به خود ارجاعی خود مجالی جدا می طلبد.
کد پایتون مورد نظر این است:
exec(s:="print('exec(s:=%r)'%s)")
درک این کد بسیار دشوار است! اینجا می خواهم نشان بدهم من چطور وقتی فرمول یا مفهوم پیچیده ای را می بینیم آن را درک میکنم.
بهترین روش شکستن آن مفهوم به اجزایش است آنقدر این شکستن باید ادامه پیدا کند تا به ساده ترین جز برسیم که قابل درک است. اینجا چیزی که عجیب است تابع exec است که معمولا با آن آشنا نیستند. این تابع صرفا یک رشته را میگیرد ولی آن را به صورت کد تفسیر می کند و آن را اجرا می کند. به طور مثال:
exec("print(5)")
خروجی ۵ می دهد. می توان خود این رشته را در یک متغیر مثلا s ریخت:
exec(s:="print(5)")
این مرحله شاید دشوار ترین مرحله باشد. الان می توانیم خود رشته را چاپ کنیم
exec(s:="print(s)")
اجرای آن "print(s)" را خروجی می دهد. حالا کد زیر را:
exec(s:="t=88; print('exec(s:=%r)' %t)")
این قطعه کد متغیر t=88 را می سازد و سپس در دستور بعدی مقدار آن را مساوی r میگذارد. پس خروجی می شود: exec(s:=88)
در نهایت می توان خود کد را درک کرد:
exec(s:="print('exec(s:=%r)'%s)")
این کد به جای متغیر t خود عبارت را با r جایگزین می کند.
حالا ممکن است بپرسید فایده چنین عبارتی چیست؟ آیا صرفا یک بازی و ریاضی است؟ اگرچه اینگونه عبارت ها از لحاظ منطق و ریاضیات جالب و ارزشمند هستند اما یک کاربرد عملی بسیار مهم دارند. این کدها به ما نشان می دهند چطور برنامه هایی بنویسیم که قابلیت کپی کردن خود را دارند!! این دقیقا چیزی است که ژن های انسان و به صورت کلی هر ارگانیسم زنده انجام می دهند. آن ها حاوی کدهایی هستند که اصطلاحا self replicate هستند! ساختن چنین ماشین هایی قطعا یکی از بزگترین دست آوردهای هوش مصنوعی در آینده خواهد بود.