🔵معرفی اپلیکیشن یادگیری زبان WordUp🔵
جدیدا با برنامه ی مواجه شدم که به طرز شگفت انگیزی در یادگیری زبان و بخصوص لغات موثر است. قطعا شما هم مثل من صدها برنامه و کتاب دارید ولی همچنان مشکلات اصلی بر سر راه یادگیری زبان وجود دارد. این برنامه اما آنقدر متفاوت بود که تصمیم گرفتم آن را با شما به اشتراک بگذارم. این برنامه به چند دلیل بسیار مهم واقعا متفاوت عمل میکند
۱- این برنامه تمام لغات انگلیسی را بر اساس اینکه «چقدر مفید» هستند مرتب می کند. این بسیار مهم است چون به شخصه کتاب های لغت بسیار زیادی می دیدم که پر از لغاتی بود که شاید سالی یک بار هم آن ها را نمی دیدیم. وقتی چنین اتفاقی بیفتد وقت و انرژی بیهوده تلف می شود و آن لغت هم بعد از مدتی از خاطر فراموش می شود.
۲- این برنامه با استفاده از هوش مصنوعی رخنه هایی که در زبان شما هست را پیدا می کند. آن رخنه هایی که از همه زودتر نیاز به بسته شدن دارند! منظورم از رخنه کلماتی هست که بلد نیستید. صد البته هزاران لغت بلد نیستیم ولی سوال اساسی این است که کدام ها برای من اولویت بالاتری دارد؟ این برنامه آن لغت ها را با شناخت از دایره لغاتتان از طریق یک آزمون ساده تعیین سطح پیدا می کند.
۳- نحوه ی آموزش لغات روی این برنامه دقیقا همان است که در فرآیند طبیعی یادگیری هر زبانی رخ می دهد. این یادگیری نه از طریق تعریف بلکه از طریق بریده هایی از سریال ها وفیلم های جذاب مثل فرندز، بیگ بنگ تیوری و غیره و همچنین آهنگ های انگلیسی و جملات قصار و حتی اخبار صورت میگیرد!!
۴- این گزینه شاید خیلی مهم نباشد چون بسیاری از برنامه های دیگر هم دارند اما یادگیری از طریق لایتنر (یا g5) یعنی یادگیری بر اساس بازه های زمانی منظم هم در این برنامه گنجانده شده است.
۵- و مهم تر از همه اینکه این برنامه به صورت رایگان در اختیار شماست!! تمام این امکانات که بعضا از کلاس زبان بیشتر است را یکجا بدون پرداخت می توانید داشته باشید.
نسخه اندروید آیفون و ویندوز هم وجود دارد
https://www.wordupapp.co/
جدیدا با برنامه ی مواجه شدم که به طرز شگفت انگیزی در یادگیری زبان و بخصوص لغات موثر است. قطعا شما هم مثل من صدها برنامه و کتاب دارید ولی همچنان مشکلات اصلی بر سر راه یادگیری زبان وجود دارد. این برنامه اما آنقدر متفاوت بود که تصمیم گرفتم آن را با شما به اشتراک بگذارم. این برنامه به چند دلیل بسیار مهم واقعا متفاوت عمل میکند
۱- این برنامه تمام لغات انگلیسی را بر اساس اینکه «چقدر مفید» هستند مرتب می کند. این بسیار مهم است چون به شخصه کتاب های لغت بسیار زیادی می دیدم که پر از لغاتی بود که شاید سالی یک بار هم آن ها را نمی دیدیم. وقتی چنین اتفاقی بیفتد وقت و انرژی بیهوده تلف می شود و آن لغت هم بعد از مدتی از خاطر فراموش می شود.
۲- این برنامه با استفاده از هوش مصنوعی رخنه هایی که در زبان شما هست را پیدا می کند. آن رخنه هایی که از همه زودتر نیاز به بسته شدن دارند! منظورم از رخنه کلماتی هست که بلد نیستید. صد البته هزاران لغت بلد نیستیم ولی سوال اساسی این است که کدام ها برای من اولویت بالاتری دارد؟ این برنامه آن لغت ها را با شناخت از دایره لغاتتان از طریق یک آزمون ساده تعیین سطح پیدا می کند.
۳- نحوه ی آموزش لغات روی این برنامه دقیقا همان است که در فرآیند طبیعی یادگیری هر زبانی رخ می دهد. این یادگیری نه از طریق تعریف بلکه از طریق بریده هایی از سریال ها وفیلم های جذاب مثل فرندز، بیگ بنگ تیوری و غیره و همچنین آهنگ های انگلیسی و جملات قصار و حتی اخبار صورت میگیرد!!
۴- این گزینه شاید خیلی مهم نباشد چون بسیاری از برنامه های دیگر هم دارند اما یادگیری از طریق لایتنر (یا g5) یعنی یادگیری بر اساس بازه های زمانی منظم هم در این برنامه گنجانده شده است.
۵- و مهم تر از همه اینکه این برنامه به صورت رایگان در اختیار شماست!! تمام این امکانات که بعضا از کلاس زبان بیشتر است را یکجا بدون پرداخت می توانید داشته باشید.
نسخه اندروید آیفون و ویندوز هم وجود دارد
https://www.wordupapp.co/
www.wordupapp.co
WordUp Vocabulary App | The smart way to perfect your English
Discover the smartest app for learning English vocabulary, improving pronunciation, and excelling in exams like IELTS and TOEFL. Start exploring WordUp today.
🎷🎺جعبه جادوی موسیقی🎸🎼🎻
گاهی در جمع های خودمانی میگوییم ای کاش هنوز هایده زنده بود و برایمان میخواند. یا این شعر خیلی قشنگه کاش ایرج بسطامی می توانست آن را بخواند! هیچ چیز لذت بخش تر از این نیست که تصور کنیم یک غول چراغ جادو وجود می داشت که تمام این کارها را می کرد. اما خبر خوب اینکه غول چراغ جادو وجود دارد و همه آن را می شناسیم. این غول قدرتمند چیزی نیست جز خود علم! و این آرزو امروز توسط openai برآورد شد!
شرکت openai در آخرین دستاورد هوش مصنوعی خود امروز از jukebox رونمایی کرد: یک شبکه عصبی که قادر به تولید موسیقی با یک جعبه ابزار قدرتمند برای کنترل بسیاری از بخش های آن است. به طور مشخص تر jukebox شامل بخش های زیر است:
۱- شبکه عصبی با ورودی های شعر و خواننده در سبک مشخص آهنگ آن را درست می کند!!
۲- بازخوانی: شبکه عصبی قادر است یک آهنگ ورودی را با همان خواننده به همان سبک اما به صورتی متفاوت اجرا کند!
۳- کامل سازی: شبکه عصبی با گرفتن ۱۲ ثانیه نخست آهنگ بقیه آن را در سبک دلخواه شما ادامه می دهد. مثلا می توانید آهنگ هتل کالیفرنیا را بدهید و بخواهید آن را به سبک متال ادامه دهد!
جزییات این شبکه عصبی و اینکه چگونه کار می کند را در این لینک می توانید مطالعه کنید
گاهی در جمع های خودمانی میگوییم ای کاش هنوز هایده زنده بود و برایمان میخواند. یا این شعر خیلی قشنگه کاش ایرج بسطامی می توانست آن را بخواند! هیچ چیز لذت بخش تر از این نیست که تصور کنیم یک غول چراغ جادو وجود می داشت که تمام این کارها را می کرد. اما خبر خوب اینکه غول چراغ جادو وجود دارد و همه آن را می شناسیم. این غول قدرتمند چیزی نیست جز خود علم! و این آرزو امروز توسط openai برآورد شد!
شرکت openai در آخرین دستاورد هوش مصنوعی خود امروز از jukebox رونمایی کرد: یک شبکه عصبی که قادر به تولید موسیقی با یک جعبه ابزار قدرتمند برای کنترل بسیاری از بخش های آن است. به طور مشخص تر jukebox شامل بخش های زیر است:
۱- شبکه عصبی با ورودی های شعر و خواننده در سبک مشخص آهنگ آن را درست می کند!!
۲- بازخوانی: شبکه عصبی قادر است یک آهنگ ورودی را با همان خواننده به همان سبک اما به صورتی متفاوت اجرا کند!
۳- کامل سازی: شبکه عصبی با گرفتن ۱۲ ثانیه نخست آهنگ بقیه آن را در سبک دلخواه شما ادامه می دهد. مثلا می توانید آهنگ هتل کالیفرنیا را بدهید و بخواهید آن را به سبک متال ادامه دهد!
جزییات این شبکه عصبی و اینکه چگونه کار می کند را در این لینک می توانید مطالعه کنید
Openai
Jukebox
We’re introducing Jukebox, a neural net that generates music, including rudimentary singing, as raw audio in a variety of genres and artist styles. We’re releasing the model weights and code, along with a tool to explore the generated samples.
🔵پویا نمایی از نمونه های تصادفی از فرآیند گاوسی🔵
یکی از کارهای بسیار معمول در یادگیری ماشین نمونه گیری تصادفی از توزیع هاست. به طور مثال شما یک نمونه تصادفی از توزیع نرمال با میانگین صفر و واریانس یک (معروف به نرمال استاندارد) میگیرد. جواب همیشه از جنس یک عدد است. این نشان می دهد ما یک فرآیند تصادفی داریم که همه مقادیر را با احتمال یکسان تولید نمیکند برخی احتمال بیشتر و برخی کمتر هستند.
دسته دیگری از فرآیندها هستند که قدری عجیب تر و فهم آن ها در آغاز دشوار تر است. این فرآیند ها به جای اعداد تابع تولید میکنند!! برای ساده ترین حالت فرض کنید میخواهید فضای تمام خط های مستقیم را ببینید. هر خطی به صورت معادله ساده ax+b در می آیند که a , b هر عدد حقیقی ای می توانند باشند. حالا فرض کنید فضایی داشته باشیم که حتی از این گسترده تر باشد و تمام تابع های ممکن (نه فقط خط راست ها) را شامل شود! چنین فضایی به فضای هیلبرت معروف است.
اما کاربرد فضای هیلبرت چیست؟ در عمل فضای هیلبرت بسیار مفید است چرا که تابع ها از عدد ها مفید ترند!! هر تابع می تواند یک فرضیه باشد. مثلا فرض کنید تعدادی نقطه دارید و میخواهید بدانید بهترین تابعی که به آن ها برازش می شود چیست. روش های معمول برازش یا رگرسیون به شما می گویند بهترین تابع خطی (درجه یک) درجه دو یا سه چیست. اما بیایید بزرگ تر نگاه کنیم و بپرسیم احتمال درست بودن هر تابع چقدر است؟!! این دقیقا کاری است که در فرآیند های گاوسی (Gaussian Process) می پرسیم. فرآیند های گاوسی یک چارچوب ریاضی بسیار زیبا برای یافتن رگرسیون و فراتر از آن است. اما ممکن است بپرسید وقتی چنین کاری را با شبکه های عصبی عمیق (دیپ لرنینگ) می توان انجام داد چرا باید از GP استفاده کرد؟ پاسخ این است که فرآیند های گاوسی به شما میزان uncertainty یا درجه اطمینان برای هر پاسخ را می دهند. کاری که از شبکه های عصبی بر نمی آید. به طور مثال اگر شبکه عصبی شما بر روی عکس گربه و سگ آموزش داده شده باشد حتی اگر عکس یک اتومبیل را به آن نشان دهید باز هم به یکی از این دو کلاس تخصیص می دهد بدون اینکه درجه ای از عدم اطمینان این کار را بدهد.
در کد زیر سعی کردم یک روش جالب که از این مقاله برگرفته شده است را پیاده سازی کنم که نمونه گیری تصادفی با کرنل های مختلف (که نشان دهنده نحوه های مختلف ارتباط داده است) را با خود دارد. کد هم پایتون و هم متلب است. اما خروجی ها زیر به طور منحصر بفرد از پایتون انتخاب شده است.
https://github.com/roholazandie/gaussian_process_animation
یک دمو لایو بدون نصب هیچ چیز هم بر روی هروکو درست کرده ام
https://gpkernels.herokuapp.com/
یکی از کارهای بسیار معمول در یادگیری ماشین نمونه گیری تصادفی از توزیع هاست. به طور مثال شما یک نمونه تصادفی از توزیع نرمال با میانگین صفر و واریانس یک (معروف به نرمال استاندارد) میگیرد. جواب همیشه از جنس یک عدد است. این نشان می دهد ما یک فرآیند تصادفی داریم که همه مقادیر را با احتمال یکسان تولید نمیکند برخی احتمال بیشتر و برخی کمتر هستند.
دسته دیگری از فرآیندها هستند که قدری عجیب تر و فهم آن ها در آغاز دشوار تر است. این فرآیند ها به جای اعداد تابع تولید میکنند!! برای ساده ترین حالت فرض کنید میخواهید فضای تمام خط های مستقیم را ببینید. هر خطی به صورت معادله ساده ax+b در می آیند که a , b هر عدد حقیقی ای می توانند باشند. حالا فرض کنید فضایی داشته باشیم که حتی از این گسترده تر باشد و تمام تابع های ممکن (نه فقط خط راست ها) را شامل شود! چنین فضایی به فضای هیلبرت معروف است.
اما کاربرد فضای هیلبرت چیست؟ در عمل فضای هیلبرت بسیار مفید است چرا که تابع ها از عدد ها مفید ترند!! هر تابع می تواند یک فرضیه باشد. مثلا فرض کنید تعدادی نقطه دارید و میخواهید بدانید بهترین تابعی که به آن ها برازش می شود چیست. روش های معمول برازش یا رگرسیون به شما می گویند بهترین تابع خطی (درجه یک) درجه دو یا سه چیست. اما بیایید بزرگ تر نگاه کنیم و بپرسیم احتمال درست بودن هر تابع چقدر است؟!! این دقیقا کاری است که در فرآیند های گاوسی (Gaussian Process) می پرسیم. فرآیند های گاوسی یک چارچوب ریاضی بسیار زیبا برای یافتن رگرسیون و فراتر از آن است. اما ممکن است بپرسید وقتی چنین کاری را با شبکه های عصبی عمیق (دیپ لرنینگ) می توان انجام داد چرا باید از GP استفاده کرد؟ پاسخ این است که فرآیند های گاوسی به شما میزان uncertainty یا درجه اطمینان برای هر پاسخ را می دهند. کاری که از شبکه های عصبی بر نمی آید. به طور مثال اگر شبکه عصبی شما بر روی عکس گربه و سگ آموزش داده شده باشد حتی اگر عکس یک اتومبیل را به آن نشان دهید باز هم به یکی از این دو کلاس تخصیص می دهد بدون اینکه درجه ای از عدم اطمینان این کار را بدهد.
در کد زیر سعی کردم یک روش جالب که از این مقاله برگرفته شده است را پیاده سازی کنم که نمونه گیری تصادفی با کرنل های مختلف (که نشان دهنده نحوه های مختلف ارتباط داده است) را با خود دارد. کد هم پایتون و هم متلب است. اما خروجی ها زیر به طور منحصر بفرد از پایتون انتخاب شده است.
https://github.com/roholazandie/gaussian_process_animation
یک دمو لایو بدون نصب هیچ چیز هم بر روی هروکو درست کرده ام
https://gpkernels.herokuapp.com/
پیامبر فیسبوک!
شرکت فیسبوک کتابخانه جدیدی به نام prophet (پیامبر یا پیشگو) منتشر کرده است که برای پیش بینی سری های زمانی کاربرد دارد. سری های زمانی می توانند از اطلاعات هواشناسی تا پیش بینی بازار بورس باشند! این کتابخانه طوری طراحی شده است که تقریبا هیچ دانش یادگیری ماشینی لازم ندارد. شما صرفا داده ها را به فرمت مناسب در می آورید بارگذاری می کنید و در نهایت پیامبر (!) برای شما آینده آن را پیش بینی می کند. یکی از خوبی های این کتابخانه این است که میزان عدم اطمینان از پیش بینی ها را هم می دهد و برای رسم نمودار ها لازم به نصب کتابخانه اضافه ای نیست. برای شروع کار با آن مثالی که بر روی خود سایت فیسبوک است را در قالب یک google colab در آوردم که می توانید بدون نصب هیچ کتابخانه ای بر روی کامپیوترتان آن را در مرورگرتان اجرا کنید.
شرکت فیسبوک کتابخانه جدیدی به نام prophet (پیامبر یا پیشگو) منتشر کرده است که برای پیش بینی سری های زمانی کاربرد دارد. سری های زمانی می توانند از اطلاعات هواشناسی تا پیش بینی بازار بورس باشند! این کتابخانه طوری طراحی شده است که تقریبا هیچ دانش یادگیری ماشینی لازم ندارد. شما صرفا داده ها را به فرمت مناسب در می آورید بارگذاری می کنید و در نهایت پیامبر (!) برای شما آینده آن را پیش بینی می کند. یکی از خوبی های این کتابخانه این است که میزان عدم اطمینان از پیش بینی ها را هم می دهد و برای رسم نمودار ها لازم به نصب کتابخانه اضافه ای نیست. برای شروع کار با آن مثالی که بر روی خود سایت فیسبوک است را در قالب یک google colab در آوردم که می توانید بدون نصب هیچ کتابخانه ای بر روی کامپیوترتان آن را در مرورگرتان اجرا کنید.
Forwarded from Python_Labs🐍
#منبع
کمتر کسیه که حداقل اسم کتاب معروف Clean Code از Robert C. Martin را نشنیده باشه.
آدرس زیر سعیشو بر این گذاشته که نکات این کتابو با زبان پایتون انطباق بده و قوانینی برای کد نوشتن بهتر در پایتون بیان کنه برامون. هنوز کامل نشده، اما میتونه مفید باشه:
https://github.com/zedr/clean-code-python
کمتر کسیه که حداقل اسم کتاب معروف Clean Code از Robert C. Martin را نشنیده باشه.
آدرس زیر سعیشو بر این گذاشته که نکات این کتابو با زبان پایتون انطباق بده و قوانینی برای کد نوشتن بهتر در پایتون بیان کنه برامون. هنوز کامل نشده، اما میتونه مفید باشه:
https://github.com/zedr/clean-code-python
This media is not supported in your browser
VIEW IN TELEGRAM
یک کامپیوتر در محیط "واقعیت مجازی" (VR) که سیستم عامل DOS را به صورت کامل دارد!! حتی بازی " شاهزاده پارسی" (prince of Persia ) داخل کامپیوتر اجرا می شود😁
قاعدتا میتوانید داخل آن کامپیوتر برنامه نویسی هم بکنید!
کد: https://t.co/4yEDOaubDq
قاعدتا میتوانید داخل آن کامپیوتر برنامه نویسی هم بکنید!
کد: https://t.co/4yEDOaubDq
از راست به چپ: علی فرهادی مدیرعامل، سامان نادری پریزی مهندس سخت افزار و حسام باقری نژاد مهندس یادگیری ماشین از بنیانگذاران xnor.ai
استارت آپی که یادگیری ماشین بر روی چیپ های بسیار ارزان و کم مصرف را راه انداخت و چند ماه پیش به قیمت ۲۰۰ میلیون دلار توسط اپل خریداری شد
استارت آپی که یادگیری ماشین بر روی چیپ های بسیار ارزان و کم مصرف را راه انداخت و چند ماه پیش به قیمت ۲۰۰ میلیون دلار توسط اپل خریداری شد
لیست کتاب هایی که بر من تاثیر گذار بوده اند!
خیلی از افراد در دوران قرنطینه توصیه به کتاب خواندن میکنند. بعضی هم لیست کتاب برای خواندن پیشنهاد می دهند. من فرد کتابخوانی نیستم و فکر میکنم دادن لیست کتاب به افراد بدون دانستن علایق آن ها یا دغدغه های فکری اشان کار بیهوده ای ست. خواندن کتاب و پسندیدن آن بسیار شخصی ست و کتابی که برای یک نفر جالب است برای دیگری دشوار یا بی مصرف است. به شخصه کتاب های زیادی در زندگی ام خوانده ام که تاثیری زیادی روی من نداشته اند یا حتی تا آخر آن ها را نخوانده ام چون جذبم نکرده اند هرچند شنیده ام کتاب های خوبی هستند اما چند کتاب هم بود که بر زندگی من اثر ماندگاری گذاشتند. من لزوما خواندن آن ها را توصیه نمیکنم چون بعضی از آنها حتی شرایط سنی متفاوتی را طلب میکنند اما شاید برخی که فکر میکنند ذائقه نزدیک تری دارند دوست داشته باشند به آن ها سرکی بکشند. اینجا لیست برخی از آن ها را می آورم
ادامه
خیلی از افراد در دوران قرنطینه توصیه به کتاب خواندن میکنند. بعضی هم لیست کتاب برای خواندن پیشنهاد می دهند. من فرد کتابخوانی نیستم و فکر میکنم دادن لیست کتاب به افراد بدون دانستن علایق آن ها یا دغدغه های فکری اشان کار بیهوده ای ست. خواندن کتاب و پسندیدن آن بسیار شخصی ست و کتابی که برای یک نفر جالب است برای دیگری دشوار یا بی مصرف است. به شخصه کتاب های زیادی در زندگی ام خوانده ام که تاثیری زیادی روی من نداشته اند یا حتی تا آخر آن ها را نخوانده ام چون جذبم نکرده اند هرچند شنیده ام کتاب های خوبی هستند اما چند کتاب هم بود که بر زندگی من اثر ماندگاری گذاشتند. من لزوما خواندن آن ها را توصیه نمیکنم چون بعضی از آنها حتی شرایط سنی متفاوتی را طلب میکنند اما شاید برخی که فکر میکنند ذائقه نزدیک تری دارند دوست داشته باشند به آن ها سرکی بکشند. اینجا لیست برخی از آن ها را می آورم
ادامه
ویرگول
لیست کتاب هایی که بر من تاثیر گذار بوده اند!
خیلی از افراد در دوران قرنطینه توصیه به کتاب خواندن میکنند. بعضی هم لیست کتاب برای خواندن پیشنهاد می دهند. من فرد کتابخوانی نیستم و فکر میک…
🔵احتمال منفی!!🔵
تعریف کردن ریاضیات بسیار دشوار است اما می توان برخی از ویژگی های آن را برشمارد. شاید یکی از مهمترین این ویژگی ها گسترش انتزاع تا مرزهای حتی بی معنایی باشد!! ساده ترین مثال خود اعداد هستند. برای یک انسان اولیه گسترده ترین سیستم همان شمارش ساده بود. یک دو سه و... هزاران سال طول کشید تا بشر بتواند درک کند که می توان صفر هم داشت! اغراق نیست که کشف صفر را یکی از بزرگترین کشف های بشر دانسته اند چرا که بشر به نقطه ای رسید که می توانست بفهمد صفر چه «معنایی» می تواند داشته باشد. اینکه مثلا صفر تومان پول داشته باشیم. به همین منوال فهمیدن اعداد منفی و اعشار هم دشوار بود. برای منفی ها باید میفهمیدیم که مثلا منفی هزار تومان چه معنایی دارد! یا اینکه یک چهارم یا هفت سوم یک سیب یعنی چه. همه اینها سطح انتزاع هایی هستند که هیچ پستاندار دیگری قادر به فکر کردن در موردشان نیست (ثابت شده است شمپانزه ها سیستم های ساده ای از شمارش دارند) اما روح ریاضیات انتزاع است و به همین خاطر گسترش دادن مفهوم عدد را متوقف نکرد. ما به اعداد گنگ و بعدا به اعداد موهومی (یا مختلط) رسیدیم. درک معنای اعداد موهومی شاید ساده نباشد اما با ابزارهای ساده ای مانند حقه چرخش می توان آن را هم درک کرد. همه ی این تغییرات با مقاومت روبرو بودند چرا که از دید افراد چنین گسترش هایی بی معنا هستند. حتی تا سال ۱۷۵۸ اجماع کامل در مورد پذیرش اعداد منفی در ریاضیات وجود نداشت. ریاضیدان انگلیسی فرانسیس مازرس در مورد اعداد منفی می گوید:
«باعث تاریکی معادلات و باعث پیچیده شدن مفاهیمی می شود که در اساس ساده هستند...»
گسترش ها لزومی ندارد که معنایی داشته باشند اما باید سازگار باشند! یک مثال ساده این است: همه ما می دانیم در ریاضیات 1/0 بی معنی است. نمی توان یک را بر روی صفر تقسیم کرد. اما تدریس به این طریق (که بسیار معمول است) گمراه کننده و عقیم است. چطور است که ما جایی می خوانیم که ریشه منفی یک بی معنی است ولی بعدا در دانشگاه به ما می گویند می شود آن را تعریف کرد؟! چرا نباید 1/0را تعریف کرد. مثلا گفت این عدد «هذیانی» است!! دلیل اینکه چنین کاری را نمی توان کرد ایجاد ناسازگاری است نه بی معنایی! اگر ذهن کنجکاوی داشته باشید می توانید همین الان آن را امتحان کنید کاغذ و قلم بردارید و 1/0را تعریف کنید و سعی کنید خواص آن را استخراج کنید.
اما احتمال منفی را چطور می توان فهمید. این دیگر چطور گسترشی است؟ من احتمال صفر را می توانم بفهم مثلا احتمال اینکه لیوانی که از دستم افتاده و هزارتکه شده دوباره برگردد و لیوان سالم شود صفر است اما احتمال منفی دیگر چیست؟
برای این مواقع بهتر است کاری به معنا نداشته باشید!! این روحیه عجیب اساس گسترش ریاضیات است! به جای آن ذهن را تا جای ممکن باز بگذارید و اجازه بدهید تخیل به معنای واقعی آن پرواز کند (برخلاف داستان ها و اسطوره ها که واقعا آنقدر که دوست داریم فکر کنیم تخیل آزاد نیست) آنگاه متوجه می شوید احتمال منفی اگرچه بی معنی است اما منجر به تناقض یا ناسازگاری نمی شود. این چیزی است که اولین بار فاینمن و دیراک به آن پی بردند. آن ها متوجه شدند همانطور که داشتن منفی سه سیب نمی تواند نتیجه نهایی یک محاسبه باشد داشتن احتمال منفی هم نتیجه نهایی نیست اما در محاسبات میانی ظاهر می شود و بسیار مفید هم هست. ما شاید حتی امروزه آنقدر از لحاظ زبان پیشرفت نکرده باشیم که بدانیم دقیقا احتمال منفی چیست اما ریاضیات به زبان امروز محدود نیست و از آن فراتر می رود.
این مقاله خلاصه ای از احتمال منفی و کاربردهایش را آورده است. خواندن آن را توصیه می کنم!
تعریف کردن ریاضیات بسیار دشوار است اما می توان برخی از ویژگی های آن را برشمارد. شاید یکی از مهمترین این ویژگی ها گسترش انتزاع تا مرزهای حتی بی معنایی باشد!! ساده ترین مثال خود اعداد هستند. برای یک انسان اولیه گسترده ترین سیستم همان شمارش ساده بود. یک دو سه و... هزاران سال طول کشید تا بشر بتواند درک کند که می توان صفر هم داشت! اغراق نیست که کشف صفر را یکی از بزرگترین کشف های بشر دانسته اند چرا که بشر به نقطه ای رسید که می توانست بفهمد صفر چه «معنایی» می تواند داشته باشد. اینکه مثلا صفر تومان پول داشته باشیم. به همین منوال فهمیدن اعداد منفی و اعشار هم دشوار بود. برای منفی ها باید میفهمیدیم که مثلا منفی هزار تومان چه معنایی دارد! یا اینکه یک چهارم یا هفت سوم یک سیب یعنی چه. همه اینها سطح انتزاع هایی هستند که هیچ پستاندار دیگری قادر به فکر کردن در موردشان نیست (ثابت شده است شمپانزه ها سیستم های ساده ای از شمارش دارند) اما روح ریاضیات انتزاع است و به همین خاطر گسترش دادن مفهوم عدد را متوقف نکرد. ما به اعداد گنگ و بعدا به اعداد موهومی (یا مختلط) رسیدیم. درک معنای اعداد موهومی شاید ساده نباشد اما با ابزارهای ساده ای مانند حقه چرخش می توان آن را هم درک کرد. همه ی این تغییرات با مقاومت روبرو بودند چرا که از دید افراد چنین گسترش هایی بی معنا هستند. حتی تا سال ۱۷۵۸ اجماع کامل در مورد پذیرش اعداد منفی در ریاضیات وجود نداشت. ریاضیدان انگلیسی فرانسیس مازرس در مورد اعداد منفی می گوید:
«باعث تاریکی معادلات و باعث پیچیده شدن مفاهیمی می شود که در اساس ساده هستند...»
گسترش ها لزومی ندارد که معنایی داشته باشند اما باید سازگار باشند! یک مثال ساده این است: همه ما می دانیم در ریاضیات 1/0 بی معنی است. نمی توان یک را بر روی صفر تقسیم کرد. اما تدریس به این طریق (که بسیار معمول است) گمراه کننده و عقیم است. چطور است که ما جایی می خوانیم که ریشه منفی یک بی معنی است ولی بعدا در دانشگاه به ما می گویند می شود آن را تعریف کرد؟! چرا نباید 1/0را تعریف کرد. مثلا گفت این عدد «هذیانی» است!! دلیل اینکه چنین کاری را نمی توان کرد ایجاد ناسازگاری است نه بی معنایی! اگر ذهن کنجکاوی داشته باشید می توانید همین الان آن را امتحان کنید کاغذ و قلم بردارید و 1/0را تعریف کنید و سعی کنید خواص آن را استخراج کنید.
اما احتمال منفی را چطور می توان فهمید. این دیگر چطور گسترشی است؟ من احتمال صفر را می توانم بفهم مثلا احتمال اینکه لیوانی که از دستم افتاده و هزارتکه شده دوباره برگردد و لیوان سالم شود صفر است اما احتمال منفی دیگر چیست؟
برای این مواقع بهتر است کاری به معنا نداشته باشید!! این روحیه عجیب اساس گسترش ریاضیات است! به جای آن ذهن را تا جای ممکن باز بگذارید و اجازه بدهید تخیل به معنای واقعی آن پرواز کند (برخلاف داستان ها و اسطوره ها که واقعا آنقدر که دوست داریم فکر کنیم تخیل آزاد نیست) آنگاه متوجه می شوید احتمال منفی اگرچه بی معنی است اما منجر به تناقض یا ناسازگاری نمی شود. این چیزی است که اولین بار فاینمن و دیراک به آن پی بردند. آن ها متوجه شدند همانطور که داشتن منفی سه سیب نمی تواند نتیجه نهایی یک محاسبه باشد داشتن احتمال منفی هم نتیجه نهایی نیست اما در محاسبات میانی ظاهر می شود و بسیار مفید هم هست. ما شاید حتی امروزه آنقدر از لحاظ زبان پیشرفت نکرده باشیم که بدانیم دقیقا احتمال منفی چیست اما ریاضیات به زبان امروز محدود نیست و از آن فراتر می رود.
این مقاله خلاصه ای از احتمال منفی و کاربردهایش را آورده است. خواندن آن را توصیه می کنم!
Azimuth
Negative Probabilities
The physicists Dirac and Feynman, both bold when it came to new mathematical ideas, both said we should think about negative probabilities. These days, Kolmogorov’s axioms for probabilities…
پایتورچ لایتنینگ!
یکی از مزایای کراس به پایتورچ در این است که حلقه یادگیری در آن وجود ندارد به عبارت دیگر شما از یک تابع fit استفاده می کنید و فقط داده ها را به آن پاس می دهید اما در پایتورچ شما مجبورید یک حلقه فور بنویسید و گرادیان ها را صفر کنید داده ها را پاس بدهید و خیلی از کارهای دیگر را به صورت دستی انجام دهید. اما خوشبختانه برای حل این مشکل کتابخانه های کمکی زیادی وجود دارند که مهم ترین آن ها PyTorch lightning است. این کتابخانه کد شما را بسیار ساده می کند و در عین حال امکانات بسیار زیادی را در اختیار شما می گذارد که در حالت عادی ممکن است وقت زیادی از شما بگیرد. به طور مثال:
۱- به شما امکان می دهد که مدل تان را یک بار بر روی آموزش و ولیدیشن تست کنید و مطمین شوید که همه چیز درست کار می کند قبل از اینکه یک ترین بسیار طولانی بگذارید و بعد از چند روز متوجه شوید ولیدیشن تان مشکل داشت. (با استفاده از fast_dev_run=True)
۲- لایتنینگ به شما امکان می دهد که آموزش را بر روی یک درصد دلخواه از دیتا ست آموزش دهید تا باز هم از همه چیز مطمین شوید.
۳- لایتنینگ خودش حواسش به اجرا کردن همه چیز بر روی سی پی یو یا gpuهست کافی است فقط به آن پاس بدهید که می خواهید از gpuاستفاده کنید یا چند تا از gpuها و خودش حتی به صورت درست آن ها رو توزیع می کند!!
۴- لایتنینگ مستقیما به tensorboard (یا wandb یا هر تکنولوژی دیگری) متصل است و همه چیز را برای شما لاگ می کند. می توانید نمودار ها را براحتی ببینید بدون اینکه نگران تنظیمات خاصی باشید. فقط کافی است logger را فراخوانی کنید و عکس، صدا یا نموداری که می خواهید را به آن پاس بدهید تا لاگ کند.
۵- محاسبات ۱۶ بیتی را می توانید بدون فراخوانی apex انجام دهید که سرعت را بالاتر می برد
در اینجا یک ریپو بر اساس ویدیوی زیر ساخته ام که می توانید استفاده کنید.
یکی از مزایای کراس به پایتورچ در این است که حلقه یادگیری در آن وجود ندارد به عبارت دیگر شما از یک تابع fit استفاده می کنید و فقط داده ها را به آن پاس می دهید اما در پایتورچ شما مجبورید یک حلقه فور بنویسید و گرادیان ها را صفر کنید داده ها را پاس بدهید و خیلی از کارهای دیگر را به صورت دستی انجام دهید. اما خوشبختانه برای حل این مشکل کتابخانه های کمکی زیادی وجود دارند که مهم ترین آن ها PyTorch lightning است. این کتابخانه کد شما را بسیار ساده می کند و در عین حال امکانات بسیار زیادی را در اختیار شما می گذارد که در حالت عادی ممکن است وقت زیادی از شما بگیرد. به طور مثال:
۱- به شما امکان می دهد که مدل تان را یک بار بر روی آموزش و ولیدیشن تست کنید و مطمین شوید که همه چیز درست کار می کند قبل از اینکه یک ترین بسیار طولانی بگذارید و بعد از چند روز متوجه شوید ولیدیشن تان مشکل داشت. (با استفاده از fast_dev_run=True)
۲- لایتنینگ به شما امکان می دهد که آموزش را بر روی یک درصد دلخواه از دیتا ست آموزش دهید تا باز هم از همه چیز مطمین شوید.
۳- لایتنینگ خودش حواسش به اجرا کردن همه چیز بر روی سی پی یو یا gpuهست کافی است فقط به آن پاس بدهید که می خواهید از gpuاستفاده کنید یا چند تا از gpuها و خودش حتی به صورت درست آن ها رو توزیع می کند!!
۴- لایتنینگ مستقیما به tensorboard (یا wandb یا هر تکنولوژی دیگری) متصل است و همه چیز را برای شما لاگ می کند. می توانید نمودار ها را براحتی ببینید بدون اینکه نگران تنظیمات خاصی باشید. فقط کافی است logger را فراخوانی کنید و عکس، صدا یا نموداری که می خواهید را به آن پاس بدهید تا لاگ کند.
۵- محاسبات ۱۶ بیتی را می توانید بدون فراخوانی apex انجام دهید که سرعت را بالاتر می برد
در اینجا یک ریپو بر اساس ویدیوی زیر ساخته ام که می توانید استفاده کنید.
GitHub
GitHub - Lightning-AI/pytorch-lightning: Pretrain, finetune ANY AI model of ANY size on multiple GPUs, TPUs with zero code changes.
Pretrain, finetune ANY AI model of ANY size on multiple GPUs, TPUs with zero code changes. - Lightning-AI/pytorch-lightning
🔵برشی از یک کتاب🔵
(فلسفه روشنگری ارنست کاسیرر)
یکی از تصورات اشتباه در مورد سیر تاریخی چیرگی ظاهری علم به دین در اروپا بر این پایه استوار است که جنگی میان علم و دین در میان بوده و سردمداران آن کسانی چون گالیله بودند که با کلیسا بر سر اصول در افتادند. چنین دیدگاهی غلط است چرا که انگیزه خداوند ناظر که در روح قوانین طبیعت حضور دارد در آثار کپلر و گالیله مطرح شده بود و هنوز هم با انگیزه ی قوی دینی که به منزله نیرویی محرک عمل میکند، اشباع شده است. هدف این نظریه یافتن نشانه های الوهیتِ طبیعت در قانون طبیعی است. اما دقیقا به خاطر همین گرایش دینی، که زیر ساخت آن بود، ناگزیر با فرم های سنتی ایمان دینی در افتاد. اگر از این دیدگاه به جنگی که کلیسا بر ضدِ پیشرفتِ روحِ جدیدِ علمِ ریاضیِ طبیعت آغاز کرد بنگریم علت آن را در می یابیم. کلیسا بر ضد یکایک موفقیت های پژوهش علمی نمی جنگید. سازش میان موفقیت های علمی و تعالیم کلیسا امکان پذیر بود. گالیله هم خود زمانی درازا به این سازش می اندیشید و صادقانه در راه آن میکوشید اما سوء تفاهم اندوهباری که در پایان سبب سقوط گالیله شد در این بود که او مخالفتی را که در پی سازش با آن بود در جایی نادرست جستجو می کرد و نو آوری بنیادی روش شناسی خود را دست کم میگرفت. در واقع کیهان شناسی نو نبود که با مخالفت شدید کلیسا روبرو شد زیرا از نظر آنان نظام کوپرنیکوس به عنوان یک مدل ریاضی به همان خوبی نظام بطلمیوسی بود. آن چه تحمل ناپذیر بود و بنیاد های تعالیم کلیسا را تهدید می کرد مفهومِ نوِ حقیقت بود که گالیله آن را اعلام کرده بود: اکنون در کنار حقیقت وحی شده، حقیقت مستقل و اصیل طبیعت پا به عرصه وجود می گذاشت. این حقیقت نه در کلام خدا بلکه در آفرینش او آشکار می شود. این حقیقت بر اساس گواهی کتاب مقدس یا سنت نیست بلکه حقیقتی است که همواره در برابر دیدگان ماست. با سخن محض نمی توان حقیقت طبیعت را کشف کرد بلکه این کار نیاز به ساختهای ریاضی و شکلهای هندسی دارد. این پایه و اساسی برای کارهای نیوتون شد زیرا تا آن زمان هنوز معلوم نبود که قانون اجزا بر کل هم حاکم است. نیوتون نشان داد که این قانون های ریاضی بر کل نیز صادق اند و بدین سان پیروزی شناخت انسان قطعی شد و قدرت سترگ آن کشف گردید. به نظر می رسید قدرت علم انسان با قدرت مهیب طبیعت برابری می کند و به همین خاطر تمام سده هجدهم دستاورد نیوتون را ارج نهاد. این موفقیت روشنگری را مطمئن کرد که بر زمینی محکم ایستاده که شالوده آن متزلزل نمی شود.
(فلسفه روشنگری ارنست کاسیرر)
یکی از تصورات اشتباه در مورد سیر تاریخی چیرگی ظاهری علم به دین در اروپا بر این پایه استوار است که جنگی میان علم و دین در میان بوده و سردمداران آن کسانی چون گالیله بودند که با کلیسا بر سر اصول در افتادند. چنین دیدگاهی غلط است چرا که انگیزه خداوند ناظر که در روح قوانین طبیعت حضور دارد در آثار کپلر و گالیله مطرح شده بود و هنوز هم با انگیزه ی قوی دینی که به منزله نیرویی محرک عمل میکند، اشباع شده است. هدف این نظریه یافتن نشانه های الوهیتِ طبیعت در قانون طبیعی است. اما دقیقا به خاطر همین گرایش دینی، که زیر ساخت آن بود، ناگزیر با فرم های سنتی ایمان دینی در افتاد. اگر از این دیدگاه به جنگی که کلیسا بر ضدِ پیشرفتِ روحِ جدیدِ علمِ ریاضیِ طبیعت آغاز کرد بنگریم علت آن را در می یابیم. کلیسا بر ضد یکایک موفقیت های پژوهش علمی نمی جنگید. سازش میان موفقیت های علمی و تعالیم کلیسا امکان پذیر بود. گالیله هم خود زمانی درازا به این سازش می اندیشید و صادقانه در راه آن میکوشید اما سوء تفاهم اندوهباری که در پایان سبب سقوط گالیله شد در این بود که او مخالفتی را که در پی سازش با آن بود در جایی نادرست جستجو می کرد و نو آوری بنیادی روش شناسی خود را دست کم میگرفت. در واقع کیهان شناسی نو نبود که با مخالفت شدید کلیسا روبرو شد زیرا از نظر آنان نظام کوپرنیکوس به عنوان یک مدل ریاضی به همان خوبی نظام بطلمیوسی بود. آن چه تحمل ناپذیر بود و بنیاد های تعالیم کلیسا را تهدید می کرد مفهومِ نوِ حقیقت بود که گالیله آن را اعلام کرده بود: اکنون در کنار حقیقت وحی شده، حقیقت مستقل و اصیل طبیعت پا به عرصه وجود می گذاشت. این حقیقت نه در کلام خدا بلکه در آفرینش او آشکار می شود. این حقیقت بر اساس گواهی کتاب مقدس یا سنت نیست بلکه حقیقتی است که همواره در برابر دیدگان ماست. با سخن محض نمی توان حقیقت طبیعت را کشف کرد بلکه این کار نیاز به ساختهای ریاضی و شکلهای هندسی دارد. این پایه و اساسی برای کارهای نیوتون شد زیرا تا آن زمان هنوز معلوم نبود که قانون اجزا بر کل هم حاکم است. نیوتون نشان داد که این قانون های ریاضی بر کل نیز صادق اند و بدین سان پیروزی شناخت انسان قطعی شد و قدرت سترگ آن کشف گردید. به نظر می رسید قدرت علم انسان با قدرت مهیب طبیعت برابری می کند و به همین خاطر تمام سده هجدهم دستاورد نیوتون را ارج نهاد. این موفقیت روشنگری را مطمئن کرد که بر زمینی محکم ایستاده که شالوده آن متزلزل نمی شود.
🔥مدل زبانی جدید OpenAI موسوم به GPT-3🔥
دیروز OpenAI سومین مدل زبانی خود به نام GPT-3 را منتشر کرد. این غول ۱۷۵ میلیارد پارامتری بزرگترین مدل زبانی ساخته شده تا کنون است. بزرگترین مدل زبانی قبل از این متعلق به مایکروسافت بود که تعداد پارامتر هایش کمتر از یک دهم این مدل بود. این مدل آنقدر بزرگ است که حتی برای بارگذاری آن در حافظه نیاز به ۷۰۰ گیگابایت رم دارید!! امکانی که به جز غول های فناوری در اختیار بسیاری نیست. معماری اصلی GPT-3 از همان ترنسفورمر ها پیروی می کند ولی با تغییرات بسیار کوچک: ۹۶ سر و ۹۶ لایه ۱۲۲۸۸ توکن برای ورودی متنی و ۳.۲ میلیون اندازه batch!!
اما این مدل زبانی آنقدر قدرتمند است که نیازی به finetune برای کار های جدید ندارد. یعنی چه؟ به طور مثال اگه شما یک مدل زبانی داشته باشید و بخواهید از آن برای مثلا کار ترجمه از انگلیسی به فرانسه استفاده کنید می بایست آن را بر روی متن های مختلف آموزش بدهید یا اصطلاحا fine tune کنید اما GPT3 نیازی به این کار ندارد!! یعنی مثلا کافی است بنویسید:
Translate this sentence to French: This is awesome
و مدل زبانی خودش میداند که باید چکار کند!! یا اینکه بدون آموزش میتوان به آن متن داد و سپس از متن داده شده سوال پرسید!
اما پژوهشگران OpenAI آزمایش های عجیب تری هم ترتیب داده اند. به طور مثال از مدل سوال های ریاضی مانند جمع تفریق و ضرب اعداد یک رقمی دو رقمی و سه رقمی پرسیده اند! مثلا در فرمت:
Q: What is 48 plus 76?
نتایج جالب است چون مدل برای عملیات ریاضی ساده تقریبا بدون خطا کار میکند اما با افزایش تعداد ارقام یا پیچیدگی عملیات خطاها بیشتر می شود. دقت کنید که مدل های زبانی مدلهایی صد در صد اماری هستند که بر روی متن های انگلیسی آموزش داده شده اند و هیچ دانش حسابی ندارند! یعنی مکانیزمی در آن ها به صورت پیش فرض برای انجام چنین کارهایی تعبیه نشده است اما از پس آن برمی آیند!!
همچنین آزمایش های دیگری نشان داده است که انسان ها در ۵۰ درصد موارد نمی توانند بین متن تولیدی (به طول ۲۰۰ کلمه) GPT3 و انسان تمایزی قائل شوند!
جنبه های جالب تر و عجیب تری در مورد این مدل وجود دارد که به تدریج به ان ها میپردازم متاسفانه مقاله OpenAI هفتاد صفحه است که خواندن آن را برای یک روز دشوار میکند!!
[این پست آپدیت می شود!]
دیروز OpenAI سومین مدل زبانی خود به نام GPT-3 را منتشر کرد. این غول ۱۷۵ میلیارد پارامتری بزرگترین مدل زبانی ساخته شده تا کنون است. بزرگترین مدل زبانی قبل از این متعلق به مایکروسافت بود که تعداد پارامتر هایش کمتر از یک دهم این مدل بود. این مدل آنقدر بزرگ است که حتی برای بارگذاری آن در حافظه نیاز به ۷۰۰ گیگابایت رم دارید!! امکانی که به جز غول های فناوری در اختیار بسیاری نیست. معماری اصلی GPT-3 از همان ترنسفورمر ها پیروی می کند ولی با تغییرات بسیار کوچک: ۹۶ سر و ۹۶ لایه ۱۲۲۸۸ توکن برای ورودی متنی و ۳.۲ میلیون اندازه batch!!
اما این مدل زبانی آنقدر قدرتمند است که نیازی به finetune برای کار های جدید ندارد. یعنی چه؟ به طور مثال اگه شما یک مدل زبانی داشته باشید و بخواهید از آن برای مثلا کار ترجمه از انگلیسی به فرانسه استفاده کنید می بایست آن را بر روی متن های مختلف آموزش بدهید یا اصطلاحا fine tune کنید اما GPT3 نیازی به این کار ندارد!! یعنی مثلا کافی است بنویسید:
Translate this sentence to French: This is awesome
و مدل زبانی خودش میداند که باید چکار کند!! یا اینکه بدون آموزش میتوان به آن متن داد و سپس از متن داده شده سوال پرسید!
اما پژوهشگران OpenAI آزمایش های عجیب تری هم ترتیب داده اند. به طور مثال از مدل سوال های ریاضی مانند جمع تفریق و ضرب اعداد یک رقمی دو رقمی و سه رقمی پرسیده اند! مثلا در فرمت:
Q: What is 48 plus 76?
نتایج جالب است چون مدل برای عملیات ریاضی ساده تقریبا بدون خطا کار میکند اما با افزایش تعداد ارقام یا پیچیدگی عملیات خطاها بیشتر می شود. دقت کنید که مدل های زبانی مدلهایی صد در صد اماری هستند که بر روی متن های انگلیسی آموزش داده شده اند و هیچ دانش حسابی ندارند! یعنی مکانیزمی در آن ها به صورت پیش فرض برای انجام چنین کارهایی تعبیه نشده است اما از پس آن برمی آیند!!
همچنین آزمایش های دیگری نشان داده است که انسان ها در ۵۰ درصد موارد نمی توانند بین متن تولیدی (به طول ۲۰۰ کلمه) GPT3 و انسان تمایزی قائل شوند!
جنبه های جالب تر و عجیب تری در مورد این مدل وجود دارد که به تدریج به ان ها میپردازم متاسفانه مقاله OpenAI هفتاد صفحه است که خواندن آن را برای یک روز دشوار میکند!!
[این پست آپدیت می شود!]
Joe Davison Blog
Zero-Shot Learning in Modern NLP
State-of-the-art NLP models for text classification without annotated data
در سال ۱۹۶۹ آپولو ۱۱، شاهکار مهندسی بشر، اولین فضاپیمایی که انسان را بر کره ماه فرود آورد از سی خط کد بالا (به زبان ماشین) برای محاسبه توابع غیر جبری مانند سینوس و کسینوس استفاده کرد.
این کدها در «حافظه های طنابی» فقط خواندنی (read only) ذخیره شده بودند که با دست بافته شده بودند!!!
همچنین تمام سورس کد اصلی سیستم هدایت آپولو ۱۱ (AGC) برای سفینه فرمان (Comanche055) و سفینه ماه‌نشین (Luminary099). دیجیتال شده توسط جمعی در Virtual AGC و موزه MIT.
این کدها در «حافظه های طنابی» فقط خواندنی (read only) ذخیره شده بودند که با دست بافته شده بودند!!!
همچنین تمام سورس کد اصلی سیستم هدایت آپولو ۱۱ (AGC) برای سفینه فرمان (Comanche055) و سفینه ماه‌نشین (Luminary099). دیجیتال شده توسط جمعی در Virtual AGC و موزه MIT.
MatlabTips
🔥مدل زبانی جدید OpenAI موسوم به GPT-3🔥 دیروز OpenAI سومین مدل زبانی خود به نام GPT-3 را منتشر کرد. این غول ۱۷۵ میلیارد پارامتری بزرگترین مدل زبانی ساخته شده تا کنون است. بزرگترین مدل زبانی قبل از این متعلق به مایکروسافت بود که تعداد پارامتر هایش کمتر از یک…
چند نکته جالب دیگر در مورد مدل GPT3 OpenAI:
قدرت مدل در درک «فهم متعارفی» (common sense) از بهترین مدل های آموزش داده شده از قبل بسیار بهتر است. «فهم متعارفی» چیست؟ فهم متعارفی، یکی از دشوار ترین مسایل در هوش مصنوعی (یا شاید دشوار ترین مساله هوش مصنوعی) است. فهم متعارفی فهم روزمره ما از جهان است به طور مثال اگر یک تخم مرغ روی زمین بیفتد میشکند یا اگر نان در آب خیس شود دیگر قابل خوردن نیست یا اینکه اگر به کسی سیلی بزنید درد احساس می کند و ممکن است گریه کند! چنین چیزهایی را ما به کودک آموزش نمی دهیم بلکه خود کودک در تعامل با جهان اطرافش درک میکند. پژوهشگران هوش مصنوعی از چندین دهه پیش و در اوایل متوجه شدند برای آنکه یک سیستم هوشمند داشته باشیم باید بتوانیم چنین نوع دانشی (که در کتاب ها و ویکی پدیا و غیره پیدا نمی شود) را به سیستم ها یاد بدهیم. اگرچه شاید سخت بنظر نرسد اما در عمل مشخص شد چنین دانشی بسیار بسیار بزرگتر از دانش های مکتوب معمول است! امروزه دیتاست هایی برای سنجش فهم متعارفی ساخته شده اند که هر کدام به یک جنبه ان می پردازند. GPT3 توانسته به بالا ترین دقت یک سیستم در آن برسد (هرچند هنوز از انسان بسیار عقب است)
تنها علت موفقیت این مدل بزرگ بودن آن است! هیچ تغییر ساختاری یا معماری در آن انجام نشده است. همین باعث شده سوال های مهمی در مورد آینده هوش مصنوعی مطرح شود. آیا برای رسیدن به هوش انسانی صرفا کافی ست مدلها را بزرگتر و بزرگتر کنیم؟ یا اینکه نیاز داریم متدهای جدیدی را بررسی کنیم. اگر بزرگ کردن مدل تنها راه حل است چنین چیزی برای بسیاری از پژوهشگران غیر قابل دسترس است. یک تخمین نشان داده است هزینه آموزش GPT3 به اضافه هزینه حقوق افراد دخیل در پروژه حداقل ۱۸ میلیون دلار بوده است!! ( ۱۲ میلیون دلار آموزش بر روی سرور های مایکروسافت و ۶ میلیون دلار حقوق و بقیه هزینه ها) چنین عددی با بودجه یک فیلم هالیوودی متوسط برابری میکند! از طرفی نگرانی های زیادی در مورد اثرات زیست محیطی آموزش چنین مدلهای بزرگی وجود دارد چرا که این مدلها در طی چند روز براحتی به اندازه برق یک شهر متوسط انرژی مصرف میکنند. چنین جزییاتی باعث می شود که عقب بایستیم و در مورد اینکه باید درباره آینده هوش مصنوعی چکار کرد دوباره فکر کنیم
#gpt3
@matlabtips
قدرت مدل در درک «فهم متعارفی» (common sense) از بهترین مدل های آموزش داده شده از قبل بسیار بهتر است. «فهم متعارفی» چیست؟ فهم متعارفی، یکی از دشوار ترین مسایل در هوش مصنوعی (یا شاید دشوار ترین مساله هوش مصنوعی) است. فهم متعارفی فهم روزمره ما از جهان است به طور مثال اگر یک تخم مرغ روی زمین بیفتد میشکند یا اگر نان در آب خیس شود دیگر قابل خوردن نیست یا اینکه اگر به کسی سیلی بزنید درد احساس می کند و ممکن است گریه کند! چنین چیزهایی را ما به کودک آموزش نمی دهیم بلکه خود کودک در تعامل با جهان اطرافش درک میکند. پژوهشگران هوش مصنوعی از چندین دهه پیش و در اوایل متوجه شدند برای آنکه یک سیستم هوشمند داشته باشیم باید بتوانیم چنین نوع دانشی (که در کتاب ها و ویکی پدیا و غیره پیدا نمی شود) را به سیستم ها یاد بدهیم. اگرچه شاید سخت بنظر نرسد اما در عمل مشخص شد چنین دانشی بسیار بسیار بزرگتر از دانش های مکتوب معمول است! امروزه دیتاست هایی برای سنجش فهم متعارفی ساخته شده اند که هر کدام به یک جنبه ان می پردازند. GPT3 توانسته به بالا ترین دقت یک سیستم در آن برسد (هرچند هنوز از انسان بسیار عقب است)
تنها علت موفقیت این مدل بزرگ بودن آن است! هیچ تغییر ساختاری یا معماری در آن انجام نشده است. همین باعث شده سوال های مهمی در مورد آینده هوش مصنوعی مطرح شود. آیا برای رسیدن به هوش انسانی صرفا کافی ست مدلها را بزرگتر و بزرگتر کنیم؟ یا اینکه نیاز داریم متدهای جدیدی را بررسی کنیم. اگر بزرگ کردن مدل تنها راه حل است چنین چیزی برای بسیاری از پژوهشگران غیر قابل دسترس است. یک تخمین نشان داده است هزینه آموزش GPT3 به اضافه هزینه حقوق افراد دخیل در پروژه حداقل ۱۸ میلیون دلار بوده است!! ( ۱۲ میلیون دلار آموزش بر روی سرور های مایکروسافت و ۶ میلیون دلار حقوق و بقیه هزینه ها) چنین عددی با بودجه یک فیلم هالیوودی متوسط برابری میکند! از طرفی نگرانی های زیادی در مورد اثرات زیست محیطی آموزش چنین مدلهای بزرگی وجود دارد چرا که این مدلها در طی چند روز براحتی به اندازه برق یک شهر متوسط انرژی مصرف میکنند. چنین جزییاتی باعث می شود که عقب بایستیم و در مورد اینکه باید درباره آینده هوش مصنوعی چکار کرد دوباره فکر کنیم
#gpt3
@matlabtips
مقارنه سایه دماوند و ماه!
این مقارنه فقط در زمان های نزدیک به ماه گرفتگی رخ می دهد، یعنی وقتی خورشید، زمین ( دماوند و سایه آن ) و ماه در یک راستا قرار میگیرند! در طی چهار سال گذشته و صعود به قله در زمان های ماه گرفتگی، شرایط بد جوی مانع از ثبت این تصویر شده بود!
#damavand
Credit: https://twitter.com/ghohroodi/status/1270443388110856200?s=19
این مقارنه فقط در زمان های نزدیک به ماه گرفتگی رخ می دهد، یعنی وقتی خورشید، زمین ( دماوند و سایه آن ) و ماه در یک راستا قرار میگیرند! در طی چهار سال گذشته و صعود به قله در زمان های ماه گرفتگی، شرایط بد جوی مانع از ثبت این تصویر شده بود!
#damavand
Credit: https://twitter.com/ghohroodi/status/1270443388110856200?s=19