وقتی داده های آموزش حالات جدید رو پوشش نمیدن! 😁
#fun

همگام سازی: سماع عرفانی طبیعت (نسخه ویرگول)

برای استفاده راحت دوستان که نمی خوان از فیلتر شکن استفاده کنند همون پست رو روی ویرگول هم قرار دادم.

https://vrgl.ir/nqGLC

🌕منابع مفید برای پردازش زبان طبیعی🌕

پردازش زبان طبیعی یکی از بزرگترین زیربخش های هوش مصنوعی است و به جرات می توان گفت دامنه و گستردگی آن تقریبا از هر شاخه دیگری بیشتری ست. دلیل اصلی آن هم این است که مطالعه زبان گستره ای از فلسفه و زبان شناسی تا ریاضیات دارد و برای درک درست از بسیاری مفاهیم نیاز هست که تاریخچه آن را هم بدانیم. اینجا من فقط به آخرین تغییرات اشاره می کنم و نمی خواهم در مورد کل تاریخچه بحث کنم.
روش های امروزی برای پردازش زبان طبیعی تقریبا همگی مبتنی بر آمار و احتمال هستند. بنابراین درک عمیق از آمار و احتمال بسیار مهم و کلیدی ست. بعد از آشنایی با مفاهیم شبکه های عصبی و یادگیری عمیق می توان به کتابخانه های زیر اشاره کرد.
یادگیری کتابخانه های یادگیری عمیق معمولا فرآیند زمانبری است و نیاز به دقت و تمرین دارد. امروزه Tensorflow مهم ترین و معروف ترین کتابخانه یادگیری عمیق است که توسط گوگل پشتیبانی می شود. اگر می خواهید پردازش زبان طبیعی کار کنید می توانید از این کتابخانه استفاده کنید اما مشکل اصلی این است که یادگیری این کتابخانه دشوار و بسیار زمان بر است. از طرفی کتابخانه های سطح بالاتری وجود دارند که همان کار را با سرعت یکسان و بسیار ساده تر انجام میدهند. ورود کتابخانه Pytorch به جامعه پردازش زبان طبیعی و حمایتش از طرف فیس بوک توانسته در چند سال اخیر کاملا جای پای خودش را باز کند. توصیه من یادگیری tensorflow ولی تمرکز اصلی بر روی pytorch است.
کتابخانه های تخصصی زیادی در NLP وجود دارد که هر کدام در سطح مشخصی کار میکنند. منظور این است که مثلا برای کارهای ساده تر مثل تشخیص قسمت کلمه (Part of speech) یعنی اینکه هر کلمه اسم، فعل یا حرف اضافه و غیره است نیاز به کتابخانه های مشخصی داریم ولی برای پردازش های سطح بالاتر مثلا نوشتن یک چت بات کتابخانه های دیگری نیاز داریم.
کتابخانه های سطح پایین به ترتیب اهمیت:
-spacy
-nltk
-flair
البته مورد آخری قدری پیشرفته تر هم هست. این کتابخانه ها پردازش هایی مانند ریشه یابی کلمات، تشخیص بخش کلمه، توکن بندی کلمات، بردار کلمات و میزان شباهت ها، تشخیص Named entity (مثلا اینکه یک کلمه اسم مکان، شخص یا شرکت است) را انجام می دهد.
برای پردازش های سطح بالاتر کتابخانه های زیر وجود دارند:
Allennlp
Gensim
این کتابخانه ها عملیاتی مانند یافتن موضوعات موجود در یک مجموعه متون، ایجاد مدل های دنباله ای برای سیستم های پیشرفته تری مانند تشخیص مرجع ضمایر، یافتن جواب برای سوالات (Question Answering) مترجم ماشینی (Machine translation) و غیره را انجام میدهند. دقت کنید که این کتابخانه ها صرفا برای استفاده هستند و با اینکه قابلیت تغییر در خود کد را دارند اما توصیه نمی شود.
در نهایت کدهای سطح بالایی وجود دارند که در حال توسعه هستند و نمی توان به آن ها به عنوان کتابخانه نگاه کرد بلکه بیشتر برای توسعه دهندگان هستند.
Huggingface pytorch
Fairseq
Parlai
برای کسی که کار پژوهشی انجام میدهد این کتابخانه ها شروع مناسبی هستند. تقریبا تمام کتابخانه های بالا بر اساس pytorch هستند بنابراین یادگیری pytorch در NLP ضروری است.
(این لیست بروزرسانی می شود)

«چرا این فزودن و کاستن نور مقرر است و ستارگان دیگر را نیست؟ میان مردمان نگرستن و ناستادن این معنی‌ها را خلاف‌است، در روشنایی ستارگان که ایشان‌را روشنایی از خویشتن است» شماری از گام‌های ماه کتاب التَّفهیم (ابوریحان بیرونی)

دوستی انگلیسی زبان هنگام بازدید از یک موزه عکسی برام فرستاد شبیه به عکس بالا و گفت که خیلی جالبه! بعد متوجه شدم این که فارسی خودمان است ترجمه کردم و برایش فرستادم! خیلی تعجب کرده بود! چگونه می توانید متنی مربوط تقریبا هزار سال پیش را بخوانید در صورتیکه خواندن انگلیسی حتی دویست سال پیش تقریبا ناممکنه!‌ این شاید خیلی عادی بنظر برسد ولی از دیدگاهی هم بسیار اسرار آمیز و جالب است. فراموش نکنیم تعداد زبان هایی که این خاصیت را دارند بسیار بسیار اندک هستند!
و نکته جالب دیگر صد البته کتاب بسیار پر بار التفهیم بیرونی به فارسی کامل است که هنوز هم خواندنی ست!

هوش مصنوعی مرز افسانه و واقعیت را جابجا می کند!

اگر سریال «بازی تاج و تخت» (game of thrones) را دیده باشید قسمت هایی را باید بخاطر داشته باشید که آریا استارک نزد شخص مرموزی می رود که به مرد بی چهره معروف است. آریا سختی های زیادی را متحمل می شود تا بتواند یک شخص بدون چهره باشد. به این معنی که هر گاه بخواهد هر چهره ای را که دوست دارد انتخاب و به آن شکل در آید! کل این ماجرا هیجان انگیز است ولی حیف که فقط یک افسانه قشنگ برای رویا پردازی است..... یا شاید هم ممکن است!!


فناوری deep learning و style transfer امروزه این امکان را فراهم کرده است که شما ویدیو های افراد را بگیرید و چهره آن ها را با شخص دیگری با دقت بسیار بالا جایگزین کنید! در اینجا چارچوب نرم افزاری برای توسعه آن را می توانید ببینید و خودتان (اگر با پایتون و تنسرفلو آشنایی دارید)‌ امتحان کنید. اخیرا گروهی به اسم ctrl shift face یک ویدیوی بسیار جالب از قرار دادن تصویر چهره جیم کری به جای جک نیکلسون در فیلم پر آوازه درخشش (shining) منتشر کرده اند.
👇🏼👇🏼👇🏼

انتقال چهره جیم کری بر روی چهره جک نیکلسون در سکانسی در فیلم درخشش با استفاده از فناوری deep learning
ویدیو کامل
#deep_learning
#machine_learning
@matlabtips

مقایسه دو فایل در متلب👆🏻👆🏻👆🏻

🌕عدد تصادفی چیست؟(با کد متلب)🌕

برای همه ما پیش آمده است که با سوالاتی مانند پیدا کردن ادامه دنباله ای عددی مانند دنباله زیر روبرو شویم:

5,1,1,2,5,3,3,8,2,4,…

گاهی اوقات با تلاش زیاد می توانیم ادامه دنباله را حدس بزنیم و گاهی هم شکست میخوریم در آن لحظه ممکن است تصور کنیم که دنباله هیچ "الگوی" مشخصی ندارد و کاملا تصادفی است که ناگهان متوجه میشویم دوست باهوش تر ما ادامه دنباله را یافته است! نتیجه گیری منطقی و طبیعی که به ذهن می رسد این است که هیچ گاه نمی توان ادعا کرد که یک دنباله تصادفی است چرا که "شاید الگویی دارد که ما نمی دانیم" در مواردی این ممکن است به مغلطه توسل به جهل هم منجر شود! (فکر کنید چرا)
دنباله در لینک زیر

https://vrgl.ir/Zzi7c

🌕عدد تصادفی چیست؟ (قسمت ۲)(با کد متلب)🌕

ممکن است برای شما این سوال پیش آمده باشد که چرا ما اینقدر بر روی تولید اعداد تصادفی تاکید میکنیم و اصلا چه لزومی برای این کار وجود دارد. ساده ترین جواب این است که بسیاری از دوستان از اعداد تصادفی به طرق اشتباهی در برنامه هایشان استفاده می کنند و از آنجایی که روند ایجاد اعداد تصادفی چیزی نیست که به راحتی بتوان دیباگ کرد(به خاطر اینکه ما انتظار رفتار خاصی از یک دنباله تصادفی نداریم) یافتن منبع اشتباه در برنامه بسیار دشوار می شود. برای حل این مشکل متلب تابعی به نام rng قرار داده است که نوع تولید اعداد تصادفی را مشخص کرده و هر بار دانه اولیه را هم میگیرد.

https://vrgl.ir/QqpnK

مدل gpt2 بر روی دو میلیون خط کد روی گیت هاب آموزش داده شده و تبدیل به یک پلاگین بسیار قدرتمند برای کامل کردن کد شده است، این پلاگین از کامل کردن کدهایی که تاکنون دیده اید بسیار فراتر می رود.
لینک برای دانلود و استفاده
https://tabnine.com/blog/deep
#tabnine
#gpt2
#Deep_Learning

حذف شی از تصاویر و ویدیو

پست کامل به انگلیسی:
https://medium.com/syncedreview/magically-remove-moving-objects-from-video-dfc789fe092d

یک نظریه ریاضی از اینکه چرا افراد دچار توهم می شوند

https://www.quantamagazine.org/a-math-theory-for-why-people-hallucinate-20180730/

انتقال چهره کیانو ریوز (keanu reeves) بر روی چهره بروسلی در ویدیو معروف او توسط ctrl shift face به مدد فناوری GAN و یادگیری عمیق

(اگر دقت کنید تنها راه تشخیص جعلی بودن ویدیو بی روح بودن جهت حرکت چشم هاست که بازیگر را شبیه افراد نابینا میکند)

《شغالی
گَر
ماهِ بلند را دشنام گفت

پیرانِشان مگر
نجات از بیماری را
تجویزی اینچنین فرموده بودند》

به مناسبت سالروز مرگ شاملو مردی که هنوز هم شعرش «قیلوله ی دیو» ها را آشفته می کند،
مردی که «مردن» و «زیستن» را دوباره برای ما معنا کرد، عشق و شرافت را به ما آموخت تا تلاش کنیم «بی چرا زندگان» نباشیم.

🌕منشا خرافات کجاست؟ (قسمت ۱)🌕

هر کسی با دیدن عکس زیر شوکه می شود. چگونه ممکن است هنوز در قرن بیست و یکم نزدیک به دویست هزار نفر که به اینترنت دسترسی دارند و تقریبا بیشتر آن ها با سواد و حتی تحصیلات دانشگاهی دارند به خرافاتی مثل فال باور داشته باشند! اگرچه غم انگیز است اما اولا این پدیده تقریبا جهانی است و دوما این نشان بزرگی است از اینکه چقدر ما هنوز بر اساس غرایز و مغز پیشینی خود زندگی می کنیم.

باور به خرافات شاید طولانی ترین سابقه در حیات و فرگشت بشر داشته باشد. سوالاتی به ذهن می رسد که سعی میکنم برای آن ها پاسخ هایی بیابیم:

۱- اصلا چرا خرافات وجود دارند؟

۲- خرافات چگونه کار میکنند؟

۳- کارکرد فرگشتی خرافات چیست؟

۴- چرا باور به خرافات اینقدر ساده است؟

کلید حل بخش بزرگی از این معما در مغز ما نهفته است. مغز ما قدرتمندترین و پیچیده ترین ماشین محاسباتی جهان است اما این سیستمی نیست که «طراحی» شده باشد پس در همه جا نمی تواند دقیق ترین جواب ها را بیابد!

ادامه: https://vrgl.ir/x5iAY

⭐️تحلیل توضیحی داده ها (Exploratory data analysis) ⭐️

وقتی که یه مجموعه داده dataset در اختیار شما قرار می دهند ممکن است برای تحلیل آن سر در گم شوید. نمی دانید دقیقا بایداز کجا شروع کنید با این که حتی اطلاعاتی در مورد جزییات آن می دانید. مثلا ممکن است داده های شما در مورد افراد مریضی باشد که دارای اسم و شماره ملی و ساعت بستری مدت زمان بستری شدن و داروهایی که گرفته اند و زمان بیهوشی و غیره باشد. اما تحلیل توضیحی داده ها (Exploratory data analysis) که استخراج مهمترین ویژگی های داده هاست باید مهمترین قدم شما برای شناخت داده ها باشد.

بدون شناخت داده ها اجرای هر گونه الگوریتم یا داده کاوی یا خوراندن آن ها به شبکه های عصبی کار بسیار بسیار اشتباهی ست. این اشتباهی است که البته نه تنها تازه کارها بلکه حرفه ای ها هم دچار آن می شوند. بدون شناخت داده ها ممکن است شما هفته ها و ماهها به دنبال اطلاعات سطح بالایی باشید و هزاران الگوریتم مختلف از کتابخانه های مختلف را امتحان کنید ولی به هیچ نتیجه ای هم نرسید. دلیل آن هم واضح است شما تحلیل اولیه بر روی داده هایتان را انجام نداده اید. شما هیچ ایده ای ندارید که میزان بستری شدن بیمار چه همبستگی ای با زمان مرخصی بیمار دارد. شما حتی نمی دانید چند درصد از افراد در دیتا ستتان زن و چند درصد مرد هستند. ساعت های مراجع چه توزیعی دارند و خیلی سوالات دیگر که با دانستن آن ها تازه متوجه می شوید چه پیش پردازش هایی برای داده هایتان لازم بود در صورتی که تمام مدت شما فقط به صورت کور داده ها را به یک الگوریتم یادگیری می خوراندید.


ابزارهای زیادی برای تحلیل توضیحی داده ها وجود دارد. حتی Excel اگر درست از آن استفاده کنید اطلاعات زیادی به شما می دهد. اما جدای از ابزارهای سطح بالایی مثل excel ، orange یا rapid minder و غیره ابزارهای دیگری هم وجود دارند که در سطح کد هستند و بیشتر می توانید آن ها را وارد مراحل بعدی پردازش کنید. یکی از بهترین های آن ها pandas profiling است که فقط با دادن دیتا فریم داده ها در قالب یک فایل به فرمت های مختلف (مثلا اکسل یا csv) یک تحلیل کامل از بسیاری از جنبه های داده انجام می دهد که به هیچ وجه در نگاه اول واضح نیستند. اینجا می توانید روش نصب آن را ببینید و اینجا هم یک توضیح در مورد نحوه استفاده از آن.

یکی از ریپورت های کامل را هم می توانید از این لینک مشاهده کنید.

⭐️معرفی ابزار عمومی⭐️

اگر شما هم مثل من هر روز ساعات زیادی را پیشت کامپیوتر و در اینترنت سر می کنید یکی از راه های بسیار عالی برای کاهش خستگی و درد چشم استفاده از افزونه زیر است که می توانید با آن کل تم مرورگر خودتون رو تاریک کنید. این افزونه تقریبا برای همه سایت ها عالی عمل میکنه. همچنین می تونید میزان روشنایی، کنتراست و sepia نور رو کنترل کنید. قابل نصب بر روی گوگل کروم، فایرفاکس و سافاری

https://darkreader.org/

🌕منشا خرافات کجاست؟ (قسمت ۲)🌕

اما چرا این اتفاق می افتد؟ چرا ما به راحتی به خرافه باور پیدا میکنیم؟ دانیل کاهنمن یکی از بزرگترین روانشناسان عصر ماست که در کتاب thinking fast and slow به ساختار ذهن و شواهد زیادی در مورد نحوه درک جهان توسط مغز توجه کرده است.
به دو کلمه زیر توجه کنید:
موز استفراغ
خیلی اتفاقات همین الان اتفاق افتاد! شما خاطرات و تصاویر ناخوشآیندی را به خاطر آوردید. صورتتان قدری در هم رفت. حتی ممکن است خودتان را قدری عقب کشیدید. ضربان قلبتان افزایش پیدا کرد موهایتان کمی سیخ شد و تمام این اتفاقات بلافاصله و اتوماتیک رخ دادند. بدون اینکه حتی شما روی آن کنترلی داشته باشید! (اگر فکر میکنید اغراق میکنم به خودتان زمانی که با یک دختر (پسر) جذاب روبرو می شوید دقت کنید)

هنگامی که شما چهره غمگین دوستتان را میبینید سریع متوجه میشوید که اتفاق بدی برایش رخ داده است. ما اینقدر این کار را سریع و خودکار انجام می دهیم که حتی به آن فکر هم نمیکنیم. در واقع این اتفاق در مغز ما مثل یک جریان روان و ساده رخ می دهد. از طرفی وقتی از ما بخواهند دو عدد دو رقمی را جمع کنیم نمی توانیم بلافاصله جواب بدهیم. نیاز به تمرکز و قدری کار داریم. این فرآیند ذهنی، اتوماتیک اتفاق نمی افتد. دقت کنید تشخیص چهره غمگین از لحاظ محاسباتی بسیار سنگین تر از جمع کردن دو عدد دو رقمی است! اما مغز ما به طرز شگفت انگیزی کار اول را بدون هیچ زحمتی و در یک لحظه انجام می دهد اما برای دومی که به مراتب ساده تر است به حداقل چند ثانیه نیاز دارد!! چگونه می توان چنین چیزی را توضیح داد؟

کاهنمن می گوید ذهن انسان در مواجهه با جهان خارج و درک روابط و رویدادها به دو روش کلی متوسل می شود. روش اول که آن را سیستم یک می نامند پاسخ ها و درکهای بسیار سریع بر اساس شهود ها و بعضا بر اساس احتمالات پیشینی مغز است که دارای بایاس ها و پیش داوری های زیادی است. مغز انسان حاوی میلیون ها راه میانبر برای درک دنیای اطراف است که ما حتی از آن ها آگاه نیستیم. ویژگی های سیستم یک این است که:
۱- به دنبال یافتن روابط علت و معلولی ساده برای درک جهان است: مثلا آخرین باری که لباس زردم رو پوشیدم تیم مورد علاقم برد پس لباس زردم علت برد بود.
۲- بر اساس سوگیری تاییدی (confirmation bias) کار می کند. وقتی شما به یک خرافه فکر میکنید یا کسی برای شما آن را تعریف می کند مثال های موفقیت آمیز آن را به خاطر می آورد نه موارد شکست را. در مثال کبوتر ها رابطه ی علی ای که کبوتر با مثلا چرخاندن سرش و گرفتن دانه ساخته بود. باعث می شد هر بار که دانه به صورت تصادفی به او برسد آن را شاهدی بر رابطه علی بین چرخاندن سر و گرفتن دانه بگیرد در حالی که تمام مواردی که این چرخاندن سر منجر به گرفتن دانه نشده بود را به صورت عمدی (ناخودآگاه) به خاطر نمی آورد. متاسفانه مغز ما در تغییر در فرضیه ها در حضور مثال های نقض خوب عمل نمی کند.

مغز ما همچنین مجهز به قسمتی است که سیستم ۲ شناخته می شود. سیستم ۲ کند است. اما منطقی تصمیم می گیرد و فرضیات مختلف را در نظر می گیرد. سیستم ۲ زمانی فعال می شود که ما به صورت خود آگاه از آن استفاده می کنیم. مثلا زمانی که یه ضرب سه رقم در سه رقم انجام می دهیم یا تعداد کلمات یک جمله را بشماریم. این کار را نمی توان به سرعت تشخیص حالت چهره دوستتان انجام دهید. اما اشتباه در آن بسیار کمتر رخ می دهد. این بخش از مغز از شهود برای حل مسایل استفاده نمی کند بلکه از روش های قدم به قدم و کندی استفاده می کند که مغز ما برای آن مدارهای خاصی تدارک ندیده است. سیستم دو را ما یاد میگیرم اما مغز ما برای سیستم یک به صورت پیش فرض سیم بندی شده است.

ویژگی های خاص سیستم یک باعث می شود که مغز ما بشدت برای باور به خرافات مستعد باشد. به عبارتی میانبر های ذهنی ما یک تیغ دو لبه هستند که ما اگرچه از آنها سود میبریم اما ما را به باور به خرافات هم تشویق می کنند. اما نکته خاصی در مورد این میانبر های ذهنی که سیستم یک بر اساس آنها کار میکند وجود دارد. سیستم یک متشکل از مجموعه ای قدرتمند از پیشرفته ترین ماجولهای شناختی ماست. آن ها بسیار سریع کار میکنند و در یافتن الگوها بسیار استاد هستند. آن ها اینقدر در یافتن الگوها خوب عمل میکنند که گاهی زیاده روی میکنند و شروع به یافتن الگوهای نادرست میکنند. به عبارتی مغز ما نمی تواند تصادف را به خوبی تشخیص دهد!‌ از دید مغز چیزی تصادفی رخ نمی دهد! و این سر آغاز مشکلات است.

https://vrgl.ir/BrbT0