Machine Learning NLP + CV
286 subscribers
223 photos
53 videos
42 files
474 links
مطالب مفید در حوزه های یادگیری ماشین و بینایی کامپیوتر
Download Telegram
Forwarded from NLP stuff
آنچه بنجیو در خشت خام می‌بیند

یاشوا بنجیو که (انصافا) یکی از پدرهای هوش مصنوعی و دیپ لرنینگ است، از یکی دو سال پیش به تدریج در تاک‌های مختلف (مثلا اینجا و اینجا و اینجا و اینجا) ایده‌های خود برای پیشرفت‌ آینده هوش مصنوعی را شرح داده است. ایده‌های او بر بناکردن inductive biasهای جدیدی (به طور خیلی خلاصه و مفید inductive bias همان فرضیاتی که یک الگوریتم یادگیری قبل از حل مساله در مورد آن در نظر می‌گیرد و راه حلش روی آن فرض بنا شده است، برای مثال وقتی ما فرض می‌کنیم که معنای یک تیکه از تصویر می‌تواند از تیکه‌های مجاورش دریافت شود این فرض ما منجر به بناشدن شبکه‌های cnnای می‌شود) برای دیپ لرنینگ حول کلیدواژه مهم out of distribution generalization (
تا الان بدین شکل بوده که مدل ما یک توزیع از داده‌های آموزشی در می‌آورده و نهایتا با کمی تغییر دنبال این توزیع در داده‌های تست بوده است. اما شیخ ما اعتقاد دارد بایستی از این به بعد تغییرات گسترده در داده‌های تست نسبت به توزیع داده‌های آموزش را هم بتواند تحمل کند. مثلا باید یادگرفتن را یادبگیرد تا اگر توزیع محیطش تغییری هم کرد بتواند خودش را با آن وفق دهد!) بنا شده است.
به طور مختصر و مفید؛ پیر ما معتقد است که تسک‌هایی را که مغز انسان انجام می‌دهد می‌توان به دسته سیستم ۱ و سیستم ۲ تقسیم ‌بندی کرد. تسک‌های سیستم ۱ مسائلی هستند که به صورت ناخودآگاه و البته سریع و بدون نیاز به تفکر قابل انجام توسط مغز هستند مثلا تشخیص خر از پنگوئن، تشخیص ناسزا از غیرناسزا و ... ، حال ان که تسک‌های سیستم ۲ بایستی با توجه و برنامه‌ریزی و البته آگاهانه انجام شوند مثلا رانندگی کردن.
بنجیو می‌گوید که توانایی فعلی دیپ لرنینگ در انجام دادن تسک‌های سیستم ۱ است و در سیستم ۲ توفیقی هنوز ندارد. در ادامه بنجیو پیشنهاد می‌دهد که آینده هوش مصنوعی درگیر با انجام تسک‌های سیستم ۲ و همچنین همان کلیدواژه out of distribution generalization خواهد بود.

بر اساس همین ایده اولیه، بنجیو تعدادی ایده برای الهام‌گیری و شکستن بن‌بست فعلی پیشرفت دیپ لرنینگ پیشنهاد می‌کند که از آن‌ها می‌توان به بررسی مسائل multi agent، خلق شبکه‌های عصبی با ویژگی ماژولاریزیشن نظیر RIMها، دیدن مسائل از زاویه گراف‌های علی (causal) متغیر‌ها، متالرنینگ و ... اشاره کرد.

لینک مقاله‌‌اش:

https://arxiv.org/pdf/2011.15091.pdf

پ.ن. لطفا کانال را به کسایی که هوش مصنوعی دوست دارند، معرفی کنید! ممنون.

#paper
#read

@nlp_stuff
The Hateful Memes Challenge: Detecting Hate Speech in Multimodal Memes
https://arxiv.org/abs/2005.04790
@ml_nlp_cv
Forwarded from Modern Cogitation (ʀᴏкɪγα)
This media is not supported in your browser
VIEW IN TELEGRAM
شبیه سازی پرواز دسته جمعی پرندگان به کمک مکانیزم محرک اوریگامی
https://t.iss.one/modern_cogitation
THE GRAMMARLY KEYBOARD
Write mistake-free emails, texts, and posts in all your apps.

Grammarly’s AI-powered keyboard
ensures your emails, LinkedIn
messages, and Facebook posts
are clear and mistake-free.400
https://www.grammarly.com/keyboard

Download for Android
Download for iOS

@ml_nlp_cv
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

توضیح مقاله: در عنوان مقاله ذکر شده که تعداد پارامترهای ترسفورمر به یک تریلیون افزایش یافته است (تعداد پارامترهای مدل #GPT_3، صدوهفتاد و پنج بیلیون بود!)
سوالی که در اینجا پیش می آید این است که آیا واقعا تعداد پارامترها، در مقایسه با ترنسفورمرهای قبلی به این نسبت (تقریبا ۵.۵ برابر) افزایش پیدا کرده است؟!
بله، ولی اینجا به روش متفاوتی از پارامترها استفاده میشه. یک روش sparse (در عنوان مقاله هم کلمه sparsity قید شده)

در این کار از یک معماری به اسم Switch-Tramsformers استفاده کرده اند. معماری که بر اساس MoE عمل میکنه‌ (خود MoE یا Mixture of Experts هم مفهوم با ارزشی است که اخیرا داره مطرح میشه)
لایه فیدفوروارد شبکه به این expert ها تقسیم بندی میشه و سوئیچ-ترنسفورمر، هر توکِن رو فقط به یک اکسپرت route میکنه (اسپارسیتی یا تُنُک بودن اینجا هست)
روشهای قبلی مبتنی بر MoE ادعا میکردند برای اینکه یک سیگنال آموزشی باثبات داشته باشیم حداقل به دو تا expert نیاز داریم. اما معماری ترسفورمری که اینجا ارائه شده این تعداد را به یک عدد کاهش داده است.
نتیجه: امکان scaling اکسپرت ها، و در واقع امکان افزایش تعداد پارامترهای مدل، اون هم بدون اینکه مدل مجبور به محاسبات بیشتری باشد، فراهم شده است (این فرض و مفهومی خیلی مهم و باارزش محسوب می شود)
به همین دلیل در ابتدا عرض شد که تعداد یک تریلیون پارامتر عنوان شده در این مقاله، لزوما قابل قیاس با ۱۷۵ بیلیون پارامتر مدل GPT-3 نمیباشد!
راهکارهایی که در این مقاله برای با ثبات کردن آموزش ارائه شده:
• Selective Dropout
• Selective Casting of Parameters to Defferent Precisions
• Better initializiong

اینم لینک این مقاله جالب و نسبتا طولانی، تقدیم به شما:

https://arxiv.org/abs/2101.03961

@ml_nlp_cv
Forwarded from NLP stuff
سایت paperswithcode (که توصیه می‌کنیم توی این سایت بخوابید) اومده مقاله‌های قبول شده‌ی ICLR 2021 را به همراه کدشون گذاشته و می‌تونید با استفاده از تسک و نویسنده و keyword فیلتر کنید.

https://paperswithcode.com/conference/iclr-2021-1

#link

@nlp_stuff
This media is not supported in your browser
VIEW IN TELEGRAM
روش جدید ارائه شده توسط جورجیاتک و مرکز هوش مصنوعی فیس بوک، برای فشرده سازی مدل های توصیه گر عمیق که منجر به کاهش قابل توجه میزان مصرف حافظه و استفاده از آنها در مقیاس بزرگ تر می شود. نوآوری کلیدی این روش جایگزینی جداول تعبیه سازی بزرگ DLRM با دنباله ای از ضرب های ماتریسی با استفاده از روش تجزیه tensor train میباشد.

TTc-Rec: Tensor Train Compression for Deep Learning Recommendation Models.  paper, Github and blog post.

@ml_nlp_cv
Forwarded from PyTorch Howsam
و این گوگل کولب دوست داشتنی!

کولب امکانی رو اضافه کرده که بعد از اینکه اجرا تموم شد، به شما نوتیف میده! مناسب برای زمانی که اجرا گذاشتید و مشغول کار دیگری هستید.

نحوه فعال‌سازی:
Tools -> Settings -> Site -> Show desktop notif...

@pytorch_howsam
Forwarded from آرمان بهنام (آرمان بهنام)
This media is not supported in your browser
VIEW IN TELEGRAM
#کرونا #شهر_هوشمند #اینترنت_اشیا
دستگیره درب هوشمند

🖌این دستگیره خودش را ضدعفونی می‌کند.
________
📚@BigDataServe
Forwarded from PyTorch Howsam
This media is not supported in your browser
VIEW IN TELEGRAM
CharacterGAN

تولید کاراکتر همراه با انیمیشن با استفاده از GAN

مقاله‌ای که طی روزهای اخیر ترند شده و موردتوجه قرار گرفته. کار قشنگیه...

مقاله | کد پایتورچ

@pytorch_howsam
Forwarded from PyTorch Howsam
Deep-Learning-with-PyTorch.pdf
44.7 MB
یک کتاب خوب برای پایتورچ
Forwarded from NLP stuff
This media is not supported in your browser
VIEW IN TELEGRAM
توضیح خلاصه‌ی ViT

در چند روز اخیر سیلی عظیمی از مدل‌های ترنسفورمری برای vision به راه افتاده‌اند. اگر هنوز مقاله An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale را نخوندید و حوصله خوندن پیپرش را هم هنوز ندارید، ده دقیقه این پست را مشاهده کنید تا بفهمید چه خبره و از قافله بعدی عقب نمونید.

https://theaisummer.com/vision-transformer/

پ.ن. قبلا این مقاله را در این پست (https://t.iss.one/nlp_stuff/82) معرفی کرده بودیم.
#read
#blog

@nlp_stuff
پیدا کردن دیتاست برای پروژه یادگیری ماشین

@ml_nlp_cv
اهمیت زمان برای بچه‌های هوش مصنوعی😜
#Fun
@ml_nlp_cv
Media is too big
VIEW IN TELEGRAM
پنجم اسفندماه هر سال به مناسبت بزرگداشت خواجه نصیرالدین طوسی، روز مهندس نامیده میشود.
خواجه نصیر از بزرگترین دانشمندان قرون وسطی است. تصویر مربوط به "زوج طوسی" است که خواجه توسط آن حرکات سیارات را توصیف کرد.
فیلم در مورد نقش طوسی در کشفیات کوپرنیک درباره حرکت اجسام سماوی است.
https://www.dailymotion.com/video/x6t81rn

اصل توصیف "زوج طوسی" را در کتاب "تحریر المجسطی" در زیر بخوانید.

'اذا كانت هناك دائرتان متحدتا المستوى، قطر الاولى يساوي نصف قطر الاخرى،وتكون متلامستان من الداخل بنقطة،وأخذت نقطة معينة من الدائرة الصغرى-ولتكن نقطة التماس مع الدائرة الكبرى-،الان لو تحركت الدائرتين حركة بسيطة وباتجاهين متعاكسين بحيث تكون سرعة الصغرى ضعف سرعة الكبرى بحيث تكمل الصغرى دورتين عندما تكمل الكبرى دورة واحدة، أذن سوف نرى ان النقطة سوف تتحرك على قطر الدائرة الكبرى والتي مرت في البداية من نقطة التماس، متذبذبة بين الطرفين"

#روز_مهندس_مبارک
#نوابغ_علم

در کانال اخلاق نشر و منابع علمی در تلگرام عضو شوید

https://t.iss.one/pubethicsmums/936