#paper #ICLR2020 #ofa

یک مقاله جالب و البته بسیار مهم از محققین دانشگاه MIT در ICLR2020

دغدغه اصلی در این مقاله، کاهش میزان تولید CO2 حین آموزش شبکه‌های عمیق مثل NASNet هست. به نمودار موجود در پایین تصویر دقت کنید؛ میزان انتشار CO2 انسان، ماشین و NASNet رو باهم مقایسه کنید! حالا به OFA که شبکه پیشنهادی در این مقاله هست دقت کنید.

در این مقاله، شبکه‌ای به‌نام Once For All یا همون OFA طراحی شده که یک شبکه منعطف با قابلیت استفاده در انواع دیوایس‌هاست. طبیعتا برای کاربردها و دیوایس‌های مختلف به شبکه‌های مختلف نیاز داریم. حالا در این مقاله، روش پیشنهادی اینه که بجای سرچ شبکه‌های با سایز مختلف و آموزش چندین و چندباره هرکدومشون، فقط با یک بار آموزش شبکه‌هایی بسازیم که همشون دقت خوبی داشته باشن. یعنی در این شبکه، فرآیند جستجو و آموزش شبکه به‌صورت همزمان انجام میشه.

در واقع ما در آموزش دنبال وزن‌هایی هستیم که همزمان برای مثلا سه شبکه با معماری متفاوت روی دیوایس‌های مختلف (به تصویر دقت کنید) جواب خوبی بده... تمرکز اصلی ایده در این مقاله، بخش تابع اتلاف هست.

مقاله

کد پایتورچ

@pytorch_howsam

#ICLR2020

هفته پیش کنفرانس ICLR به‌صورت مجازی برگزار شد. پلتفرمی که برای برگزاری جلسات طراحی شده بود، ساده و جذاب بود. به‌نظر میرسه، بازخوردها هم نسبت به این نحوه برگزاری خوب بوده...

همه ویدئوهای ارائه در لینک زیر در دسترس هستن. هر ویدئو حداکثر 5 دقیقه هست. زمان زیادی نیست و میشه مقاله‌های جالب رو نگاه کرد.

هر مقاله‌ای رو که انتخاب کنید، همزمان ویدئوی فرد ارائه‌دهنده و اسلایدها رو نشون میده. علاوه‌براین، لینک مقاله، مقاله‌های مشابه و کدها (اگر کدهاش منتشر شده باشه) رو هم نشون میده.

علاوه‌بر کنفرانس‌ها، ویدئوهای بخش ورکشاپ هم در دسترس هست.

https://iclr.cc/virtual_2020/papers.html?filter=keywords

@pytorch_howsam

#ICLR2020

سایت Analytics Vidhya که سایت خوبیه و قبلا هم ازش پست معرفی کردیم، به بررسی کنفرانس ICLR2020 پرداخته. نکات زیادی گفته، ما خلاصه‌شو اینجا میگیم:

اول اینکه، اشاره کرده به سبک کنفرانس مجازی که خیلی‌ها خوششون اومده. اونقدر طراحی سایت جالب و خوب بوده که افراد سرشناسی مانند Andrew Ng هم تشکر کردن و خوششون اومده...

دوم، حضور اسپانسرهای قدرتمند مثل گوگل، فیسبوک، آمازون، اپل، مایکروسافت و غیره

سوم، موضوع داغ یا hot topic در این دوره Deep Learning بوده. خب طبیعیه

چهارم، میزان استفاده از پایتورچ، تنسورفلو و کراس بوده... 237 مقاله که کد منتشر کردن رو بررسی کردن که پایتورچ حدود 65%، تنسورفلو حدود 38% و کراس هم 9.7% بودن. پایتورچ: 😎

پنجم، میزان استفاده از فریمورک‌های مختلف هست. به تصویر پیوستی نگاه کنید. نامپای اول، پایتورچ دوم، تنسورفلو پنجم... طبیعتا خیلی‌ها که از پایتورچ یا تنسورفلو استفاده میکنن، بازهم به نامپای نیاز دارن.

ششم، سایت openreview. شما در سایت openreview می‌تونید نظر محقق‌ها رو درباره مقاله‌ها بخونید. این مساله شفافیت در داوری مقالات رو بالا میبره.

لینک مرجع اطلاعات بالا

@pytorch_howsam