#openai #flops

دیروز OpenAI پستی وبلاگی درباره هزینه محاسباتی تعدادی از شبکه‌ها از سال 2012 در سایتش منتشر کرد. از سال 2012 که با AlexNet شروع میشه و تا حدود 2020 ادامه داره.

اگر دقت AlexNet رو روی ImageNet معیار پایه بذاریم. هر 16 ماه، شبکه‌ای با همون دقت AlexNet پیشنهاد شده که هزینه محاسباتش نصف شبکه AlexNet هست.

حالا در طول این 7 8 سال گذشته، محاسبات موردنیاز 44بار کمتر شده!


به تصویر پیوست نگاه کنید؛ هم نمودار و هم جدولش اطلاعات جالبی ارائه میده. به ستون Compute در جدول نگاه کنید که چقدر هزینه محاسبات برحسب TeraFlops کاهش پیدا کرده...

لینک پست بالا

@pytorch_howsam