🎞 یادگیری انتقالی و پیاده سازی VGGNet با کراس

توی این ویدئو تاریخچه، ساختار و معماری VGG رو بررسی می‌کنیم و با کمک Keras‌ در پایتون یک پردازش تصویر ساده انجام می‌دیم تا با مفهوم Pre-trained Models و یادگیری انتقالی (Transfer Learnign) آشنا شیم.

👉📎 https://youtu.be/_XgI5jCrmWs

🟢لینک کانال یوتیوب:

👉📎 https://youtube.com/@RezaShokrzad

#YouTube
#Deep_Learning

@DSLanders | دی‌اس‌لندرز

👨‍🎓 معماری Inception

معماری Inception در مقاله‌ای با عنوان Going Deeper with Convolutions معرفی شد و توسط تیمی در Google توسعه پیدا کرده. این معماری با هدف کاهش پارامترها بدون کم کردن از عمق و عرض شبکه طراحی شد تا از بیش‌برازش جلوگیری کنه و کارایی مدل رو بهبود بده.

🔵 مؤلفه‌های اصلی Inception

🔵ماژول‌های Inception: هر ماژول شامل چند فیلتر کانولوشنی با ابعاد مختلف و یک لایه max-pooling هست که به صورت موازی قرار گرفتن. این ترکیب اجازه می‌ده تا شبکه از مقیاس‌های مختلف ویژگی‌ها برای بهبود دقت استفاده کنه.

🔵استفاده از فیلترهای 1x1: این فیلترها به عنوان کاهش‌دهنده‌ی بعد عمل می‌کنن و باعث کاهش پیچیدگی محاسباتی میشن.

🔵جلوگیری از بیش‌برازش: با استفاده از تکنیک‌هایی مثل Dropout و نرمال‌سازی لایه‌ها، این معماری از بیش‌برازش جلوگیری می‌کنه.

🔵 نسخه‌های مختلف Inception

🔵Inception v1 (GoogLeNet)
معرفی مفهوم شبکه‌های عمیق و عریض بدون افزایش تعداد پارامترها.

🔵Inception v2 و v3
بهبودهایی در نرمال‌سازی لایه‌ها و فاکتوریزاسیون کانولوشن‌ها برای کاهش پارامترها و افزایش سرعت.

🔵Inception v4 و Inception-ResNet
ترکیب ویژگی‌های ResNet و Inception برای بهبود همگرایی و کاهش خطای آموزش.

🔵اندازه ورودی: Input Size در این معماری برابر 299x299x3 هست.

🔵اندازه خروجی: Output size در این معماری برابر 8x8x2048 هست.

🔵در لایه‌های نهایی شبکه Inception، یک لایه Global Average Pooling برای کاهش ابعاد ویژگی‌ها به یک بردار یک‌بعدی استفاده می‌شه. بعد این بردار می‌تونه برای تصمیم‌گیری نهایی به یک یا چند لایه کاملاً متصل داده شه.

#Deep_Learning

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

🧑‍🎓 با شبکه عصبی گوگل‌نت و ساختارش آشنا شین

شبکه عصبی گوگل‌نت (GoogleNet) یه شبکه عصبی کانولوشنی عمیق، با ۲۲ لایه‌ست. این شبکه عصبی جزو برندگان رقابت ILSVRC در سال ۲۰۱۴ هست که توسط محققان گوگل طراحی شده.

🟢برای مطالعه بیشتر کلیک کنین:

👉📎 https://ctdrs.ir/ds0022

#Deep_Learning

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 معماری ResNet

یکی از محبوب‌ترین معماری‌ها در حوزه یادگیری عمیق، ResNet یا شبکه باقی‌مانده (Residual Network) هست. این معماری برای اولین بار در سال 2015 توسط محققان مایکروسافت تحقیق و توسعه پیدا کرد.

🔵 مفهوم اتصال باقی‌مانده

در یک شبکه عمیق سنتی، هر لایه وظیفه داره که نمایشی از داده‌های ورودی‌اش رو یاد بگیره و در شبکه‌های بسیار عمیق، این کار منجر به مشکلاتی مثل محو شدگی گرادیان میشه. ResNet با ارائه اتصالات باقی‌مانده (Residual Connections) این مشکل رو حل کرده. این اتصالات امکان می‌دن تا خروجی یک یا چند لایه به طور مستقیم به لایه‌های بعدی اضافه شه، که در نتیجه به گرادیان‌ها اجازه داده میشه که به راحتی در طول شبکه جریان پیدا کنن.

🔵 مفهوم اتصالات کوتاه

اتصالات کوتاه یا (Skip Connections) به اطلاعات اجازه می‌دن که بدون هیچ گونه تغییری از یک لایه به لایه‌های بعدی منتقل شن. در نتیجه همچنان سیگنال‌های قوی و کارآمد در عمق‌های زیاد شبکه حفظ میشن.

🔵 ساختار

🔵واحدهای باقیمانده (Residual Units): هر واحد باقیمانده شامل چند لایه است (معمولاً دو یا سه لایه) که داده‌ها از طریق آنها عبور می‌کنن و در نهایت، خروجی این لایه‌ها به ورودی اولیه واحد اضافه می‌شه.

🔵نرمال‌سازی دسته‌ای (Batch Normalization): در ResNet، بعد از هر لایه Convolution و قبل از تابع فعال‌ساز، یک لایه نرمال‌سازی قرار داره که به استانداردسازی ورودی‌ها کمک می‌کنه.

🔵 تعداد پارامترها

تعداد پارامترها در ResNet بستگی به عمق شبکه داره. به عنوان مثال، ResNet-50 حدود 25 میلیون پارامتر دارد، در حالی که ResNet-152 تقریباً سه برابر بیشتر پارامتر دارد.

🔵 تفاوت‌های ResNet-50، ResNet-101، و ResNet-152

این شماره‌ها نشون‌دهنده تعداد لایه‌های شبکه هستن. ResNet-50 شامل 50 لایه، ResNet-101 شامل 101 لایه، و ResNet-152 شامل 152 لایه‌ست. هر چقدر تعداد لایه‌ها بیشتر باشه، شبکه می‌تونه ویژگی‌های پیچیده‌تری رو یاد بگیره، اما در عین حال، نیاز به محاسبات بیشتر و خطر برازش بیش از حد (Overfitting) هم افزایش پیدا می‌کنه.

#Deep_Learning

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

🎞 مقاله شبکه عصبی رزنت | ResNet 2015

در ادامه پلی‌لیست بررسی مقاله‌های ماشین لرنینگ، به بررسی مقاله نتورک رزنت پرداختیم که هم از نظر نگارش مقاله جالبیه و هم از نظر محتوا و ایده مهمه، تا اونجا که بسیاری از ایده های مطرح شده در این مقاله در مدل‌های امروزی استفاده میشن.

👉📎 https://youtu.be/PYUVw87YNMQ

#YouTube

@DSLanders | دی‌اس‌لندرز

⏰ پست‌های هفته‌ای که گذشت رو این‌جا پیدا کنین!

🔺 آموزشی

🔵معماری LeNet
👉🔗 https://t.iss.one/data_ml/370

🔵رقابت ILSVRC
👉🔗 https://t.iss.one/data_ml/373

🔵معماری AlexNet
👉🔗 https://t.iss.one/data_ml/376

🔵معماری VGG
👉🔗 https://t.iss.one/data_ml/380

🔵معماری Inception
👉🔗 https://t.iss.one/data_ml/384

🔵معماری ResNet
👉🔗 https://t.iss.one/data_ml/387

🔺 کوئیز

🔵کوییز شماره ۱۰۳: معماری LeNet-5
👉🔗 https://t.iss.one/data_ml/371

🔵کوییز شماره ۱۰۴: اولین استفاده از ReLU و چند GPU در یک معماری
👉🔗 https://t.iss.one/data_ml/374

🔵کوییز شماره ۱۰۵: اندازه تصویر ورودی در AlexNet
👉🔗 https://t.iss.one/data_ml/378

🔵کوییز شماره ۱۰۶: نرخ یادگیری در fine-tuning
👉🔗 https://t.iss.one/data_ml/382

🔵کوییز شماره ۱۰۷: معماری Inception و رأی اکثریت
👉🔗 https://t.iss.one/data_ml/385

🔵کوییز شماره ۱۰۸: معماری ResNeXt
👉🔗 https://t.iss.one/data_ml/388

🔺 نکته

🔵بلاگ معماری LeNet-5
👉🔗 https://t.iss.one/data_ml/372

🔵بلاگ رقابت سالانه ILSVRC
👉🔗 https://t.iss.one/data_ml/375

🔵ویدئو مقاله شبکه عصبی الکس‌نت
👉🔗 https://t.iss.one/data_ml/379

🔵یادگیری انتقالی و پیاده سازی VGGNet
👉🔗 https://t.iss.one/data_ml/383

🔵بلاگ گوگل‌نت
👉🔗 https://t.iss.one/data_ml/386

🔵ویدئو مقاله شبکه عصبی رزنت
👉🔗 https://t.iss.one/data_ml/389

#Weekend
#Deep_Learning

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👩‍🎓 برنامه آموزشی هفته: آشنایی با معماری‌های معروف شبکه‌های عصبی

🟠شنبه: معماری Densenet

🔵یک‌شنبه: معماری Squeeznet

🟢دوشنبه: معماری MobileNet

🔴سه‌شنبه: آشنایی با Keras

🟠چهارشنبه: آشنایی با Pytorch

🔵پنج‌شنبه: بررسی نکات تکمیلی

🟢جمعه: جمع بندی

#Deep_Learning

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 معماری Densenet

معماری Densenet که مخفف Dense Convolutional Network هست، یک معماری شبکه عمیقه که با هدف بهبود جریان اطلاعات و گرادیان‌ها در شبکه‌های عمیق طراحی شده. مهم‌ترین ویژگی Densenet اتصالات گسترده‌ایه که بین لایه‌ها برقرار می‌کنه، به طوری که هر لایه به طور مستقیم به تمامی لایه‌های قبلیش متصله.

🔵 ساختار Densenet

معماری Densenet از بلوک‌های چگال (Dense Blocks) و لایه‌های انتقال (Transition Layers) تشکیل شده. در هر بلوک چگال، خروجی هر لایه به تمامی لایه‌های بعدی ارسال می‌شه، که در نتیجه باعث می‌شه تا اطلاعات و گرادیان‌ها به طور موثرتری در شبکه جریان پیدا کنن. لایه‌های انتقال بین بلوک‌های چگال قرار دارن و وظیفه کاهش ابعاد ویژگی‌ها رو دارن.

🔵 مزایای Densenet

🔵کاهش مشکل محوشدگی گرادیان (Vanishing Gradient): به دلیل اتصالات مستقیم بین لایه‌ها، گرادیان‌ها به راحتی در شبکه جریان دارن.

🔵بهبود بازیابی ویژگی‌ها: چون ویژگی‌ها در هر لایه با ویژگی‌های حاصل از لایه‌های قبلی ترکیب می‌شن، شبکه توانایی بهبود بازیابی ویژگی‌ها رو داره.

🔵کارایی محاسباتی: چون Densenet از ویژگی‌ها به صورت موثر استفاده می‌کنه، نیاز به منابع محاسباتی کمتری در مقایسه با سایر معماری‌های مشابه داره.

🔵 کاربردهای Densenet

معماری Densenet در بسیاری از زمینه‌های پیشرفته یادگیری عمیق مثل تشخیص تصویر، پزشکی و تحلیل تصویر ماهواره‌ای به کار رفته. به علت قابلیت‌های منحصر به فردش در حفظ اطلاعات و کارایی محاسباتی، در مواردی که نیاز به تحلیل دقیق تصاویر وجود داره، بسیار مفیده.

🔵 نتیجه‌گیری

معماری Densenet یکی از معماری‌های مهم در حوزه یادگیری عمیقه که با ارائه راهکارهای نوآورانه برای بهبود جریان اطلاعات و گرادیان‌ها، قابلیت‌های قابل توجهی را در پردازش داده‌ها ارائه می‌ده.

#Deep_Learning

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

📝 آشنایی با DenseNets-B و DenseNets-BC

نسخه‌های DenseNets-B و DenseNets-BC دو تکامل در معماری DenseNet هستن که با هدف بهبود کارایی محاسباتی طراحی شدن:

🔵DenseNets-B
از لایه‌های Bottleneck استفاده می‌کنه که با کانولوشن‌های 1x1 قبل از کانولوشن‌های 3x3 کار می‌کنن تا اندازه نقشه‌های ویژگی رو کاهش و کارایی محاسباتی رو افزایش بدن.

🔵DenseNets-BC:
یک مرحله پیشرفته‌تر DenseNets-B هست که فاکتور فشرده‌سازی (theta) رو معرفی می‌کنه تا تعداد نقشه‌های ویژگی خروجی رو کاهش بده. با تنظیم theta در بازه [0-1]، میشه کارایی شبکه رو با کاهش ابعاد خروجی تنظیم کرد.

این تغییرات با هدف افزایش کارایی و کاهش نیازهای محاسباتی در پردازش تصاویر، به‌ویژه در دیتاست‌های بزرگ مثل ImageNet، طراحی شدن.

#Deep_Learning

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 معماری Squeeznet

معماری SqueezeNet یک شبکه عصبی کانولوشنی (CNN) هست که برای اولین بار در سال 2016 معرفی شد. این معماری با هدف ارائه دقت مشابه با AlexNet با ۵۰ برابر پارامتر کمتر طراحی شده بود.

یکی از ویژگی‌های کلیدی SqueezeNet اینکه با کاهش تعداد پارامترها، فضای ذخیره‌سازی کمتری اشغال می‌کنه و سریع‌تر میشه روی دستگاه‌های دارای منابع محدود اجراش کرد.

🔵 ساختار اصلی SqueezeNet

معماری SqueezeNet بر اساس سه اصل اساسی طراحی شده:

🔵جایگزینی فیلترهای 3x3 با 1x1: فیلترهای 1x1 تعداد پارامترها و محاسبات را به طور قابل توجهی کاهش می‌دهند.

🔵کاهش تعداد کانال‌ها قبل از فیلترهای 3x3: با این کار محاسبات مربوط به فیلترهای بزرگتر کاهش پیدا می‌کنه.

🔵استفاده مؤثر از اتصالات غیر مستقیم: این رویکرد به حفظ اطلاعات مفید از لایه‌های قبلی کمک می‌کنه.

🔵 ماژول‌های Fire

واحد اصلی در SqueezeNet ماژول Fire هست. هر ماژول Fire از دو بخش تشکیل شده: یک لایه فشرده‌ساز (Squeeze) که از فیلترهای 1x1 استفاده می‌کنه، و لایه‌های گسترش‌دهنده (Expand) که از ترکیبی از فیلترهای 1x1 و 3x3 استفاده می‌کنه.

🔵 چرا SqueezeNet مهمه؟

🔵معماری SqueezeNet به دلیل کارایی بالا در محیط‌های با منابع محدود مثل تلفن‌های هوشمند و دستگاه‌های IoT (اینترنت اشیاء) محبوبه.

🔵علاوه بر این، امکان انتقال یادگیری (Transfer Learning) در SqueezeNet باعث می‌شه که بشه از مدل‌های آموزش‌دیده روی دیتاست‌های بزرگ برای مسائل خاص با تنظیم مجدد لایه‌های کمتری استفاده کرد.

🔵همچنین این معماری برای بهینه‌سازی اجرای سریع‌تر و کارآمدتر در دستگاه‌های مختلف، مخصوصاً برای کاربردهای Edge Computing کاربرد داره.

🔵 مقایسه با دیگر معماری‌ها

🔵معماری‌های AlexNet و VGG: در مقایسه با AlexNet، معماری SqueezeNet تونست با تعداد پارامترهای بسیار کمتر، دقت مشابهی ارائه بده. نسبت به VGG، معماری SqueezeNet افزایش زیادی در کارایی و کاهش در اندازه مدل نشان می‌ده.

🔵معماری‌های MobileNet و EfficientNet: هر دو این معماری‌ها برای کارایی بالا در دستگاه‌های با منابع محدود طراحی شدن و هر کدوم استراتژی‌های خاص خودشون رو برای کاهش پیچیدگی محاسباتی دارن.

#Deep_Learning

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

📊 روند استفاده از معماری‌های شبکه عصبی در مقالات علمی

نمودار شامل روند استفاده از شش معماری شبکه عصبی عمیق در طول زمانه، که بر اساس تعداد اشارات در مقالات علمی محاسبه شده.

#Deep_Learning

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 معماری MobileNet

معماری MobileNet با هدف ارائه مدلی با تعادل مناسب بین دقت و سرعت طراحی شده و با استفاده از تکنیک‌های مختلفی مثل فاکتور بندی عمقی (depthwise separable convolution) بهینه‌سازی می‌شه تا تعداد پارامترها و محاسبات رو بدون تأثیر چشمگیری روی دقت مدل کاهش بده.

🔵 فاکتور بندی عمقی

در MobileNet، فاکتور بندی عمقی، عملیات کانولوشن رو به دو بخش تقسیم می‌کنه: کانولوشن عمقی (Depthwise Convolution) و کانولوشن نقطه‌ای (Pointwise Convolution).

کانولوشن عمقی روی هر کانال ورودی به طور جداگانه اجرا می‌شه، در حالی که کانولوشن نقطه‌ای ترکیبی از کانال‌های خروجی از کانولوشن عمقی رو ایجاد می‌کنه.

🔵 نسخه‌های MobileNet

این معماری در طی زمان تکامل پیدا کرد و نسخه‌های مختلفی مثل MobileNetV1, MobileNetV2 و MobileNetV3 ارائه شدن.

🔵اولین نسخه از این مجموعه مدل‌ها، MobileNetV1 بود که از کانولوشن‌های جداشدنی عمقی استفاده می‌کرد تا تعداد پارامترها و محاسبات رو کاهش بده. این کاهش منجر به بهبود قابل توجهی در زمان اجرا و کاهش منابع مورد نیاز بدون کاهش قابل توجهی در دقت می‌شه. در MobileNetV1، هر کانولوشن عمقی دنبال شده توسط یک کانولوشن نقطه‌ای برای ترکیب ویژگی‌هاست.

🔵در MobileNetV2 از واحدهای خطی برگشت پذیر (Inverted Residuals) و برش‌های خطی (Linear Bottlenecks) استفاده شده که کمک می‌کنن عمق، بدون تأثیر منفی روی کارایی، افزایش پیدا کنه.

🔵نسخه MobileNetV3 با ترکیبی از روش‌های تحقیق مبتنی بر معماری و بهینه‌سازی‌های دستی ارائه شد. این نسخه از نوآوری‌های معرفی شده در MobileNetV2 و تکنیک‌های جدیدی مثل برش‌های غیر خطی و بهینه‌سازی‌های مبتنی بر سخت افزار استفاده می‌کنه.

🔵در توسعه MobileNetV3، از روش‌های یادگیری ماشین خودکار (AutoML) و به خصوص الگوریتم NetAdapt استفاده شده تا معماری شبکه به طور خودکار، بر اساس شرایط و محدودیت‌های مختلف دستگاه‌های هدف تنظیم و بهینه‌سازی شه.

🔵 بهینه‌سازی مبتنی بر Quantization

این معماری با استفاده از Quantization امکان اجرا در سرعت‌های بالاتر، با استفاده از حافظه کمتر رو فراهم می‌کنه. این فرایند داده‌ها و وزن‌های مدل رو به فرمت‌های با دقت کمتر تبدیل می‌کنه تا مصرف حافظه و محاسبات کاهش پیدا کنه.

#Deep_Learning

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 معماری EfficientNet

در حالی که اکثر معماری‌های قبلی تمرکزشون روی افزایش تنها یکی از ابعاد مدل، مثل عمق یا پهنا، قرار می‌دادن، EfficientNet به طور همزمان و متناسب هر سه بعد مهم مدل یعنی عمق، پهنا و رزولوشن تصویر رو افزایش می‌ده و این روش مقیاس‌بندی ترکیبی (Compound Scaling Method) نام داره.

این رویکرد مقیاس‌بندی با افزایش حجم محاسبات به صورت یکنواخت در تمامی ابعاد، باعث میشه مدل از منابع به شکل موثرتری استفاده کنه و دقت شبکه بهبود پیدا کنه.

🔵 مفهوم مقیاس‌بندی

در EfficientNet، سه بعد مهم برای مقیاس‌بندی وجود داره: عمق (Depth)، پهنا (Width)، و اندازه تصویر (Resolution). افزایش هر کدوم از این ابعاد می‌تونه به بهبود عملکرد شبکه کمک کنه، اما باید به نحو اثربخشی تعادل بین‌شون برقرار شه.

🔵عمق مدل به تعداد لایه‌ها و میزان عمیق بودن شبکه اشاره داره و که افزایش‌اش امکان استخراج ویژگی‌های بیشتر و پیچیده‌تر رو فراهم می‌کنه.

🔵پهنای مدل به تعداد نورون‌ها در هر لایه اشاره داره و می‌تونه قدرت نمایش شبکه رو افزایش بده.

🔵اندازه تصویر هم به میزان وضوح تصاویر ورودی برای شبکه بستگی داره، که با افزایش‌اش، شبکه توانایی درک جزئیات بیشتری رو پیدا می‌کنه.

🔵 معماری EfficientNet

این معماری با استفاده از یک فرایند بهینه‌سازی مبتنی بر نظریه اطلاعات، تعادلی بین این سه بعد برقرار می‌کنه. این بهینه‌سازی باعث می‌شه که با افزایش مقیاس شبکه، کارایی به صورت موثر افزایش پیدا کنه.

🔵 مدل‌های EfficientNet

معماری EfficientNet شامل چندین مدل با مقیاس‌های مختلف، از B0 تا B7 هست، که هر کدوم برای کاربردهای مختلف طراحی شدن. هر چی شماره بزرگتر باشه، مدل پیچیده‌تر و قدرتمندتره، اما به استفاده از منابع بیشتری نیز نیاز داره.

🔵 مقایسه معماری‌های EfficientNet و ResNet: معماری EfficientNet از نظر کارایی و دقت به طور قابل توجهی از ResNet برتره. با استفاده از روش مقیاس‌بندی ترکیبی، این معماری در داده‌های استاندارد مثل ImageNet دقت بالاتری نسبت به ResNet داره و بهینه‌سازی منابع اونو برای استفاده در دستگاه‌های با منابع محدود ایده‌آل می‌کنه.

#Deep_Learning

@Data_ML | دیتاساینس و ماشین‌ لرنینگ