🧑‍🎓 پیشگیری از بیش‌برازش در یادگیری عمیق با روش Dropout

تکنیک Dropout در حین آموزش واحدهایی از شبکه را به صورت تصادفی حذف می‌کند تا از ‌آموزش زیاد مدل جلوگیری شود. این روش به طور قابل توجهی بیش‌برازش را کاهش می‌دهد.

🟢برای مطالعه بیشتر کلیک کنین:
👉📎 ctdrs.ir/ds0232

🟡ازتون دعوت می‌کنیم تا سوالات و نظرات‌تون رو در این بلاگ به اشتراک بگذارین تا ما فرصت پاسخگویی بهشون رو داشته باشیم.

#Deep_Learning
#Artificial_Neural_Networks

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 بهینه‌سازها در شبکه‌های عصبی مصنوعی

هدف نهایی یک بهینه‌ساز (Optimizer) اینکه پارامترهای شبکه رو به نحوه تنظیم کنه که تابع خطا (Loss Function) به حداقل برسه. به عبارت دیگه، بهینه‌ساز با هدایت شبکه به سمت مجموعه‌ای از وزن‌ها و بایاس‌ها (وزن و سوگیری) که منجر به بهترین عملکرد در تسک مورد نظر می‌شه، عمل می‌کنه.

🔵 مفاهیم اولیه

🔵تابع خطا (Loss Function)

تابعیه که میزان خطای خروجی شبکه رو نسبت به خروجی صحیح اندازه گیری می‌کنه. رایج‌ترین توابع خطا، میانگین مربعات خطا (MSE) و انتروپی متقاطع (Cross Entropy) هستن.

🔵گرادیان (Gradient)

مشتق تابع خطا نسبت به هر پارامتر شبکه است. گرادیان نشون می‌ده که چطور یک تغییر جزئی در یک پارامتر خاص روی مقدار تابع خطا تأثیر می‌گذاره.

🔵به روزرسانی پارامتر (Parameter Update)

بر اساس گرادیان محاسبه شده، پارامترهای شبکه در هر تکرار از فرآیند آموزش به‌روز می‌شن. این به‌روز رسانی با استفاده از الگوریتم بهینه‌ساز انجام می‌شه.

🔵 الگوریتم‌های بهینه‌ساز رایج

🔵Gradient Descent (GD)

یک الگوریتم بهینه‌ساز ساده است که از گرادیان برای به روزرسانی پارامترها استفاده می‌کنه. در هر تکرار، پارامترها با مقدار منفی خاصی از گرادیان به روز می‌شن (ضرب در نرخ یادگیری). نرخ یادگیری (Learning Rate) پارامتریه که سرعت همگرایی بهینه‌ساز رو کنترل می‌کنه.

🔵Momentum

مومنتوم یک روش بهینه‌سازیه که به منظور افزایش سرعت و کارایی همگرایی در روش گرادیان نزولی (GD) طراحی شده. این تکنیک با در نظر گرفتن جهت به‌روزرسانی‌های قبلی پارامترها، عمل می‌کنه تا مسیر بهینه به سمت کمینه تابع هزینه رو با سرعت بیشتری طی کنه.

مومنتوم شبیه به حرکت یک توپ غلتانه که روی یک سطح شیب‌دار حرکت می‌کنه، به طوری که نه تنها در جهت گرادیان تابع هزینه پیش می‌ره بلکه می‌تونه با استفاده از انرژی حرکتیش، از چاله‌های کم عمق هم به راحتی عبور کنه. این رویکرد به معنی پیدا کردن و دنبال کردن مسیرهایی در فضای پارامترهاست که به سرعت و به طور مؤثر به کاهش هزینه منجر شه.

🔵RMSprop (Root Mean Square Prop)

این الگوریتم شبیه به GD هست، اما نرخ یادگیری رو برای هر پارامتر به صورت جداگانه بر اساس میانگین مربعات مقادیر قبلی گرادیان اون پارامتر تنظیم می‌کنه. در نتیجه به بهینه‌ساز اجازه می‌ده تا با سرعت‌های مختلفی پارامترهای مختلف رو به روز کنه و از بروز مشکلاتی مثل ناپایداری همگرایی جلوگیری کنه.

🔵Adam (Adaptive Moment Estimation)

الگوریتم Adam ترکیبی از Momentum و RMSprop هست که به طور تطبیقی نرخ یادگیری رو برای هر پارامتر بر اساس میانگین های متحرک مقادیر گذشته و گرادیان های اون پارامتر تنظیم می‌کنه. Adam به دلیل کارایی و همگرایی خوب، به یکی از محبوب‌ترین الگوریتم‌های بهینه‌ساز در یادگیری عمیق تبدیل شده.

🔵 نکات مهم در انتخاب بهینه‌ساز

انتخاب بهینه‌ساز مناسب برای شبکه عصبی بسیار مهمه، چون روی عملکرد نهایی شبکه تأثیر گذاره.

🔵نوع مسئله: بعضی از بهینه‌ساز برای مسائل خاص مثل طبقه‌بندی یا رگرسیون بهتر عمل می‌کنن.

🔵حجم داده: برای مجموعه داده های بزرگ، الگوریتم های کارآمد مثل Adam اکثرا ترجیح داده می‌شن.

🔵پیچیدگی شبکه: شبکه‌های پیچیده‌تر ممکنه به بهینه‌ساز قدرتمندتری مثل Adam نیاز داشته باشن.

به طور کلی، توصیه می‌شه با الگوریتم‌های رایج مثل Adam شروع کنین و در صورت لزوم، گزینه های دیگه رو با توجه به عملکرد و همگرایی شبکه آزمایش کنین.

🔵 بهینه سازهای مرتبه دوم

این بهینه‌سازها از اطلاعات بیشتری در مورد تابع خطا، مثل ماتریس Hessian، برای به روزرسانی پارامترها استفاده می‌کنن. در حالی که این الگوریتم‌ها می‌تونن سریعتر همگرا شن، اما به محاسبات بیشتری نیاز دارن.

#Deep_Learning
#Artificial_Neural_Networks

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

💡سوال مصاحبه: وقتی در حال بهینه‌سازی یک شبکه عصبی هستین، آیا ترکیب مومنتوم و Weight Decay برای بهبود عملکرد منطقیه؟

بله، ترکیب مومنتوم و کاهش وزن (Weight Decay) در بهینه‌سازی شبکه‌های عصبی موثره. مومنتوم به شبکه کمک می‌کنه تا سریع‌تر از دامنه‌های کم‌عمق تابع هزینه عبور کنه و به سمت کمینه‌های جهانی حرکت کنه.

از طرف دیگه، کاهش وزن به جلوگیری از Overfitting کمک می‌کنه و به کاهش اثرات نویز در داده‌های آموزشی منجر میشه.

ترکیب این دو رویکرد به ایجاد تعادل بین جستجو برای پارامترهای بهتر و تثبیت مدل در کمینه‌های جهانی منجر میشه و در نهایت عملکرد مدل رو بهبود میده.

❗️کاهش وزن (Weight Decay) در زمینه‌ی شبکه‌های عصبی، تکنیکی برای جلوگیری از بیش‌برازش، با اعمال جریمه به وزن‌های بزرگ‌تره که مدل رو به سمت ساختارهای ساده‌تر و وزن‌های کوچکتر هدایت می‌کنه تا به Generalization بیشتری برسه.

#Deep_Learning
#Artificial_Neural_Networks

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 تابع هزینه در شبکه‌های عصبی مصنوعی

تابع هزینه، که گاهی به عنوان تابع خطا هم شناخته می‌شه، معیاری برای اندازه‌گیری میزان دقت یک مدل شبکه عصبی در پیش‌بینی نتایجه.

این تابع مقداری رو به عنوان هزینه یا خطا محاسبه می‌کنه که بیانگر تفاوت بین خروجی پیش‌بینی شده توسط مدل و خروجی هدفه.

🔵 انواع تابع هزینه

توابع هزینه متفاوتی وجود دارن که بر اساس نوع مسئله و ساختار خروجی مدل انتخاب می‌شن.

🔵میانگین مربعات خطا (MSE - Mean Squared Error): این تابع هزینه، اختلاف مربعات بین پیش‌بینی‌ها و مقادیر واقعی رو محاسبه می‌کنه و بیشتر در مسائل رگرسیون استفاده می‌شه.

🔵کراس آنتروپی (Cross-Entropy): برای مسائل دسته‌بندی استفاده می‌شه، جایی که هدف پیش‌بینی دسته‌بندی صحیح برای نمونه‌های ورودیه.

🔵 عملیات انتشار روبه‌عقب یا Backpropagation

برای کمینه‌سازی تابع هزینه و بهینه‌سازی وزن‌های شبکه، روش‌های مختلفی وجود داره. از جمله مهم‌ترین روش‌ها، الگوریتم پس‌انتشار (Backpropagation) هست.

🔵پس‌انتشار یکی از اساسی‌ترین الگوریتم‌ها در یادگیری عمیقه که به ما اجازه می‌ده تا گرادیان‌های تابع هزینه رو نسبت به هر وزن در شبکه محاسبه کنیم.

🔵این فرایند شامل دو مرحله است: انتشار به جلو، که در اون داده‌ها از طریق شبکه منتشر میشن و خروجی پیش‌بینی شده تولید می‌شه و پس‌انتشار، که در اون گرادیان‌های تابع هزینه به عقب منتقل میشن و وزن‌ها بر اساسش به‌روزرسانی می‌شن.

🔵 چالش‌ها و راهکارها

یکی از چالش‌های اصلی در استفاده از توابع هزینه و پس‌انتشار، مسئله محو شدگی گرادیانه. این مشکل حالتیه که گرادیان‌ها در لایه‌های عمیق‌تر شبکه به شدت کاهش پیدا می‌کنن و به‌روزرسانی وزن‌ها بسیار کم میشه.

راهکارهایی مثل استفاده از توابع فعال‌سازی مناسب (مثل ReLU)، اولیه‌سازی وزن‌ها و استفاده از نرخ‌های یادگیری تطبیقی به حل این مشکل کمک می‌کنن.

#Deep_Learning
#Artificial_Neural_Networks

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

🔊 ۲۰. آشنایی با محوشدگی گرادیان

مشکل محوشدگی گرادیان یا Vanishing Gradient یکی از رفتارهای ناپایدار شبکه‌ست و ممکنه موقع آموزش مدل پیش بیاد.

🟢 این‌جا می‌تونین بیشتر درموردش مطالعه کنین:

👉📎 Vanishing Gradient

🟡صدا: نوید حقوقی

#Machine_Learning
#Podcast

@DSLanders | دی‌اس‌لندرز

👨‍🎓 تکنیک‌های تنظیم در شبکه‌های عصبی مصنوعی

در یادگیری ماشین و یادگیری عمیق، مدل‌ها گاهی اوقات بیش‌برازش پیدا می‌کنن، به این معنی که بیش از حد به داده‌های آموزشی وابسته می‌شن و قابلیت تعمیم‌شون به داده‌های جدید کاهش پیدا میکنه. برای حل این مشکل، از تکنیک‌های تنظیم استفاده می‌شه.

🔵 تنظیم L1 و L2

تنظیم L1 (معروف به Lasso) و L2 (معروف به Ridge) دو روش رایج برای جلوگیری از بیش‌برازش هستن. هر دو این روش‌ها با اضافه کردن یک جمله تنظیم به تابع هزینه کار می‌کنن که به وزن‌های مدل جریمه اعمال می‌کنه.

🔵تنظیم L1: این روش مجموع قدر مطلق وزن‌ها رو به تابع هزینه اضافه می‌کنه. مزیت اصلیش اینکه می‌تونه وزن‌های کم‌اهمیت رو به صفر نزدیک کنه و در نتیجه به انتخاب ویژگی کمک می‌کنه.

🔵تنظیم L2: در این روش، مجموع مربع وزن‌ها به تابع هزینه اضافه می‌شه. این کار باعث می‌شه که وزن‌های بزرگتر، جریمه بیشتری داشته باشن. تنظیم L2 به کاهش تاثیر ویژگی‌های کم‌اهمیت بدون حذف‌شون کمک می‌کنه.

🔵 تنظیم Dropout

روش دیگه‌اش که برای جلوگیری از بیش‌برازش استفاده می‌شه، Dropout هست. در این روش، در هر دور آموزش، بعضی از نورون‌ها به طور تصادفی انتخاب و حذف می‌شن.

این کار باعث می‌شه که مدل نتونه به طور کامل به داده‌های آموزشی وابسته شه و مجبور به یادگیری ویژگی‌های معنادارتر از داده‌ها می‌شه. Dropout به عنوان یک روش موثر در شبکه‌های عصبی عمیق شناخته شده.

🔵 نرمال سازی دسته ای (Batch Normalization)

نرمال سازی دسته ای یک تکنیک دیگه برای بهبود عملکرد و ثبات شبکه‌های عصبی عمیقه. این روش به نرمال سازی خروجی هر لایه با استفاده از میانگین و انحراف معیار خروجی‌های اون دسته کار می‌کنه.

این کار باعث می‌شه که توزیع ورودی‌ها به لایه‌های بعدی نسبتاً ثابت باقی بمونه و مشکل محوشدگی کاهش پیدا کنه.

🔵 بحث‌های پیشرفته

در حالی که تنظیم L1، L2، Dropout و Batch Normalization روش‌های رایج برای جلوگیری از بیش‌برازش و بهبود عملکرد مدل هستن، روش‌های جدیدی به طور مداوم درحال معرفی هستن.

برای مثال، نرمال‌سازی وزن و تنظیم خودکار (AutoML)، که هدفشون بهینه‌سازی هایپرپارامترها و رویکردهای تنظیمه، در حال توسعه هستن.

#Deep_Learning
#Artificial_Neural_Networks

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

💡سوال مصاحبه: تفاوت بین Dropout و DropConnect چیه؟

تکنیک‌های Dropout و DropConnect هر دو برای جلوگیری از بیش‌برازش در مدل‌های یادگیری عمیق استفاده می‌شن، اما در نحوه عملکرد باهم متفاوتن.

تفاوت اصلی بین این دو در اینکه Dropout کل نورون‌ها رو حذف می‌کنه، در حالی که DropConnect تنها بعضی از وزن‌های مرتبط با نورون‌ها رو حذف می‌کنه.

این تفاوت در نحوه‌ی ایجاد تنوع و مقاومت در برابر بیش‌برازش موثره. DropConnect می‌تونه به مدل اجازه بده که وابستگی‌های پیچیده‌تری رو یادبگیره، چون فقط بعضی از وزن‌ها حذف می‌شن، نه کل نورون.

#Deep_Learning
#Artificial_Neural_Networks

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

⏰ پست‌های هفته‌ای که گذشت رو این‌جا پیدا کنین!

🔺 آموزشی

🔵شبکه‌های کاملاً متصل در شبکه‌های عصبی مصنوعی
👉🔗 https://t.iss.one/data_ml/323

🔵معماری نورون‌ها و لایه‌ها در شبکه‌های عصبی مصنوعی
👉🔗 https://t.iss.one/data_ml/326

🔵توابع فعال‌ساز در شبکه‌های عصبی مصنوعی
👉🔗 https://t.iss.one/data_ml/329

🔵بهینه‌سازها در شبکه‌های عصبی مصنوعی
👉🔗 https://t.iss.one/data_ml/332

🔵تابع هزینه در شبکه‌های عصبی مصنوعی
👉🔗 https://t.iss.one/data_ml/335

🔵تکنیک‌های تنظیم در شبکه‌های عصبی مصنوعی
👉🔗 https://t.iss.one/data_ml/338

🔺 کوئیز

🔵کوییز شماره ۹۱: توابع فعال‌ساز و محوشدگی گرادیان
👉🔗 https://t.iss.one/data_ml/324

🔵کوییز شماره ۹۲: الگوریتم بهینه‌سازی "Adam"
👉🔗 https://t.iss.one/data_ml/327

🔵کوییز شماره ۹۳: تابع فعال‌ساز برای RNN
👉🔗 https://t.iss.one/data_ml/330

🔵کوییز شماره ۹۴: ویژگی‌ بهینه‌ساز Adamax
👉🔗 https://t.iss.one/data_ml/333

🔵کوییز شماره ۹۵: نرخ یادگیری بالا و Backpropagation
👉🔗 https://t.iss.one/data_ml/336

🔵کوییز شماره ۹۶: تکنیک Batch Normalization
👉🔗 https://t.iss.one/data_ml/339

🔺 نکته

🔵تفاوت بین لایه‌های کاملا متصل و لایه‌های کانولوشنی
👉🔗 https://t.iss.one/data_ml/325

🔵نحوه تعیین تعداد لایه‌ها و انواع اونها
👉🔗 https://t.iss.one/data_ml/328

🔵بلاگ Dropout
👉🔗 https://t.iss.one/data_ml/331

🔵ترکیب مومنتوم و Weight Decay
👉🔗 https://t.iss.one/data_ml/334

🔵پادکست محوشدگی گرادیان
👉🔗 https://t.iss.one/data_ml/337

🔵تفاوت بین Dropout و DropConnect
👉🔗 https://t.iss.one/data_ml/340

#Weekend
#Deep_Learning
#Artificial_Neural_Networks

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

🟡 وبینار رایگان ماشین لرنینگ در صنعت (از ایده تا محصول نهایی)

در این وبینار شما با زمینه‌های متأثر از ماشین لرنینگ آشنا می‌شین. همچنین اپلیکیشن‌ها و محصولات موفق این حوزه‌های مختلف معرفی خواهند شد.

🔺 سرفصل‌ها
🔵دسته‌بندی زمینه‌های تحت تاثیر ماشین لرنینگ
🔵معرفی اپلیکشن‌های موفق در حوزه‌های مختلف
🔵معرفی محصولات شرکت‌های بزرگ برای ایده گرفتن
🔵بررسی ایده‌های استارتاپی
🔵بررسی ایده‌های پژوهشی برای انتخاب موضوع پایان نامه
🔵بررسی بازار کار برای مهندس ماشین لرنینگ در صنعت
🔵پیشنهاد برای نحوه ورود به دنیای ماشین لرنینگ

🗓 دوشنبه ۲۱ اسفند، ساعت ۱۹

🟢 رایگان ثبت‌نام کنین:‌
👉📎 https://ctdrs.ir/cr15482

@DSLanders | دی‌اس‌لندرز

👩‍🎓 برنامه آموزشی هفته: شبکه‌های عصبی کانولوشنی یا CNNs

🟠شنبه: ایده پشت شبکه‌های عصبی کانولوشنی

🔵یک‌شنبه: Filter, stride, padding

🟢دوشنبه: CNN در پایتون با استفاده از کراس و پای‌تورچ

🔴سه‌شنبه: ابعاد و تعداد پارامترها

🟠چهارشنبه: مصورسازی لایه‌های پنهان

🔵پنج‌شنبه: مقایسه CNN در کراس و پای‌تورچ

🟢جمعه: جمع بندی

#Deep_Learning
#CNNs

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

🟡 وبینار رایگان ماشین لرنینگ در صنعت (از ایده تا محصول نهایی)

🔺 سرفصل‌ها

🔵دسته‌بندی زمینه‌های تحت تاثیر ML
🔵معرفی اپلیکشن‌های موفق در حوزه‌های مختلف
🔵معرفی محصولات شرکت‌های بزرگ برای ایده گرفتن
🔵بررسی ایده‌های استارتاپی
🔵بررسی ایده‌های پژوهشی برای انتخاب موضوع پایان نامه

🗓 دوشنبه ۲۱ اسفند، ساعت ۱۹

🟢 رایگان ثبت‌نام کنین:‌
👉📎 https://ctdrs.ir/cr15482

@DSLanders | دی‌اس‌لندرز

👨‍🎓 ایده پشت شبکه‌های عصبی کانولوشنی

شبکه‌های عصبی پیچشی (Convolutional Neural Networks یا CNNs) با الهام از ساختار بینایی موجودات زنده طراحی شدن و توانایی شگفت‌انگیزی در استخراج ویژگی‌های مهم از تصاویر با حداقل پیش‌پردازش دارن.

🔵 انگیزه و ایده پشت CNN‌ها

ایده‌ی اصلی پشت شبکه‌های عصبی پیچشی به مطالعه‌ی چگونگی پردازش اطلاعات تصویری توسط مغز انسان و سایر موجودات زنده برمی‌گرده.

🔵در دهه ۱۹۶۰، دیوید هیوبل و تورستن ویزل نشون دادن که نورون‌های خاصی در قشر بینایی مغز گربه‌ها وجود دارن که به صورت تخصصی به الگوهای خاصی از نور و سایه، خطوط و گوشه‌ها پاسخ می‌دن.

این کشف انگیزه‌ای شد برای طراحی مدل‌های مصنوعی که می‌تونن الگوهای مشابهی از داده‌ها رو با استفاده از فیلترهای پیچشی تشخیص بدن.

🔵 معماری LeNet

یکی از اولین کاربردهای عملی این ایده در شبکه نورونی لایه پیچشی (LeNet) توسط یان لیکان در دهه ۱۹۹۰ معرفی شد.

🔵این شبکه می‌تونست تصاویر دست‌نویس رو با دقت بالا شناسایی کنه و این با اعمال مکرر فیلترهای پیچشی و لایه‌های ادغام (Pooling) برای کاهش ابعاد و استخراج ویژگی‌های مهم تصویر انجام می‌شد.

🔵 مهم‌ترین پیشرفت‌ها در CNN‌ها

از نوآوری‌های مهم در این حوزه، معرفی تکنیک‌هایی مثل انتقال یادگیری (Transfer Learning)، تکنیک‌های افزایش داده (Data Augmentation) و شبکه‌های پیچشی عمیق با لایه‌های باقی‌مانده (Residual Networks) بود که توانایی مدل‌ها در آموزش عمیق‌تر و کارآمدتر کردن فرآیند یادگیری رو افزایش داد.

🔵 چالش‌های CNNs و راه‌حل‌شون

با پیچیده‌تر شدن شبکه‌ها، مسائل جدیدی مثل بیش‌برازش، نیاز به داده‌های آموزشی زیاد و محدودیت‌های محاسباتی به وجود اومد.

🔵برای حل با این چالش‌ها، تکنیک‌هایی مثل افزایش داده، Regularization و شبکه‌های پیچشی با کارایی بالا طراحی شدن که می‌تونن با استفاده از منابع محاسباتی محدودتر به دقت بالایی برسن.

#Deep_Learning
#CNNs

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

🔊 ۲۴. شبکه‌ عصبی کانولوشنی چیه؟

حوزه بینایی ماشین یکی از حوزه‌های پرطرفدار هوش مصنوعیه و شبکه عصبی کانولوشنی یا CNN یکی از الگوریتم‌های معروفیه که تو این حوزه خیلی استفاده می‌شه.

🟢 این‌جا می‌تونین بیشتر درموردش مطالعه کنین:

👉📎 https://ctdrs.ir/ds0024

🟡صدا: نوید حقوقی

#Machine_Learning
#Podcast

@DSLanders | دی‌اس‌لندرز

👨‍🎓 آشنایی با مفاهیم Filter،stride و padding

🔵 فیلتر (Filter)

فیلترها، هسته‌هایی هستن که روی تصاویر ورودی اعمال می‌شن تا ویژگی‌های خاصی رو استخراج کنن. هر فیلتر، یک آرایه‌ای از وزن‌ها (مقادیر) هست که با حرکت روی همه نقاط تصویر، یک نقشه ویژگی (feature map) تولید می‌کنه. این فرآیند، کانولوشن نام داره و به ما امکان می‌ده تا ویژگی‌هایی مثل لبه‌ها، بافت‌ها و شکل‌ها رو در تصویر شناسایی کنیم.

🔵انواع فیلتر

- فیلتر Sobel: برای تشخیص لبه‌ها در تصاویر استفاده می‌شه. این فیلتر از ماتریس‌های 3x3 تشکیل شده و لبه‌های عمودی، افقی و مورب رو در تصویر تشخیص می‌ده.

- فیلتر Gaussian: برای تار کردن تصاویر و حذف نویز استفاده می‌شه. این فیلتر از ماتریس‌های گاوسی تشکیل شده‌ و نویز رو در تصویر با حفظ جزئیات مهم، حذف می‌کنه.

🔵نحوه یادگیری فیلترها

در طول فرآیند آموزش شبکه، شبکه با دریافت تصاویر ورودی و برچسب‌های مربوطه، به طور خودکار فیلترهایی رو یاد می‌گیره که ویژگی‌های مهم تصاویر رو برای تشخیص اشیاء یا طبقه‌بندی تصاویر استخراج کنن.

🔵 استراید (Stride)

استراید، تعداد پیکسل‌هایی هست که فیلتر بین هر اعمال کانولوشن حرکت می‌کنه. اگه Stride برابر ۱ باشه، فیلتر بعد از هر اعمال، یک پیکسل حرکت می‌کنه.

اگه Stride بزرگ‌تر باشه، فیلتر فواصل بیشتری رو پوشش می‌ده، که منجر به کاهش ابعاد نقشه ویژگی می‌شه؛ در نتیجه به کاهش پیچیدگی محاسباتی و حافظه شبکه کمک شده.

🔵 پدینگ (Padding)

پدینگ، فرآیندیه که در اون حاشیه‌های اطراف تصویر ورودی با مقادیر خاصی (معمولاً صفر) پر می‌شن تا ابعاد نقشه ویژگی نهایی تنظیم یا از کاهش شدید ابعاد جلوگیری شه.

🔵دو نوع پدینگ وجود داره: پدینگ معمولی (Valid Padding) که در اون هیچ پدینگی اعمال نمی‌شه و پدینگ کامل (Same Padding) که به نحوی اعمال می‌شه تا ابعاد نقشه ویژگی خروجی با ابعاد تصویر ورودی برابر باشه.

🔵 تکنیک‌های پیشرفته Padding

- تکنیک Dilated Padding امکان افزایش فیلد دید فیلترها بدون افزایش تعداد پارامترها رو فراهم می‌کنه. این تکنیک به شبکه‌ها اجازه می‌ده که ویژگی‌های موجود در داده‌ها رو بهتر استخراج کنن.

- در روش پدینگ انعطاف‌پذیر یا Adaptive Padding، پدینگ بر اساس ویژگی‌های خاص داده‌ها یا لایه‌های شبکه تنظیم می‌شه تا بهترین نحوه استفاده از پدینگ رو برای استخراج ویژگی‌ها انتخاب کنه.

🔵 استفاده از تنظیمات پیشرفته فیلتر، استراید و پدینگ در کاربردهای واقعی مثل شناسایی چهره یا تجزیه و تحلیل تصاویر پزشکی موثره. مطالعات موردی نشون داده که این تکنیک‌ها بهبودهای قابل توجهی در دقت و کارایی مدل‌های شبکه‌های عصبی ایجاد کردن.

#Deep_Learning
#CNNs

@Data_ML | دیتاساینس و ماشین‌ لرنینگ