👨‍🎓 معماری AlexNet

معماری AlexNet یک شبکه عصبی کانولوشنیه که از لحاظ ساختاری شباهت‌هایی به LeNet داره، اما بسیار عمیق‌تر و پیچیده‌تره. این شبکه شامل ۵ لایه کانولوشنی و چندین لایه کاملاً متصل (fully connected) هست.

این معماری در مسابقه ILSVRC 2012 تونست خطای تشخیص رو در Top-1 error و Top-5 error به طور چشمگیری کاهش بده و این پیشرفت قابل توجهی در حوزه پردازش تصویر بود.

🔵 ساختار AlexNet

🔵لایه‌های کانولوشنی: در AlexNet، پنج لایه کانولوشنی وجود داره. فیلترهای کانولوشنی در لایه‌های اولیه بزرگ‌تر هستن (۱۱x۱۱) و در لایه‌های بعدی کوچکتر می‌شن.

🔵تابع فعالساز ReLU: بر خلاف شبکه‌های قدیمی‌تر که از توابع Sigmoid یا Tanh استفاده می‌کردن، AlexNet از تابع فعالساز ReLU برای افزایش سرعت همگرایی استفاده می‌کنه.

🔵لایه‌های Pooling: معماری AlexNet به طور خاص از مکانیزم Overlapping Pooling استفاده می‌کند که نوعی از Max Pooling حساب می‌شه. در Overlapping Pooling پنجره‌های pooling تا حدودی روی هم قرار می‌گیرن و این کار باعث کاهش خطای شبکه می‌شه.

🔵لایه‌های Fully Connected: در انتهای شبکه، سه لایه کاملاً متصل وجود داره که وظیفه تصمیم‌گیری نهایی رو بر عهده دارن.

🔵Dropout:
برای جلوگیری از بیش‌برازش، لایه‌های dropout قبل از لایه‌های fully connected قرار داده شدن که با احتمال 0.5، در هر دور بعضی از نورون‌ها غیر فعال میشن.

🔵Local Response Normalization (LRN):
این ویژگی که در بین لایه‌های کانولوشنی قرار گرفته، به نرمال‌سازی پاسخ‌های محلی کمک می‌کنه و باعث افزایش عملکرد شبکه می‌شه.

🔵 آموزش و بهینه‌سازی

🔵تکنیک‌های بهینه‌سازی: AlexNet از SGD (Stochastic Gradient Descent) با momentum برای بهینه‌سازی استفاده می‌کنه.

🔵افزایش داده: برای کاهش اثر بیش‌برازش، AlexNet از تکنیک‌های Data Augmentation مثل برش‌های تصادفی و چرخش استفاده کرده.

🔵 معماری AlexNet با استفاده از دو GPU برای آموزش طراحی شده و داده‌ها و محاسبات بین دو پردازنده تقسیم میشن و این کار باعث کاهش زمان آموزش می‌شه.

🔵 در تصویر دوم، شما می‌تونین تفاوت معماری‌های LeNet و AlexNet رو مشاهده کنین.

#Deep_Learning

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 معماری VGG

معماری VGG توسط دپارتمان بینایی ماشین و هوش مصنوعی دانشگاه آکسفورد ارائه شده. این معماری در ILSVRC سال 2014 معرفی شد و به دلیل دقت بالاش مورد توجه قرار گرفت. این معماری که مخفف Visual Geometry Group هست، در دو نسخه اصلی VGG16 و VGG19 ارائه شده.

🔵 ساختار VGG

معماری VGG از تکرار چند لایه کانولوشنی پشت سر هم با یک لایه Max Pooling تشکیل شده. هر لایه پیچشی با فیلترهایی با ابعاد 3x3 و گام 1 (stride) عمل می‌کنه و بعد یک تابع فعال‌سازی ReLU قرار داره. این تکرارها باعث می‌شن تا عمق شبکه به شدت افزایش پیدا کنه و به دنبالش دقت شناسایی تصاویر بهتر شه.

🔵در VGG16، معماری از 13 لایه کانولوشنی، 5 لایه Max Pooling Layer، و 3 لایه کاملا متصل تشکیل شده است. در VGG19، تعداد لایه‌های پیچشی به 16 افزایش پیدا کرده.

🔵 نکات مهم در معماری VGG

🔵استفاده از فیلترهای کوچک: برخلاف معماری‌های قبلی که فیلتر سایزهای متفاوت داشتن، VGG تنها از فیلترهای 3x3 استفاده می‌کنه که این باعث کاهش پارامترها و افزایش عمق مفید شبکه می‌شه.

🔵لایه‌های عمیق: با افزایش تعداد لایه‌ها، مدل می‌تونه ویژگی‌های پیچیده‌تری رو یاد بگیره.

🔵مقابله با بیش‌برازش: با وجود تعداد زیادی پارامتر، استفاده از تکنیک‌هایی مثل Dropout و Regularization برای جلوگیری از بیش‌برازش ضروریه.

🔵 کاربردهای VGG

معماری VGG در تشخیص تصویر و طبقه‌بندی کاربرد زیادی داره. از VGG میشه در تشخیص چهره، تشخیص اشیاء، تحلیل تصاویر پزشکی و بسیاری موارد دیگر استفاده کرد.

به علاوه، وزن‌های آموزش دیده روی داده‌های ImageNet در بسیاری از کاربردهای پیشرفته به عنوان نقطه شروع استفاده میشن. یعنی در کد، معماری VGG و وزن‌هاش وارد میشن و با Fine-Tune کردن تسک جدید انجام میشه و نیازی به آموزش مدل از ابتدا نیست (Transfer Learning).

#Deep_Learning

@Data_ML | دیتاساینس و ماشین‌ لرنینگ