👨‍🎓 تابع هزینه در شبکه‌های عصبی مصنوعی

تابع هزینه، که گاهی به عنوان تابع خطا هم شناخته می‌شه، معیاری برای اندازه‌گیری میزان دقت یک مدل شبکه عصبی در پیش‌بینی نتایجه.

این تابع مقداری رو به عنوان هزینه یا خطا محاسبه می‌کنه که بیانگر تفاوت بین خروجی پیش‌بینی شده توسط مدل و خروجی هدفه.

🔵 انواع تابع هزینه

توابع هزینه متفاوتی وجود دارن که بر اساس نوع مسئله و ساختار خروجی مدل انتخاب می‌شن.

🔵میانگین مربعات خطا (MSE - Mean Squared Error): این تابع هزینه، اختلاف مربعات بین پیش‌بینی‌ها و مقادیر واقعی رو محاسبه می‌کنه و بیشتر در مسائل رگرسیون استفاده می‌شه.

🔵کراس آنتروپی (Cross-Entropy): برای مسائل دسته‌بندی استفاده می‌شه، جایی که هدف پیش‌بینی دسته‌بندی صحیح برای نمونه‌های ورودیه.

🔵 عملیات انتشار روبه‌عقب یا Backpropagation

برای کمینه‌سازی تابع هزینه و بهینه‌سازی وزن‌های شبکه، روش‌های مختلفی وجود داره. از جمله مهم‌ترین روش‌ها، الگوریتم پس‌انتشار (Backpropagation) هست.

🔵پس‌انتشار یکی از اساسی‌ترین الگوریتم‌ها در یادگیری عمیقه که به ما اجازه می‌ده تا گرادیان‌های تابع هزینه رو نسبت به هر وزن در شبکه محاسبه کنیم.

🔵این فرایند شامل دو مرحله است: انتشار به جلو، که در اون داده‌ها از طریق شبکه منتشر میشن و خروجی پیش‌بینی شده تولید می‌شه و پس‌انتشار، که در اون گرادیان‌های تابع هزینه به عقب منتقل میشن و وزن‌ها بر اساسش به‌روزرسانی می‌شن.

🔵 چالش‌ها و راهکارها

یکی از چالش‌های اصلی در استفاده از توابع هزینه و پس‌انتشار، مسئله محو شدگی گرادیانه. این مشکل حالتیه که گرادیان‌ها در لایه‌های عمیق‌تر شبکه به شدت کاهش پیدا می‌کنن و به‌روزرسانی وزن‌ها بسیار کم میشه.

راهکارهایی مثل استفاده از توابع فعال‌سازی مناسب (مثل ReLU)، اولیه‌سازی وزن‌ها و استفاده از نرخ‌های یادگیری تطبیقی به حل این مشکل کمک می‌کنن.

#Deep_Learning
#Artificial_Neural_Networks

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

🔊 ۲۰. آشنایی با محوشدگی گرادیان

مشکل محوشدگی گرادیان یا Vanishing Gradient یکی از رفتارهای ناپایدار شبکه‌ست و ممکنه موقع آموزش مدل پیش بیاد.

🟢 این‌جا می‌تونین بیشتر درموردش مطالعه کنین:

👉📎 Vanishing Gradient

🟡صدا: نوید حقوقی

#Machine_Learning
#Podcast

@DSLanders | دی‌اس‌لندرز

👨‍🎓 تکنیک‌های تنظیم در شبکه‌های عصبی مصنوعی

در یادگیری ماشین و یادگیری عمیق، مدل‌ها گاهی اوقات بیش‌برازش پیدا می‌کنن، به این معنی که بیش از حد به داده‌های آموزشی وابسته می‌شن و قابلیت تعمیم‌شون به داده‌های جدید کاهش پیدا میکنه. برای حل این مشکل، از تکنیک‌های تنظیم استفاده می‌شه.

🔵 تنظیم L1 و L2

تنظیم L1 (معروف به Lasso) و L2 (معروف به Ridge) دو روش رایج برای جلوگیری از بیش‌برازش هستن. هر دو این روش‌ها با اضافه کردن یک جمله تنظیم به تابع هزینه کار می‌کنن که به وزن‌های مدل جریمه اعمال می‌کنه.

🔵تنظیم L1: این روش مجموع قدر مطلق وزن‌ها رو به تابع هزینه اضافه می‌کنه. مزیت اصلیش اینکه می‌تونه وزن‌های کم‌اهمیت رو به صفر نزدیک کنه و در نتیجه به انتخاب ویژگی کمک می‌کنه.

🔵تنظیم L2: در این روش، مجموع مربع وزن‌ها به تابع هزینه اضافه می‌شه. این کار باعث می‌شه که وزن‌های بزرگتر، جریمه بیشتری داشته باشن. تنظیم L2 به کاهش تاثیر ویژگی‌های کم‌اهمیت بدون حذف‌شون کمک می‌کنه.

🔵 تنظیم Dropout

روش دیگه‌اش که برای جلوگیری از بیش‌برازش استفاده می‌شه، Dropout هست. در این روش، در هر دور آموزش، بعضی از نورون‌ها به طور تصادفی انتخاب و حذف می‌شن.

این کار باعث می‌شه که مدل نتونه به طور کامل به داده‌های آموزشی وابسته شه و مجبور به یادگیری ویژگی‌های معنادارتر از داده‌ها می‌شه. Dropout به عنوان یک روش موثر در شبکه‌های عصبی عمیق شناخته شده.

🔵 نرمال سازی دسته ای (Batch Normalization)

نرمال سازی دسته ای یک تکنیک دیگه برای بهبود عملکرد و ثبات شبکه‌های عصبی عمیقه. این روش به نرمال سازی خروجی هر لایه با استفاده از میانگین و انحراف معیار خروجی‌های اون دسته کار می‌کنه.

این کار باعث می‌شه که توزیع ورودی‌ها به لایه‌های بعدی نسبتاً ثابت باقی بمونه و مشکل محوشدگی کاهش پیدا کنه.

🔵 بحث‌های پیشرفته

در حالی که تنظیم L1، L2، Dropout و Batch Normalization روش‌های رایج برای جلوگیری از بیش‌برازش و بهبود عملکرد مدل هستن، روش‌های جدیدی به طور مداوم درحال معرفی هستن.

برای مثال، نرمال‌سازی وزن و تنظیم خودکار (AutoML)، که هدفشون بهینه‌سازی هایپرپارامترها و رویکردهای تنظیمه، در حال توسعه هستن.

#Deep_Learning
#Artificial_Neural_Networks

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

💡سوال مصاحبه: تفاوت بین Dropout و DropConnect چیه؟

تکنیک‌های Dropout و DropConnect هر دو برای جلوگیری از بیش‌برازش در مدل‌های یادگیری عمیق استفاده می‌شن، اما در نحوه عملکرد باهم متفاوتن.

تفاوت اصلی بین این دو در اینکه Dropout کل نورون‌ها رو حذف می‌کنه، در حالی که DropConnect تنها بعضی از وزن‌های مرتبط با نورون‌ها رو حذف می‌کنه.

این تفاوت در نحوه‌ی ایجاد تنوع و مقاومت در برابر بیش‌برازش موثره. DropConnect می‌تونه به مدل اجازه بده که وابستگی‌های پیچیده‌تری رو یادبگیره، چون فقط بعضی از وزن‌ها حذف می‌شن، نه کل نورون.

#Deep_Learning
#Artificial_Neural_Networks

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

⏰ پست‌های هفته‌ای که گذشت رو این‌جا پیدا کنین!

🔺 آموزشی

🔵شبکه‌های کاملاً متصل در شبکه‌های عصبی مصنوعی
👉🔗 https://t.iss.one/data_ml/323

🔵معماری نورون‌ها و لایه‌ها در شبکه‌های عصبی مصنوعی
👉🔗 https://t.iss.one/data_ml/326

🔵توابع فعال‌ساز در شبکه‌های عصبی مصنوعی
👉🔗 https://t.iss.one/data_ml/329

🔵بهینه‌سازها در شبکه‌های عصبی مصنوعی
👉🔗 https://t.iss.one/data_ml/332

🔵تابع هزینه در شبکه‌های عصبی مصنوعی
👉🔗 https://t.iss.one/data_ml/335

🔵تکنیک‌های تنظیم در شبکه‌های عصبی مصنوعی
👉🔗 https://t.iss.one/data_ml/338

🔺 کوئیز

🔵کوییز شماره ۹۱: توابع فعال‌ساز و محوشدگی گرادیان
👉🔗 https://t.iss.one/data_ml/324

🔵کوییز شماره ۹۲: الگوریتم بهینه‌سازی "Adam"
👉🔗 https://t.iss.one/data_ml/327

🔵کوییز شماره ۹۳: تابع فعال‌ساز برای RNN
👉🔗 https://t.iss.one/data_ml/330

🔵کوییز شماره ۹۴: ویژگی‌ بهینه‌ساز Adamax
👉🔗 https://t.iss.one/data_ml/333

🔵کوییز شماره ۹۵: نرخ یادگیری بالا و Backpropagation
👉🔗 https://t.iss.one/data_ml/336

🔵کوییز شماره ۹۶: تکنیک Batch Normalization
👉🔗 https://t.iss.one/data_ml/339

🔺 نکته

🔵تفاوت بین لایه‌های کاملا متصل و لایه‌های کانولوشنی
👉🔗 https://t.iss.one/data_ml/325

🔵نحوه تعیین تعداد لایه‌ها و انواع اونها
👉🔗 https://t.iss.one/data_ml/328

🔵بلاگ Dropout
👉🔗 https://t.iss.one/data_ml/331

🔵ترکیب مومنتوم و Weight Decay
👉🔗 https://t.iss.one/data_ml/334

🔵پادکست محوشدگی گرادیان
👉🔗 https://t.iss.one/data_ml/337

🔵تفاوت بین Dropout و DropConnect
👉🔗 https://t.iss.one/data_ml/340

#Weekend
#Deep_Learning
#Artificial_Neural_Networks

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

🟡 وبینار رایگان ماشین لرنینگ در صنعت (از ایده تا محصول نهایی)

در این وبینار شما با زمینه‌های متأثر از ماشین لرنینگ آشنا می‌شین. همچنین اپلیکیشن‌ها و محصولات موفق این حوزه‌های مختلف معرفی خواهند شد.

🔺 سرفصل‌ها
🔵دسته‌بندی زمینه‌های تحت تاثیر ماشین لرنینگ
🔵معرفی اپلیکشن‌های موفق در حوزه‌های مختلف
🔵معرفی محصولات شرکت‌های بزرگ برای ایده گرفتن
🔵بررسی ایده‌های استارتاپی
🔵بررسی ایده‌های پژوهشی برای انتخاب موضوع پایان نامه
🔵بررسی بازار کار برای مهندس ماشین لرنینگ در صنعت
🔵پیشنهاد برای نحوه ورود به دنیای ماشین لرنینگ

🗓 دوشنبه ۲۱ اسفند، ساعت ۱۹

🟢 رایگان ثبت‌نام کنین:‌
👉📎 https://ctdrs.ir/cr15482

@DSLanders | دی‌اس‌لندرز

👩‍🎓 برنامه آموزشی هفته: شبکه‌های عصبی کانولوشنی یا CNNs

🟠شنبه: ایده پشت شبکه‌های عصبی کانولوشنی

🔵یک‌شنبه: Filter, stride, padding

🟢دوشنبه: CNN در پایتون با استفاده از کراس و پای‌تورچ

🔴سه‌شنبه: ابعاد و تعداد پارامترها

🟠چهارشنبه: مصورسازی لایه‌های پنهان

🔵پنج‌شنبه: مقایسه CNN در کراس و پای‌تورچ

🟢جمعه: جمع بندی

#Deep_Learning
#CNNs

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

🟡 وبینار رایگان ماشین لرنینگ در صنعت (از ایده تا محصول نهایی)

🔺 سرفصل‌ها

🔵دسته‌بندی زمینه‌های تحت تاثیر ML
🔵معرفی اپلیکشن‌های موفق در حوزه‌های مختلف
🔵معرفی محصولات شرکت‌های بزرگ برای ایده گرفتن
🔵بررسی ایده‌های استارتاپی
🔵بررسی ایده‌های پژوهشی برای انتخاب موضوع پایان نامه

🗓 دوشنبه ۲۱ اسفند، ساعت ۱۹

🟢 رایگان ثبت‌نام کنین:‌
👉📎 https://ctdrs.ir/cr15482

@DSLanders | دی‌اس‌لندرز

👨‍🎓 ایده پشت شبکه‌های عصبی کانولوشنی

شبکه‌های عصبی پیچشی (Convolutional Neural Networks یا CNNs) با الهام از ساختار بینایی موجودات زنده طراحی شدن و توانایی شگفت‌انگیزی در استخراج ویژگی‌های مهم از تصاویر با حداقل پیش‌پردازش دارن.

🔵 انگیزه و ایده پشت CNN‌ها

ایده‌ی اصلی پشت شبکه‌های عصبی پیچشی به مطالعه‌ی چگونگی پردازش اطلاعات تصویری توسط مغز انسان و سایر موجودات زنده برمی‌گرده.

🔵در دهه ۱۹۶۰، دیوید هیوبل و تورستن ویزل نشون دادن که نورون‌های خاصی در قشر بینایی مغز گربه‌ها وجود دارن که به صورت تخصصی به الگوهای خاصی از نور و سایه، خطوط و گوشه‌ها پاسخ می‌دن.

این کشف انگیزه‌ای شد برای طراحی مدل‌های مصنوعی که می‌تونن الگوهای مشابهی از داده‌ها رو با استفاده از فیلترهای پیچشی تشخیص بدن.

🔵 معماری LeNet

یکی از اولین کاربردهای عملی این ایده در شبکه نورونی لایه پیچشی (LeNet) توسط یان لیکان در دهه ۱۹۹۰ معرفی شد.

🔵این شبکه می‌تونست تصاویر دست‌نویس رو با دقت بالا شناسایی کنه و این با اعمال مکرر فیلترهای پیچشی و لایه‌های ادغام (Pooling) برای کاهش ابعاد و استخراج ویژگی‌های مهم تصویر انجام می‌شد.

🔵 مهم‌ترین پیشرفت‌ها در CNN‌ها

از نوآوری‌های مهم در این حوزه، معرفی تکنیک‌هایی مثل انتقال یادگیری (Transfer Learning)، تکنیک‌های افزایش داده (Data Augmentation) و شبکه‌های پیچشی عمیق با لایه‌های باقی‌مانده (Residual Networks) بود که توانایی مدل‌ها در آموزش عمیق‌تر و کارآمدتر کردن فرآیند یادگیری رو افزایش داد.

🔵 چالش‌های CNNs و راه‌حل‌شون

با پیچیده‌تر شدن شبکه‌ها، مسائل جدیدی مثل بیش‌برازش، نیاز به داده‌های آموزشی زیاد و محدودیت‌های محاسباتی به وجود اومد.

🔵برای حل با این چالش‌ها، تکنیک‌هایی مثل افزایش داده، Regularization و شبکه‌های پیچشی با کارایی بالا طراحی شدن که می‌تونن با استفاده از منابع محاسباتی محدودتر به دقت بالایی برسن.

#Deep_Learning
#CNNs

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

🔊 ۲۴. شبکه‌ عصبی کانولوشنی چیه؟

حوزه بینایی ماشین یکی از حوزه‌های پرطرفدار هوش مصنوعیه و شبکه عصبی کانولوشنی یا CNN یکی از الگوریتم‌های معروفیه که تو این حوزه خیلی استفاده می‌شه.

🟢 این‌جا می‌تونین بیشتر درموردش مطالعه کنین:

👉📎 https://ctdrs.ir/ds0024

🟡صدا: نوید حقوقی

#Machine_Learning
#Podcast

@DSLanders | دی‌اس‌لندرز

👨‍🎓 آشنایی با مفاهیم Filter،stride و padding

🔵 فیلتر (Filter)

فیلترها، هسته‌هایی هستن که روی تصاویر ورودی اعمال می‌شن تا ویژگی‌های خاصی رو استخراج کنن. هر فیلتر، یک آرایه‌ای از وزن‌ها (مقادیر) هست که با حرکت روی همه نقاط تصویر، یک نقشه ویژگی (feature map) تولید می‌کنه. این فرآیند، کانولوشن نام داره و به ما امکان می‌ده تا ویژگی‌هایی مثل لبه‌ها، بافت‌ها و شکل‌ها رو در تصویر شناسایی کنیم.

🔵انواع فیلتر

- فیلتر Sobel: برای تشخیص لبه‌ها در تصاویر استفاده می‌شه. این فیلتر از ماتریس‌های 3x3 تشکیل شده و لبه‌های عمودی، افقی و مورب رو در تصویر تشخیص می‌ده.

- فیلتر Gaussian: برای تار کردن تصاویر و حذف نویز استفاده می‌شه. این فیلتر از ماتریس‌های گاوسی تشکیل شده‌ و نویز رو در تصویر با حفظ جزئیات مهم، حذف می‌کنه.

🔵نحوه یادگیری فیلترها

در طول فرآیند آموزش شبکه، شبکه با دریافت تصاویر ورودی و برچسب‌های مربوطه، به طور خودکار فیلترهایی رو یاد می‌گیره که ویژگی‌های مهم تصاویر رو برای تشخیص اشیاء یا طبقه‌بندی تصاویر استخراج کنن.

🔵 استراید (Stride)

استراید، تعداد پیکسل‌هایی هست که فیلتر بین هر اعمال کانولوشن حرکت می‌کنه. اگه Stride برابر ۱ باشه، فیلتر بعد از هر اعمال، یک پیکسل حرکت می‌کنه.

اگه Stride بزرگ‌تر باشه، فیلتر فواصل بیشتری رو پوشش می‌ده، که منجر به کاهش ابعاد نقشه ویژگی می‌شه؛ در نتیجه به کاهش پیچیدگی محاسباتی و حافظه شبکه کمک شده.

🔵 پدینگ (Padding)

پدینگ، فرآیندیه که در اون حاشیه‌های اطراف تصویر ورودی با مقادیر خاصی (معمولاً صفر) پر می‌شن تا ابعاد نقشه ویژگی نهایی تنظیم یا از کاهش شدید ابعاد جلوگیری شه.

🔵دو نوع پدینگ وجود داره: پدینگ معمولی (Valid Padding) که در اون هیچ پدینگی اعمال نمی‌شه و پدینگ کامل (Same Padding) که به نحوی اعمال می‌شه تا ابعاد نقشه ویژگی خروجی با ابعاد تصویر ورودی برابر باشه.

🔵 تکنیک‌های پیشرفته Padding

- تکنیک Dilated Padding امکان افزایش فیلد دید فیلترها بدون افزایش تعداد پارامترها رو فراهم می‌کنه. این تکنیک به شبکه‌ها اجازه می‌ده که ویژگی‌های موجود در داده‌ها رو بهتر استخراج کنن.

- در روش پدینگ انعطاف‌پذیر یا Adaptive Padding، پدینگ بر اساس ویژگی‌های خاص داده‌ها یا لایه‌های شبکه تنظیم می‌شه تا بهترین نحوه استفاده از پدینگ رو برای استخراج ویژگی‌ها انتخاب کنه.

🔵 استفاده از تنظیمات پیشرفته فیلتر، استراید و پدینگ در کاربردهای واقعی مثل شناسایی چهره یا تجزیه و تحلیل تصاویر پزشکی موثره. مطالعات موردی نشون داده که این تکنیک‌ها بهبودهای قابل توجهی در دقت و کارایی مدل‌های شبکه‌های عصبی ایجاد کردن.

#Deep_Learning
#CNNs

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

🧑‍🎓 برای تکمیل آموزش امروز، پیشنهاد میشه بلاگ‌های زیر رو مطالعه کنین:

🔵لایه ادغام (Pooling Layer) چطور کار می‌کنه؟
👉🔗 ctdrs.ir/ds0038

🔴فیلتر و کرنل توی شبکه عصبی کانولوشنی چه نقشی دارن؟
👉🔗 ctdrs.ir/ds0047

🟢فرایند Padding در شبکه CNN چیه؟
👉🔗 ctdrs.ir/ds0086

#Deep_Learning
#CNNs

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 پیاده‌سازی شبکه‌های عصبی کانولوشنال با Keras

ابتدا باید کتابخانه‌های لازم رو نصب و وارد کنیم. Keras بخشی از TensorFlow هست و با نصب TensorFlow به Keras هم دسترسی داریم.

import tensorflow as tf
from tensorflow.keras import layers, models

🔵 ساخت مدل

یک CNN ساده معمولا شامل لایه‌های کانولوشن، لایه‌های فعال‌ساز (Activation)، لایه‌های ادغام (Pooling) و در نهایت لایه‌های کاملا متصل (Dense) می‌شه. برای مثال یک CNN برای شناسایی اعداد دست‌نویس (MNIST) ایجاد کردیم.

model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))

model.add(layers.Flatten())
model.add(layers.Dense(64, activation='relu'))
model.add(layers.Dense(10, activation='softmax'))

🔵 کامپایل و آموزش مدل

مدل بعد از ایجاد باید کامپایل شه و آموزش ببینه. این مرحله شامل تعیین optimizer، تابع هزینه و معیارهایی برای ارزیابی مدله.

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

mnist = tf.keras.datasets.mnist
(train_images, train_labels), (test_images, test_labels) = mnist.load_data()
train_images = train_images.reshape((60000, 28, 28, 1))
train_images, test_images = train_images / 255.0, test_images / 255.0

model.fit(train_images, train_labels, epochs=5)

🔵 ارزیابی و پیش‌بینی

بعد از آموزش، مدل با داده‌های تست ارزیابی و برای پیش‌بینی‌های جدید استفاده میشه.

test_loss, test_acc = model.evaluate(test_images, test_labels, verbose=2)
print('\nTest accuracy:', test_acc)

predictions = model.predict(test_images)

🔵 بهینه‌سازی بیشتر

🔵برای بهبود عملکرد مدل، ممکنه نیاز به تنظیم بعضی پارامترها مثل نرخ یادگیری، تعداد فیلترهای لایه‌های کانولوشن و تعداد دوره‌های آموزش (epochs) باشه.

🔵همچنین استفاده از تکنیک‌هایی مثل Data Augmentation و Transfer Learning به بهبود عملکرد کمک می‌کنه.

#Deep_Learning
#CNNs

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

💡سوال مصاحبه: چه تکنیک‌هایی رو برای کاهش زمان محاسبات در یک CNN میشه به کار برد؟

🔵کاهش ابعاد ورودی با پیش پردازش، مثل تغییر اندازه تصاویر.
🔵استفاده از لایه‌های کانولوشنی با استرید بزرگتر برای کاهش ابعاد فیچر مپ‌ها.
🔵کاهش تعداد کانال‌ها یا فیلترهای مورد استفاده در لایه‌های کانولوشنی.
🔵استفاده از نسخه‌های سبک‌تر شبکه‌ها مثل SqueezeNet یا MobileNet.
🔵اعمال روش‌های ساده‌سازی مدل مثل هرس کردن (Pruning)، که بعضی اتصالات کم اهمیت‌ رو حذف می‌کنه.
🔵استفاده از الگوریتم‌های بهینه‌سازی سریع‌تر در مرحله آموزش، مثل Adam یا RMSprop.

#Deep_Learning
#CNNs

@Data_ML | دیتاساینس و ماشین‌ لرنینگ