⏰ پست‌های هفته‌ای که گذشت رو این‌جا پیدا کنین!

🔺 آموزشی

🔵تعریف KNN و بررسی نقش K
👉🔗 https://t.iss.one/data_ml/156

🔵پیچیدگی محاسباتی KNN
👉🔗 https://t.iss.one/data_ml/159

🔵بررسی ساختار K-Dimensional Trees در KNN
👉🔗 https://t.iss.one/data_ml/162

🔵چالش‌ها و معایب KNN
👉🔗 https://t.iss.one/data_ml/165

🔵کاربردها و مزایا KNN
👉🔗 https://t.iss.one/data_ml/168

🔵الگوریتم KNN در Scikit-learn
👉🔗 https://t.iss.one/data_ml/171

🔺 کوئیز

🔵کوئیز شماره ۴۴: الگوریتم KNN یادگیری تنبل
👉🔗 https://t.iss.one/data_ml/157

🔵کوئیز شماره ۴۵: KNN Imputer
👉🔗 https://t.iss.one/data_ml/160

🔵کوئیز شماره ۴۶: K-D Tree در KNN
👉🔗 https://t.iss.one/data_ml/163

🔵کوئیز شماره ۴۷: معایب KNN
👉🔗 https://t.iss.one/data_ml/166

🔵کوئیز شماره ۴۸: روش انتخاب مقدار K
👉🔗 https://t.iss.one/data_ml/169

🔵کوئیز شماره ۴۹: مقدار algorithm در KNeighborsClassifier
👉🔗 https://t.iss.one/data_ml/172

🔺 نکته

🔵انتخاب مقدار k بهینه در KNN
👉🔗 https://t.iss.one/data_ml/158

🔵تفاوت بین k-Means و KNN
👉🔗 https://t.iss.one/data_ml/161

🔵نرمال‌سازی داده‌ها در KNN
👉🔗 https://t.iss.one/data_ml/164

🔵الگوریتم KNN و Bias-Variance tradeoff
👉🔗 https://t.iss.one/data_ml/167

🔵ابعاد بالا و KNN
👉🔗 https://t.iss.one/data_ml/170

🔵تأثیر داده‌های Sparse روی الگوریتم KNN
👉🔗 https://t.iss.one/data_ml/173

#Weekend
#Machine_Learning
#KNN

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

🟡 دوره‌های مقدماتی و پیشرفته علم داده

دنیای داده‌ها جذابه و دونستن علم داده، توانایی تحلیل داده‌، یا بازاریابی مبتنی بر داده، می‌تونه شما رو برای فرصت‌های شغلی زیادی مناسب کنه.

فارغ از رشته‌ و پیش زمینه‌تون، می‌تونین با استفاده از دوره‌های رضا شکرزاد این مسیر رو شروع کنین و از سطح مقدماتی تا پیشرفته پیش برین.

🟢 دوره جامع دیتاساینس و ماشین لرنینگ:
👉📎 https://ctdrs.ir/cr14924

❗️دانشجویان دوره علم داده ۱ می‌تونن با پرداخت اختلاف هزینه، دوره جامع رو تهیه کنن.

🔵 هوش تجاری و تحلیل داده با Tableau و Power BI:
👉📎 https://ctdrs.ir/cr14230

🟠مارکتینگ داده‌محور:
👉📎 https://ctdrs.ir/cr13581

#Courses

@DSLanders | دی‌اس‌لندرز

👩‍🎓 برنامه آموزشی هفته: الگوریتم ماشین بردار پشتیبان یا SVM

🟠شنبه: تعریف SVM و مرز تصمیم گیری

🔵یک‌شنبه: بررسی حاشیه در SVM با جزئیات

🟢دوشنبه: کرنل در SVM

🔴سه‌شنبه: انواع کرنل

🟠چهارشنبه: حاشیه در Sklearn

🔵پنج‌شنبه: کرنل در Sklearn

🟢جمعه: جمع بندی

#Machine_Learning
#SVM

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 تعریف SVM و مرز تصمیم گیری

🔵 الگوریتم ماشین بردار پشتیبان (Support Vector Machine)

🔵ماشین بردار پشتیبان، یک مدل یادگیری نظارت شده است که برای طبقه‌بندی و رگرسیون استفاده می‌شه. این مدل با پیدا کردن یه مرز تصمیم (hyperplane) در فضای ویژگی‌ها، داده‌ها رو به دسته‌های مختلف تقسیم می‌کنه.

🔵توی مواردی که داده‌ها به صورت خطی قابل جداسازی نیستن، SVM از توابع هسته (kernel functions) برای افزایش بعد داده‌ها و پیدا کردن یه مرز تصمیم مناسب در فضای بالاتر استفاده می‌کنه.

🔵یکی از ویژگی‌های مهم SVM، بهینه‌سازی مارجینه. Margin فاصله بین مرز تصمیم و نزدیک‌ترین نمونه‌های داده به این مرزه. SVM تلاش می‌کنه تا این فاصله رو بیشینه کنه.

🔵 مرز تصمیم (Decision Boundary)

مرز تصمیم، سطحیه که داده‌ها رو در فضای ویژگی به دو یا چند کلاس تقسیم می‌کنه. این مرز می‌تونه خطی یا غیرخطی باشه. تعیین مرز تصمیم صحیح برای دقت بالای مدل حیاتیه. مرزهای تصمیم نادرست می‌تونن منجر به بیش‌برازش یا کم‌برازش شن.

🔵در سطح پیشرفته، تکنیک‌هایی مثل روش‌های انتخاب ویژگی، بهینه‌سازی پارامترهای مدل و استفاده از روش‌های ترکیبی برای بهبود تعریف مرز تصمیم مورد استفاده قرار می‌گیرن.

#Machine_Learning
#SVM

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

💡آیا SVM می‌تونه زمان طبقه‌بندی یک نمونه، یک امتیاز اطمینان یا احتمال به دست بیاره؟

ماشین بردار پشتیبان (SVM) می‌تونه فاصله بین نمونه‌های آزمایش و مرز تصمیم رو به عنوان خروجی ارائه بده. این فاصله رو میشه به عنوان یک نمره اطمینان (confidence score) در نظر گرفت، اما نمیشه از این نمره به طور مستقیم برای تبدیل به احتمال کلاس استفاده کرد (احتمالی نشون می‌ده که مدل چقدر مطمئنه که یک داده خاص به یک کلاس مشخص تعلق داره).

اما اگه در زمان ساخت مدل SVM از کتابخانه Scikit-Learn گزینه probability=True تنظیم شه، بعد از آموزش، مدل احتمالات رو با استفاده از رگرسیون لجستیک روی امتیازات SVM تنظیم می‌کنه.

با استفاده از این پارامتر، میشه ()predict_proba و ()predict_log_proba رو به مدل SVM اضافه کرد. این امکان، کاربرد SVM رو توی مسائلی که نیاز به محاسبه احتمال دارن، ممکنه می‌کنه.

svm = SVC(probability=True, random_state=42)
svm.fit(X_train, y_train)
probabilities = svm.predict_proba(X_test)

#Machine_Learning
#SVM

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

💡متغییر Slack در ماشین بردار پشتیبان چیه؟

متغیر‌ Slack در SVM به مدل این امکان رو می‌ده که داده‌های آموزشی رو بهتر یاد بگیره، حتی اگه دسته‌بندی کاملاً جداپذیر نباشه. زمانی که داده‌ها در فضای ویژگی جدا ناپذیرن، متغیرهای Slack به مدل اجازه می‌دن که یک تعادل بین دقت طبقه‌بندی و خطای مجاز داشته باشه. در نتیجه اگه یک نمونه به اشتباه در دسته نادرست قرار بگیره، مقدار متغیر Slack افزایش پیدا می‌کنه. این متغیرها به عبارت دیگه نشون‌دهنده انعطاف مدل در مقابل داده‌های پیچیده و نویزی هستن.

#Machine_Learning
#SVM

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 کرنل در SVM

کرنل یک تابعه که اندازه‌گیری شباهت (یا همبستگی) بین دو نقطه داده در فضای ورودی رو فراهم می‌کنه. به زبان ساده، کرنل تکنیکیه برای تبدیل فضای ویژگی‌های غیرخطی به فضایی که در اون جداسازی خطی امکان‌پذیره.

🔵نحوه عملکرد کرنل‌

کرنل‌ با محاسبه نقطه‌ای (dot product) بین دو نقطه داده در فضای ویژگی، به ما کمک می‌کنه تا درک کنیم که چطور داده‌های مختلف نسبت به هم قرار گرفتن. این کار باعث می‌شه تا الگوریتم SVM بتونه مرزهای تصمیم‌گیری پیچیده‌تری رو در فضاهای با بعد بالاتر تعریف کنه.

🔵انتخاب کرنل مناسب

انتخاب کرنل مناسب بسیار مهمه چون باید بر اساس نوع داده‌ها، میزان پیچیدگی مسئله، و محدودیت‌های محاسباتی صورت بگیره. برای مثال، کرنل RBF در بسیاری از موارد خوب عمل می‌کنه اما ممکنه در مواردی که داده‌ها به شدت پیچیده نیستن، کرنل خطی کافی باشه.

🔵تنظیم پارامترهای کرنل

برای بهینه‌سازی عملکرد SVM، تنظیم پارامترهای کرنل اهمیت بالایی دارد. برای مثال، در کرنل RBF، پارامترهایی مانند gamma و C باید به دقت تنظیم شن تا از overfitting یا underfitting جلوگیری شه.

🔵کاربردهای پیشرفته

در سطح پیشرفته، کرنل‌ها می‌تونن برای مسائل خاص مثل شناسایی الگوها، تجزیه و تحلیل متن، و پردازش تصویر به کار برن. همچنین توسعه کرنل‌های سفارشی برای موارد خاص هم ممکنه که به درک عمیق‌تری از داده‌ها و مسئله نیاز داره.

#Machine_Learning
#SVM

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

💡چرا از Kernel Trick استفاده میکنم؟

تابع کرنل به ما امکان می‌ده داده‌ها رو به فضایی با ابعاد بالاتر تبدیل کنیم، در حالی که ترفند کرنل (Kernel Trick) این تبدیل رو بدون نیاز به محاسبات پیچیده ممکن می‌کنه.

زمانیکه تعداد ابعاد بالا می‌ره، محاسبات بیش از حد پیچیده و پرهزینه می‌شن. در چنین مواردی، Kernel Trick به ما امکان می‌ده در فضای ویژگی اصلی عمل کنیم بدون اینکه مختصات داده‌ها رو در فضای بعدی بالاتر محاسبه کنیم و روشی کارآمدتر و کم هزینه‌تر برای تبدیل داده‌ها به فضاهای با بعد بالاتر هست.

#Machine_Learning
#SVM

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 انواع کرنل

تابع هسته در SVM به ما امکان می‌ده تا داده‌ها رو از فضای ویژگی اولیه به یک فضای ویژگی با ابعاد بیشتر (معمولاً با بعد بی‌نهایت) تبدیل کنیم، در اینجا به بررسی انواع مختلف توابع Kernel در SVM می‌پردازیم:

🔵Polynomial Kernel Function

تابع هسته چندجمله‌ای به ما امکان می‌ده تا ویژگی‌های داده‌ها رو در درجات مختلف چندجمله‌ای بررسی کنیم. این تابع برای داده‌هایی که ویژگی‌هاشون روابط پیچیده و درجه‌دار هستن، مناسبه.

🔵Gaussian RBF Kernel Function

این تابع به شکل گسترده‌ای برای مواردی که الگو دقیق و یا توزیع داده‌ها مشخص نیست، استفاده می‌شه. این تابع می‌تونه داده‌ها رو در فضایی با بعد بی‌نهایت نمایش بده.

🔵Sigmoid Kernel Function

تابع هسته سیگموئید معمولاً برای شبکه‌های عصبی استفاده می‌شه و می‌تونه برای تبدیل فضای ویژگی اولیه به فضای ویژگی‌هایی که شباهت به نورون‌های عصبی دارن به کار برده شه.

🔵Linear Kernel Function

تابع هسته خطی ساده‌ترین تابع هسته است که فقط میزان شباهت یا همپوشانی دو ویژگی رو اندازه‌گیری می‌کنه و برای داده‌هایی که از قبل قابل جداسازی با یک مرز خطی هستن، مناسبه.

🔵Hyperbolic Tangent Kernel Function

این تابع هسته، مثل تابع سیگموئید، برای شبیه‌سازی نورون‌های عصبی استفاده می‌شه و می‌تونه روابط پیچیده بین داده‌ها رو نشان بده.

🔵Graph Kernel Function

برای داده‌هایی که به صورت گرافیکی هستن، مثل شبکه‌های اجتماعی یا ساختار مولکول‌ها، می‌تونه مفید باشه.

🔵String Kernel Function

برای داده‌هایی که به صورت رشته‌هایی از کاراکترها هستن، مثل دی‌ان‌ای یا متن، کاربرد داره.

🔵Tree Kernel Function

این تابع هسته برای داده‌هایی که دارای ساختار درختی هستن، مثل ساختارهای زبانی یا سلسله مراتب فایل‌ها، مناسبه.

انتخاب تابع هسته مناسب برای یک مسئله خاص، می‌تونه تأثیر زیادی روی کارایی مدل SVM داشته باشه. به همین دلیل، لازمه تا با استفاده از روش‌های مختلف اعتبارسنجی مثل اعتبارسنجی متقابل، توابع هسته مختلف رو آزمایش و بهترین تابع رو برای داده‌ها انتخاب کرد. در تصویر، اعمال چهار نوع اصلی توابع Kernel روی دیتاست Iris قابل مشاهده است.

#Machine_Learning
#SVM

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 حاشیه در Sklearn

پارامتر C در کتابخانه sklearn نقش مهمی برای تعیین حاشیه و نحوه در نظر گرفتن نویز داده‌هاست. در کد زیر پارامتر C به عنوان penalty در نظر گرفته شده. Kernel در اینجا linear انتخاب شده چون در حال کار با حاشیه‌های خطی هستیم. تصویر پست نتیجه اجرای کد زیره:

import matplotlib.pyplot as plt
import numpy as np
from sklearn import svm

np.random.seed(0)
X = np.r_[np.random.randn(20, 2) - [2, 2], np.random.randn(20, 2) + [2, 2]]
Y = [0] * 20 + [1] * 20

fig, axes = plt.subplots(1, 2, figsize=(10, 5))

for i, (name, penalty) in enumerate([("unreg", 1), ("reg", 0.05)]):
    clf = svm.SVC(kernel="linear", C=penalty)
    clf.fit(X, Y)

    w = clf.coef_[0]
    a = -w[0] / w[1]
    xx = np.linspace(-5, 5)
    yy = a * xx - (clf.intercept_[0]) / w[1]

    margin = 1 / np.sqrt(np.sum(clf.coef_**2))
    yy_down = yy - np.sqrt(1 + a**2) * margin
    yy_up = yy + np.sqrt(1 + a**2) * margin

    axes[i].plot(xx, yy, "k-")
    axes[i].plot(xx, yy_down, "k--")
    axes[i].plot(xx, yy_up, "k--")
    axes[i].scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=80, facecolors="none", zorder=10, edgecolors="k")
    axes[i].scatter(X[:, 0], X[:, 1], c=Y, zorder=10, edgecolors="k")
    axes[i].set_xlim(-4.8, 4.2)
    axes[i].set_ylim(-6, 6)
    axes[i].set_title(f"C = {penalty}")

plt.tight_layout()
plt.show()

#Machine_Learning
#SVM

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

💡قضیه مرسر چیه و چه ارتباطی با SVM داره؟

قضیه مرسر (Mercer's Theorem) یک نتیجه نظری در ریاضیاته که اساس کار هسته‌ها (kernels) در SVM رو تشکیل می‌ده. قضیه مرسر میگه اگه یک تابع هسته‌ای خاصیت خوبی مثل مثبت بودن و تقارن داشته باشه، می‌تونیم ازش به عنوان یک ابزار برای مقایسه نقاط داده در یک فضای پیچیده و بزرگ‌تر استفاده کنیم.

در SVM از قضیه مرسر برای تبدیل داده‌ها به فضای ویژگی با بعد بالاتر استفاده می‌شه تا در اون فضا امکان جداسازی خطی داده‌ها فراهم شه، حتی اگه داده‌ها در فضای ورودی اصلی به صورت خطی جدا نشدنی باشن.

#Machine_Learning
#SVM

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 کرنل در Sklearn

در SVM، هدف پیدا کردن یک صفحه (یا هایپرپلین) هست که داده‌های دو کلاس مختلف رو از هم جدا کنه. کرنل یک تابعه که برای محاسبه شباهت بین دو نقطه در فضای ویژگی استفاده می‌شه. کرنل‌ها به ما این امکان رو می‌دن که مسائل غیر خطی رو با تبدیل داده‌ها به یک فضای ویژگی با ابعاد بیشتر به صورت خطی قابل جداسازی کنیم.

🔵 انواع کرنل‌ها در sklearn

کتابخانه sklearn چندین کرنل مختلف رو پیاده‌سازی می‌کنه:

🔵کرنل خطی (Linear): ساده‌ترین کرنل که در مسائل جداسازی خطی استفاده می‌شه.

🔵کرنل چندجمله‌ای (Polynomial): این کرنل به ما اجازه می‌ده تا روابط غیرخطی بین داده‌ها رو مدل کنیم.

🔵کرنل RBF (Radial Basis Function): این کرنل برای مسائلی که در اونها فضای ویژگی‌ها واضح نیست یا بسیار پیچیده‌ست، مفیده.

🔵کرنل سیگموید (Sigmoid): این کرنل بیشتر در شبکه‌های عصبی استفاده می‌شه.

🔵 پارامترهای کرنل‌ها

هر کرنل پارامترهای خاص خود را دارد که باید به درستی تنظیم شن تا مدل به خوبی عمل کنه.

🔵کرنل خطی: C یا پارامتر تنظیم، که نشون‌دهنده میزان اهمیت طبقه‌بندی نادرسته.

🔵کرنل چندجمله‌ای
- degree: درجه کرنل چندجمله‌ای
- gamma: تعیین‌کننده میزان تاثیر یک نمونه واحد
- coef0: مستقل از کرنل، که در تابع کرنل چندجمله‌ای استفاده می‌شه

🔵کرنل RBF: پارامتر gamma در اینجا هم مثل کرنل چندجمله‌ای، تعیین‌کننده میزان تاثیر یک نمونه واحده.

🔵کرنل سیگموید: دارای پرامترهای gamma و coef0 که براساس تعریف گفته شده عمل می‌کنن.

🔵 انتخاب و تنظیم کرنل

انتخاب کرنل و تنظیم پارامترهاش بر اساس نوع داده‌ها و مسئله‌ای که می‌خوایم حل کنیم، متفاوته. به طور کلی، می‌تونیم از روش‌های ارزیابی متقاطع (Cross Validation) و جستجوی شبکه‌ای (Grid Search) برای پیدا کردن بهترین ترکیب کرنل و پارامترهاش استفاده کنیم. مثال کد SVM با کرنل RBF در sklearn:

from sklearn.svm import SVC
model = SVC(kernel='rbf', gamma=0.1, C=1)
model.fit(X_train, y_train)

#Machine_Learning
#SVM

@Data_ML | دیتاساینس و ماشین‌ لرنینگ