💠 داده‌های نامتوازن رو با این کتابخونه به سادگی بالانس کن!


👨🏻‍💻 هر کسی که با دیتا کار می‌کنه، حداقل یه بار با مشکل عدم توازن کلاس‌ها توی دیتاست‌ها مواجه شده. دم دست‌ترین و ساده‌ترین راه‌حلتون برای این مشکل؟

✔️ کتابخونه‌ی imbalanced-learn که روی scikit-learn ساخته شده!


🚨 یه سری قابلیت‌های مهم این کتابخونه:

1⃣ میشه با روش‌هایی مثل Random Oversampling یا SMOTE، کلاس‌های اقلیت رو با نمونه‌سازی جدید یا تکرار متعادل کرد.


🔢 ابزارهایی مثل Random Undersampling یا Tomek Links و ENN برای حذف داده‌های اضافی داره تا دیتاست رو تمیز و آماده کنی.


🔢 حتی می‌تونی تکنیک‌های ترکیبی مثل SMOTEEN یا SMOTETomek رو استفاده کنی تا هم نمونه‌سازی جدید داشته باشی، هم دیتا رو پاکسازی کنی.


🔢 راحت با pipeline‌های scikit-learn می‌تونی همه این روش‌ها رو بچسبونی به مدل‌ت و از کد زدن الکی خلاص شی.


┌ 🏳️‍🌈 imbalanced-learn
├ 📖 Documentation
└ 🐱 GitHub-Repos



🌐 #علم_داده #DataScience
➖➖➖➖➖➖➖➖➖➖➖➖➖➖
📊 دانشمند داده شوید :
📊 @DataScience_ir
📱 پیج اینستاگرام:
📊 @DataScience_fa

🔥 5 کتابخونه خفن برای توضیح مدل‌های ML !


👨🏻‍💻 یادگیری ماشین فقط ساختن مدل نیست، باید بدونی مدلت چطوری فکر می‌کنه و خروجی می‌ده!

✅ هرچی شفافیت مدل‌ها بیش‌تر = اعتماد بیش‌تر

⏪ من اینجا ۵ تا کتابخونه‌ی فوق‌العاده برای توضیح و تفسیر مدل‌های ML آوردم که واقعاً به دردتون می‌خورن!👇


🔢 کتابخونه SHAP

✏️ مشهورترین روش برای توضیح مدل‌ها: الگوریتم SHAP از مفهوم اهمیت ویژگی‌ها به صورت افزایشی استفاده می‌کنه تا تأثیر هر ویژگی روی خروجی مدل رو نشون بده.

در واقع یه دید کلی بهت می‌ده که مدل چطوری تصمیم می‌گیره!

▶️ بهترین برای؛ فهمیدن تأثیر هر ویژگی در مدل‌های پیچیده.

➖ ➖ ➖ ➖ ➖

🔢 کتابخونه LIME

✏️ یه روش مدل-آگنوستیک (یعنی به نوع مدل وابسته نیست) که خیلی شبیه SHAP عمل می‌کنه.

تفاوتش اینه که مدل رو در سطح محلی بررسی می‌کنه، یعنی به جای نگاه کردن به کل مدل، روی پیش‌بینی‌های خاصی تمرکز داره.

▶️ بهترین برای؛ توضیح پیش‌بینی‌های خاص، مخصوصاً تو مدل‌های پیچیده مثل شبکه‌های عصبی.

➖ ➖ ➖ ➖ ➖

🔢 کتابخونه Eli5

✏️ وقتی مدل مثل جعبه سیاهه، Eli5 میاد به زبون ساده توضیح میده! این کتابخونه کدهای ML رو دیباگ می‌کنه، مدل‌ها رو بررسی می‌کنه و خروجی‌ها رو شفاف نشون میده.

از Scikit-Learn و Keras پشتیبانی می‌کنه و خیلی سریع و آسونه!

▶️ بهترین برای؛ دیباگ کردن و بررسی مدل‌های کلاسیک و بیشتر مبتنی بر طبقه‌بندی.

➖ ➖ ➖ ➖ ➖

🔢 کتابخونه AIX360

✏️ این یکی از محصولات IBM برای توضیح مدل‌های هوش مصنوعی توی داده‌های مختلف (جدولی، متنی، تصویری و سری‌های زمانی) هست.

از الگوریتم‌های مختلف برای تحلیل شفافیت مدل استفاده می‌کنه و کمک می‌کنه که مدل‌های پیچیده رو بهتر درک کنی!

▶️ بهترین برای؛ تحلیل مدل‌هایی که با داده‌های غیرجدولی مثل متن و تصویر کار می‌کنن.

➖ ➖ ➖ ➖ ➖

🔢 کتابخونه InterpretML

✏️ یه پکیج خفن از مایکروسافت که هم مدل‌های قابل تفسیر (glassbox) ارائه میده، هم می‌تونه مدل‌های جعبه‌سیاه رو توضیح بده.

این کتابخونه از روش‌های جدید و پیشرفته‌ی تفسیر مدل‌ها استفاده می‌کنه و یکی از ابزارهای مهم برای هوش مصنوعی مسئولانه محسوب میشه.

▶️ بهترین برای؛ ترکیب مدل‌های قابل‌توضیح و جعبه‌سیاه برای بررسی رفتار مدل‌ها.



🌐 #یادگیری_ماشین #MachineLearning
➖➖➖➖➖➖➖➖➖➖➖➖➖➖
💡 مهندس ML شوید :
💡 @MachineLearning_ir
📱 پیج اینستاگرام:
💡 @MachineLearning_fa

🔴 10 تا از پرکاربردترین‌ها توابع زیان در ML


👨🏻‍💻 وقتی می‌خوای مدلت رو آموزش بدی، انتخاب درست تابع زیان از نون شب هم واجب‌تره!

✅ بسته به اینکه مدل رگرسیون باشه یا طبقه‌بندی، باید بدونی کدوم تابع برات بهتر جواب می‌ده.


📂 مدل رگرسیون


🔢 خطای بایاس میانگین

⬅️ میانگین خطای مدل رو نشون می‌ده اما خیلی استفاده نمی‌شه چون خطای مثبت و منفی همدیگه رو خنثی می‌کنن.


🔢 میانگین قدرمطلق خطا

⬅️ میانگین اختلاف مطلق بین پیش‌بینی و مقدار واقعی. برای مدل‌هایی خوبه که می‌خوای همه خطاها رو یکسان ببینی.


🔢 میانگین مربعات خطا

⬅️ خطاهای بزرگ‌تر رو شدیدتر جریمه می‌کنه؛ واسه مدل‌هایی که Outlier داری یکم حساسه.


🔢 ریشه میانگین مربعات خطا

⬅️ مثل MSEئه، ولی تهش رادیکال می‌گیری، واحدش می‌شه مثل مقدار واقعی y.


🔢 تابع هابر

⬅️ ترکیبی از MAE و MSEئه. برای خطاهای کوچیک MSE، برای خطاهای بزرگ MAE. ولی یه پارامتر اضافه داره (دلتا).


🔢 تابع زیان لاگ-کاش

⬅️ جایگزین بدون پارامتر برای هابر. گرچه یه کم سنگین‌تره محاسباتش.

➖➖➖➖➖➖➖➖➖

📂 مدل طبقه‌بندی


1⃣ زیان متقاطع دودویی

⬅️ برای مدل‌های دوتایی. تفاوت بین برچسب واقعی و احتمال پیش‌بینی‌شده رو با لگاریتم حساب می‌کنه.


🔢 تابع زیان هینج

⬅️ مخصوص SVMهاست. حتی اگه پیش‌بینی درست باشه ولی با اطمینان پایین، باز هم جریمه می‌شه.


🔢 زیان متقاطع چندکلاسه

⬅️ نسخه‌ی چندکلاسه‌ی BCE. مرسوم‌ترین تابع برای طبقه‌بندی.


🔢 واگرایی کولبک-لایبلر

⬅️ وقتی می‌خوای یه توزیع رو با یه توزیع دیگه تقریب بزنی. تو کلاسه‌بندی معمولی، همون کراس‌انتروپیه، ولی تو مدل‌های فشرده‌سازی یا t-SNE کاربرد داره.



🌐 #یادگیری_ماشین #MachineLearning
➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖
💡 مهندس ML شوید :
💡 @MachineLearning_ir
📱 پیج اینستاگرام:
💡 @MachineLearning_fa

❓ چرا پایتون رو انتخاب کردم؟

👨🏻‍💻 الکس وانگ پژوهشگر حوزه دیتا یه جمله باحال داره که میگه: "زندگی کوتاهه، پس از پایتون استفاده کن".😁

✏️ اولش که وارد حوزه داده شدم، یه عالمه ابزار و زبان برنامه نویسی جلوم بود و نمی‌دونستم از کجا شروع کنم. هرکسی یه چیزی پیشنهاد می‌داد و هر روزم اسم یه زبان یا ابزار جدیدو می‌شنیدم و واقعا گیج شده بودم. تا اینکه با پایتون آشنا شدم.

🏳️‍🌈 پایتون برای من فقط یه زبان برنامه‌نویسی نبود؛ یه جعبه ابزار کامل بود که از تمیز و مرتب کردن داده‌های کثیف با pandas، تا ساخت نمودارهای دیدنی با Matplotlib رو شامل می‌شد.

💸 شاید براتون جالب باشه که بدونین:

✅ پایتون بیش از ۴۷۰ هزار کتابخونه و بسته تو PyPI داره و ۶۹٪ دیتا ساینتیست‌های دنیا ازش استفاده می‌کنن!

⏪ حالا من اومدم یه لیست جامع از پر کاربردترین این ابزارها رو اینجا قرار دادم:


1️⃣ پردازش داده‌ها:

CuPy / Datatable / Vaex / Pandas

Modin / Polars / NumPy


2️⃣ تحلیل آماری:

SciPy / PyMC3 / PyStan

Statsmodels / Lifelines / Pingouin


3️⃣ پردازش زبان طبیعی:

NLTK / BERT / spaCy / TextBlob

Polyglot / Genism / Pattern


4️⃣ تحلیل سری‌های زمانی:

Kats / Sktime / Darts

AutoTS / Prophet


5️⃣ مصورسازی داده‌ها:

Plotly / Altair / Matplotlib / Seaborn

Geoplotlib / Pygal / Folium / Bokeh


6️⃣ یادگیری ماشین:

JAX / Keras / Theano / XGBoost

Scikit-learn / TensorFlow / PyTorch


7️⃣ عملیات پایگاه داده:

Dask / PySpark / Ray

Koalas / Kafka / Hadoop


8️⃣ استخراج داده‌ها از وب:

Beautiful Soup / Scrapy

Octoparse / Selenium



🌐 #علم_داده #DataScience
➖➖➖➖➖➖➖➖➖➖➖➖➖➖
📊 دانشمند داده شوید :
📊 @DataScience_ir
📱 پیج اینستاگرام:
📊 @DataScience_fa