مثال کتابخانه pyspan — ابزار پاک‌سازی و پیش‌پردازش داده‌ها با پایتون

امکان ثبت لاگ تغییرات و Undo علی الخصوص در پروژه هایی که تغیییرات زیادی روی داده ها متصور است بسیار کمک کننده است. در واقع هر بار که یک عملیات پاک‌سازی انجام می‌دهید (مثل پر کردن مقادیر گم‌شده، حذف outlier، تغییر فرمت‌ها و …)، کتابخانه یک نسخه از وضعیت قبلی داده را ذخیره می‌کند، به همین دلیل اگر اشتباهی یک ستون را پاک کردید یا داده‌ای را به شکل نادرست تغییر دادید، می‌توانید به راحتی دیتافریم را به وضعیت قبلی برگردانید.

چرا Undo در پروژه‌های واقعی مخصوصاً در داده‌های مالی و اقتصادی مهم است؟

ممکن است یک روش پاک‌سازی مناسب نباشد
ممکن است یک روش outlier detection بیش‌ازحد سخت‌گیر باشد
یا بخواهید چند روش مختلف را مقایسه کنید
به جای این‌که دوباره دیتافریم را از اول بخوانید، با Undo فقط یک قدم به عقب می‌روید.
در واقع Undo مرحله‌به‌مرحله کار می‌کند (مانند stack).
تا زمانی که لاگ تغییرات فعال باشد، می‌توانید به عقب برگردید.

مثال

from pyspan import Cleaner
import pandas as pd

df = pd.DataFrame({'x': [1, 2, None, 100]})

cleaner = Cleaner(df)

cleaner.fill_missing(method='mean')   # مرحله ۱
cleaner.detect_outliers(column='x')   # مرحله ۲

cleaner.undo()   # برگشت به مرحله ۱
cleaner.undo()   # برگشت به دیتافریم اولیه

print(cleaner.result())

#pyspan
#pandas
#dataframe


پایتون برای مالی
🆔 t.iss.one/python4finance
🆔 ble.ir/python4finance