میلاد با سرسعادت قطب عالم امکان، خاتم پیامبران، حضرت محمد مصطفی (ص) و پرچم دار شاهراه ولایت علوى امام جعفر صادق (ع) مبارک باد.

@python4finance

برگه خلاصه مرور مقایسه مدلهای یادگیری ماشین

مطالعه این برگه، جهت یادآوری و مرور مطالب توصیه می شود.

#پایتون_مالی
#خلاصه
#برگه_تقلب
#یادگیری_ماشین
#سری_زمانی
#Machine_Learning


پایتون برای مالی

🆔 @python4finance

گزارش جهانی هوش مصنوعی ۲۰۲۵ منتشر شد
این گزارش بیانگر آن است که هوش مصنوعی به یکی از ارکان اساسی تحول دیجیتال و محرک اصلی رشد اقتصادی در سطح جهانی تبدیل شده است. بر اساس داده‌های این گزارش، ۸۷ درصد از سازمان‌ها هوش مصنوعی را در برنامه‌ریزی‌های راهبردی خود لحاظ کرده‌اند، ۷۶ درصد به‌طور فعال از این فناوری بهره‌برداری می‌کنند و ۶۹ درصد از نسخه‌های مولد آن استفاده می‌نمایند. هوش مصنوعی در حوزه‌هایی نظیر سلامت، تولید صنعتی، حمل‌ونقل، و خدمات مالی نقش‌آفرینی کرده و با فناوری‌های نوظهوری همچون اینترنت اشیاء، بلاک‌چین و رایانش کوانتومی هم‌افزایی یافته است. پیش‌بینی می‌شود ارزش بازار جهانی هوش مصنوعی تا سال ۲۰۳۰ از مرز یک تریلیون دلار فراتر رود. با وجود این رشد چشمگیر، چالش‌هایی از جمله مصرف بالای انرژی، آثار زیست‌محیطی، و دغدغه‌های اخلاقی و حقوقی نیز مطرح شده‌اند که نیازمند توجه جدی و سیاست‌گذاری‌های جامع در سطح بین‌المللی هستند

منبع : مؤسسه بین‌المللی توسعه زیرساخت‌های دیجیتال (IDCA)

@DigitalTransformation4all

یک ماژول بسیار خوب برای نمایش سریع داده ها در پایتون - pandasgui
برای عموم ما که بیشتر دنبال تحلیل داده ها هستیم، مشاهده سریع داده ها و بصری سازی آنها بسیار مهم است. قبلا در این پست (لینک) در خصوص ماژول Dtale یکی دیگر از ماژول های نمایش سریع داده ها صحبت کرده بودیم. ماژول pandasgui هم یکی از ماژول های بسیار خوب برای نمایش سریع داده ها و بصری سازی آنهاست. برای کاربران اکسل این ماژول بسیار جذاب است. به کمک این ماژول می توانید دیتافریم های خود را به راحتی بررسی کرده، فیلترهای خاص را در لحظه اعمال و مشاهده و نتیجه را رسم نمایید.

#pandasgui

پایتون برای مالی
🆔 t.iss.one/python4finance
🆔 ble.ir/python4finance

یک کتابخانه بسیار سریع برای کار با داده ها-Polars
در پایتون برای مشاهده و دستکاری داده ها عموما از Pandas استفاده می کنیم. پانداس کتابخانه بسیار خوب و جامعی است اما وقتی تعداد داده ها بزرگ می شود کارایی پانداس رفته رفته کم می شود و سرعت پردازش هم پایین می آید. البته دلیل آن مشخص است. پانداس برای کار با Multithreading ساخته نشده است و در هر لحظه یک thread را پردازش می کند.
برای حل این موضوع از Polars استفاده می کنیم. Polars بر سرعت و کارایی تمرکز دارد. هنگام کار با میلیون‌ها ردیف، پانداس دچار مشکل می شود اما با Polars به راحتی اجرا می‌شوند.
یک ویژگی جالب دیگر Polars توانایی پردازش داده های با حجم بالاتر از RAM سیستم است.
کار با polars بسیار ساده است و توابع آن شبیه پانداس نوشته است.
اگر به این ماژول علاقه مند شدید سری به این آدرس بزنید.
در تصویر این پست، مقایسه چند ماژول متداول کار با داده ها برای کار با یک دیتافریم بزرگ نشان داده شده است.
#polars
#pandas
#dataframe


پایتون برای مالی
🆔 t.iss.one/python4finance
🆔 ble.ir/python4finance

بر اساس گزارش چشم‌انداز روندهای فناوری ۲۰۲۵ مکینزی، در حوزه توسعه ابزارهای هوش مصنوعی، دانشمند داده با اختلاف بالاترین شغل مورد تقاضا در سال های 2021 تا 2024 بوده است و تسلط به یادگیری ماشین و زبان پایتون از اصلی ترین نیازمندی‌ها بوده است.

🌐 لینک گزارش

#McKinsey
#data_science

پایتون برای مالی
🆔 t.iss.one/python4finance
🆔 ble.ir/python4finance

کتابخانه pyspan — ابزار پاک‌سازی و پیش‌پردازش داده‌ها با پایتون
قبلا در خصوص نحوه کار با داده ها در کتابخانه پانداس (#pandas) مفصل صحبت کردیم. یکی دیگر از ابزارهایی که برای تحلیل گران داده توصیه می شود ماژول pyspan است.

🛠 ویژگی‌های کلیدی pyspan
شناسایی و پر کردن مقادیر گم‌شده،«ناقص» (NaN)، خطا یا ساختارهای ناهماهنگ
تشخیص نقاط پرت (Outliers) و امکان حذف یا اصلاح آن‌ها.
ثبت لاگ تغییرات: می‌دانیم چه عملیاتی روی داده انجام شده و با چه پارامترهایی.
امکان Undo: اگر تغییری منجر به مسأله شد، می‌توان به عقب برگشت.
پشتیبانی از ساختارهای داده‌ای متفاوت: دیتافریم‌های Pandas، لیست‌ها، دیکشنری‌ها و غیره.
فشرده سازی دیتافریم با هدف کاهش حجم دیتافریم های بزرگ


نکته جالب دیگر این است که این کتابخانه مستقل است و برای کار کردن نیازی به پانداس ندارد.

در پست بعد یک مثال برای این موضوع را با هم بررسی خواهیم کرد.

#pyspan
#pandas
#dataframe


پایتون برای مالی
🆔 t.iss.one/python4finance
🆔 ble.ir/python4finance

مثال کتابخانه pyspan — ابزار پاک‌سازی و پیش‌پردازش داده‌ها با پایتون

امکان ثبت لاگ تغییرات و Undo علی الخصوص در پروژه هایی که تغیییرات زیادی روی داده ها متصور است بسیار کمک کننده است. در واقع هر بار که یک عملیات پاک‌سازی انجام می‌دهید (مثل پر کردن مقادیر گم‌شده، حذف outlier، تغییر فرمت‌ها و …)، کتابخانه یک نسخه از وضعیت قبلی داده را ذخیره می‌کند، به همین دلیل اگر اشتباهی یک ستون را پاک کردید یا داده‌ای را به شکل نادرست تغییر دادید، می‌توانید به راحتی دیتافریم را به وضعیت قبلی برگردانید.

چرا Undo در پروژه‌های واقعی مخصوصاً در داده‌های مالی و اقتصادی مهم است؟

ممکن است یک روش پاک‌سازی مناسب نباشد
ممکن است یک روش outlier detection بیش‌ازحد سخت‌گیر باشد
یا بخواهید چند روش مختلف را مقایسه کنید
به جای این‌که دوباره دیتافریم را از اول بخوانید، با Undo فقط یک قدم به عقب می‌روید.
در واقع Undo مرحله‌به‌مرحله کار می‌کند (مانند stack).
تا زمانی که لاگ تغییرات فعال باشد، می‌توانید به عقب برگردید.

مثال

from pyspan import Cleaner
import pandas as pd

df = pd.DataFrame({'x': [1, 2, None, 100]})

cleaner = Cleaner(df)

cleaner.fill_missing(method='mean')   # مرحله ۱
cleaner.detect_outliers(column='x')   # مرحله ۲

cleaner.undo()   # برگشت به مرحله ۱
cleaner.undo()   # برگشت به دیتافریم اولیه

print(cleaner.result())

#pyspan
#pandas
#dataframe


پایتون برای مالی
🆔 t.iss.one/python4finance
🆔 ble.ir/python4finance

معرفی کتاب «یادگیری ماشین با پایتون: اصول و تکنیک‌های کاربردی» به انگلیسی «Machine Learning with Python: Principles and Practical Techniques»

اگر به دنبال مسیری مشخص برای ورود به دنیای یادگیری ماشین با پایتون هستید، این کتاب یکی از بهترین انتخاب‌های اخیر است. نویسنده با نگاهی کاربردی، مفاهیم کلیدی ML را از سطح پایه تا مدل‌های پیشرفته توضیح می‌دهد و در هر بخش کدهای پایتون ارائه می‌کند. برخلاف بسیاری از منابع پراکنده، این کتاب یک نقشه راه منسجم دارد و دقیقاً می‌گوید برای ساخت مدل‌های هوشمند چه باید بدانید و چگونه باید آن‌ها را پیاده‌سازی کنید.

این کتاب طیف گسترده‌ای از روش‌های یادگیری ماشین را پوشش می‌دهد: از الگوریتم‌های کلاسیک نظیر رگرسیون و طبقه‌بندی تا روش‌های عمیق‌تر مانند شبکه‌های عصبی و یادگیری عمیق.
اگر می‌خواهید علاوه بر تحلیل داده‌های مالی، توانایی ساخت مدل‌های پیش‌بینی، سیستم‌های توصیه‌گر یا الگوریتم‌های تصمیم‌گیری هوشمند را کسب کنید، این کتاب می‌تواند نقطه شروع بسیار خوبی باشد.

#معرفی_کتاب
#یادگیری_ماشین
#Machine_learning

پایتون برای مالی
🆔 t.iss.one/python4finance
🆔 ble.ir/python4finance

دانلود کتاب «یادگیری ماشین با پایتون: اصول و تکنیک‌های کاربردی» به انگلیسی «Machine Learning with Python: Principles and Practical Techniques»

اگر به دنبال مسیری مشخص برای ورود به دنیای یادگیری ماشین با پایتون هستید، این کتاب یکی از بهترین انتخاب‌های اخیر است. نویسنده با نگاهی کاربردی، مفاهیم کلیدی ML را از سطح پایه تا مدل‌های پیشرفته توضیح می‌دهد و در هر بخش کدهای پایتون ارائه می‌کند. برخلاف بسیاری از منابع پراکنده، این کتاب یک نقشه راه منسجم دارد و دقیقاً می‌گوید برای ساخت مدل‌های هوشمند چه باید بدانید و چگونه باید آن‌ها را پیاده‌سازی کنید.

#دانلود_کتاب
#یادگیری_ماشین
#Machine_learning

پایتون برای مالی
🆔 t.iss.one/python4finance
🆔 ble.ir/python4finance

مقایسه 10 کتابخانه اصلی پایتون برای کار با داده ها
در هنگام کار با پروژه های واقعی، فراخوانی داده ها بسیار حائز اهیمت است. در پست های قبلی مفصل در خصوص کتابخانه پانداس و کتابخانه های مشابه صحبت کرده بودم. ماژول های متداول برای کار با داده ها و کاربرد اصلی آنها به شرح زیر است:

ماژول pandas: پایه و استاندارد اکثر تحلیل‌های داده کوچک و متوسط.
ماژول NumPy: پایهٔ محاسبات عددی و الگوریتم‌های علمی.
ماژول Polars / Vaex: جایگزین سریع pandas برای داده‌های بزرگ.
ماژول Dask / Modin: برای داده‌های بزرگ و پردازش موازی یا توزیع‌شده.
ماژول DuckDB: کوئری های SQL تحلیلی و query روی فایل‌های بزرگ (Parquet, CSV).
ماژول SQLite: ذخیره‌سازی محلی و کارهای transactional کوچک.
ماژول PyArrow: تعامل ستون‌محور بین DataFrame‌ها و فایل‌های Parquet.
ماژول OpenPyXL / xlrd / xlwt: تعامل با Excel و داده‌های جدولی سنتی.

در جدول این پست مقایسه 10 تا از اصلی ترین کتابخانه های پایتون برای کار با داده ها و ویژگی های کلیدی هر کدام بررسی شده است.

#pandas
پایتون برای مالی
🆔 t.iss.one/python4finance
🆔 ble.ir/python4finance