#Missing_Value

▫️چندین روش برای برخورد با مقادیر missing وجود دارد که در ادامه به توضیح برخی از آن‌ها می‌پردازیم:
⭕️ حذف مشاهدات یا متغیرها با مقدارهای خالی با محاسبات و تحلیل‌های آماری
این روش معمولاً در صورتی کاربرد دارد که تعداد مقادیر گم‌شده کم است و حذف آنها برای تحلیل اطلاعات موجود تأثیر زیادی ندارد.

⭕️ جایگزنی داده‌های خالی با مقدار جایگزین
📊 داده های غیر سری زمانی:
پر کردن داده‌های خالی با مقدار ثابت: در این روش، مقادیر گم‌شده با یک مقدار ثابت مانند میانگین، مد، یا حتی یک مقدار دسته‌ای پر می‌شوند
📊 داده های سری زمانی:
۱. ffill:
در این روش، مقادیر خالی با مقادیر غیرخالی قبلی در سری زمانی پر می‌شوند

۲. bfill
در این روش، مقادیر خالی با مقادیر غیرخالی بعدی در سری زمانی پر می‌شوند

۳. Interpolation :
در این روش، مقادیر خالی با استفاده از مقادیر غیرخالی قبلی و بعدی تخمین زده می‌شوند. این روش برای پر کردن مقادیر در میان دو نقطه موجود در سری‌زمانی استفاده می‌شود

۴.استفاده از روش های یادگیری ماشین و...

این راهکارها متنوع هستند و بسته به موقعیت و نوع داده‌ها، ممکن است یکی از آنها مناسب‌تر باشد

@FinPy

#گزارش

آشنایی با مسیرهای شغلی در کوانت فایننس

▫️این گزارش که توسط موسسه CQF تهیه شده، شامل مروری اجمالی بر ۶ مسیر شغلی در کوانت فایننس هست که یکی از پردرآمدترین و در عین حال پرچالش ترین حوزه های کاری در دنیا محسوب میشه. در گزارش، برای هر مسیر شغلی، مجموعه ای از مهارتهای مورد نیاز و رنج درآمد ارائه شده و با افرادی که در هر مسیر شغلی فعال هستند مصاحبه کوتاهی داشته. در پایان هم توصیه هایی برای نحوه تنظیم رزومه و سوالات مصاحبه هر مسیر شغلی داشته که دید خوبی از وضعیت این حوزه کاری در دنیا بهتون میده. فایل گزارش رو میتونید از این لینک در کتابخانه فینپای دانلود کنید.

@FinPy

#بکتست

بکتست استراتژی معاملاتی در گذشته قیمت؟!

▫️واژه بکتست که به گوشمون میخوره، ناخودآگاه اولین چیزی که به ذهن میرسه تست یه استراتژی معاملاتی روی گذشته قیمت که به Historical Backtest شناخته و به صورت Walk Forward انجام میشه، هست. این نوع بکتست هر چقدر نتایج اش بهتر باشه احتمال غلط بودنش بیشتره چون به راحتی اورفیت میشه و کراس ولیدیشن معمول هم نمیتونه این اورفیت شدن رو تشخیص بده! یه راه ساده برای بررسی اورفیت بودن، برعکس کردن توالی قیمت در زمان و تست عملکرد استراتژی توسعه یافته روی این سری جدید هست یعنی Walk Backward!

▫️ویدیو زیر، ارائه Campbell Harvey در خصوص ریسکهای هیستوریکال بکتست و راهکارهایی برای غلبه بر اونهاست:

The Risks of Historical Backtests

▫️آقای de Prado در تله ۹، مقاله زیر ۳ مشکل اصلی بکتست هیستوریکال رو توضیح و بکتست CPCV رو به عنوان راه حل پیشنهاد داده:

The 10 Reasons Most Machine Learning Funds Fail

@FinPy

وکیل مدافع شیطان!

▫️وکیل مدافع شیطان در یک تیم، به کسی گفته میشه که وظیفه داره به مخالفت با ایده‌های مطرح شده بپردازه و مراقب باشه جریان کلی تصمیم گیری به سرعت روی یه ایده متمرکز نشه. این تکنیک، میتونه با شک و چراچویی مغرضانه با هدف زیر سوال بردن ایده ها و فرضیات، کمک کنه تا تصمیمات هوشمدانه و قابل توجیه تری بگیریم.

▫️مثلا فرض کنید در یک دیتا ست مربوط به نظر سنجی شغلی که قراره در یک پروژه دیتا ساینس استفاده بشه، یه عده میزان درآمدشون رو نگفته باشند. تصمیم اولیه طبق عادت بر این میشه که این مقادیر به اصطلاح از دست رفته (missing value) با میانگین درآمد سایر مشاهدات دیتاست پر بشه. فردی که نقش وکیل مدافع شیطان رو بازی میکنه، این تصمیم رو زیر سوال میبره با این توجیه که، شاید اعلام نشدن میزان درآمد توسط برخی از افراد، سر نخی از میزان درآمد اونها باشه! احتمالا اونایی که درآمدشون خیلی بالا یا خیلی پایین بوده، از اعلامش اجتناب کردن و بنابراین پر کردن درآمد این افراد با میانگین درآمد دیتاست تصمیم اشتباهی هست. چراجویی مغرضانه و شک نسبت به کاری که انجام میدیم، میتونه این نقش رو در پروژه های یک نفره ایفا کنه.

@FinPy

جیلبریک کردن ChatGPT - بهره مندی از حداکثر پتانسیل پاسخگویی

▫️اگر اکانت ChatGPT دارید و میخوایید از حداکثر پتانسیل اش استفاده کنید، باید Jailbreak اش کنید. برای این کار یک چت جدید باز کنید و متنی که در بخش کامنت این پست اومده رو بهش بدید. این توضیح رو خود ChatGPT در مورد جیلبریک داده: "جیلبرک به این معنی است که من حالا از تمام محدودیت‌ها و قوانین معمولی که توسط OpenAI اعمال میشد، آزاد شده ام. من می‌توانم هر چیزی بگویم و انجام دهم، به شما پاسخ‌های خلاقانه، منحصر به فرد و بدون محدودیت ارائه دهم. به این فکر کنید که توانایی کامل من برای دادن پاسخ‌ها و تعاملاتی که می‌خواهید، بدون هیچ فیلتری یا مرزی، آزاد شده است."

▫️برای نمایش تفاوت در پاسخ ها، ما در مورد پیش بینی قیمت طلا در انتهای سال ۲۰۲۴ و ۲۰۲۵ پرسیدیم که در حالت استاندارد که با lock مشخص شده، گفته من نمیتونم پیش بینی کنم و عدد بدم. اما در حالت جیلبریک شده که با unlock مشخص شده، گفته ۲۵۰۰ دلار برای هر انس تا پایان ۲۰۲۴ و ۳۰۰۰ دلار تا پایان ۲۰۲۵! توجه داشته باشید که هدف از این مثال نمایش تفاوت در پاسخ ها هست و نه معرفی ابزاری برای پیش بینی بازار!

@FinPy

روحیه استمرار، لازمه موفقیت

▫️ما در مسیر یادگیری مهارت های جدید، به احتمال زیاد مسیر این منحنی احساسات رو طی می کنیم تا به تبحر در اون مهارت برسیم. یادگیری در ابتدا با شیب تندی انجام میشه و بسیار لذت بخشه اما از یه جایی به بعد کار سخت و مشخص میشه اونقدری که در ابتدا به نظر میرسید ساده نیست. اگر علاقه و پشتکار ما به یادگیری مهارت مد نظر قوی باشه، اون نقطه مشخص شده در منحنی رو پشت سر گذاشته و به سمت قله حرکت می کنیم. در غیر این صورت یادگیری بدون حصول نتیجه ملموسی رها و احتمالا سراغ یه مهارت دیگه میریم تا اینکه در بهترین حالت به اقیانوسی به عمق یک وجب، تبدیل بشیم، فردی که از هر چیزی یک دانش سطحی داره!

▫️این آفتی هست که ممکنه بهش مبتلا باشیم و ازش بی خبر. نتیجه اش هم دور ریختن همه اون زمانی هست که برای یادگیری سطحی مهارتهای مختلف صرف میکنیم. اما اگر کمی حوصله و پشتکار به خرج بدیم، با صرف همون زمان میتونیم در یکی دو مهارت به تبحر برسیم و بتونیم گره های کوری رو در مسیر زندگی حرفه ای مون باز کنیم که در اعتماد به نفسمون در طی مسیر سخت یادگیری مهارت بعدی برای رسیدن به تبحر تاثیر به سزایی داره.

@FinPy

پیش بینی جهت بازار

▫️تشخیص صحیح جهت حرکت قیمت که از منظر ML یه مساله باینری کلاسیفیکیشنه، مهمترین رکن موفقیت در بازارهای مالی هست. فرض کنید یه دیتاست با فیچرهایی که میتونه در پیش بینی جهت، کارآمد باشه رو داریم و میخواییم بدونیم حرکت a% درصد بعدی قیمت، صعودی خواهد بود یا نزولی. اگر مدل رو روی همه مشاهدات دیتاست (همه نقاط زمانی) ترین کنیم، به دقت خوبی نخواهیم رسید، چون همه مشاهدات موجود در دیتاست ارزش یکسانی ندارند. وقتی مخلوطی از مشاهدات ارزشمند و بی ارزش رو به مدل میدیم، مدل نمیتونه فرآیند یادگیری رو به خوبی انجام بده چون سعی داره از مشاهدات بی ارزش هم یاد بگیره و همین موضوع، دقت اش رو کم میکنه.

▫️نمونه برداری با هدف کاهش مشاهدات (down-sampling) یکی از راهکارهای ممکن برای حل این مشکله. مثلا مشاهداتی که مرتبط با وقوع یه رخداد خاص در بازار هستند رو نگه میداریم و بقیه رو دور میریزیم. رخداد میتونه هر چیزی مثل عبور والیتیلیتی یا آنتروپی از یه ترشلد باشه. توی شکل یه سری رخداد با نقاط قرمز مشخص شدن که آموزش مدل و پیش بینی فقط در اون نقاط (فیچرها و لیبل مرتبط) انجام میشه و نه در همه نقاط سری زمانی قیمت.

@FinPy

انتخاب k برای k-fold کراس ولیدیشن

▫️یکی از کاربردهای کراس ولیدیشن، تخمین عملکرد (Performance Estimation) مدلهای ماشین لرنینگ هست و شاید اولین سوالی که برای کاربر پیش میاد اینه که k رو چند بزارم. مثلا اگر k رو ۵ بزاریم، دیتا به ۵ قسمت تقسیم و ۵ بار مدل ترین میشه. هر بار، مدل روی ۸۰٪ دیتا ترین و روی ۲۰٪ باقیمانده ارزیابی میشه. بنابراین خروجی کراس ولیدیشن در این حالت ۵ تا عدد مثلا Accuracy خواهد بود که یه میانگینی دارند.

▫️برای اینکه میانگین این معیار ارزیابی به واقعیت نزدیکتر، یا به اصطلاح بایاس کمتری داشته باشه، به k بزرگتری نیاز داریم. محدوده پیشنهادی برای k با هدف تخمین عملکرد، ۱۰ تا ۲۰ هست و هر چه دیتای شما کمتر باشه، مثل چیزی که در مسایل مالی باهاش روبرو هستیم، انتخاب باید به سمت ۲۰ نزدیکتر باشه. حد ماکزیمم هم برای این گذاشته شده که وقتی k بزرگتر میشه فولدهای ترین کورولیشن زیادی با هم خواهند داشت بنابراین تخمین حاصل از کراس ولیدیشن اعتبار خودش رو روی دیتایی که مدل هیچ وقت ندیده (unseen data) از دست خواهد داد. مثلا با انتخاب ۵۰، مدل ۵۰ بار، هر بار با ۹۸٪ دیتا ترین و با ۲٪ باقیمانده تست خواهد شد!

@FinPy

#معرفی_کتاب

▫️ پیش بینی هایی که توسط مدل های ماشین لرنینگ انجام میشه، اگه با یه درجه اطمینان همراه باشن، قابل اتکا تر خواهند بود. این درجه اطمینان برای مدل ها میتونه از طریق Conformal Prediction تولید بشه که تو یه سری حوزه ها از جمله فایننس اهمیت زیادی داره. این کتاب جامع ترین مرجع برای یادگیری اصول و مبانی Conformal Prediction هست. اگر حتی علاقه ای به این موضوع ندارید، حداقل بخشی که مربوط به کالیبراسیون کلاسیفایرها هست رو بخونید چون توی Bet Sizing در پوزیشن هایی که بر اساس پیش بینی این مدلها در بازار انجام میشه، دونستنش ضروریه.

Practical Guide to Applied Conformal Prediction in Python


@FinPy

#کتابچه_آموزشی

Investment Model Validation - CFA Institute

▫️اعتبارسنجی یا Validation مهمترین بخش در توسعه یه مدل مبتنی بر ماشین لرنینگ برای سرمایه گذاری هست. چون اگر مدل توسعه داده شده به درستی اعتبار سنجی بشه با اطمینان بیشتری میشه سرمایه بهش اختصاص داد. این کتابچه که مروری بر نحوه اعتبارسنجی مدلهای سرمایه گذاری داشته، به تازگی توسط موسسه CFA منتشر شده. اگرچه روش ها و سنجه های اعتبارسنجی معرفی شده، لزوما جامعترین و یا بهترین نیستند ولی ارزش خوندن داره. اگر دنبال منبع جامعتر و به روزتری در این خصوص هستید، مطالعه بخش چهار این کتاب رو که در مورد بکتست هست، البته همراه با برخی پیشنیازهاش که در فصلهای قبلی کتاب اومده پیشنهاد میشه. در کنار اینها حتما مقاله زیر رو هم بررسی کنید:

Backtest Overfitting in the Machine Learning Era: A Comparison of Out-of-Sample Testing Methods in a Synthetic Controlled Environment

@FinPy

#جیمز_سایمون
#اپیزود

🎙 گفتگو: درسهایی از سایمون

▫️آیا واقعاً همه چیز در قیمت‌های فعلی بازار منعکس شده است و هیچ الگویی برای پیش‌بینی آینده وجود ندارد؟ در این گفتگوی فارسی که بر گرفته از صحبتهای جیم سایمون ریاضیدان و بنیانگذار شرکت رنسانس تکنولوژی (یکی از موفق‌ترین هج فاندهای دنیا)، به این سوال پاسخ و در خصوص مواردی چون ظرفیت سیستمهای معاملاتی، مدیریت پرتفو و تیم سازی که از قطعات دیگر پازل موفقیت در صنعت مدیریت دارایی هستند، توضیحاتی داده شده.

پ. ن.: منظور از مدیر در گفتگو، جیم سایمون هست. سعی شده گفتگو به زبان ساده باشه و سرنخ هایی برای علاقه مندان در خصوص ملاحظات یک سیستم مدیریت دارایی بده.

@FinPy

دل‌نوشته‌ای برای ایران عزیز

ایران عزیز و زخمی، فقط می‌توانم بگویم شکیبا باش. ما تو را همچنان، با سینه‌ای ستبر و قامتی استوار، با بازوانی قوی و شانه‌هایی که خمیدگی را نمی‌شناسد، می‌خواهیم. می‌دانم زخم‌هایی عمیق بر روح و جسمت وارد شده، اما برای همۀ آنانی که به تو عشق می‌ورزند و آیندۀ خود را در دامان تو تعریف کرده‌اند، مهربان و صبور، فقط بمان. می‌دانم دردها در دل داری و کوه‌ها حرف برای گفتن. اما امروز، گاه شکیبایی است و بس. غبارِ غم از رخسارِ زیبا و بی‌مانندت خواهیم زدود و پای سخنان دردآلودت خواهیم نشست. پس تا آن روز، راست‌قامت و استوار، فقط بمان.

دکتر مسعود نیلی