الگوریتمهای LTR در فایننس

▫️وقتی تو گوگل چیزی رو سرچ میکنیم، نتایج بر اساس میزان مربوط بودن (relevance) به عبارت سرچ ما، رنک و بهمون نمایش داده میشن. الگوریتمهایی که پشت موتورهای جستجو این کار رو انجام میدن Learning to Rank یا LTR نام دارند. حالا فرض کنید چیزی که میخواییم سرچ کنیم که بهش کوئری میگن، این باشه: "پر بازده ترین سهم ها در یک ماه آینده کدامها خواهند بود؟" برای این کوئری میشه یه الگوریتم LTR رو ترین کرد تا بر اساس چیزی که یاد گرفته بیاد و پربازده ترین سهم ها در یک ماه آینده رو برای ما به ترتیب سورت کنه و مثلا یه پرتفو بر اساس سهمهای با رنک بالا تشکیل بدیم. توجه داشته باشید که این الگوریتم ترتیب بازدهی رو پیش بینی میکنن نه مقدار بازدهی! البته که مثل هر الگوریتم دیگه ای فیچرهایی که LTR ازش یاد میگیره اهمیت زیادی دارند و بدون فیچرهای به اصطلاح predictive این الگوریتم هم نمیتونه کاری از پیش ببره چون garbage-in منجر به garbage-out میشه! اگر این دسته از الگوریتمهای ماشین لرنینگ براتون جذاب هست، این مقاله از ژورنال Financial Data Science رو مطالعه کنید.

#LTR
@FinPy

موفق ترین مدل های ماشین لرنینگ برای حل مسائل مالی

▫️بخش بزرگی از مسائل دنیای فایننس مبتنی بر داده های جدولی (Structured/Tabular) مثل داده هایی که در یک دیتافریم ذخیره میشن، هستند. بخش دیگری از مسائل هم مبتنی بر آلترناتیو دیتا، مثل متن و تصویر که داده های بدون ساختار (Unstructured) نامیده میشن. اگر مساله با داده های جدولی شما، یه مساله Supervised باشه، بهترین مدل برای حل اش GBDTها هستند. XGBoost، LightGBM و CatBoost نمونه هایی از GBDT هستند که در مواجهه با داده های جدولی، سایر مدلها از جمله مدلهای دیپ لرنینگ، حرفی برای گفتن در مقابل شون ندارن. توجه داشته باشید که برای داده های بدون ساختار مثل متن و تصویر، دیپ لرنینگ انتخاب بهتری هست. بنابراین اگر مسائل پیش روی شما با داده های جدولی سر و کار داره، سراغ دیپ لرنینگ نرید و مساله رو با GBDT یا مدلهای Bagging مثل Random Forest حل کنید.

GBDT = Gradient Boosting Decision Tree

@FinPy

#معرفی_کتاب

Ensemble Methods for Machine Learning

▫️مدلهای Ensemble یه انتخاب عالی برای حل مسائل با داده های جدولی که در فایننس هم بیشتر با چنین داده هایی سر و کار داریم، هستند. اگر میخوایید در مورد مفاهیم و انواع این مدلها، اینکه چجوری کار میکنن و چطور میشه تو پایتون ازش استفاده کرد، بیشتر بدونید، مطالعه این کتاب رو بهتون پیشنهاد میکنیم. کدهاش هم از اینجا قابل دسترسی هست.

@FinPy

دسترسی به مطالب پولی مدیوم

▫️استوری هایی که در مدیوم (medium.com) منتشر میشه، یه گزینه عالی برای یادگیری سریع درباره موضوعاتی هست که بهشون علاقه مندیم. اما دسترسی به اکثر این مقالات نیاز به پرداخت حق عضویت داره که کار رو کمی دشوار میکنه. برای حل این مشکل و دسترسی رایگان به استوری های این سایت، اینجا یه راه حل ارائه شده که میتونید ازش استفاده کنید. به این ترتیب که لینک استوری مدیوم رو کپی و در سایت زیر وارد میکنید تا کل مطلب براتون نمایش داده بشه:

https://readmedium.com

همچنین برای سهولت کار میتونید از افزونه های کروم یا موزیلا هم استفاده کنید.

▫️برای دست گرمی میتونید این استوری ها رو ببینید:

Deep Learning is What You Do Not Need

XGBoost 2.0: Major update on Tree-based methods

Schur Complementary Portfolios — A Unification of Machine Learning and Optimization-Based Allocation

Remind Me Again Why Large Language Models Can’t Think

@FinPy

دوراهی مانایی و حافظه

▫️مانایی یکی از شروطی هست که فیچرهای مدل های ماشین لرنینگ نظارتی (Supervised ML) بهش نیاز دارند. فیچرهایی که در قالب یه مساله مدلسازی مالی غالبا به صورت سری های زمانی خودشون رو نشون میدن. مدل های آماری که برای سری های زمانی هم مورد استفاده قرار میگیره این شرط مانا بودن سری رو برای استفاده از مدل دارند. کاری که معمولا انجام میشه، بعد از اطمینان از مانا نبودن سری، تفاضل گیری (مثل محاسبه بازدهی) برای مانا کردنش هست. این روش معمول، در سری های زمانی مالی که سیگنال به نویز به دلیل برهم کنش نیروهای آربیتراژ کم هست، اون سیگنال اندک باقی مانده که ناشی از حافطه سری هست رو تا حد زیادی از بین برده و تلاش برای یک کشف بزرگ رو ناکام میزاره.

ادامه مطلب

@FinPy

#معرفی_کتاب
Feature Engineering Bookcamp

▫️ مهندسی ویژگی یک فرآیند مهم در علم داده‌کاوی و یادگیری ماشین است که در آن ویژگی‌های جدید و مفید از داده‌های اولیه استخراج می‌شود. این فرآیند برای بهبود عملکرد الگوریتم‌های یادگیری ماشین و دقت پیش‌بینی‌ها بسیار حیاتی است. به طور کلی، این فرآیند شامل انتخاب و یا تبدیل ویژگی‌های موجود در داده به شکلی است که الگوریتم‌های یادگیری ماشین بتوانند الگوهای مهم و مفید را بهتر شناسایی و تشخیص دهند.

▫️ کتاب Feature Engineering Bookcamp برای مهندسین یادگیری ماشین و دانشمندان داده است که قبلا وارد این فضا شده اند و به دنبال تقویت توانایی ها و مهارت های خود هستند. پیش فرض اصلی کتاب این است که خواننده قبلاً دانش مورد نیاز در مورد یادگیری ماشین، اعتبار سنجی، تنظیم پارامترها و آموزش مدل با استفاده از پایتون و scikit-learn را بدست آورده است.


▫️ کدهای کتاب هم در ریپوی گیتهابش قابل دسترسیه.


@FinPy

#بازده_دارایی

▫️در این تصویر، شما با ویژگی‌های آماری بازده دارایی ها آشنا می‌شوید؛ از توزیع‌های احتمالاتی گرفته تا پارامترهای آماری که مدل‌های تحلیلی بر اساس آنها ساخته می‌شوند. مدل‌های آماری مختلف، هرکدام با نگاهی منحصربه‌فرد به داده‌ها، تلاش می‌کنند تا روندها و الگوهای مختلف بازده دارایی‌ها را تبیین کنند.

▫️ در سفر به دنیای بازده دارایی‌ها، با مسائل آماری مختلفی همراه خواهید بود؛ از تخمین پارامترها تا ارزیابی فرضیات مدل‌ها و بررسی اهمیت و تاثیرات آنها بر تصمیم‌گیری‌های مالی. بنابر این ابزارهای روش‌شناختی در اینجا نقش مهمی دارند؛ با کمک آنها، قادر خواهید بود روندها و الگوهای نهفته در داده‌ها را بهتر درک کنید و تصمیم‌گیری‌های مطلوب‌تری را انجام دهید.

▫️این مدل‌ها و روش‌های آماری نه تنها در دنیای تحلیل مالی، بلکه در زمینه‌های مختلفی از علوم تا مهندسی و پزشکی نیز کاربرد دارند. اما همواره با چالش‌ها و محدودیت‌هایی نیز روبرو هستیم؛ از جمله ناکافی بودن داده‌ها تا فرض‌های ساده‌سازی که برای استفاده از مدل‌ها صورت می‌گیرد.


@FinPy

#حقایق_بازده_مالی

▫️دنیای پیچیده بازارهای مالی، مملو از نوسانات و اتفاقات غیرقابل پیش‌بینی است. اما در دل این آشوب، نظم و قاعده‌ای پنهان وجود دارد که درک آن، کلید موفقیت در سرمایه‌گذاری خواهد بود.

▫️ تحقیقات وسیع بر روی ویژگی های بازده های مالی نشان داده است که بازده های مالی دارای یکسری از ویژگی های خاص هستند و زمانی که شما می خواهید بر روی دیتاهای مالی کار کنید، نیاز است که با این ویژگی ها و نحوه برخورد با این خصوصیات آشنا باشید. این واقعیت‌های زیبایی که به سبک مشترکی در بازارها و ابزارهای مالی مختلف مشاهده می‌شوند، به عنوان حقایق بازده های مالی شناخته می شوند.

▫️ در این ویدئو به بررسی این خصوصیات پرداخته می شود و در این مقاله هم میتوانید با ادبیات این بحث بیشتر آشنا شوید. در این صفحه هم در خصوص شناسایی برخی از این حقایق با پایتون آشنا می شوید.

@FinPy

#معاملات_الگوریتمی

▫️ معاملات الگوریتمی، که به نام معاملات کمی یا سیستماتیک نیز شناخته می‌شود، به استفاده از الگوریتم‌های کامپیوتری برای خودکار کردن فرآیند معامله اشاره دارد. این حوزه ممکن است در ابتدا پیچیده به نظر برسد، زیرا شامل ترکیبی از دانش مالی، برنامه‌نویسی و ریاضیات است. با این حال، درک مفاهیم کلی آن دشوار نیست و جزئیات را می‌توان به تدریج آموخت.

▫️ مزایای معاملات الگوریتمی:

حذف احساسات: الگوریتم‌ها بر اساس منطق و داده عمل می‌کنند و تحت تاثیر احساسات و هیجانات انسانی قرار نمی‌گیرند.
انضباط: الگوریتم‌ها می‌توانند به طور مداوم و منظم معامله کنند، که منجر به نتایج پایدارتر می‌شود.
سرعت: الگوریتم‌ها می‌توانند به سرعت فرصت‌های معاملاتی را شناسایی و از آنها استفاده کنند.
قابلیت back testing: می‌توان استراتژی‌های معاملاتی را قبل از استفاده در دنیای واقعی با استفاده از داده‌های تاریخی آزمایش کرد.

@FinPy

#یادگیری_معاملات_الگوریتمی

▫️ راهنمای شروع مطالعه برای یادگیری معاملات الگوریتمی:

۱. درک کلی از موضوع:
معاملات کمی : این کتاب با زبانی ساده و قابل فهم، فرآیند راه‌اندازی یک سیستم معاملاتی کمی برای افراد مبتدی را توضیح می‌دهد.

۲. درک زیرساخت بازار:
معاملات الگوریتمی و دسترسی مستقیم به بازار (DMA) : این کتاب به شما در درک نحوه عملکرد بورس‌ها و ساختار بازار کمک می‌کند.

۳. انتخاب استراتژی معاملاتی:
معاملات الگوریتمی: این کتاب استراتژی‌هایی مانند مومنتوم، بازگشت به میانگین و برخی استراتژی‌های فرکانس بالا را با جزئیات بیشتر مورد بحث قرار می‌دهد.

۴. یادگیری برنامه‌نویسی:
یادگیری ماشین برای معاملات الگوریتمی: به شما می‌آموزد که چگونه از یادگیری ماشین برای توسعه استراتژی‌های معاملات الگوریتمی استفاده کنید.

۵. روانشناسی معامله‌گری:
بازی ذهنی معامله‌گری: به بررسی جنبه‌های روان‌شناختی معامله‌گری و تأثیر آن بر عملکرد معامله‌گران می‌پردازد.

۶. مدیریت سرمایه:
مدیریت پرتفوی کمی: هنر و علم آربیتراژ آماری : به موضوع مدیریت پرتفوی با استفاده از روش‌های آماری و کمی می‌پردازد.

@FinPy

#معرفی_کتابخانه_تحلیل_داده
#DataPrep

▫️با ورود به دنیای علم داده، یکی از مراحل ضروری در چرخه حیات هر پروژه یادگیری ماشین، تحلیل اکتشافی داده (EDA) است. EDA به ما اجازه می‌دهد تا بینش‌های ارزشمندی از مجموعه داده‌های خود به دست آوریم و پایه و اساس ساخت مدل‌های یادگیری ماشین دقیق و قوی را بنا نهیم.

▫️با این حال، انجام EDA می‌تواند یک فرآیند پیچیده و زمان‌بر باشد. این فرآیند اغلب شامل نوشتن کدهای گسترده، استفاده از کتابخانه‌های مختلف و انجام عملیات متعدد برای استخراج اطلاعات معنی‌دار از داده‌ها است. اینجاست که DataPrep به کمک شما می‌آید.

▫️این کتابخانه ابزاری ارزشمند برای دانشمندان داده است که به دنبال بهبود کارایی و سهولت استفاده در مرحله حیاتی EDA هستند. این کتابخانه با ارائه قابلیت‌های جمع‌آوری داده، رابط کاربری بصری و ماژول‌های قدرتمند EDA، به دانشمندان داده کمک می‌کند تا وظایف خود را سریع‌تر و آسان‌تر انجام دهند.

برای آشنایی بیشتر با سایر کارکردها به ریپوی گیتهابش مراجعه نمایید. و برای آشنایی با نحوه کارکرد و پست های آموزشی از این لینک میتونید استفاده کنید.

@FinPy

#متغیرهای_کلان_اقتصادی

▫️در دنیای امروز، داده های کلان به عنوان یک منبع ارزشمند شناخته می شوند و سازمان ها و کشورهایی که از این داده ها به طور موثر استفاده می کنند، می توانند در رقابت جهانی پیشتاز باشند.

▫️ اهمیت داده های کلان در این است که می توانند به ما در درک بهتر پدیده های مختلف و تصمیم گیری های آگاهانه تر کمک کنند. برای مثال، با تحلیل داده های کلان اقتصادی می توان به الگوهای رشد اقتصادی، نوسانات بازار و ... پی برد و سیاست های اقتصادی مناسب را تدوین کرد.

▫️در این پست در خصوص منابع اطلاعاتی برای این حوزه و سایت های مفید صحبت کرده بودیم، ولی اخیرا بانک مرکزی نسخه جدید سامانه سری زمانی اطلاعات اقتصادی ایران خود را منتشر نموده است!

📊 این سامانه چه چیزی به شما ارائه می‌دهد؟
• دسترسی به متغیر های اقتصادی در 13 سرفصل مختلف
• دسترسی آسان به اطلاعات به روز اقتصادی کشور
• قابلیت جستجو و دانلود اطلاعات مورد نیاز
• مفید برای تحقیقات، مطالعات و تصمیم‌گیری‌های اقتصادی
• رسم نمودار داده های انتخابی (میله ای و خطی)

🌐 آدرس سامانه:
tsdview.cis.cbi.ir

@FinPy