#بازده_دارایی
▫️در این تصویر، شما با ویژگیهای آماری بازده دارایی ها آشنا میشوید؛ از توزیعهای احتمالاتی گرفته تا پارامترهای آماری که مدلهای تحلیلی بر اساس آنها ساخته میشوند. مدلهای آماری مختلف، هرکدام با نگاهی منحصربهفرد به دادهها، تلاش میکنند تا روندها و الگوهای مختلف بازده داراییها را تبیین کنند.
▫️ در سفر به دنیای بازده داراییها، با مسائل آماری مختلفی همراه خواهید بود؛ از تخمین پارامترها تا ارزیابی فرضیات مدلها و بررسی اهمیت و تاثیرات آنها بر تصمیمگیریهای مالی. بنابر این ابزارهای روششناختی در اینجا نقش مهمی دارند؛ با کمک آنها، قادر خواهید بود روندها و الگوهای نهفته در دادهها را بهتر درک کنید و تصمیمگیریهای مطلوبتری را انجام دهید.
▫️این مدلها و روشهای آماری نه تنها در دنیای تحلیل مالی، بلکه در زمینههای مختلفی از علوم تا مهندسی و پزشکی نیز کاربرد دارند. اما همواره با چالشها و محدودیتهایی نیز روبرو هستیم؛ از جمله ناکافی بودن دادهها تا فرضهای سادهسازی که برای استفاده از مدلها صورت میگیرد.
@FinPy
▫️در این تصویر، شما با ویژگیهای آماری بازده دارایی ها آشنا میشوید؛ از توزیعهای احتمالاتی گرفته تا پارامترهای آماری که مدلهای تحلیلی بر اساس آنها ساخته میشوند. مدلهای آماری مختلف، هرکدام با نگاهی منحصربهفرد به دادهها، تلاش میکنند تا روندها و الگوهای مختلف بازده داراییها را تبیین کنند.
▫️ در سفر به دنیای بازده داراییها، با مسائل آماری مختلفی همراه خواهید بود؛ از تخمین پارامترها تا ارزیابی فرضیات مدلها و بررسی اهمیت و تاثیرات آنها بر تصمیمگیریهای مالی. بنابر این ابزارهای روششناختی در اینجا نقش مهمی دارند؛ با کمک آنها، قادر خواهید بود روندها و الگوهای نهفته در دادهها را بهتر درک کنید و تصمیمگیریهای مطلوبتری را انجام دهید.
▫️این مدلها و روشهای آماری نه تنها در دنیای تحلیل مالی، بلکه در زمینههای مختلفی از علوم تا مهندسی و پزشکی نیز کاربرد دارند. اما همواره با چالشها و محدودیتهایی نیز روبرو هستیم؛ از جمله ناکافی بودن دادهها تا فرضهای سادهسازی که برای استفاده از مدلها صورت میگیرد.
@FinPy
👍19
#حقایق_بازده_مالی
▫️دنیای پیچیده بازارهای مالی، مملو از نوسانات و اتفاقات غیرقابل پیشبینی است. اما در دل این آشوب، نظم و قاعدهای پنهان وجود دارد که درک آن، کلید موفقیت در سرمایهگذاری خواهد بود.
▫️ تحقیقات وسیع بر روی ویژگی های بازده های مالی نشان داده است که بازده های مالی دارای یکسری از ویژگی های خاص هستند و زمانی که شما می خواهید بر روی دیتاهای مالی کار کنید، نیاز است که با این ویژگی ها و نحوه برخورد با این خصوصیات آشنا باشید. این واقعیتهای زیبایی که به سبک مشترکی در بازارها و ابزارهای مالی مختلف مشاهده میشوند، به عنوان حقایق بازده های مالی شناخته می شوند.
▫️ در این ویدئو به بررسی این خصوصیات پرداخته می شود و در این مقاله هم میتوانید با ادبیات این بحث بیشتر آشنا شوید. در این صفحه هم در خصوص شناسایی برخی از این حقایق با پایتون آشنا می شوید.
@FinPy
▫️دنیای پیچیده بازارهای مالی، مملو از نوسانات و اتفاقات غیرقابل پیشبینی است. اما در دل این آشوب، نظم و قاعدهای پنهان وجود دارد که درک آن، کلید موفقیت در سرمایهگذاری خواهد بود.
▫️ تحقیقات وسیع بر روی ویژگی های بازده های مالی نشان داده است که بازده های مالی دارای یکسری از ویژگی های خاص هستند و زمانی که شما می خواهید بر روی دیتاهای مالی کار کنید، نیاز است که با این ویژگی ها و نحوه برخورد با این خصوصیات آشنا باشید. این واقعیتهای زیبایی که به سبک مشترکی در بازارها و ابزارهای مالی مختلف مشاهده میشوند، به عنوان حقایق بازده های مالی شناخته می شوند.
▫️ در این ویدئو به بررسی این خصوصیات پرداخته می شود و در این مقاله هم میتوانید با ادبیات این بحث بیشتر آشنا شوید. در این صفحه هم در خصوص شناسایی برخی از این حقایق با پایتون آشنا می شوید.
@FinPy
👍19
#معاملات_الگوریتمی
▫️ معاملات الگوریتمی، که به نام معاملات کمی یا سیستماتیک نیز شناخته میشود، به استفاده از الگوریتمهای کامپیوتری برای خودکار کردن فرآیند معامله اشاره دارد. این حوزه ممکن است در ابتدا پیچیده به نظر برسد، زیرا شامل ترکیبی از دانش مالی، برنامهنویسی و ریاضیات است. با این حال، درک مفاهیم کلی آن دشوار نیست و جزئیات را میتوان به تدریج آموخت.
▫️ مزایای معاملات الگوریتمی:
حذف احساسات: الگوریتمها بر اساس منطق و داده عمل میکنند و تحت تاثیر احساسات و هیجانات انسانی قرار نمیگیرند.
انضباط: الگوریتمها میتوانند به طور مداوم و منظم معامله کنند، که منجر به نتایج پایدارتر میشود.
سرعت: الگوریتمها میتوانند به سرعت فرصتهای معاملاتی را شناسایی و از آنها استفاده کنند.
قابلیت back testing: میتوان استراتژیهای معاملاتی را قبل از استفاده در دنیای واقعی با استفاده از دادههای تاریخی آزمایش کرد.
@FinPy
▫️ معاملات الگوریتمی، که به نام معاملات کمی یا سیستماتیک نیز شناخته میشود، به استفاده از الگوریتمهای کامپیوتری برای خودکار کردن فرآیند معامله اشاره دارد. این حوزه ممکن است در ابتدا پیچیده به نظر برسد، زیرا شامل ترکیبی از دانش مالی، برنامهنویسی و ریاضیات است. با این حال، درک مفاهیم کلی آن دشوار نیست و جزئیات را میتوان به تدریج آموخت.
▫️ مزایای معاملات الگوریتمی:
حذف احساسات: الگوریتمها بر اساس منطق و داده عمل میکنند و تحت تاثیر احساسات و هیجانات انسانی قرار نمیگیرند.
انضباط: الگوریتمها میتوانند به طور مداوم و منظم معامله کنند، که منجر به نتایج پایدارتر میشود.
سرعت: الگوریتمها میتوانند به سرعت فرصتهای معاملاتی را شناسایی و از آنها استفاده کنند.
قابلیت back testing: میتوان استراتژیهای معاملاتی را قبل از استفاده در دنیای واقعی با استفاده از دادههای تاریخی آزمایش کرد.
@FinPy
👍21
#یادگیری_معاملات_الگوریتمی
▫️ راهنمای شروع مطالعه برای یادگیری معاملات الگوریتمی:
۱. درک کلی از موضوع:
معاملات کمی : این کتاب با زبانی ساده و قابل فهم، فرآیند راهاندازی یک سیستم معاملاتی کمی برای افراد مبتدی را توضیح میدهد.
۲. درک زیرساخت بازار:
معاملات الگوریتمی و دسترسی مستقیم به بازار (DMA) : این کتاب به شما در درک نحوه عملکرد بورسها و ساختار بازار کمک میکند.
۳. انتخاب استراتژی معاملاتی:
معاملات الگوریتمی: این کتاب استراتژیهایی مانند مومنتوم، بازگشت به میانگین و برخی استراتژیهای فرکانس بالا را با جزئیات بیشتر مورد بحث قرار میدهد.
۴. یادگیری برنامهنویسی:
یادگیری ماشین برای معاملات الگوریتمی: به شما میآموزد که چگونه از یادگیری ماشین برای توسعه استراتژیهای معاملات الگوریتمی استفاده کنید.
۵. روانشناسی معاملهگری:
بازی ذهنی معاملهگری: به بررسی جنبههای روانشناختی معاملهگری و تأثیر آن بر عملکرد معاملهگران میپردازد.
۶. مدیریت سرمایه:
مدیریت پرتفوی کمی: هنر و علم آربیتراژ آماری : به موضوع مدیریت پرتفوی با استفاده از روشهای آماری و کمی میپردازد.
@FinPy
▫️ راهنمای شروع مطالعه برای یادگیری معاملات الگوریتمی:
۱. درک کلی از موضوع:
معاملات کمی : این کتاب با زبانی ساده و قابل فهم، فرآیند راهاندازی یک سیستم معاملاتی کمی برای افراد مبتدی را توضیح میدهد.
۲. درک زیرساخت بازار:
معاملات الگوریتمی و دسترسی مستقیم به بازار (DMA) : این کتاب به شما در درک نحوه عملکرد بورسها و ساختار بازار کمک میکند.
۳. انتخاب استراتژی معاملاتی:
معاملات الگوریتمی: این کتاب استراتژیهایی مانند مومنتوم، بازگشت به میانگین و برخی استراتژیهای فرکانس بالا را با جزئیات بیشتر مورد بحث قرار میدهد.
۴. یادگیری برنامهنویسی:
یادگیری ماشین برای معاملات الگوریتمی: به شما میآموزد که چگونه از یادگیری ماشین برای توسعه استراتژیهای معاملات الگوریتمی استفاده کنید.
۵. روانشناسی معاملهگری:
بازی ذهنی معاملهگری: به بررسی جنبههای روانشناختی معاملهگری و تأثیر آن بر عملکرد معاملهگران میپردازد.
۶. مدیریت سرمایه:
مدیریت پرتفوی کمی: هنر و علم آربیتراژ آماری : به موضوع مدیریت پرتفوی با استفاده از روشهای آماری و کمی میپردازد.
@FinPy
👍49
#معرفی_کتابخانه_تحلیل_داده
#DataPrep
▫️با ورود به دنیای علم داده، یکی از مراحل ضروری در چرخه حیات هر پروژه یادگیری ماشین، تحلیل اکتشافی داده (EDA) است. EDA به ما اجازه میدهد تا بینشهای ارزشمندی از مجموعه دادههای خود به دست آوریم و پایه و اساس ساخت مدلهای یادگیری ماشین دقیق و قوی را بنا نهیم.
▫️با این حال، انجام EDA میتواند یک فرآیند پیچیده و زمانبر باشد. این فرآیند اغلب شامل نوشتن کدهای گسترده، استفاده از کتابخانههای مختلف و انجام عملیات متعدد برای استخراج اطلاعات معنیدار از دادهها است. اینجاست که DataPrep به کمک شما میآید.
▫️این کتابخانه ابزاری ارزشمند برای دانشمندان داده است که به دنبال بهبود کارایی و سهولت استفاده در مرحله حیاتی EDA هستند. این کتابخانه با ارائه قابلیتهای جمعآوری داده، رابط کاربری بصری و ماژولهای قدرتمند EDA، به دانشمندان داده کمک میکند تا وظایف خود را سریعتر و آسانتر انجام دهند.
برای آشنایی بیشتر با سایر کارکردها به ریپوی گیتهابش مراجعه نمایید. و برای آشنایی با نحوه کارکرد و پست های آموزشی از این لینک میتونید استفاده کنید.
@FinPy
#DataPrep
▫️با ورود به دنیای علم داده، یکی از مراحل ضروری در چرخه حیات هر پروژه یادگیری ماشین، تحلیل اکتشافی داده (EDA) است. EDA به ما اجازه میدهد تا بینشهای ارزشمندی از مجموعه دادههای خود به دست آوریم و پایه و اساس ساخت مدلهای یادگیری ماشین دقیق و قوی را بنا نهیم.
▫️با این حال، انجام EDA میتواند یک فرآیند پیچیده و زمانبر باشد. این فرآیند اغلب شامل نوشتن کدهای گسترده، استفاده از کتابخانههای مختلف و انجام عملیات متعدد برای استخراج اطلاعات معنیدار از دادهها است. اینجاست که DataPrep به کمک شما میآید.
▫️این کتابخانه ابزاری ارزشمند برای دانشمندان داده است که به دنبال بهبود کارایی و سهولت استفاده در مرحله حیاتی EDA هستند. این کتابخانه با ارائه قابلیتهای جمعآوری داده، رابط کاربری بصری و ماژولهای قدرتمند EDA، به دانشمندان داده کمک میکند تا وظایف خود را سریعتر و آسانتر انجام دهند.
برای آشنایی بیشتر با سایر کارکردها به ریپوی گیتهابش مراجعه نمایید. و برای آشنایی با نحوه کارکرد و پست های آموزشی از این لینک میتونید استفاده کنید.
@FinPy
👍16
#متغیرهای_کلان_اقتصادی
▫️در دنیای امروز، داده های کلان به عنوان یک منبع ارزشمند شناخته می شوند و سازمان ها و کشورهایی که از این داده ها به طور موثر استفاده می کنند، می توانند در رقابت جهانی پیشتاز باشند.
▫️ اهمیت داده های کلان در این است که می توانند به ما در درک بهتر پدیده های مختلف و تصمیم گیری های آگاهانه تر کمک کنند. برای مثال، با تحلیل داده های کلان اقتصادی می توان به الگوهای رشد اقتصادی، نوسانات بازار و ... پی برد و سیاست های اقتصادی مناسب را تدوین کرد.
▫️در این پست در خصوص منابع اطلاعاتی برای این حوزه و سایت های مفید صحبت کرده بودیم، ولی اخیرا بانک مرکزی نسخه جدید سامانه سری زمانی اطلاعات اقتصادی ایران خود را منتشر نموده است!
📊 این سامانه چه چیزی به شما ارائه میدهد؟
• دسترسی به متغیر های اقتصادی در 13 سرفصل مختلف
• دسترسی آسان به اطلاعات به روز اقتصادی کشور
• قابلیت جستجو و دانلود اطلاعات مورد نیاز
• مفید برای تحقیقات، مطالعات و تصمیمگیریهای اقتصادی
• رسم نمودار داده های انتخابی (میله ای و خطی)
🌐 آدرس سامانه:
tsdview.cis.cbi.ir
@FinPy
▫️در دنیای امروز، داده های کلان به عنوان یک منبع ارزشمند شناخته می شوند و سازمان ها و کشورهایی که از این داده ها به طور موثر استفاده می کنند، می توانند در رقابت جهانی پیشتاز باشند.
▫️ اهمیت داده های کلان در این است که می توانند به ما در درک بهتر پدیده های مختلف و تصمیم گیری های آگاهانه تر کمک کنند. برای مثال، با تحلیل داده های کلان اقتصادی می توان به الگوهای رشد اقتصادی، نوسانات بازار و ... پی برد و سیاست های اقتصادی مناسب را تدوین کرد.
▫️در این پست در خصوص منابع اطلاعاتی برای این حوزه و سایت های مفید صحبت کرده بودیم، ولی اخیرا بانک مرکزی نسخه جدید سامانه سری زمانی اطلاعات اقتصادی ایران خود را منتشر نموده است!
📊 این سامانه چه چیزی به شما ارائه میدهد؟
• دسترسی به متغیر های اقتصادی در 13 سرفصل مختلف
• دسترسی آسان به اطلاعات به روز اقتصادی کشور
• قابلیت جستجو و دانلود اطلاعات مورد نیاز
• مفید برای تحقیقات، مطالعات و تصمیمگیریهای اقتصادی
• رسم نمودار داده های انتخابی (میله ای و خطی)
🌐 آدرس سامانه:
tsdview.cis.cbi.ir
@FinPy
👍18
Forwarded from Deep Time
اگر بتونیم مزیت الگوریتم یادگیری شبکه عصبی (gradient backpropagation) رو با الگوریتم مدلهای boosting بر مبنای درخت تصمیم مثل XGboost که پادشاهان Tabular Data هستند به صورت بنیادی ترکیب کنیم به چه مدلی میرسیم؟
مدل قدرتمند جدیدی در Tabular Dataبه نام GRANDE که بر اساس ایده Gradient Decision Tree ساخته شده و تونسته در اکثر دیتاستها، از جمله Numerai (مسابقه معروف در پیشبینی بازار مالی با دیتاساینس) از XGboost و Catboost که تا به حال بهترین بودن عملکرد بهتری داشته باشه.
پکیج GRANDE رو میتونید با pip نصب کنید.
GRANDE: Gradient-Based Decision Tree Ensembles
کمی عمیق تر:
مسئله اصلی این هست که الگوریتمهای درخت تصمیم و الگوریتم ترکیب درختها در boosting ها به صورت greedy هست که باعث ایجاد محدودیت در فضای جستجو و همچنین overfitting میشه. به همین دلیل نیاز هست تا فرآیندهایی مثل split به صورت differentiable بشه و بعضی موارد non-differentiable مدیریت بشن. بعد از این امکان بهینه کردن بنیادی پارامترهای درخت تصمیم و ensemble رو خواهیم داشت. و حتی میتونیم برای split values، split indices، leaf weights و leaf به طور جداگانه learning rate داشته باشیم. برای فهم دقیق الگوریتم مقالههای اصلی رو بخونید:
GRANDE paper : ICLR 2024
GradTree paper : NeurIPS 2023
@deeptimeai
مدل قدرتمند جدیدی در Tabular Dataبه نام GRANDE که بر اساس ایده Gradient Decision Tree ساخته شده و تونسته در اکثر دیتاستها، از جمله Numerai (مسابقه معروف در پیشبینی بازار مالی با دیتاساینس) از XGboost و Catboost که تا به حال بهترین بودن عملکرد بهتری داشته باشه.
پکیج GRANDE رو میتونید با pip نصب کنید.
GRANDE: Gradient-Based Decision Tree Ensembles
کمی عمیق تر:
مسئله اصلی این هست که الگوریتمهای درخت تصمیم و الگوریتم ترکیب درختها در boosting ها به صورت greedy هست که باعث ایجاد محدودیت در فضای جستجو و همچنین overfitting میشه. به همین دلیل نیاز هست تا فرآیندهایی مثل split به صورت differentiable بشه و بعضی موارد non-differentiable مدیریت بشن. بعد از این امکان بهینه کردن بنیادی پارامترهای درخت تصمیم و ensemble رو خواهیم داشت. و حتی میتونیم برای split values، split indices، leaf weights و leaf به طور جداگانه learning rate داشته باشیم. برای فهم دقیق الگوریتم مقالههای اصلی رو بخونید:
GRANDE paper : ICLR 2024
GradTree paper : NeurIPS 2023
@deeptimeai
👍16
#فیچر_سلکشن
ارزیابی کارآمدی روش های فیچر سلکشن - مقدمات
▫️فیچر سلکشن یکی از مهمترین مراحل توسعه یه مدل ML هست که در اون سعی میشه از ابعاد فضای ورودی مدل (تعداد فیچرها) کاسته بشه. این کاهش ابعاد میتونه تفسیرپذیری مدل و ساختن تئوری رو ساده تر و همچنین ترین کردن (و حتی فاز جمع آوری داده) رو سریعتر کنه. ساختن تئوری بر اساس تفسیر مدل تو فایننس اهمیت ویژه ای داره تا مدل هایی که توسعه دادیم بعدا و در عمل دستمون رو تو پوست گردو نزارن، ضمن اینکه ساخت تئوری با تفسیر مدل های ML میتونه حتی در پیش بینی قوهای سیاه هم راهگشا باشه (اینجا). اما مهمتر از همه این موارد، فیچر سلکشن میتونه با کاهش امکان اورفیت از طریق شناسایی و حذف فیچرهای نویز که قابلیت پیش بینی ندارند و به تبع اون افزایش جنرالیزیشن، کارآمدی بهتر روی داده هایی که مدل ندیده رو برامون به ارمغان بیاره.
▫️حالا که اهمیت فیچر سلکشن رو مرور کردیم و متوجه شدیم که مهمترین کاری که فیچر سلکشن برامون انجام میده، حذف فیچرهای نویز هست، سوالی که پیش میاد اینه که روش هایی که برای فیچر سلکشن معرفی شدن، چقدر در انجام این مهم موفق اند. به عبارت دیگه چطور کارآمدی روش های فیچر سلکشن رو ارزیابی و یک یا دو تاش رو تو جعبه ابزارمون برای استفاده در مدل هایی که توسعه میدیم، بزاریم؟ ما که برای یک مساله موجود نمیدونیم کدوم فیچرها نویزاند، چطور بفهمیم چیزی که یک الگوریتم فیچر سلکشن به عنوان نویز به ما معرفی کرده درسته؟
▫️راهکار ترتیب دادن یه آزمایش و استفاده از یک یا چند دیتاست ساختگی توسط خودمون هست که میدونیم کدوم فیچرهای اون دیتاست نویزاند. بعد میتونیم مدلی رو روی این دیتاست ترین کنیم و سپس روی مدل ترین شده الگوریتمهای مختلف فیچر سلکشن رو ارزیابی کرده و ببینیم که آیا میتونن فیچرهای نویز رو به درستی برامون بیرون بکشن یا نه.
▫️به عنوان مثال میتونیم یه دیتاست با ۲۵ تا فیچر بسازیم که ۵ تاش نویز، ۵ تاش فیچرهای به اصطلاح informative و بقیه فیچرهای redundant باشند. سپس با استفاده از فیچرهای informative متغیر هدف (مثلا لیبل های صفر و یک) رو تولید کنیم. توضیح اینکه فیچرهای redundant هم از روی فیچرهای informative و با اضافه کردن نویزی با واریانس دلخواه تولید میشن.
▫️جزئیات چنین رویه ای، که برای ارزیابی کارآمدی الگوریتمهای مختلف در شناسایی فیچرهای نویز مورد استفاده قرار گرفته، در فصل ۶ این کتاب همراه با کد توضیح داده شده. در خصوص روش های فیچر سلکشن هم میتونید به همین کتاب مراجعه کنید اما هدف از این پست معرفی پکیج BorutaShap بود که در ادامه بهش خواهیم پرداخت.
@FinPy
ارزیابی کارآمدی روش های فیچر سلکشن - مقدمات
▫️فیچر سلکشن یکی از مهمترین مراحل توسعه یه مدل ML هست که در اون سعی میشه از ابعاد فضای ورودی مدل (تعداد فیچرها) کاسته بشه. این کاهش ابعاد میتونه تفسیرپذیری مدل و ساختن تئوری رو ساده تر و همچنین ترین کردن (و حتی فاز جمع آوری داده) رو سریعتر کنه. ساختن تئوری بر اساس تفسیر مدل تو فایننس اهمیت ویژه ای داره تا مدل هایی که توسعه دادیم بعدا و در عمل دستمون رو تو پوست گردو نزارن، ضمن اینکه ساخت تئوری با تفسیر مدل های ML میتونه حتی در پیش بینی قوهای سیاه هم راهگشا باشه (اینجا). اما مهمتر از همه این موارد، فیچر سلکشن میتونه با کاهش امکان اورفیت از طریق شناسایی و حذف فیچرهای نویز که قابلیت پیش بینی ندارند و به تبع اون افزایش جنرالیزیشن، کارآمدی بهتر روی داده هایی که مدل ندیده رو برامون به ارمغان بیاره.
▫️حالا که اهمیت فیچر سلکشن رو مرور کردیم و متوجه شدیم که مهمترین کاری که فیچر سلکشن برامون انجام میده، حذف فیچرهای نویز هست، سوالی که پیش میاد اینه که روش هایی که برای فیچر سلکشن معرفی شدن، چقدر در انجام این مهم موفق اند. به عبارت دیگه چطور کارآمدی روش های فیچر سلکشن رو ارزیابی و یک یا دو تاش رو تو جعبه ابزارمون برای استفاده در مدل هایی که توسعه میدیم، بزاریم؟ ما که برای یک مساله موجود نمیدونیم کدوم فیچرها نویزاند، چطور بفهمیم چیزی که یک الگوریتم فیچر سلکشن به عنوان نویز به ما معرفی کرده درسته؟
▫️راهکار ترتیب دادن یه آزمایش و استفاده از یک یا چند دیتاست ساختگی توسط خودمون هست که میدونیم کدوم فیچرهای اون دیتاست نویزاند. بعد میتونیم مدلی رو روی این دیتاست ترین کنیم و سپس روی مدل ترین شده الگوریتمهای مختلف فیچر سلکشن رو ارزیابی کرده و ببینیم که آیا میتونن فیچرهای نویز رو به درستی برامون بیرون بکشن یا نه.
▫️به عنوان مثال میتونیم یه دیتاست با ۲۵ تا فیچر بسازیم که ۵ تاش نویز، ۵ تاش فیچرهای به اصطلاح informative و بقیه فیچرهای redundant باشند. سپس با استفاده از فیچرهای informative متغیر هدف (مثلا لیبل های صفر و یک) رو تولید کنیم. توضیح اینکه فیچرهای redundant هم از روی فیچرهای informative و با اضافه کردن نویزی با واریانس دلخواه تولید میشن.
▫️جزئیات چنین رویه ای، که برای ارزیابی کارآمدی الگوریتمهای مختلف در شناسایی فیچرهای نویز مورد استفاده قرار گرفته، در فصل ۶ این کتاب همراه با کد توضیح داده شده. در خصوص روش های فیچر سلکشن هم میتونید به همین کتاب مراجعه کنید اما هدف از این پست معرفی پکیج BorutaShap بود که در ادامه بهش خواهیم پرداخت.
@FinPy
👍11👎1
#فیچر_سلکشن
ارزیابی کارآمدی BorutaShap
▫️در انتهای پست قبلی به BorutaShap اشاره شد که در واقع یه الگوریتم فیچر سلکشن هست. اما برای اینکه بدونیم آیا BorutaShap میتونه فیچرهای نویز رو به درستی بیرون بکشه، یه دیتاست طبق چیزی که تو پست قبل توضیح داده شد میسازیم و باهاش یه باینری کلاسیفایر ترین و بعد الگوریتم رو به مدل اعمال میکنیم.
▫️ تو شکل نتیجه اعمال BorutaShap نشون داده شده. در محور افقی فیچرها قرار دارند. فیچرهای نویز با حرف N، فیچرهای Informative که لیبلهای باینری از روی اونها ساخته شدن با حرف I و فیچرهای Redundant که با اعمال نویزی با واریانس مشخص به فیچرهای Informative ساخته شدن با حرف R شروع میشن. اون فیچرهایی که به Shadow ختم میشن هم به دیتاستمون مربوط نمیشن و باهاشون کاری نداریم.
▫️همون طور که مشاهده میکنید، BorutaShap تونسته فیچرهای نویز رو روی این دیتاست ساختگی تشخیص بده و اونها رو با رنگ قرمز مشخص کرده. برای آشنایی بیشتر با این الگوریتم فیچر سلکشن و پکیج مربوطه اش سری به پست زیر بزنید:
Is this the Best Feature Selection Algorithm BorutaShap?
@FinPy
ارزیابی کارآمدی BorutaShap
▫️در انتهای پست قبلی به BorutaShap اشاره شد که در واقع یه الگوریتم فیچر سلکشن هست. اما برای اینکه بدونیم آیا BorutaShap میتونه فیچرهای نویز رو به درستی بیرون بکشه، یه دیتاست طبق چیزی که تو پست قبل توضیح داده شد میسازیم و باهاش یه باینری کلاسیفایر ترین و بعد الگوریتم رو به مدل اعمال میکنیم.
▫️ تو شکل نتیجه اعمال BorutaShap نشون داده شده. در محور افقی فیچرها قرار دارند. فیچرهای نویز با حرف N، فیچرهای Informative که لیبلهای باینری از روی اونها ساخته شدن با حرف I و فیچرهای Redundant که با اعمال نویزی با واریانس مشخص به فیچرهای Informative ساخته شدن با حرف R شروع میشن. اون فیچرهایی که به Shadow ختم میشن هم به دیتاستمون مربوط نمیشن و باهاشون کاری نداریم.
▫️همون طور که مشاهده میکنید، BorutaShap تونسته فیچرهای نویز رو روی این دیتاست ساختگی تشخیص بده و اونها رو با رنگ قرمز مشخص کرده. برای آشنایی بیشتر با این الگوریتم فیچر سلکشن و پکیج مربوطه اش سری به پست زیر بزنید:
Is this the Best Feature Selection Algorithm BorutaShap?
@FinPy
👍14
Forwarded from @machinelearningnet (Sasan Barak)
خبر مهم 🌺👌
میشه گفت بهترین استراتژی ترید برای scale up کردن میزان asset under management، استراتژی های مارکت نیوترال یا دلتا نیوترال هستن.
این استراتژی ها اصولا بدون توجه به اینکه مارکت بالا یا پایین میره، سودسازی خودشون رو انجام میدن،
یک گروه وسیعی از مدل های مارکت نیوترال، مدلهای pair trading هستن که بر اساس تفاوت روند کراس کوین ها یا سهام سیگنالهای خرید و فروش صادر میشه.
دسته های مختلفی دارن که شامل Copula, cointegeration, codependence, distance , stochastic , و ml میشن.
تو این حوزه، یه پکیج خیلی جالبی وجود داشت که پولی بود ( ۱۰۰۰ دلار) و امروز هادسون و تیمز تصمیم گرفتن اپن سورس کنن💥
بنظرم فضای عالی برای ریسرچ و درست کردن استراتژی های خوب ارائه میده،
دسترسی به کدها :
https://github.com/hudson-and-thames/arbitragelab
دسترسی به نتبوک پروژه که در واقع در حد یک کورس درسی جذابه
https://hudson-and-thames-arbitragelab.readthedocs-hosted.com/en/latest/
نتبوک ها
https://github.com/hudson-and-thames/arbitrage_research
بنظرم دوستانی که علاقمند به کوانت هستن، این میتونه شروع فوق العاده ی باشه که با مدلهای متفاوت این حوزه آشنا بشن 👌
@machinelearningnet
موفق باشین🌺
میشه گفت بهترین استراتژی ترید برای scale up کردن میزان asset under management، استراتژی های مارکت نیوترال یا دلتا نیوترال هستن.
این استراتژی ها اصولا بدون توجه به اینکه مارکت بالا یا پایین میره، سودسازی خودشون رو انجام میدن،
یک گروه وسیعی از مدل های مارکت نیوترال، مدلهای pair trading هستن که بر اساس تفاوت روند کراس کوین ها یا سهام سیگنالهای خرید و فروش صادر میشه.
دسته های مختلفی دارن که شامل Copula, cointegeration, codependence, distance , stochastic , و ml میشن.
تو این حوزه، یه پکیج خیلی جالبی وجود داشت که پولی بود ( ۱۰۰۰ دلار) و امروز هادسون و تیمز تصمیم گرفتن اپن سورس کنن💥
بنظرم فضای عالی برای ریسرچ و درست کردن استراتژی های خوب ارائه میده،
دسترسی به کدها :
https://github.com/hudson-and-thames/arbitragelab
دسترسی به نتبوک پروژه که در واقع در حد یک کورس درسی جذابه
https://hudson-and-thames-arbitragelab.readthedocs-hosted.com/en/latest/
نتبوک ها
https://github.com/hudson-and-thames/arbitrage_research
بنظرم دوستانی که علاقمند به کوانت هستن، این میتونه شروع فوق العاده ی باشه که با مدلهای متفاوت این حوزه آشنا بشن 👌
@machinelearningnet
موفق باشین🌺
GitHub
GitHub - hudson-and-thames/arbitragelab: ArbitrageLab is a python library that enables traders who want to exploit mean-reverting…
ArbitrageLab is a python library that enables traders who want to exploit mean-reverting portfolios by providing a complete set of algorithms from the best academic journals. - hudson-and-thames/ar...
👍18
#فراخوان_مقاله
▫️از ۳۰ مقاله که برای این فراخوان صد هزار دلاری ارسال شده بود، ۵ مقاله برای ارائه و تصمیم گیری نهایی انتخاب شده. با افتخار دو تیم نویسندگان ایرانی هم در این لیست حاضرن که ارائه یکی شون امروز ساعت ۱۸:۳۰ به وقت ایران خواهد بود. شرکت برای عموم با ثبت نام امکان پذیر هست. لیست مقالات و تاریخ ارائه شون در تصویر اومده. دانلود مقالات هم از طریق لینک های زیر مُیَسّره:
- Modeling Systemic Risk: A Time-Varying Nonparametric Causal Inference Framework by Jalal Etesami, Ali Habibnia, Negar Kiyavash
- Building Probabilistic Causal Models using Collective Intelligence by Olav Laudy, Alexander Denev, Allen Ginsberg
- Causal Discovery in Financial Markets: A Framework for Nonstationary Time-Series Data by Agathe Sadegh, Achintya Gopal, Mohammad Fesanghary
- Discovering Causal Models with Optimization: Confounders, Cycles, and Instrument Validity by Frederick Eberhardt, Nur Kaynar, Auyon Siddiq
- Getting More for Less - Better A/B Testing via Causal Regularization by Kevin Webster, Nicholas Westray
@FinPy
▫️از ۳۰ مقاله که برای این فراخوان صد هزار دلاری ارسال شده بود، ۵ مقاله برای ارائه و تصمیم گیری نهایی انتخاب شده. با افتخار دو تیم نویسندگان ایرانی هم در این لیست حاضرن که ارائه یکی شون امروز ساعت ۱۸:۳۰ به وقت ایران خواهد بود. شرکت برای عموم با ثبت نام امکان پذیر هست. لیست مقالات و تاریخ ارائه شون در تصویر اومده. دانلود مقالات هم از طریق لینک های زیر مُیَسّره:
- Modeling Systemic Risk: A Time-Varying Nonparametric Causal Inference Framework by Jalal Etesami, Ali Habibnia, Negar Kiyavash
- Building Probabilistic Causal Models using Collective Intelligence by Olav Laudy, Alexander Denev, Allen Ginsberg
- Causal Discovery in Financial Markets: A Framework for Nonstationary Time-Series Data by Agathe Sadegh, Achintya Gopal, Mohammad Fesanghary
- Discovering Causal Models with Optimization: Confounders, Cycles, and Instrument Validity by Frederick Eberhardt, Nur Kaynar, Auyon Siddiq
- Getting More for Less - Better A/B Testing via Causal Regularization by Kevin Webster, Nicholas Westray
@FinPy
👍17
#معرفی_کتاب
Handbook of Exchange Rates
▫️ بازار فارکس که درش ارزهای مختلف در مقابل هم معامله میشن، یکی از محبوب ترین بازارها در بین معامله گران ایرانی فعال در بازارهای خارجی هست. این کتاب به عوامل موثر بر نرخ های برابری ارزها از منظرهای مختلف پرداخته و علاوه بر اینکه دید وسیعتر و بزرگتری (Big Picture) از عوامل بنیادی موثر بر بازار به خواننده میده، میتونه به درک متغیرهای اقتصاد کلان که اهمیت زیادی برای فعالان بازارهای مالی و حتی مردم عادی داره هم کمک شایانی بکنه. به عبارت بهتر این کتاب بیشتر به مسایل بنیادی پشت نرخ های برابری که روندهای بزرگ و ماندگارتری رو شکل میدن پرداخته، هر چند فصل هایی از اون با محوریت مدلسازیهای عددی و الگوریتم ها نوشته شدن.
@FinPy
Handbook of Exchange Rates
▫️ بازار فارکس که درش ارزهای مختلف در مقابل هم معامله میشن، یکی از محبوب ترین بازارها در بین معامله گران ایرانی فعال در بازارهای خارجی هست. این کتاب به عوامل موثر بر نرخ های برابری ارزها از منظرهای مختلف پرداخته و علاوه بر اینکه دید وسیعتر و بزرگتری (Big Picture) از عوامل بنیادی موثر بر بازار به خواننده میده، میتونه به درک متغیرهای اقتصاد کلان که اهمیت زیادی برای فعالان بازارهای مالی و حتی مردم عادی داره هم کمک شایانی بکنه. به عبارت بهتر این کتاب بیشتر به مسایل بنیادی پشت نرخ های برابری که روندهای بزرگ و ماندگارتری رو شکل میدن پرداخته، هر چند فصل هایی از اون با محوریت مدلسازیهای عددی و الگوریتم ها نوشته شدن.
@FinPy
👍20
Forwarded from On Becoming a Quant
بازار آپشنها یکی از موضوعات هایپ و پرسرو صدایی بود که از سال گذشته تا امسال در بازار سرمایه ایران جریان داشت. مطابق با این هیاهو، سایتهای زیادی ایجاد شدند که خدماتشون به صورت تخصصی متمرکز در بازار آپشنهاست. هسته اصلی که این سایتها مبتنی بر اون خدمات میدن، دادههای آنی یا تاریخی بازار آپشن (بورس و فرابورس) است.
یه برنامه ساده آماده کردم تا شما هم بتونید به طور آنی به کل دادههای بازار آپشن (بورس و فرابورس) از طریق سایت tsetmc دسترسی داشته باشید (نمونه ساختار دادههای دریافتی با این برنامه اینجاست).
با این دادهها میتونید شاخصهای مختلفی بسازید تا وضعیت کلی بازار رو لحظهای بسنجید یا اینکه بهترین موقعیتهای مبتنی بر استراتژیهای مختلفی که میشه تو بازار ایران پیدا کرد رو لیست کنید.
به عنوان نمونه یک کلاس نوشتم که این دادههای آنی رو میگیره و به پرسشهای زیر پاسخ میده (مواردی که در صفحه اصلی همهی اون سایتها میشه دید):
ارزش معاملات لحظهای چقدره؟
بیشترین ارزش معاملات برای کدوم نمادهاست؟ (به تفکیک اختیار خرید و اختیار فروش)
بیشترین ارزش معاملات برای کدوم دارایی پایه هاست؟
کدوم نماد ها امروز بیشتر روشون قرارداد جدید باز شده؟
کدوم نمادها بیشتر قراردادهای بازشون بسته شده؟
این پروژه و توضیحاتش رو میتونید از مخزن زیر دریافت کنید.
https://github.com/masoudghah/TSELiveOptionData
یه برنامه ساده آماده کردم تا شما هم بتونید به طور آنی به کل دادههای بازار آپشن (بورس و فرابورس) از طریق سایت tsetmc دسترسی داشته باشید (نمونه ساختار دادههای دریافتی با این برنامه اینجاست).
با این دادهها میتونید شاخصهای مختلفی بسازید تا وضعیت کلی بازار رو لحظهای بسنجید یا اینکه بهترین موقعیتهای مبتنی بر استراتژیهای مختلفی که میشه تو بازار ایران پیدا کرد رو لیست کنید.
به عنوان نمونه یک کلاس نوشتم که این دادههای آنی رو میگیره و به پرسشهای زیر پاسخ میده (مواردی که در صفحه اصلی همهی اون سایتها میشه دید):
ارزش معاملات لحظهای چقدره؟
بیشترین ارزش معاملات برای کدوم نمادهاست؟ (به تفکیک اختیار خرید و اختیار فروش)
بیشترین ارزش معاملات برای کدوم دارایی پایه هاست؟
کدوم نماد ها امروز بیشتر روشون قرارداد جدید باز شده؟
کدوم نمادها بیشتر قراردادهای بازشون بسته شده؟
این پروژه و توضیحاتش رو میتونید از مخزن زیر دریافت کنید.
https://github.com/masoudghah/TSELiveOptionData
GitHub
GitHub - masoudghah/tseopt: tseopt is a Python library that provides APIs for accessing and analyzing real-time data from the Tehran…
tseopt is a Python library that provides APIs for accessing and analyzing real-time data from the Tehran Stock Exchange options through different public APIs. - masoudghah/tseopt
👍26
#EDA
#Missing_Value
▫️بر اساس نظرسنجی The State of Data Science 2020، مدیریت داده، تحلیل اکتشافی داده ها (EDA)، انتخاب ویژگی و مهندسی ویژگی بیش از 66٪ از زمان یک تحلیلگر داده را به خود اختصاص می دهد.
▫️قبلا در این پست در خصوص EDA و چگونگی آن توضیحاتی داده بودیم و کتابخانه ای برای آن معرفی کرده بودیم. یکی از دیگر از مهم ترین مراحل در بررسی داده نحوه برخورد با دیتای Missing است.
▫️شناسایی و مدیریت missing values یکی از چالشهای اساسی در تحلیل دادههاست، به خصوص در حوزههایی مانند مالی که دقت و صحت اطلاعات از اهمیت بالایی برخوردار است. اگر این مقادیر بهطور صحیح مدیریت نشوند، ممکن است تحلیلها و نتایج حاصله تحت تأثیر قرار گیرند و تصمیمگیریهای نادرست اتخاذ شود.
▫️در دادههای مالی، missing values میتوانند ناشی از موارد مختلفی باشند. این شامل اشتباهات در گزارشدهی مالی، نقصهای سیستمی، یا حتی نواقص در جمعآوری و ثبت دادهها توسط شرکتها میشود. اطلاعاتی مانند درآمد، سود، بدهیها و سایر مؤلفههای مالی شرکتها اطلاعات حیاتی برای سرمایهگذاران و تحلیلگران هستند.
@FinPy
#Missing_Value
▫️بر اساس نظرسنجی The State of Data Science 2020، مدیریت داده، تحلیل اکتشافی داده ها (EDA)، انتخاب ویژگی و مهندسی ویژگی بیش از 66٪ از زمان یک تحلیلگر داده را به خود اختصاص می دهد.
▫️قبلا در این پست در خصوص EDA و چگونگی آن توضیحاتی داده بودیم و کتابخانه ای برای آن معرفی کرده بودیم. یکی از دیگر از مهم ترین مراحل در بررسی داده نحوه برخورد با دیتای Missing است.
▫️شناسایی و مدیریت missing values یکی از چالشهای اساسی در تحلیل دادههاست، به خصوص در حوزههایی مانند مالی که دقت و صحت اطلاعات از اهمیت بالایی برخوردار است. اگر این مقادیر بهطور صحیح مدیریت نشوند، ممکن است تحلیلها و نتایج حاصله تحت تأثیر قرار گیرند و تصمیمگیریهای نادرست اتخاذ شود.
▫️در دادههای مالی، missing values میتوانند ناشی از موارد مختلفی باشند. این شامل اشتباهات در گزارشدهی مالی، نقصهای سیستمی، یا حتی نواقص در جمعآوری و ثبت دادهها توسط شرکتها میشود. اطلاعاتی مانند درآمد، سود، بدهیها و سایر مؤلفههای مالی شرکتها اطلاعات حیاتی برای سرمایهگذاران و تحلیلگران هستند.
@FinPy
👍13
#Missing_Value
انواع_داده_Missing
داده از دست رفته تصادفی (MAR - Missing at Random):
▫️فرض کنید در حال تجزیه و تحلیل دادههای مربوط به بازده سهام شرکتهای مختلف هستید. برخی از شرکتها ممکن است دادههای مربوط به سالهای خاص را گزارش ندهند. اگر این موضوع به طور تصادفی و مستقل از عملکرد مالی شرکتها باشد، میتوان گفت که دادههای گمشده MAR هستند.
دادههای گمشده به صورت کاملاً تصادفی (MCAR - Missing Completely at Random):
▫️در این حالت، احتمال از دست رفتن دادهها کاملاً مستقل از ویژگیهای دیگر است. مثلاً، اگر اطلاعات مالی یک شرکت به صورت کاملاً تصادفی از دست برود، این میتواند به دلیل عوامل مانند خطای سیستم یا اشتباهات انسانی در وارد کردن دادهها باشد.
دادههای گم شده غیر تصادفی (MNAR - Missing Not at Random):
▫️این حالت نشان میدهد که احتمال از دست رفتن دادهها به ویژگیهای دیگر وابسته است. برای مثال، اگر شرکتهایی با درآمد بالاتر، اطلاعات مالی خود را بیشتر اعلام کنند و در عین حال، احتمال از دست رفتن اطلاعات آنها کمتر باشد، این به دلیل وابستگی میان مقادیر دادههای گمشده و ویژگیهای دیگر است.
@FinPy
انواع_داده_Missing
داده از دست رفته تصادفی (MAR - Missing at Random):
▫️فرض کنید در حال تجزیه و تحلیل دادههای مربوط به بازده سهام شرکتهای مختلف هستید. برخی از شرکتها ممکن است دادههای مربوط به سالهای خاص را گزارش ندهند. اگر این موضوع به طور تصادفی و مستقل از عملکرد مالی شرکتها باشد، میتوان گفت که دادههای گمشده MAR هستند.
دادههای گمشده به صورت کاملاً تصادفی (MCAR - Missing Completely at Random):
▫️در این حالت، احتمال از دست رفتن دادهها کاملاً مستقل از ویژگیهای دیگر است. مثلاً، اگر اطلاعات مالی یک شرکت به صورت کاملاً تصادفی از دست برود، این میتواند به دلیل عوامل مانند خطای سیستم یا اشتباهات انسانی در وارد کردن دادهها باشد.
دادههای گم شده غیر تصادفی (MNAR - Missing Not at Random):
▫️این حالت نشان میدهد که احتمال از دست رفتن دادهها به ویژگیهای دیگر وابسته است. برای مثال، اگر شرکتهایی با درآمد بالاتر، اطلاعات مالی خود را بیشتر اعلام کنند و در عین حال، احتمال از دست رفتن اطلاعات آنها کمتر باشد، این به دلیل وابستگی میان مقادیر دادههای گمشده و ویژگیهای دیگر است.
@FinPy
👍22
#finpy_tse
نسخه جدید finpy-tse
▫️ دوستانی که این چند روزه در دسترسی به دیتای مارکت واچ مشکل داشتند + مشکل دسترسی به داده های نماد "فن آوا" + مشکل دسترسی به لیست سهام بازار پایه، برطرف شدن و میتونید با به روزرسانی پکیج به آخرین نسخه، توابع مربوطه رو اجرا و به داده های مربوطه دسترسی داشته باشید:
pip install --upgrade finpy-tse
pip install finpy-tse==1.2.10
@FinPy
نسخه جدید finpy-tse
▫️ دوستانی که این چند روزه در دسترسی به دیتای مارکت واچ مشکل داشتند + مشکل دسترسی به داده های نماد "فن آوا" + مشکل دسترسی به لیست سهام بازار پایه، برطرف شدن و میتونید با به روزرسانی پکیج به آخرین نسخه، توابع مربوطه رو اجرا و به داده های مربوطه دسترسی داشته باشید:
pip install --upgrade finpy-tse
pip install finpy-tse==1.2.10
@FinPy
👍33👎2
#Writing_Reasearch
#Abstract
#پژوهش
▫️در پست های قبلی در خصوص نحوه نگارش پیشینه با استفاده از روش بیبلیومتریکس (۱، ۲) توضیحاتی آورده بودیم و یک کتاب هم برای نگارش ادبیات نظری معرفی شده بود و اینجا هم در مورد اینکه چطور باید در حوزه مالی پژوهش کنید مطالبی ارائه شده بود.
▫️همچنین در اینجا در خصوص اینکه چطور میتونید با استفاده از این ابزار روند تکاملی موضوع و تهیه نقشه ذهنی برای موضوع رو تهیه کنید توضیحاتی ارائه شده بود.
▫️امروز یک سایت معرفی می کنیم که به شما برای نگارش چکیده کمک میکنه، این سایت به شما کمک میکنه چکیده کارتون رو بهتر بنویسید و برای تقویت کار پژوهشی به شما کمک میکنه و اگه هم نمیدونید یک چکیده خوب باید چه ویژگی ای داشته باشه، اینجا رو بررسی بفرمایید.
@FinPy
#Abstract
#پژوهش
▫️در پست های قبلی در خصوص نحوه نگارش پیشینه با استفاده از روش بیبلیومتریکس (۱، ۲) توضیحاتی آورده بودیم و یک کتاب هم برای نگارش ادبیات نظری معرفی شده بود و اینجا هم در مورد اینکه چطور باید در حوزه مالی پژوهش کنید مطالبی ارائه شده بود.
▫️همچنین در اینجا در خصوص اینکه چطور میتونید با استفاده از این ابزار روند تکاملی موضوع و تهیه نقشه ذهنی برای موضوع رو تهیه کنید توضیحاتی ارائه شده بود.
▫️امروز یک سایت معرفی می کنیم که به شما برای نگارش چکیده کمک میکنه، این سایت به شما کمک میکنه چکیده کارتون رو بهتر بنویسید و برای تقویت کار پژوهشی به شما کمک میکنه و اگه هم نمیدونید یک چکیده خوب باید چه ویژگی ای داشته باشه، اینجا رو بررسی بفرمایید.
@FinPy
👍14