اینجا در مورد Bloomberg GPT پرزنتی فرستاده شده، مدل بهتری ازش با hugging face دولوپ شده به اسم FinGPT که خیلی از مشکلات( مخصوصا هزینه fine tune ) رو نداره،

BloombergGPT trained an LLM using a mixture of finance data and general-purpose data, which took about 53 days, at a cost of around $3M). It is costly to retrain an LLM model like BloombergGPT every month or every week, thus lightweight adaptation is highly favorable. FinGPT can be fine-tuned swiftly to incorporate new data (the cost falls significantly, less than $300 per fine-tuning).

2). Democratizing Internet-scale financial data is critical, say allowing timely updates of the model (monthly or weekly updates) using an automatic data curation pipeline. BloombergGPT has privileged data access and APIs, while FinGPT presents a more accessible alternative. It prioritizes lightweight adaptation, leveraging the best available open-source LLMs.

3). The key technology is "RLHF (Reinforcement learning from human feedback)", which is missing in BloombergGPT. RLHF enables an LLM model to learn individual preferences (risk-aversion level, investing habits, personalized robo-advisor, etc.), which is the "secret" ingredient of ChatGPT and GPT4.

دیروز FinGpt - forecaster رو هم ارائه کردن، که stock price رو بر اساس دیتای نیوز اون شرکت پیشبینی میکنه! با Llama 2 و بر اساس متد LoRA فاین تیون کردن و میتونه پیشبینی هفتگی بده، قضیه جذاب‌تر میشه 😉،

❌قبلا هم گفتم، بهتره کلا همه چیز رو ول کنید ، یه ماه وقت بزارین برای دولوپ کردن و کار کردن با مدلهای اپن سورس LLM, چون علنا هیچ کاری بزودی بدون اونا کارایی خاصی نخواهد داشت و در صورت عدم استفاده ، شمارو براحتی از رقیباتون عقب خواهد انداخت، edge مارکت فاینانس هم داره با این سختر میشه و آلفا کمتر 😏

FinGPT: Open-Source Financial LLM

واو! سم اخراج شد!؟😳

Mr. Altman’s departure follows a deliberative review process by the board, which concluded that he was not consistently candid in his communications with the board, hindering its ability to exercise its responsibilities. The board no longer has confidence in his ability to continue leading OpenAI.

اوه😳

❌اپدیت:
به دنبال انتشار خبر اخراج سم آلتمن از مجموعه OpenAI، گِرِگ بروکمن، یکی دیگر از بنیان‌گذاران این شرکت، خروج خود را از OpenAI اعلام کرد. او مشخصاً تغییرات اخیر در مجموعه OpenAI را دلیل خروج خود از این شرکت عنوان کرده است.

پ.ن. میگن خود LLM اخراجش کرده یا یدونه LLM گذاشتن بجاش 🤦‍♂️😁 ( به نقل یکی از بچه های خودمون)

پ.ن. ۲!

The OpenAI board is in discussions with Sam Altman to return to the company as its CEO

این که open ai با این کارها، تبدیل به هیولایی در اینده بشه، برای من عجیب خواهد بود، 😳

https://openai.com/blog/openai-announces-leadership-transition

This is the quote I am falling in love with:

❌❌❌❌

The magic you are looking for is in the work you are avoiding 🤦‍♂

❌❌❌❌❌

💥Absolutely insane


@machinelearningnet

این پرزنت جالبی باید باشه و احتمالا روی اپروچ های تیم های اول بحث کنن

https://lu.ma/uo6b7wkv

ادامه ماجرای open Ai نیاز به یک پست جدید داره، پست قبلی

چند روز پیش هم گفتم این شرکت با این حرکت هاش بعیده بشه یک هیولا و الان فکر میکنم احتمالا با ماکروسافت تلفیق بشه.

در کل مساله داره هر روز بغرنج تر میشه ،

💥بورد open ai قرار بود ceo شرکت رقیب یعنی Anthropic رو بکنن رئیس openAi ، حالا امشب اینا یه ورژن جدید ارائه دادن 👆 ،

💥از اونور ۹۰ درصد کارکنان openai گفتن که کل board باید استعفا بدن، از اونور Sam رفته ماکروسافت، و احتمالا ماکروسافت دست روی کل بیزینس open ai خواهد گذاشت و اونوقت بورد چی میشه معلوم نیست.

💥البته اون بورد خیلی تعطیل هستن. بدون شک بهترین ریسرچرهای دنیا بودن، اما تجربه ران یه شرکت رو نداشتن، زدن هم شرکت و هم خودشون رو نابود کردن.

💥از اونور یه دعوای منطقی هم هست بین کسانی که میخوان AI بدون رگولیشن و قوانین محدود کننده پیشرفت کنه، و اونایی که دسترسی به AGI رو هنوز زود میدونن و میترسن،

❌اما اینجا یه فکت عجیب هست. بنظرم Satya Nadela بزرگترین ceo تک در دنیا هست. اینکه چطور در یک روز سم و گِرک رو استخدام کرد واقعا خاص بود!

پ.ن. خوب سم برگشته انگار، با Board جدید😂 چه خبره اونجا🙈

Introduction to Machine Learning with Python and Scikit-Learn Course 🚀🚀🚀

Another FreeCodeCamp course recently published for machine learning with Python. This is a long one (18 hours) that provides an in-depth introduction to machine learning and covers topics such as:
✅ Linear Regression and Gradient Descent
✅ Logistic Regression for Classification
✅ Decision Trees and Random Forests
✅ Gradient Boosting Machines with XGBoost
✅ Unsupervised Learning using Scikit-Learn
✅ Machine Learning Project from Scratch
✅ Deploying a Machine Learning Project with Flask

Course 📽️: https://www.youtube.com/watch?v=hDKCxebp88A

#datascience #python #machinelearning #scikitlearn

بنظرم هر کاری اینا توی oxford man میکنن ارزش خوندن داره 😍

دوستانی که از من میپرسن و ایده برای تز میخوان، لطفا بشینن مقالات oxford man رو بخونن، پر از مفاهیم جدید برای ماشین لرنینگ در فاینانس هست 🌺👌

اینجا لیست working paper های این موسسه رو میتونید ملاحظه کنید

https://www.maths.ox.ac.uk/groups/mathematical-finance/research-mathematical-finance/mcf-working-papers-2023


@machinelearningnet

الان که تب استفاده از Q learning و Q* بتازگی زیاد شده و دارن روند پیشرفت llm رو به سمت RL میبرن ( حداقل میگن که مارکتینگ کنن😜 والا بقول Lecun موضوع چیز دیگه ای هست) ، بنظرم خیلی خوبه این مقاله
Recent Advances in Reinforcement Learning in Finance
رو یه مرور کنیم 👌

این بنظرم بهترین مقاله review در زمینه مدلهای RL در فاینانس هست، اکثر کاربردهای RL در فاینانس و مقالات مرتب اش رو لیست کرده که بنظرم برای دوستایی که میخوان توی این حوزه ریسرچ کنن، یکی از بهترین منابع هست،

پ.ن‌. یه روش هم ما به این کاربردها اضافه میکنیم که بزودی آپدیت میکنم،

در کنار این مباحث، یکی از کارهای خوب استفاده از Rl در فاینانس مقاله deep hedging پرفسور Hans Buehlr هست که به عنوان کوانت فاند ۲۰۲۳ انتخاب شده و بتازگی کدهاش رو هم آپدیت کرده

@machinelearningnet

در ادامه همین بحث RL ، یه پکیج خیلی معروفی هست به اسم FinRL که چندین ساله هر ساله یه ورژن کارشون رو توی nips چاپ میکنن،

تقریبا من کتابخونه ی اپن سورس بهتری از این توی RL با پایتون ندیدم، یکی دوتای دیگه هم هست مثل pgportfolio اینا که دیگه آپدیت نمیشه،

حالا اینا اخیرا یه رقابت RL تو finance برگزار کردن که چند روز پیش تموم شده و منتظریم اپروچ برنده هاش اعلام بشه.

https://finrl-contest.github.io/

مسابقه در دو سکشن، ترید و اردر گذاری انجام شده .

توی این پست هم در مورد کار اخیرشان روی FinGpt توضیحاتی داده شد،

اینا هم در کنار پست قبلی میشه تکلیف ریسرچرهای گروه که روی RL در فاینانس کار میکنن،

💥یکی از بچه های گروه هم من میدونم یه پرتفولیو با RL توی بازار ایران داره و یکی از صندوق ها بزرگ رو داره مدیریت میکنه ،

منظورم اینکه اینا مباحث کاربردی هست که جواب هم میده،

برای اموزش:
ما یه پرزنت کتاب از مدلهای دیپ RL داشتیم (لینک)
و دوتا پرزنت هم در زمینه FinRL و Deep RL قبلا در گروه گذاشته بودم
لینک ۱ و لینک۲

@machinelearningnet

💥💥

من دوتا پایان نامه در زمینه آنالیز فاند ها و تریدرها با دوتا دانشجوی چینی ام کار کردم که بخاطر رفتن به کشورشون و درگیر کار شدن، نتونستیم تبدیل به خروجی مقاله ای یا پروداکت کنیم. کار خوبی انجام شده اما هنوز جای کار بیشتری برای تبدیل شدن به محصول یا مقاله هست.

دونفر از بچه ها که هم کدینگ با پایتون مسلط هستن و مقاله نوشتن ( یا سابمیت کردن) ، و یا پروداکت درست کردن لطفا رزومه بفرستن ( همین تلگرام) تا این‌کار رو باهاشون نهایی کنیم، ممنون

در این پست در مورد کنفرانس ICAIF 2023 حرف زدیم. این کنفرانس حرف نداره💥

بهترین مقاله اش مقاله ای بود که چند وقت پیش در زمینه سیمولیت limit order book ها از آکسفورد فرستاده شده،
اینا در واقع دوتا کار بک تو بک هم هستن که لینک اش رو اینجا میزارم،
1. JAX-LOB
2. Generative AI for LOB modeling

در واقع سال پیش هم یه مقاله فرستاده بودن که با lob بازار رو پیشبینی میکردن و واقعا alpha تولید کردن بودن ( واقعی نه مثل باقی ۹۵٪ مقالات). خود مقاله و کدهاش و پرزنت اش اینجا گذاشتن.

حالا در این کار جدید روی سیمولیت کردن lob تمرکز کردن که خیلی بعدا میتونه برای order placement کمک کنه،

قبلا یه چند تا پرزنت در همین گروه بابت order execution داشتیم که با RL کار شده بود.

اینارو ببینید، بعدش دیروز از دانشگاه Westminster برام تز فرستادن داوری کنم، تز دکترای طرف بود، ۵ تا مدل رو زده برای پیشبینی بیتکوین، توی انتشارات hindawi هم چاپ کرده، میخواد دفاع کنه ، مدل اورفیت، کار هیچ! حواستون باشه اینکه طرف انگلیس درس خونده، مثل اکسفورد هم داریم، اینجوری هم داریم، 😁

@machinelearningnet

الان که بحث LOB شد و سیمولیت اینا شد، اصولا چند تا روش مختلف برای اینکار هست،

agent-based models (ABMs), reinforcement learning (RL) environments, generative models, processing order flows from historical data sets and hand-crafted agents.

در مورد مدلهای hand crafter که از gpu اینا استفاده میشه پست قبل رو ببینید.

در زمینه ی مدلهای جنریتیو ai، یکی همین گن هست مثل این مقاله

البته مشکلاتی گن داره در صورت جنرال مثل اینا
training is notoriously unstable, often suffers from mode collapse, and requires specialised techniques such as weight clipping and gradient penalty to mitigate these issues

برای RL هم یه مقاله زیر همین پست دربارش میزارم.

جای یه کاری هم خالیه، استفاده از diffusion در این فضا، دیفیوژن ها که بیس dall-e هست واقعا نتایج خوبی گرفتن، ما هم کاری در زمینه گرفتن فیچر اتوماتیک از تایم سری ها برودی ارایه میدیم که اونجا هم نتایج بشدت جالبه ،
بنظرم میتونن از گن نتیجه ی بهتری بدن.


در کنارش خوب از همین ها برای سیگنال گرفتن هم استفاده میکنن ، مثل همین مقاله ، یا اون مقاله ای که پست قبلی فرستادم،

این فضا فقط مشکل کامپوتینگ احتمالا خواهید داشت ، چون نیاز به سورس محاسباتی قوی داره، و اخیرا میزان پابلیش خوبی هم روش انجام میشه.
قبلا خیلی مدلهای deep و ml رو روی ایده های فاینانس میزدی، اصلا قبول نمیکردن چاپ کنن، الان دقیقا هایپ مجلات اینوری شده،
@machinelearningnet

Staford released today the Python online version course for the ISLR book 💥.

The course covers topics such as:

✅ Regression and classification
✅ Linear model selection and regularization
✅ Non-linear Regression
✅ Tree-based methods
✅ Support vector machines
✅ Deep learning
✅ Unsupervised learning

𝐑𝐞𝐬𝐨𝐮𝐫𝐜𝐞𝐬 📚
Online course 📽️: YouTube

Book website: Here

Python version of the Book: Pdf

R version of the Book: Pdf

🌺🌺💥
@machinelearningnet

یکی از سوالاتی که اخیرا پرسیده میشه، استفاده از chatgpt برای ترید هست.

توی این ویدئو از هادسون تیمز، در مورد استفاده از chatgpt برای پیشبینی بازار بحث کردن و مزایا و معایب کاور شده و کلا نگاهی هم به ورژن های قبلی مدلهای زبانی داشتن

https://youtu.be/IiAiTxlCZrM


@machinelearningnet

قصه بیتکوین در سال‌های مختلف

یا تاپ یا کف. همیشه هم با چندین برابر اختلاف😜

بت من: سال ۲۰۲۴ هم تاپ تاپ☺️

@machinelearningnet2

ایران توانست مقام هفتم در انتشار مقالات علمی تقلبی در طی 20 سال گذشته را به دست آورد.

درست هست که اساتید ما پیرو استاد بزرگانِ روس و چین هستند، ولی به نسبت جمعیت اون دو کشور از اساتید خود هم بالاتر زدن!

https://www.nature.com/articles/d41586-023-03974-8

سال ۲۰۲۳ هم که دیگه گل کاشته، مقالات آبکی و ساختگی داره رکورد میرنه ،

💥واقعا من برای دوستانی که قصد اپلای و ادامه تحصیل دارن توصیه میکنم ، مقاله ای که مینویسید، واقعا حرفه ای کار کنید، کسی که میخونه ، اگه استاد قوی باشه، متوجه میشه که شما گزارش واقعی میدین یا دارین دستکاری نتایج میکنید،

@machinelearningnet

از اینکه سالها در کنار هم هستیم و گروه ۲۰۰ تایی ما شده ۲-۳ هزار نفر و درکنار هم کلی یاد گرفتیم واقعا لذت بخشه، به وجود همه شما مفتخریم ،
کلی از بچه های این گروه موفقیت هایی حاصل کردن که آرزوی ماست و بهشون افتخار می‌کنیم ،

ایشالله کلی براتون اتفاقات خوب بیوفته، سال نو میلادی تون مبارک ❤️

This is insane.🙈🥴

150× faster pandas with no code changes.

Only you need to add:

%Load_ext cudf.pandas

https://github.com/rapidsai/cudf

برای دوستان مهندس دیتا، این توضیحات مهندسین متا در مورد شیفت پارادیم ها از

Data Infrastructure and Data Integration to Accessible Analytics,

جالب باید باشه.

https://medium.com/@AnalyticsAtMeta/the-future-of-the-data-engineer-part-i-32bd125465be

#data #dataengineering