خب خب خب،
اگه میخواهید واقعا پردازش زبان یاد بگیرید و بدونید داستان چیه و کل این چت جی پی تی و ... چطوری کار میکنه، دو راه داره:
۱. ولش کنید.
۲. این لیست رو بخونید، حدودا دو سه ماه حداقل وقت می‌بره و به ترتیب بخونید:
پردازش زبان ژورافسکی:
https://web.stanford.edu/~jurafsky/slp3/

یادگیری عمیق:
https://www.deeplearningbook.org/

مقالات مهم و تاثیر گذار پردازش زبان:

LSTM:
https://arxiv.org/abs/1512.08849

اتنشن تو پردازش زبان:
https://arxiv.org/abs/1409.0473

Word2vec, Fasttext

ترنسفرمر:
https://arxiv.org/abs/1706.03762

T5, BERT, Longformer

Instruction fine-tuning:
https://arxiv.org/abs/2204.07705

Bloom:
https://arxiv.org/abs/2211.05100

RLHF:
https://arxiv.org/abs/2009.01325

پیش نیاز:
ریاضی و مخصوصا مشتق و امثالهم
برنامه نویسی پایتون
تفکر نقادانه
یادگیری ماشین

تقدیم به پایتورچ فن های کانال
جزئیات مربوط به آپدیت جدید پایتورچ

What's New in PyTorch 2.0? torch.compile - PyImageSearch

https://pyimagesearch.com/2023/03/27/whats-new-in-pytorch-2-0-torch-compile/

انواع ایده‌ها و راه‌ها برای لود کردن config file
البته با تمرکز بر پایتون

https://towardsdatascience.com/from-novice-to-expert-how-to-write-a-configuration-file-in-python-273e171a8eb3

formulating a Variational Autoencoder + code:

https://theaisummer.com/latent-variable-models/

از GPT4 خواستن که با بودجه ۱۰۰ دلاری یه کسب و کاری رو ارائه بده که باهاش بشه بیشترین میزان پول رو در اورد. ببینید چه کرده:

https://twitter.com/jacksonfall/status/1636107218859745286?s=20

تشبیه مدل های بزرگ زبانی به فشرده سازی lossy مثل تصویر jpg

https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web?utm_source=pocket-newtab-android

Denoising Diffusion Probabilistic Models (DDPM) simple explanation + Code (pyTorch)

https://huggingface.co/blog/annotated-diffusion

extra mathematics

https://lilianweng.github.io/posts/2021-07-11-diffusion-models/#reverse-diffusion-process

https://scale.com/guides/diffusion-models-guide#what-are-diffusion-models?

Diffusion Models: A Comprehensive Survey of Methods and Applications
https://arxiv.org/abs/2209.00796

☃ آغاز ثبت‌نام هشتمین دوره‌ی سری سمینارهای زمستانه (8th WSS)

🗓 زمان برگزاری: ۱۷ تا ۲۰ فروردین
🕒 مهلت ثبت نام: ۱۵ فروردین
🎤 نحوه‌ی برگزاری: حضوری و مجازی
🏬 برگزارکننده: دانشگاه صنعتی شریف

👥 سری سمینارهای زمستانه (WSS) رویدادی سالانه شامل سمینارها، لب‌تاک‌ها و میزگردهایی با حضور اساتید برجسته از موسسات برتر ایرانی و خارجی همچون EPFL ،Amazon ،MIT ،Stanford و Apple است.

💬 این رویداد فرصت منحصر به فردی را برای یادگیری از متخصصان در زمینه‌های مختلف علوم کامپیوتر و مشارکت در بحث‌های مربوط به تحقیقات و نوآوری‌های جدید فراهم می‌کند.

👤 توجه داشته باشید که ظرفیت محدود است. اولویت با متقاضیانی‌ است که زودتر ثبت نام خود را تکمیل کنند.

💻 اطلاعات بیشتر و ثبت نام:
🌎 https://wss.ce.sharif.edu
────────────────────
⛓ Connect with us
💬 Telegram | 📷 Instagram
💬 Twitter | 🌐 LinkedIn
💬 Facebook | 🌐 YouTube

☃ @WSS_SUT

یک پلی‌لیست خیلی خوب برای یادگیری ترنسفورمرها از صفر:

https://www.youtube.com/playlist?list=PLTl9hO2Oobd97qfWC40gOSU8C0iu0m2l4

آندری کارپثی در جواب یک سوال پرتکرار، این مقاله رو پیشنهاد کرده. این مقاله مربوط میشه به تعریف مفهوم دیفیوژن و استفاده ازش در مدل‌های زبانی بزرگ:
Andrej Karpathy:
"Common Q: Can you train language model w diffusion?
Favorite A: read this post (the whole blog is excellent)

(Roughly speaking state of the art generative AI is either trained autoregressively or with diffusion. The underlying neural net usually a Transformer.)"

https://sander.ai/2023/01/09/diffusion-language.html

چه مبتدی باشید چه یک پژوهشگر با تجربه،این لینکها میتونه براتون مفید باشه:
کورس های رایگان حوزه هوش مصنوعی:
https://github.com/SkalskiP/courses

#کورس #منبع #آموزش

توی این ریپو، سعی شده یه سری نکات که برای ادامه کار های پژوهشی و ریسرچ (البته با تمرکز روی دانشجوهای دکترا) نیازه و ممکنه خیلیامون بهش نیاز پیدا کنیم رو جمع آوری کنه و یک جا قرار بده. این نکات در قالب تردهای توییتری هست که تو این ریپو قرار داده شدن. درسته که به اسم برای دانشجوهای دکتراست، ولی به نظرم برای ما هم می‌تونه مفید باشه و دونستنشون تو این بازه زمانی بتونه دید ما رو نسبت به این موضوعات بازتر کنه.
سرتونو درد نیارم، این ریپو به شدت توصیه میشه👌👌

https://github.com/jbhuang0604/awesome-tips

صحبت های آندرو انجی و یان لیکون در رابطه با توقف ۶ ماهه توسعه مدل‌های قدرتمندتر از GPT4 و بیان نظراتشون

https://www.youtube.com/live/BY9KV8uCtj4?feature=share

مدل HuggingGPT، مدلی با مغز GPT و بازوی HuggingFace

همانطور که خودتون هم می‌بینید و می‌شنوید ChatGPT همه جا رو در نوردیده و طیف مختلف و وسیعی از وظایف مختلف رو میتونه بهتر از انسان انجام بده. با وجود این همه قدرت مدل‌های زبانی، اما این مدل‌ها محدودیت‌هایی هم دارند. مثلا صرفا به مسائلی که ورودی و خروجی‌شون متنی هستند محدود هستند (ممکنه بگید GPT4 مدل مولتی موداله بله اما GPT4 اولا فقط میتونه در ورودی تصویر بگیره و ثانیا اگر بخواد تصویر خروجی بده باید تحت کدی مثل tikz این کار رو بکنه که کیفیت عکس‌هاش اصلا اون چیزی که در نظر هست نیست). محدودیت دیگه این که در سناریوهای دنیای واقعی که نیازمند شکستن وظیفه به چندزیروظیفه هست هم عملکرد کاملی ندارند و البته در بعضی مسائل خاص متنی هم حتی نسبت به مدل‌های اکسپرت عملکرد پایین‌تری دارند. حالا یک عده چینی از دانشگاه zhejiang ایده‌ای برای حل این محدودیت‌ها به سرشون زده و اون رو با نام HuggingGPT پیاده کردند. شهود این ایده این شکلیه که بیایم از chat-gpt به عنوان مغز و یک جور کنترلگر و از مدل‌های حاضر در هاب هاگینگ‌فیس در حکم بازوان اجرایی متخصص استفاده کنیم. در این صورت می‌تونیم هم از قدرت منطقی gpt استفاده کنیم و هم این که تسک‌هایی که gpt نمی‌تونه اجراشون کنه (مثل تسک‌های تصویری و صوتی) رو با استفاده از مدل‌های متخصص حاضر بر روی HuggingFace بتونیم انجام بدیم.

این مدل به صورت کلی چهار بخش Task Planning و Model Selection و Task Execution و Response Generation دارد. روال کار هم به این صورته که کاربر درخواستش رو به مدل میده و مدل طی یک پایپلاین با کمک این چهار بخش درخواست کاربر رو انجام میده. در Task Planning درخواست کاربر ورودی گرفته می‌شه و به ChatGPT داده می‌شه. در این جا chatgpt وظیفه داره منظور این درخواست کاربر رو بفهمه و اون رو به زیروظایف کوچک‌تر بشکنه و همچنین ترتیب اجرای این زیروظایف و ورودی و خروجی‌ اون‌ها رو مشخص کنه. در گام بعدی یا Model Selection سپس هر کدوم از این زیروظایف و مشخصات مدل‌های حاضر بر روی هاب هاگینگ‌فیس به chatgpt داده می‌شن و chatgpt تصمیم می‌گیره که برای هر یک از این زیروظایف از چه مدلی می‌شه استفاده کرد. سپس در مرحله سوم یا Task Execution، هر یک از این زیروظایف توسط مدل‌های مشخص شده اجرا می‌شن و البته تحت ترتیبی که تو مرحله یک مشخص شده به هم وصل می‌شن و ورودی و خروجی‌های همدیگر رو فراهم می‌کنند. در گام آخر یا Repsonse Generation هم دوباره خروجی‌های مرحله سوم به ChatGPT داده می‌شن و ChatGPT با جمع‌بندی این خروجی‌ها، خروجی نهایی مدل رو آماده می‌کنه. برای فهم بهتر می‌تونید تصاویر پیوست شده رو مشاهده کنید. یک سری آزمایش هم اومدند و روی این مدل انجام دادند و نشون دادند که می‌تونه وظایف خیلی پیچیده‌ای که نیازمند ترکیب توانایی‌های تصویری و صوتی و متنی هست رو انجام بده. نکته واجب به ذکر اینه که برای این که ChatGPT بفهمه هر یک از مراحل بالا رو باید انجام بده هم از In-context Learning استفاده کردند، یعنی این که نمونه ورودی‌ها و خروجی‌ها رو در prompt ورودی به ChatGPT می‌دن و GPT خودش می‌فهمه باید چه جوری اوستا کنه قضیه رو.

قبلا در این پست (https://t.iss.one/nlp_stuff/318) هم راجع به یک کیس جالب دیگه که از LLM به عنوان حتی بک‌اند استفاده کرده بود صحبت کرده بودیم. به نظر می‌رسه با قدرت‌گیری LLM‌ها در آینده نزدیک شاهد خیزش ترندی خواهیم بود که سعی می‌شه تا از اونها در حکم LLM as App یا حتی LLM as Everything استفاده بشه. آینده جذابی پیش روی محصولات این حوزه است. کسی چه می‌داند، شاید دنیای مهندسی نرم‌افزار بعد از LLM ها به شدت تکانده شود.

لینک مقاله:
https://arxiv.org/abs/2303.17580

پی‌نوشت: با به اشتراک‌گذاری مطالبی که از آن‌ها لذت می‌برید، به بقیه هم این لذت رو هدیه بدید.

#read
#paper

@nlp_stuff