The Annotated Transformer

Annotated version of the paper "Attention is All You Need" and line by line implementation in pytorch

https://nlp.seas.harvard.edu/annotated-transformer/

MIT Researchers Introduce LiGO: A New Technique that Accelerates Training of Large Machine-Learning Models, Reducing the Monetary and Environmental Cost of Developing AI Applications

The transformer architecture has become a go-to choice for representing various domain structures. The empirical inductive biases of the transformer make it a good candidate for scaling. This paves the way for the periodic training and release of expanded versions of existing, smaller models. Although often a scaled-up version of their smaller counterparts, new instances of such models are normally trained from the start. Since even the smallest models need a significant amount of computational resources to train, the parameters of smaller pretrained models should be used to speed up the training of larger models.

When looking at this issue from the perspective of model growth, one strategy is to use the pretrained parameters of a smaller model to initialize some of the parameters of the larger model. Recent research has shown that training can be accelerated by copying a subset of the pretrained parameters to initialize the new parameters and then fine-tuning the entire network. This contrasts earlier works, which generally froze the parameters initialized from the pretrained model and only trained the new (randomly initialized) parameters.

The Computer Science and Artificial Intelligence Laboratory (CSAIL) suggests using pre-trained, smaller language models to boost the effectiveness of these training approaches at a reduced cost and time commitment. Their approach uses machine learning to “grow” a more complex model from a simpler one to encode the smaller model’s prior knowledge. This allows for the larger model to be trained more quickly. The team doesn’t just throw away old models but takes their best parts and uses them to create something new.

Project: https://vita-group.github.io/LiGO/
Blog: https://www.marktechpost.com/2023/03/24/mit-researchers-introduce-ligo-a-new-technique-that-accelerates-training-of-large-machine-learning-models-reducing-the-monetary-and-environmental-cost-of-developing-ai-applications/

Sparks of Artificial General Intelligence: Early experiments with GPT-4

https://arxiv.org/abs/2303.12712

خب خب خب،
اگه میخواهید واقعا پردازش زبان یاد بگیرید و بدونید داستان چیه و کل این چت جی پی تی و ... چطوری کار میکنه، دو راه داره:
۱. ولش کنید.
۲. این لیست رو بخونید، حدودا دو سه ماه حداقل وقت می‌بره و به ترتیب بخونید:
پردازش زبان ژورافسکی:
https://web.stanford.edu/~jurafsky/slp3/

یادگیری عمیق:
https://www.deeplearningbook.org/

مقالات مهم و تاثیر گذار پردازش زبان:

LSTM:
https://arxiv.org/abs/1512.08849

اتنشن تو پردازش زبان:
https://arxiv.org/abs/1409.0473

Word2vec, Fasttext

ترنسفرمر:
https://arxiv.org/abs/1706.03762

T5, BERT, Longformer

Instruction fine-tuning:
https://arxiv.org/abs/2204.07705

Bloom:
https://arxiv.org/abs/2211.05100

RLHF:
https://arxiv.org/abs/2009.01325

پیش نیاز:
ریاضی و مخصوصا مشتق و امثالهم
برنامه نویسی پایتون
تفکر نقادانه
یادگیری ماشین

تقدیم به پایتورچ فن های کانال
جزئیات مربوط به آپدیت جدید پایتورچ

What's New in PyTorch 2.0? torch.compile - PyImageSearch

https://pyimagesearch.com/2023/03/27/whats-new-in-pytorch-2-0-torch-compile/

انواع ایده‌ها و راه‌ها برای لود کردن config file
البته با تمرکز بر پایتون

https://towardsdatascience.com/from-novice-to-expert-how-to-write-a-configuration-file-in-python-273e171a8eb3

formulating a Variational Autoencoder + code:

https://theaisummer.com/latent-variable-models/

از GPT4 خواستن که با بودجه ۱۰۰ دلاری یه کسب و کاری رو ارائه بده که باهاش بشه بیشترین میزان پول رو در اورد. ببینید چه کرده:

https://twitter.com/jacksonfall/status/1636107218859745286?s=20

تشبیه مدل های بزرگ زبانی به فشرده سازی lossy مثل تصویر jpg

https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web?utm_source=pocket-newtab-android

Denoising Diffusion Probabilistic Models (DDPM) simple explanation + Code (pyTorch)

https://huggingface.co/blog/annotated-diffusion

extra mathematics

https://lilianweng.github.io/posts/2021-07-11-diffusion-models/#reverse-diffusion-process

https://scale.com/guides/diffusion-models-guide#what-are-diffusion-models?

Diffusion Models: A Comprehensive Survey of Methods and Applications
https://arxiv.org/abs/2209.00796

☃ آغاز ثبت‌نام هشتمین دوره‌ی سری سمینارهای زمستانه (8th WSS)

🗓 زمان برگزاری: ۱۷ تا ۲۰ فروردین
🕒 مهلت ثبت نام: ۱۵ فروردین
🎤 نحوه‌ی برگزاری: حضوری و مجازی
🏬 برگزارکننده: دانشگاه صنعتی شریف

👥 سری سمینارهای زمستانه (WSS) رویدادی سالانه شامل سمینارها، لب‌تاک‌ها و میزگردهایی با حضور اساتید برجسته از موسسات برتر ایرانی و خارجی همچون EPFL ،Amazon ،MIT ،Stanford و Apple است.

💬 این رویداد فرصت منحصر به فردی را برای یادگیری از متخصصان در زمینه‌های مختلف علوم کامپیوتر و مشارکت در بحث‌های مربوط به تحقیقات و نوآوری‌های جدید فراهم می‌کند.

👤 توجه داشته باشید که ظرفیت محدود است. اولویت با متقاضیانی‌ است که زودتر ثبت نام خود را تکمیل کنند.

💻 اطلاعات بیشتر و ثبت نام:
🌎 https://wss.ce.sharif.edu
────────────────────
⛓ Connect with us
💬 Telegram | 📷 Instagram
💬 Twitter | 🌐 LinkedIn
💬 Facebook | 🌐 YouTube

☃ @WSS_SUT

یک پلی‌لیست خیلی خوب برای یادگیری ترنسفورمرها از صفر:

https://www.youtube.com/playlist?list=PLTl9hO2Oobd97qfWC40gOSU8C0iu0m2l4

آندری کارپثی در جواب یک سوال پرتکرار، این مقاله رو پیشنهاد کرده. این مقاله مربوط میشه به تعریف مفهوم دیفیوژن و استفاده ازش در مدل‌های زبانی بزرگ:
Andrej Karpathy:
"Common Q: Can you train language model w diffusion?
Favorite A: read this post (the whole blog is excellent)

(Roughly speaking state of the art generative AI is either trained autoregressively or with diffusion. The underlying neural net usually a Transformer.)"

https://sander.ai/2023/01/09/diffusion-language.html