#مقاله یا کتابچه بگم برای مدلها دیفیوژن از #منابع های مناسب برای یادگیری قدم به قدم این مدل هست.

◾️ Step-by-Step Diffusion: An Elementary Tutorial

#الگوریتمها

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

‏اگه واقعا می‌خواید یاد بگیرید که مدل GPT چطور کار می‌کنه،این بلاگ آموزش می‌ده چطور تو ۶۰ خط و فقط با numpy، بدون استفاده از pytorch پیاده‌سازی می‌شه. خودتون انجام می‌دید و بعدهم تستش می‌کنید.
این خودش یک جلسه درس ماشین لرنینگ هست. بهتر از این هم می‌شه؟!

🔗 لینک بلاگ
🔗 لینک توئیت

#blog
#ML
#learning
#LLM

@lifeAsAService

سلام به همگی،
آگهی استخدام یک متخصص در زمینه پردازش سیگنال (سیگنال گفتار) و یک متخصص در حوزه پردازش زبان طبیعی به خصوص LLM ها.

اگر تمایل داشتید یا سوالی داشتید می‌تونید با ایمیلی که در فایل هست در ارتباط باشید.

تو گروه خیلی سوال راجب #یادگیری_تقویتی میپرسن یک مدرسه تابستونی برگزار شده اگه میتونین شرکت کنین

https://euramas.github.io/easss2024/

#منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

ساده‌ترین و روون‌ترین توضیحی که برای احتمال، آنتروپی، کراس-آنتروپی و KL Divergence تا به الان دیدم. این ویدیو رو به هیچ وجه از دست ندین :)

https://youtu.be/KHVR587oW8I?si=obrewoyVvZbalj_Z

سخنرانی های #کنفرانس CVPR 2024

https://m.youtube.com/playlist?list=PL682UO4IMem8oJGT4s-3f86BSLzUVvLQD

لینک زیر لیست tutorial های cvpr 2024 هست، اکثرا فایل slide و فیلم ارائه هم دارند.

https://cvpr.thecvf.com/Conferences/2024/tutorial-list

#منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مشکلی نیست دوباره قرار می‌دم؛
دوستانی که علاقه‌مند به دنبال کردن دوره یادگیری ماشین آقای دکتر شریفی هستند می‌توانند ویدئوهای دوره رو در این لینک مشاهده کنند.
تا کنون جلسه اول دوره منتشر شده‌است.
برای آرامش خاطر دوستان علاقه‌مند به این دوره😬

🔔 اعلام برنامه جلسه‌ی سوم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: مدل‌های زبانی چندزبانه: چرا و چگونه؟
👤 سخنران مهمان: دکتر مرضیه فدایی
🪧 سمت: پژوهشگر ارشد در شرکت Cohere
🗓 زمان: یک‌شنبه ۱۴۰۳/۰۷/۱۵، ساعت ۱۷:۰۰ تا ۱۸:۳۰
📍 مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه میزبان دکتر مرضیه فدایی از اعضای ارشد تیم توسعه‌دهنده‌ی مدل زبانی Aya هستیم. این جلسه که به گفتگو درباره‌ی «مدل‌های زبانی چندزبانه» اختصاص دارد، فرصت مناسبی است تا از تجربیات ارزشمند یکی از پژوهشگران برجسته این حوزه بهره‌مند شویم.
از همه‌ی شما علاقه‌مندان به این زمینه دعوت می‌کنیم که در این جلسه شرکت کنید.

#LLM #LLM_JC #LLM_Club #Multilingual_LLM

حالا که نوبل فیزیک به شبکه عصبی رسید، وقتشه بهتر بفهمیم چه چیزی باعث به دست اومدن این نوبل شد:

شبکه هاپفیلد:
https://youtu.be/1WPJdAW-sFo?si=JuMsrzg3fW003dxs

ماشین بولتزمن:
https://youtu.be/_bqa_I5hNAo?si=f6Ywm9LEZ_hE-Vs7

معرفی سایت nn.labml.ai
در این سایت پیاده سازی #پایتورچ مدل ها و الگوریتم های مهم هوش مصنوعی به همراه توضیح خط به خط کد و فرمول های ریاضی به کار رفته در کد مقالات است.
و منبع عالی برای #کدخوانی #مقالات هست.
لیست موضوعات پیاده سازی شده در این سایت:
✨ Transformers
✨ Low-Rank Adaptation (LoRA)
✨Eleuther GPT-NeoX
✨Diffusion models
✨Generative Adversarial Networks
✨Recurrent Highway Networks
✨ LSTM
✨ HyperNetworks - HyperLSTM
✨ ResNet
✨ ConvMixer
✨ Capsule Networks
✨ U-Net
✨ Sketch RNN
✨ Graph Neural Networks
✨ Reinforcement Learning
✨ Counterfactual Regret Minimization (CFR)
✨ Optimizers
✨ Normalization Layers
✨ Distillation
✨ Adaptive Computation
✨ Uncertainty
✨ Activations
✨ Language Model Sampling
✨ Scalable Training/Inference
#منابع #هوش_مصنوعی
#مقاله_خوانی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

📣 It’s that time again: Free Access Week is around the corner!

Access DataCamp Premium for $0 and explore 500+ data and AI courses between Nov 4–10.

Want to learn Python, SQL, ChatGPT, machine learning, or Power BI for free? Now’s your chance.

https://www.linkedin.com/posts/datacampinc_its-that-time-again-free-access-week-activity-7258070618120581121-zirm?utm_source=share&utm_medium=member_desktop

Learning JAX as a pytorch developer

https://kidger.site/thoughts/torch2jax/

خداحافظ Adam
با معرفی ADOPT بهتره Optimizer مدل‌های Deep Learning و LLM رو تغییر بدیم. مشکل اساسی Adam در واقع عدم تضمین convergence در فرآیند آپدیت وزن‌ها بود که در ADOPT حل شده. اما این برتری فقط در تئوری نیست و در عمل هم در اکثریت مسائل بهتر  بوده.

ایده اصلی و راه حل برای تضمین هم‌گرایی هم دو مورد هست:

۱_ حذف گرادیان کنونی از تخمین momentum دوم
۲_ نرمالایز کردن گرادیان قبل از آپدیت momentum

Paper
Github
کد:

from adopt import ADOPT
#optimizer = Adam(model.parameters(), lr=1e-3)
optimizer = ADOPT(model.parameters(), lr=1e-3)

کانال یوتوب Umar Jamil یکی از بهترین کانال‌های آموزش مباحث بروز و پیچیده یادگیری عمیق هست. به نظرم تعداد سابسکرایبرها و ویوهاش اصلا در حد محتواش نیست. فقط نگاه کن ویدئوهای آخر کانالش چه آموزش‌هایی هست:
- پیاده‌سازی Vision Language Model با پایتورچ از صفر
- تفسیرپذیری در ماشین لرنینگ
- شبکه KAN
- و ...

امروز یک ویدئوی 7 ساعته از آموزش و پیاده‌سازی Flash Attention منتشر کرده!

فلش اتنشن می‌دونید چیه؟
یک الگوریتم بهینه‌سازی شده برای محاسبه اتنشن در شبکه‌های ترنسفورمری هست که منجر به افزایش سرعت و کاهش مصرف حافظه میشه. به تصویر پایین نگاه کنید؛ سمت راست تصویر، یک نمودار مقایسه زمان محاسبات اتنشن با فلش اتنشن وجود داره. از فلش اتنشن در مدل‌های ترنسفورمری کوچک و بزرگ استفاده میشه.

کانال یوتوب Umar Jamil

@pytorch_howsam