🔔 اعلام برنامه جلسه‌ی سوم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: مدل‌های زبانی چندزبانه: چرا و چگونه؟
👤 سخنران مهمان: دکتر مرضیه فدایی
🪧 سمت: پژوهشگر ارشد در شرکت Cohere
🗓 زمان: یک‌شنبه ۱۴۰۳/۰۷/۱۵، ساعت ۱۷:۰۰ تا ۱۸:۳۰
📍 مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه میزبان دکتر مرضیه فدایی از اعضای ارشد تیم توسعه‌دهنده‌ی مدل زبانی Aya هستیم. این جلسه که به گفتگو درباره‌ی «مدل‌های زبانی چندزبانه» اختصاص دارد، فرصت مناسبی است تا از تجربیات ارزشمند یکی از پژوهشگران برجسته این حوزه بهره‌مند شویم.
از همه‌ی شما علاقه‌مندان به این زمینه دعوت می‌کنیم که در این جلسه شرکت کنید.

#LLM #LLM_JC #LLM_Club #Multilingual_LLM

حالا که نوبل فیزیک به شبکه عصبی رسید، وقتشه بهتر بفهمیم چه چیزی باعث به دست اومدن این نوبل شد:

شبکه هاپفیلد:
https://youtu.be/1WPJdAW-sFo?si=JuMsrzg3fW003dxs

ماشین بولتزمن:
https://youtu.be/_bqa_I5hNAo?si=f6Ywm9LEZ_hE-Vs7

معرفی سایت nn.labml.ai
در این سایت پیاده سازی #پایتورچ مدل ها و الگوریتم های مهم هوش مصنوعی به همراه توضیح خط به خط کد و فرمول های ریاضی به کار رفته در کد مقالات است.
و منبع عالی برای #کدخوانی #مقالات هست.
لیست موضوعات پیاده سازی شده در این سایت:
✨ Transformers
✨ Low-Rank Adaptation (LoRA)
✨Eleuther GPT-NeoX
✨Diffusion models
✨Generative Adversarial Networks
✨Recurrent Highway Networks
✨ LSTM
✨ HyperNetworks - HyperLSTM
✨ ResNet
✨ ConvMixer
✨ Capsule Networks
✨ U-Net
✨ Sketch RNN
✨ Graph Neural Networks
✨ Reinforcement Learning
✨ Counterfactual Regret Minimization (CFR)
✨ Optimizers
✨ Normalization Layers
✨ Distillation
✨ Adaptive Computation
✨ Uncertainty
✨ Activations
✨ Language Model Sampling
✨ Scalable Training/Inference
#منابع #هوش_مصنوعی
#مقاله_خوانی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

📣 It’s that time again: Free Access Week is around the corner!

Access DataCamp Premium for $0 and explore 500+ data and AI courses between Nov 4–10.

Want to learn Python, SQL, ChatGPT, machine learning, or Power BI for free? Now’s your chance.

https://www.linkedin.com/posts/datacampinc_its-that-time-again-free-access-week-activity-7258070618120581121-zirm?utm_source=share&utm_medium=member_desktop

Learning JAX as a pytorch developer

https://kidger.site/thoughts/torch2jax/

خداحافظ Adam
با معرفی ADOPT بهتره Optimizer مدل‌های Deep Learning و LLM رو تغییر بدیم. مشکل اساسی Adam در واقع عدم تضمین convergence در فرآیند آپدیت وزن‌ها بود که در ADOPT حل شده. اما این برتری فقط در تئوری نیست و در عمل هم در اکثریت مسائل بهتر  بوده.

ایده اصلی و راه حل برای تضمین هم‌گرایی هم دو مورد هست:

۱_ حذف گرادیان کنونی از تخمین momentum دوم
۲_ نرمالایز کردن گرادیان قبل از آپدیت momentum

Paper
Github
کد:

from adopt import ADOPT
#optimizer = Adam(model.parameters(), lr=1e-3)
optimizer = ADOPT(model.parameters(), lr=1e-3)

کانال یوتوب Umar Jamil یکی از بهترین کانال‌های آموزش مباحث بروز و پیچیده یادگیری عمیق هست. به نظرم تعداد سابسکرایبرها و ویوهاش اصلا در حد محتواش نیست. فقط نگاه کن ویدئوهای آخر کانالش چه آموزش‌هایی هست:
- پیاده‌سازی Vision Language Model با پایتورچ از صفر
- تفسیرپذیری در ماشین لرنینگ
- شبکه KAN
- و ...

امروز یک ویدئوی 7 ساعته از آموزش و پیاده‌سازی Flash Attention منتشر کرده!

فلش اتنشن می‌دونید چیه؟
یک الگوریتم بهینه‌سازی شده برای محاسبه اتنشن در شبکه‌های ترنسفورمری هست که منجر به افزایش سرعت و کاهش مصرف حافظه میشه. به تصویر پایین نگاه کنید؛ سمت راست تصویر، یک نمودار مقایسه زمان محاسبات اتنشن با فلش اتنشن وجود داره. از فلش اتنشن در مدل‌های ترنسفورمری کوچک و بزرگ استفاده میشه.

کانال یوتوب Umar Jamil

@pytorch_howsam

سایت Cohere به مدیریت Luis Serrano و همکاری Jay Alammar و Meor Amer کورسی بنام LLM University ساخته. افرادی رو که اسم بردم، در زمینه تولید محتواهای آموزشی جذاب در هوش مصنوعی سابقه درخشانی دارن. حالا، با همکاری هم، این کورس جالب رو با هدف آشنایی افراد با GenAI LLM NLP راه انداختن.

یک نگاهی بندازیم به ماژول‌های این کورس:
1. Large Language Models
2. Text Representation
3. Text Generation
4. Deployment
5. Semantic Search
6. Prompt Engineering
7. Retrieval-Augmented Generation (RAG)
8. Tool Use
9. Cohere on AWS

لینک کورس

@pytorch_howsam

جامع‌ترین سیستم ارزیابی مدل‌های زبانی فارسی متولد شد

🔹 متخصصان مرکز تحقیقات هوش مصنوعی پارت و آزمایشگاه پردازش زبان طبیعی دانشگاه صنعتی امیرکبیر با سرپرستی یکی از اساتید برجسته هوش مصنوعی کشور، سرکار خانم دکتر سعیده ممتازی، جامع‌‎ترین و قدرتمندترین سیستم ارزیابی مدل‌های زبانی فارسی (Open Persian LLM Leaderboard) را توسعه دادند، تا زیست‌بوم هوش مصنوعی کشور از این پس به سنجه‌ای دقیق و یکپارچه‌ برای ارزیابی LLMهای فارسی مجهز شود.

🔹 این سیستم ارزیابی شامل بیش از 40 هزار نمونه است که بخشی از آنها از چندین بنچمارک معتبر جهانی به فارسی برگردانده شده و بخشی دیگر در داخل کشور از پایه تهیه و برچسب‌زنی شده‌اند. این تعداد نمونه‌، همواره در حال افزایش و به‌روزرسانی است تا ضریب دقت در ارزیابی‌ها هموار بهبود یابد. با این توضیحات، مدل ارائه شده، در کنار برترین بنچمارک‌های جهانی قرار می‌گیرد.

🔹 بخش کوچکی از دادگان این سیستم ارزیابی (بنچمارک) هم اکنون به صورت متن باز در دسترس عموم قرار گرفته است.

🔗 برای ارزیابی مدل زبانی خود و دیگران کافی است کلیک کنید.

🆔 @Partdpai

تو این سایت می‌تونید مقالاتِ پولیِ مدیوم رو رایگان باز کنید. در واقع خودش اشتراکِ مدیوم خریده و از طریقِ این سایت در دسترسِ عموم قرار داده. مدیوم نقطه‌ضعف‌هاش رو حل کرده. تمامِ روش‌هایِ قدیمیِ دورزدن paywall از کار افتاده. فقط همین روش جواب می‌ده.

_Ayub Kokabi_

نکاتی جذاب برای نوشتن مقالات و کارهای پژوهشی با LaTex

◾️ Tips for Writing a Research Paper using LaTeX

#مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

یک مدتی هست سایتی بنام aman.ai رو کشف کردم؛ حجم محتواهای آموزشی این سایت به شکل عجیبی زیاده! پر از بلاگ پست از سطح مقدماتی تا سطح بالا هست. حتی، کورس‌های معروف استنفورد و کورسرا رو نت‌برداری کردن! دوست دارم بیشتر بررسیش کنم.

شخصا وبلاگ و تولید محتوا رو دوست دارم و براش زیاد وقت میذارم. اما الان سوالم این هست که اینها چطوری این حجم محتوا رو آماده کردن؟! 🧐

شما فقط به لیست مطالبی که برای LLM آوردن، نگاه کن:
Primers • Overview of Large Language Models

توجه: برای شروع LLM روی این آموزش سرمایه‌گذاری نکنید. هم از مطالبی که در صفحه بالا گفتن و هم عنوانش مشخص هست که برای افراد از آب و گل دراومده هست!

@pytorch_howsam

🔸 وبینار تخصصی: داده در مدل‌های بزرگ زبانی (LLM)

💡 هوشیو با همکاری پژوهشکده هوش مصنوعی دانشگاه امیرکبیر برگزار می‌کند:
🗓 زمان: یکشنبه ۲۳ دی ۱۴۰۳، ساعت ۱۸:۳۰
🎙 مدرس: صدرا صبوری، دانشجوی دکتری علوم کامپیوتر در دانشگاه کالیفرنیای جنوبی (USC)

✳️ موضوعات وبینار:
◽️ اهمیت داده در توسعه LLMها
◽️ بررسی میزان داده‌های کافی
◽️ روش‌های ورود داده‌ها به مدل‌ها
◽️ اصول تمیزسازی داده‌ها
◽️ مقایسه Fine-tuning با In-context Learning
◽️ ویژگی‌ها و محدودیت‌های In-context Learning

🔹 فرصت ویژه: با حمایت حامیان برنامه، تعداد محدودی بلیت با تخفیف ۸۰٪ در دسترس است!
برای ثبت‌نام، به لینک زیر مراجعه کنید:
👇
🌐 ثبت‌نام وبینار داده در LLM

🆔@hooshio
#هوشیو #هوش_مصنوعی #LLM #وبینار

دو تا ویدیو فوق العاده برای فهم NeRF و چرایی عملکرد فوق العادش:

https://youtu.be/WSfEfZ0ilw4?si=Hm8Eirm_Ga0wficH

https://youtu.be/dCmCZs2Hpi0?si=BXt28UyhfFJKZkeC

نمیدونم شما با این پیج HuggingFace آشنا بودین یا نه ولی اگه آشنا بودین بهتون حسودی میکنم :)

https://huggingface.co/papers/2501.05441

برای اونایی که مثل من آشنایی نداشتن، پیپرا رو تو هاگینک فیس لینک میکنن ملت حاضر در صحنه توی کامیونیتی میتونن بیان کامنت بزارن در رابطش. یه چیزی شبیه ریویو های پابلیک کنفرانسی مثل openreview، ولی خب قاعدتاً خیلی سطحی تر و غیر رسمی تر :)

این پیپرم هایپ امروزه
خلاصش اینه که تو دوره‌ای که دیفیوژن یکه تازی میکنه، نویسنده ها ادعا میکنن gan رو تونستن از گور بلند کنن و باهاش بیسلاین های دیفیوژنی رو هم outperform کنن.