#مقاله
میخوام در مورد Supervised Contrastive Learning حرف بزنم. کاری مشترک از Google Research، Boston University و MIT!

در چشم‌انداز در حال تکامل دیپ لرنینگ، درخت بارور برای classification models مدت‌ها cross entropy loss function بوده. با این حال، این loss بدون اشکال نیست - به ویژه، حساسیت به noisy labels و suboptimal margins که منجر به کاهش تعمیم میشه. اینجاست که کاوش ما شروع میشه، و وارد قلمرو supervised contrastive learning میشیم!

ماهیت supervised contrastive (SupCon) learning ریشه در اصول self-supervised contrastive learning داره. به طور مرسوم، self-supervised learning شامل نزدیک کردن یک anchor و یک positive sample (معمولا آگمنت همون دیتا) در embedding space بهم دیگه و دور کردن anchor از negative samples (دیتای دیگر) در این فضا هست! این یه رقص نزدیکی و جدایی هست که در embedding space رخ میده.

حالا، بیایید به متد SupCon بپردازیم، که به طرز درخشانی این استراتژی رو برای یک fully supervised context تطبیق میده. در اینجا، بازی تغییر می کنه: ما دیگه به data augmentation برای ساخت موارد مثبت محدود نمیشیم. درعوض، هر سمپل‌ای که لیبل کلاس یکسانی رو با anchor داره، یه سمپل "مثبت" میشه. این یه تغییر ظریف و در عین حال عمیقه. اینطور فکر کنید - اگه anchor ما تصویری از یک "گربه" هست، پس هر تصویر "گربه" دیگری در دیتاست ما، مثبته.

میشه اینطور گفت. جایی که self-supervised contrastive loss ممکنه فقط یک مورد مثبت رو در نظر بگیره (نمای متفاوتی از یک سمپل)، SupCon loss چندین مثبت رو برای هر anchor در نظر میگیره - به اصطلاح همه گربه های مختلف. این سمپل‌های مثبت در کنار بسیاری از موارد منفی هستن (مثلا تصاویر سگ، پرندگان و غیره). این بازنگری به چندین مثبت برای هر anchor به مدل اجازه میده تا بازنمایی های قوی تری رو یاد بگیره، چون باید تفاوت های ظریف رو در یک کلاس تشخیص بده و در عین حال بین کلاس ها تمایز قایل بشه.

از نظر تجربی، نتایج قانع کننده هستن. در معماری ResNet 200، این متد به top-1 accuracyی 81.4 درصد روی دیتاست ImageNet دست پیدا کرد- یک پیشرفت قابل توجه نسبت به cross entropy loss.

به طور خلاصه، متد SupCon فقط یک گام رو به جلوی دیگه در دیپ لرنینگ نیست. این بازنگری در نحوه فکر کردن ما به فرایند یادگیریه! درس‌هایی رو از self supervised learning یاد میگیریم و اونهارو به supervised setting بسط میدیم.

سعی کردم مفهوم رو برسونم. هر سوالی دارید بپرسید پاسخ میدم!

#ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

#هکاتون #هوش_مصنوعی

🧠 مدل بزرگ زبانی فارسی
Persian LLM | AI Hackathon

🔸 فرصتی جذاب برای علاقه‌مندان حوزه هوش مصنوعی، یادگیری ماشین و تحلیل داده

✔️ ۸۵ میلیون تومان جایزه نقدی
✔️ سخت‌افزار و داده‌های بزرگ
✔️ اهدای گواهینامه
✔️ اعطای امتیاز فعالیت نخبگانی
✔️ ۴ جلسه آموزش + فیلم و اسلاید
✔️ فرصت استخدام و همکاری در پروژه توسعه LLM فارسی

☑️مرحله انتخابی | فردی: ۱۹ و ۲۰ بهمن
☑️مرحله نهایی | تیمی: ۱۷ و ۱۸ اسفند

✅ ثبت‌نام رایگان و اطلاعات بیشتر:

🔗 https://quera.org/r/4zufw
➖➖➖➖➖➖➖
@Quera_ir

حدود 8 روز پیش ، یک لکچر جدید از دوره CS25 دانشگاه استفورد در یوتیوب منتشر شد که درباره Retrieval Augmented Language Models بود : لینک ویدیو در یوتیوب
@ai_python
فکر می کنم تقریبن هر کسی در حوزه ترنسفورمر کار می کنه با این دوره آشنایی داره. ولی برای کسانی که هنوز فرصت نداشتن تا این دوره رو دنبال کنن، این لینک صفحه اصلی دوره هست : https://web.stanford.edu/class/cs25/

در پلی لیست دوره در یوتیوب می تونید به ویدیو های ورژن 1 و 2 هم دسترسی داشته باشید : پلی لیست Transformers United

نوید داریا

می‌دونستید LangChain یه بخشی داره به اسم PromptHub؟!
مثل HuggingFace ModelHub ولی برای پرامپت‌های LLM ها!!
پشمام!

https://smith.langchain.com/hub

Graph Convolutional Networks:
Unleashing the power of Deep Learning for Graph data

🗓زمان برگزاری (به صورت آنلاین): شنبه 28 بهمن ماه 1402
⏱ساعت 17:30 الی 19

📍آدرس اتاق مجازی: https://vc.sharif.edu/ch/cognitive


@irandeeplearning | @cvision

حتما شما هم تا الان با اپراتور trace روی ماتریس آشنا شدین. ولی جدا از اینکه این اپراتور معادل مجموع عناصر روی قطر اصلی ماتریسه، چه معنی در عمل داره؟

https://youtu.be/B2PJh2K-jdU?si=C1BT6h22A74jwoi5

سخنی طلایی از کارپثی بزرگ که حیف دیدم به اشتراک نذارم. من خودمم توی این حلقه باطل گیر افتادم و بهتره که تا زمانی که فرصتش هست راه رهایی رو پیدا کرد و فرار کرد ازش:

# on shortification of "learning"

There are a lot of videos on YouTube/TikTok etc. that give the appearance of education, but if you look closely they are really just entertainment. This is very convenient for everyone involved : the people watching enjoy thinking they are learning (but actually they are just having fun). The people creating this content also enjoy it because fun has a much larger audience, fame and revenue. But as far as learning goes, this is a trap. This content is an epsilon away from watching the Bachelorette. It's like snacking on those "Garden Veggie Straws", which feel like you're eating healthy vegetables until you look at the ingredients.

Learning is not supposed to be fun. It doesn't have to be actively not fun either, but the primary feeling should be that of effort. It should look a lot less like that "10 minute full body" workout from your local digital media creator and a lot more like a serious session at the gym. You want the mental equivalent of sweating. It's not that the quickie doesn't do anything, it's just that it is wildly suboptimal if you actually care to learn.

I find it helpful to explicitly declare your intent up front as a sharp, binary variable in your mind. If you are consuming content: are you trying to be entertained or are you trying to learn? And if you are creating content: are you trying to entertain or are you trying to teach? You'll go down a different path in each case. Attempts to seek the stuff in between actually clamp to zero.

So for those who actually want to learn. Unless you are trying to learn something narrow and specific, close those tabs with quick blog posts. Close those tabs of "Learn XYZ in 10 minutes". Consider the opportunity cost of snacking and seek the meal - the textbooks, docs, papers, manuals, longform. Allocate a 4 hour window. Don't just read, take notes, re-read, re-phrase, process, manipulate, learn.

And for those actually trying to educate, please consider writing/recording longform, designed for someone to get "sweaty", especially in today's era of quantity over quality. Give someone a real workout. This is what I aspire to in my own educational work too. My audience will decrease. The ones that remain might not even like it. But at least we'll learn something.

کد تخفیف:
aiEvents

https://www.youtube.com/@lucidateAI/playlists

عجب کانالی! خصوصا پلی‌لیست Transformers & NLP رو توصیه می‌کنم. دید خوبی میده

چت باتی برای ساده کردن فرایند نوشتن مقاله. ادعاهاشون جذاب به نظر میرسه اگه واقعا در عمل به همین شکل کار کنه :)

What is Yomu?

Our journey started with Sourcely, a research tool dedicated to finding references for essays. Responding to our users seeking more than finding citations, we have built Yomu AI: an AI-first writing assistant tailored for students and researchers.

Created by generative AI pioneers, expert web developers, and passionate designers. Guided by our student past, we built Yomu AI for today's scholars.

https://www.yomu.ai/about

یه ویدیو خیلی خوب با ساده‌سازی برای یاد گرفتن Vision Transformers یا به طور خلاصه‌تر ViT ها. اگه با مفهوم ترنسفورمر‌ها در متن آشنا باشین، خیلی در یادگیری این مدل خاص به مشکل نمیخورین :)

https://youtu.be/j3VNqtJUoz0?si=Q3k-A8gglVWVP-PW

کورس کلاسی جدید از دانشگاه CMU

▪️ Neural code generation / Spring 2024
▪️ Foundations: Pretraining and scaling laws

#منابع #مقدماتی #کلاس_آموزشی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

یک ایده جدید برای روش‌های model-based در الگوریتم‌های Reinforcement Learning

https://www.marktechpost.com/2024/02/20/this-ai-paper-introduces-the-diffusion-world-model-dwm-a-general-framework-for-leveraging-diffusion-models-as-world-models-in-the-context-of-offline-reinforcement-learning/

فیلم جلسه سخنرانی آقای مهندس علیرضا اخوان پور- Graph Neural Networks

در این بین که همگی در حال گذران آخر هفته بودیم، بچه‌های مایکروسافت، یه کار عجیب و باحال رو منتشر کردن که فقط میتونم بگم چه جالب :)

یکی از مفاهیمی که بعد از درخشش ChatGPT و باقی LLM ها خیلی برجسته شد، مفهوم Quantization برای افزایش سرعت inference و کاهش میزان حافظه مصرفی بود. به صورت پیش‌فرض، تمامی پارامترها ۳۲ بیتی هستند ولی میتونیم با کاهش دقت floating point و کاهش تعداد بیت مورد استفاده برای هر پارامتر شبکه، بدون از دست دادن چشمگیر performance اولیه، به مدلی سبک‌تر و سریع‌تر برای inference دست پیدا کنیم.

حالا بچه‌های مایکروسافت، پا رو فراتر گذاشتن و به دنبال این بودن که بررسی کنن که آیا با یک بیت به ازای هر پارامتر میتونیم تا چه حدی از performance اولیه رو حفظ کنیم. و خب تقریبا نتیجه قابل حدسه، عملکرد به شدت افت می‌کنه. ولی حرکت بعدی جالب و قابل توجه هست. میان این فرض رو در نظر میگیرند که به جای اینکه پارامترها رو به صورت تک bit داشته باشن، به صورت یک ternary bit در نظر گرفتن به صورتی که می‌تونه مقادیر {1, 0, 1-} رو به خودش بگیره و بعد از آموزش مدل با وزن های جدید، در نتیجه دیدن تا حد خوبی این روش در عین حال که مدل رو به شدت سبک و سریع میکنه، تونسته performance رو تا حد خوبی مشابه وزن های ۳۲ بیت نگه داره.

این حد از Quantization می‌تونه به شدت حجم و سرعت inference رو افزایش بده و دست ما رو برای اجرای این نوع از مدل‌ها روی هر دستگاهی باز بزاره. واقعا دستخوش

اگه دوست دارین بیشتر در رابطه با این مقاله بخونین، میتونین به لینک زیر سر بزنین تا جزییات کارایی که کردن رو خودتون بخونین.

https://huggingface.co/papers/2402.17764

https://www.linkedin.com/posts/andrew-iain-jardine_llm-llama2-llms-activity-7168989296845111299-D0pH

یه تعدادی ابزار مولد برای ساده کردن و تسریع فرآیند Literature Review

https://www.linkedin.com/posts/muhammad-muneeb1_phd-students-researchers-how-to-literature-activity-7169282443923935235-5GXG

از VAE تا Diffusion. نگاه high-level نقلی

https://www.youtube.com/watch?v=i2qSxMVeVLI