سلسله جلسات آزمایشگاه RIML با محوریت مباحث تئوری و تدریس دکتر رهبان:

- جلسه‌ اول: Conformal Prediction
- جلسه‌ دوم: Concentration of Measure - Part 1
- جلسه‌ سوم: Concentration of Measure - Part 2
- جلسه‌ چهارم: Concentration of Measure - Part 3
- جلسه‌ پنجم: Concentration of Measure - Part 4

این لیست به مرور زمان آپدیت می‌شود.

تا الان در رابطه با LLM ها زیاد شنیدین. اما SLM (small language models or specific language models) ها چی؟
https://blog.arcee.ai/what-is-an-slm/

#مقاله
اینبار بریم سراغ برسی یه مقاله پایه‌ای ماشین لرنینگ یعنی CycleGAN! ببینیم فیدبک نسبت به مقالات پایه چطوره؟!

به طور سنتی، برای ترین مدلها برای تبدیل یک تصویر از یک سبک به یه سبک دیگه (مثل تبدیل سلفی خودتون به یه شاهکار ون گوگ)، به تصاویر جفتی نیاز داشتیم - یک «قبل» و یک «بعد». اما اگه این جفت ها رو نداشته باشیم چه؟ اینجاست که CycleGAN وارد میشه!

این تکنیک به استفاده از دو مجموعه تصویر جفت نشده از حوزه های مختلف (به نقاشی های ون گوگ و سلفی های تصادفی فکر کنید) بستگی داره. نکته مهم اینه که ما نمیدونیم کدوم نقاشی با کدام سلفی مطابقت داره. چالش اینه که به یه neural network یاد بدیم که این تبدیل رو بدون جفت شدن مستقیم انجام بده. جالبه؟

میرسیم به Adversarial networks. این شبکه ها دو بازیگر اصلی دارن: یک generator و یک discriminator. شبکه generator تلاش می کنه تا یک سلفی رو به سبک نقاشی تبدیل کنه، در حالی که discriminator مثل یک منتقد هنری عمل می کنه و سعی می کنه موارد تقلبی رو در میان نقاشی های واقعی تشخیص بده.

اما موضوع فقط فریب دادن این منتقد نیست. این مدل از "cycle consistency" برای اطمینان از تحولات معنی دار استفاده می کنه. بخش جالب اینجاست: اگه یک سلفی بگیرید، اونو به یک نقاشی تبدیل کنید، و سپس اونو به یک سلفی تبدیل کنید، باید چیزی شبیه به عکس اصلی خود داشته باشید. این مثل ترجمه یک جمله از انگلیسی به فرانسوی و بازگشت به انگلیسی است، با انتظار حفظ معنای اصلی!

حالا، برای اطمینان از اینکه ترجمه‌ها نه تنها از نظر بصری دقیق هستن، بلکه معنادار هستن، نویسنده‌ها یک «cycle consistency loss» رو معرفی کردن. این مکانیسم دگرگونی‌ها رو در هر دو جهت کنترل می‌کنه و مطمین میشه که یک سلفی به یک نقاشی تبدیل شده و سپس به یک سلفی برمی‌گرده همچنان به تصویر اصلی وفاداره.

اینجا جاییه که قراره مفهوم جا بیوفته! ما دوتا generator داریم. معمولا autoencoder هستن. اولی یه تصویر سلفی رو میگیره و اونو به نقاشی تبدیل میکنه. discriminator چک میکنه که این نقاشی فیک هست یا نه. generator دومی سعی میکنه نقاشی رو به تصویر اصلی تبدیل کنه. اینطور کار میکنه!

من loss رو در تصویر زیر آوردم. بیایید اونو برسی کنیم. تصور کنید دو مترجم دارید: یکی (بیایید اونو G بنامیم) انگلیسی رو به فرانسوی ترجمه می کنه و دیگری (به نام F) فرانسوی رو به انگلیسی ترجمه می کنه. حالا، اگر یک جمله انگلیسی رو انتخاب کنید، اونو با G به فرانسوی ترجمه کنید، و بلافاصله اونو با F به انگلیسی ترجمه کنید، امیدوارید که به جمله اصلی انگلیسی خودتون برسید، درسته؟ این اساسا همون فرمول cycle consistency loss هست. شما همین کارو میکنید، اما با تصاویر به جای زبان ها: چرخه برای X به Y و بازگشت به X: ابتدا یه تصویر از دامنه X (مثل یه عکس) می گیرید، اونو با استفاده از G به دامنه Y (مثل یه نقاشی) ترجمه می کنید. سپس با استفاده از F به دامنه X برمی گرده. فرمول سپس تفاوت این تصویر دو بار ترجمه شده رو با عکس اصلی اندازه می گیره. هدف اینه که این تفاوت رو تا حد امکان کوچک کنید. هدف؟ با انجام این کار، مدل یاد می گیره که در ترجمه های خودش دقت کنه. این نمیتونه فقط یک نقاشی تصادفی از یک عکس ایجاد کنه یا بالعکس. باید اصل تصویر اصلی رو حفظ کنه تا وقتی دوباره ترجمه می‌شه، همچنان شبیه تصویر اصلی باشه! F و G همون دوتا generatorمون هستن!

امیدوارم این پست براتون مفید باشه.

#ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

#مقاله
میخوام در مورد Supervised Contrastive Learning حرف بزنم. کاری مشترک از Google Research، Boston University و MIT!

در چشم‌انداز در حال تکامل دیپ لرنینگ، درخت بارور برای classification models مدت‌ها cross entropy loss function بوده. با این حال، این loss بدون اشکال نیست - به ویژه، حساسیت به noisy labels و suboptimal margins که منجر به کاهش تعمیم میشه. اینجاست که کاوش ما شروع میشه، و وارد قلمرو supervised contrastive learning میشیم!

ماهیت supervised contrastive (SupCon) learning ریشه در اصول self-supervised contrastive learning داره. به طور مرسوم، self-supervised learning شامل نزدیک کردن یک anchor و یک positive sample (معمولا آگمنت همون دیتا) در embedding space بهم دیگه و دور کردن anchor از negative samples (دیتای دیگر) در این فضا هست! این یه رقص نزدیکی و جدایی هست که در embedding space رخ میده.

حالا، بیایید به متد SupCon بپردازیم، که به طرز درخشانی این استراتژی رو برای یک fully supervised context تطبیق میده. در اینجا، بازی تغییر می کنه: ما دیگه به data augmentation برای ساخت موارد مثبت محدود نمیشیم. درعوض، هر سمپل‌ای که لیبل کلاس یکسانی رو با anchor داره، یه سمپل "مثبت" میشه. این یه تغییر ظریف و در عین حال عمیقه. اینطور فکر کنید - اگه anchor ما تصویری از یک "گربه" هست، پس هر تصویر "گربه" دیگری در دیتاست ما، مثبته.

میشه اینطور گفت. جایی که self-supervised contrastive loss ممکنه فقط یک مورد مثبت رو در نظر بگیره (نمای متفاوتی از یک سمپل)، SupCon loss چندین مثبت رو برای هر anchor در نظر میگیره - به اصطلاح همه گربه های مختلف. این سمپل‌های مثبت در کنار بسیاری از موارد منفی هستن (مثلا تصاویر سگ، پرندگان و غیره). این بازنگری به چندین مثبت برای هر anchor به مدل اجازه میده تا بازنمایی های قوی تری رو یاد بگیره، چون باید تفاوت های ظریف رو در یک کلاس تشخیص بده و در عین حال بین کلاس ها تمایز قایل بشه.

از نظر تجربی، نتایج قانع کننده هستن. در معماری ResNet 200، این متد به top-1 accuracyی 81.4 درصد روی دیتاست ImageNet دست پیدا کرد- یک پیشرفت قابل توجه نسبت به cross entropy loss.

به طور خلاصه، متد SupCon فقط یک گام رو به جلوی دیگه در دیپ لرنینگ نیست. این بازنگری در نحوه فکر کردن ما به فرایند یادگیریه! درس‌هایی رو از self supervised learning یاد میگیریم و اونهارو به supervised setting بسط میدیم.

سعی کردم مفهوم رو برسونم. هر سوالی دارید بپرسید پاسخ میدم!

#ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

#هکاتون #هوش_مصنوعی

🧠 مدل بزرگ زبانی فارسی
Persian LLM | AI Hackathon

🔸 فرصتی جذاب برای علاقه‌مندان حوزه هوش مصنوعی، یادگیری ماشین و تحلیل داده

✔️ ۸۵ میلیون تومان جایزه نقدی
✔️ سخت‌افزار و داده‌های بزرگ
✔️ اهدای گواهینامه
✔️ اعطای امتیاز فعالیت نخبگانی
✔️ ۴ جلسه آموزش + فیلم و اسلاید
✔️ فرصت استخدام و همکاری در پروژه توسعه LLM فارسی

☑️مرحله انتخابی | فردی: ۱۹ و ۲۰ بهمن
☑️مرحله نهایی | تیمی: ۱۷ و ۱۸ اسفند

✅ ثبت‌نام رایگان و اطلاعات بیشتر:

🔗 https://quera.org/r/4zufw
➖➖➖➖➖➖➖
@Quera_ir

حدود 8 روز پیش ، یک لکچر جدید از دوره CS25 دانشگاه استفورد در یوتیوب منتشر شد که درباره Retrieval Augmented Language Models بود : لینک ویدیو در یوتیوب
@ai_python
فکر می کنم تقریبن هر کسی در حوزه ترنسفورمر کار می کنه با این دوره آشنایی داره. ولی برای کسانی که هنوز فرصت نداشتن تا این دوره رو دنبال کنن، این لینک صفحه اصلی دوره هست : https://web.stanford.edu/class/cs25/

در پلی لیست دوره در یوتیوب می تونید به ویدیو های ورژن 1 و 2 هم دسترسی داشته باشید : پلی لیست Transformers United

نوید داریا

می‌دونستید LangChain یه بخشی داره به اسم PromptHub؟!
مثل HuggingFace ModelHub ولی برای پرامپت‌های LLM ها!!
پشمام!

https://smith.langchain.com/hub

Graph Convolutional Networks:
Unleashing the power of Deep Learning for Graph data

🗓زمان برگزاری (به صورت آنلاین): شنبه 28 بهمن ماه 1402
⏱ساعت 17:30 الی 19

📍آدرس اتاق مجازی: https://vc.sharif.edu/ch/cognitive


@irandeeplearning | @cvision

حتما شما هم تا الان با اپراتور trace روی ماتریس آشنا شدین. ولی جدا از اینکه این اپراتور معادل مجموع عناصر روی قطر اصلی ماتریسه، چه معنی در عمل داره؟

https://youtu.be/B2PJh2K-jdU?si=C1BT6h22A74jwoi5

سخنی طلایی از کارپثی بزرگ که حیف دیدم به اشتراک نذارم. من خودمم توی این حلقه باطل گیر افتادم و بهتره که تا زمانی که فرصتش هست راه رهایی رو پیدا کرد و فرار کرد ازش:

# on shortification of "learning"

There are a lot of videos on YouTube/TikTok etc. that give the appearance of education, but if you look closely they are really just entertainment. This is very convenient for everyone involved : the people watching enjoy thinking they are learning (but actually they are just having fun). The people creating this content also enjoy it because fun has a much larger audience, fame and revenue. But as far as learning goes, this is a trap. This content is an epsilon away from watching the Bachelorette. It's like snacking on those "Garden Veggie Straws", which feel like you're eating healthy vegetables until you look at the ingredients.

Learning is not supposed to be fun. It doesn't have to be actively not fun either, but the primary feeling should be that of effort. It should look a lot less like that "10 minute full body" workout from your local digital media creator and a lot more like a serious session at the gym. You want the mental equivalent of sweating. It's not that the quickie doesn't do anything, it's just that it is wildly suboptimal if you actually care to learn.

I find it helpful to explicitly declare your intent up front as a sharp, binary variable in your mind. If you are consuming content: are you trying to be entertained or are you trying to learn? And if you are creating content: are you trying to entertain or are you trying to teach? You'll go down a different path in each case. Attempts to seek the stuff in between actually clamp to zero.

So for those who actually want to learn. Unless you are trying to learn something narrow and specific, close those tabs with quick blog posts. Close those tabs of "Learn XYZ in 10 minutes". Consider the opportunity cost of snacking and seek the meal - the textbooks, docs, papers, manuals, longform. Allocate a 4 hour window. Don't just read, take notes, re-read, re-phrase, process, manipulate, learn.

And for those actually trying to educate, please consider writing/recording longform, designed for someone to get "sweaty", especially in today's era of quantity over quality. Give someone a real workout. This is what I aspire to in my own educational work too. My audience will decrease. The ones that remain might not even like it. But at least we'll learn something.

کد تخفیف:
aiEvents

https://www.youtube.com/@lucidateAI/playlists

عجب کانالی! خصوصا پلی‌لیست Transformers & NLP رو توصیه می‌کنم. دید خوبی میده

چت باتی برای ساده کردن فرایند نوشتن مقاله. ادعاهاشون جذاب به نظر میرسه اگه واقعا در عمل به همین شکل کار کنه :)

What is Yomu?

Our journey started with Sourcely, a research tool dedicated to finding references for essays. Responding to our users seeking more than finding citations, we have built Yomu AI: an AI-first writing assistant tailored for students and researchers.

Created by generative AI pioneers, expert web developers, and passionate designers. Guided by our student past, we built Yomu AI for today's scholars.

https://www.yomu.ai/about

یه ویدیو خیلی خوب با ساده‌سازی برای یاد گرفتن Vision Transformers یا به طور خلاصه‌تر ViT ها. اگه با مفهوم ترنسفورمر‌ها در متن آشنا باشین، خیلی در یادگیری این مدل خاص به مشکل نمیخورین :)

https://youtu.be/j3VNqtJUoz0?si=Q3k-A8gglVWVP-PW

کورس کلاسی جدید از دانشگاه CMU

▪️ Neural code generation / Spring 2024
▪️ Foundations: Pretraining and scaling laws

#منابع #مقدماتی #کلاس_آموزشی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

یک ایده جدید برای روش‌های model-based در الگوریتم‌های Reinforcement Learning

https://www.marktechpost.com/2024/02/20/this-ai-paper-introduces-the-diffusion-world-model-dwm-a-general-framework-for-leveraging-diffusion-models-as-world-models-in-the-context-of-offline-reinforcement-learning/