بلاگی برای فهمیدن عظمت LLM‌ها

جدیداها سندرومی در کامیونیتی ایرانی‌ها دیده شده که هر کی برای خودش دیتایی ناچیز برمیداره و به اصطلاح خودش یک LLM فارسی آموزش می‌ده و تو بوق و کرنا می‌کنه در حالی که هیچ به هیچ. امشب حالا بلاگی رو دیدم که یک ویژوالیزیشن جالب از مقیاس اندازه مدل، اندازه داده آموزشی و اندازه محاسباتی LLM‌ها ارائه داده بود:

https://medium.com/@georgeanil/visualizing-size-of-large-language-models-ec576caa5557

نکته دوم ماجرا در اینه که آیا LLM = AGI؟ در مورد سایز مدل و سایز محاسباتی نمی‌شه به این راحتی بدون داشتن دانش نوروساینسی دقیق از مغز حرف زد (شاید واقعا هم اندازه مدل و هم اندازه محاسباتی مغز ما از LLM‌ها بیشتر باشه) ولی در مورد دیتای آموزشی می‌شه با قاطعیت گفت که آدمیزاد با میزان داده خیلی خیلی خیلی کمتر از یک LLM عملکردی در اون سطح و چه بسا بهتر رو می‌تونه ارائه بده. فلذا می‌تونیم شک کنیم که راه رسیدن به AGI این مسیر داده بزرگ‌تر جمع کن و مدل بزرگتری رو روش آموزش بده، نیست.

اگه دنبال این هستین که ویژن رو از پایه و از مفاهیم اولیه و روش‌های کلاسیکش یاد بگیرین تا درک بهتری نسبت به راه‌حل های دیپ به دست بیارین، این چنل به خصوص توصیه میشه. همون طور که اسمش هم می‌رسونه استارتر فوق العاده ای برای اصول اولیه ویژنه.

https://youtu.be/1EJ84QqkxWc?si=jvitAQ_-UWx6gNEI

🚀 ساخت RAG های پیشرفته با استفاده از : FalkorDB, LangChain, Diffbot API, and OpenAI

تا حالا درباره بهره گرفتن از Knowledge Graph ها برای RAG فکر کردید؟ 🧐 به نظرم وسوسه کننده س.
@ai_python
اگر علاقه مند هستید این مقاله پیشنهاد می شه 😍 :

https://medium.com/@akriti.upadhyay/building-advanced-rag-applications-using-falkordb-langchain-diffbot-api-and-openai-083fa1b6a96c

If you're interested in self-supervised learning, join our meeting today at 9:30 a.m. Iran time!
Zoom: https://oist.zoom.us/j/92257619030?pwd=d2IvVktjQUVPME8rdFhqWFlmNERRQT09
Meeting ID: 922 5761 9030
Passcode: 595720
Speaker: Dr. Yuki M. Asano, Assistant Professor, QUVA Lab, University of Amsterdam
Title: Self-Supervised Learning from Images and Videos using Optimal Transport
Abstract:
In this talk we will learn more about self-supervised learning -- the principles, the methods and how properly utilizing video data will unlock unprecendented visual performances.
I will first provide a brief overview of self-supervised learning and show how clustering can be combined with representation learning using optimal transport ([1] @ ICLR'20 spotlight). Next, I will show how this method can be generalised to multiple modalities ([2] @NeurIPS'20) and for unsupervised segmentation in images ([3] @CVPR'22) and in videos ([4] @ICCV'23). Finally, I show how optimal transport can be utilized to learn models from scratch from just a single Walking Tour video that outperform those trained on ImageNet, demonstrating high potential for future video-based embodied learning ([5] @ICLR'24). 
[1] Self-labelling via simultaneous clustering and representation learning
Asano, Rupprecht, Vedaldi.  ICLR, 2020
[2] Labelling unlabelled videos from scratch with multi-modal self-supervision. Asano, Patrick, Rupprecht, Vedaldi. NeurIPS 2020
[3] Self-supervised learning of object parts for semantic segmentation. Ziegler and Asano. CVPR 2022
[4] Time Does Tell: Self-Supervised Time-Tuning of Dense Image Representations. Salehi, Gavves, Snoek, Asano.
[5] Is ImageNet worth 1 video? Learning strong image encoders from 1 long unlabelled video. Venkataramanan, Rizve, Carreira, Avrithis, Asano. ICLR 2024.
 

سلسله جلسات آزمایشگاه RIML با محوریت مباحث تئوری و تدریس دکتر رهبان:

- جلسه‌ اول: Conformal Prediction
- جلسه‌ دوم: Concentration of Measure - Part 1
- جلسه‌ سوم: Concentration of Measure - Part 2
- جلسه‌ چهارم: Concentration of Measure - Part 3
- جلسه‌ پنجم: Concentration of Measure - Part 4

این لیست به مرور زمان آپدیت می‌شود.

تا الان در رابطه با LLM ها زیاد شنیدین. اما SLM (small language models or specific language models) ها چی؟
https://blog.arcee.ai/what-is-an-slm/

#مقاله
اینبار بریم سراغ برسی یه مقاله پایه‌ای ماشین لرنینگ یعنی CycleGAN! ببینیم فیدبک نسبت به مقالات پایه چطوره؟!

به طور سنتی، برای ترین مدلها برای تبدیل یک تصویر از یک سبک به یه سبک دیگه (مثل تبدیل سلفی خودتون به یه شاهکار ون گوگ)، به تصاویر جفتی نیاز داشتیم - یک «قبل» و یک «بعد». اما اگه این جفت ها رو نداشته باشیم چه؟ اینجاست که CycleGAN وارد میشه!

این تکنیک به استفاده از دو مجموعه تصویر جفت نشده از حوزه های مختلف (به نقاشی های ون گوگ و سلفی های تصادفی فکر کنید) بستگی داره. نکته مهم اینه که ما نمیدونیم کدوم نقاشی با کدام سلفی مطابقت داره. چالش اینه که به یه neural network یاد بدیم که این تبدیل رو بدون جفت شدن مستقیم انجام بده. جالبه؟

میرسیم به Adversarial networks. این شبکه ها دو بازیگر اصلی دارن: یک generator و یک discriminator. شبکه generator تلاش می کنه تا یک سلفی رو به سبک نقاشی تبدیل کنه، در حالی که discriminator مثل یک منتقد هنری عمل می کنه و سعی می کنه موارد تقلبی رو در میان نقاشی های واقعی تشخیص بده.

اما موضوع فقط فریب دادن این منتقد نیست. این مدل از "cycle consistency" برای اطمینان از تحولات معنی دار استفاده می کنه. بخش جالب اینجاست: اگه یک سلفی بگیرید، اونو به یک نقاشی تبدیل کنید، و سپس اونو به یک سلفی تبدیل کنید، باید چیزی شبیه به عکس اصلی خود داشته باشید. این مثل ترجمه یک جمله از انگلیسی به فرانسوی و بازگشت به انگلیسی است، با انتظار حفظ معنای اصلی!

حالا، برای اطمینان از اینکه ترجمه‌ها نه تنها از نظر بصری دقیق هستن، بلکه معنادار هستن، نویسنده‌ها یک «cycle consistency loss» رو معرفی کردن. این مکانیسم دگرگونی‌ها رو در هر دو جهت کنترل می‌کنه و مطمین میشه که یک سلفی به یک نقاشی تبدیل شده و سپس به یک سلفی برمی‌گرده همچنان به تصویر اصلی وفاداره.

اینجا جاییه که قراره مفهوم جا بیوفته! ما دوتا generator داریم. معمولا autoencoder هستن. اولی یه تصویر سلفی رو میگیره و اونو به نقاشی تبدیل میکنه. discriminator چک میکنه که این نقاشی فیک هست یا نه. generator دومی سعی میکنه نقاشی رو به تصویر اصلی تبدیل کنه. اینطور کار میکنه!

من loss رو در تصویر زیر آوردم. بیایید اونو برسی کنیم. تصور کنید دو مترجم دارید: یکی (بیایید اونو G بنامیم) انگلیسی رو به فرانسوی ترجمه می کنه و دیگری (به نام F) فرانسوی رو به انگلیسی ترجمه می کنه. حالا، اگر یک جمله انگلیسی رو انتخاب کنید، اونو با G به فرانسوی ترجمه کنید، و بلافاصله اونو با F به انگلیسی ترجمه کنید، امیدوارید که به جمله اصلی انگلیسی خودتون برسید، درسته؟ این اساسا همون فرمول cycle consistency loss هست. شما همین کارو میکنید، اما با تصاویر به جای زبان ها: چرخه برای X به Y و بازگشت به X: ابتدا یه تصویر از دامنه X (مثل یه عکس) می گیرید، اونو با استفاده از G به دامنه Y (مثل یه نقاشی) ترجمه می کنید. سپس با استفاده از F به دامنه X برمی گرده. فرمول سپس تفاوت این تصویر دو بار ترجمه شده رو با عکس اصلی اندازه می گیره. هدف اینه که این تفاوت رو تا حد امکان کوچک کنید. هدف؟ با انجام این کار، مدل یاد می گیره که در ترجمه های خودش دقت کنه. این نمیتونه فقط یک نقاشی تصادفی از یک عکس ایجاد کنه یا بالعکس. باید اصل تصویر اصلی رو حفظ کنه تا وقتی دوباره ترجمه می‌شه، همچنان شبیه تصویر اصلی باشه! F و G همون دوتا generatorمون هستن!

امیدوارم این پست براتون مفید باشه.

#ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

#مقاله
میخوام در مورد Supervised Contrastive Learning حرف بزنم. کاری مشترک از Google Research، Boston University و MIT!

در چشم‌انداز در حال تکامل دیپ لرنینگ، درخت بارور برای classification models مدت‌ها cross entropy loss function بوده. با این حال، این loss بدون اشکال نیست - به ویژه، حساسیت به noisy labels و suboptimal margins که منجر به کاهش تعمیم میشه. اینجاست که کاوش ما شروع میشه، و وارد قلمرو supervised contrastive learning میشیم!

ماهیت supervised contrastive (SupCon) learning ریشه در اصول self-supervised contrastive learning داره. به طور مرسوم، self-supervised learning شامل نزدیک کردن یک anchor و یک positive sample (معمولا آگمنت همون دیتا) در embedding space بهم دیگه و دور کردن anchor از negative samples (دیتای دیگر) در این فضا هست! این یه رقص نزدیکی و جدایی هست که در embedding space رخ میده.

حالا، بیایید به متد SupCon بپردازیم، که به طرز درخشانی این استراتژی رو برای یک fully supervised context تطبیق میده. در اینجا، بازی تغییر می کنه: ما دیگه به data augmentation برای ساخت موارد مثبت محدود نمیشیم. درعوض، هر سمپل‌ای که لیبل کلاس یکسانی رو با anchor داره، یه سمپل "مثبت" میشه. این یه تغییر ظریف و در عین حال عمیقه. اینطور فکر کنید - اگه anchor ما تصویری از یک "گربه" هست، پس هر تصویر "گربه" دیگری در دیتاست ما، مثبته.

میشه اینطور گفت. جایی که self-supervised contrastive loss ممکنه فقط یک مورد مثبت رو در نظر بگیره (نمای متفاوتی از یک سمپل)، SupCon loss چندین مثبت رو برای هر anchor در نظر میگیره - به اصطلاح همه گربه های مختلف. این سمپل‌های مثبت در کنار بسیاری از موارد منفی هستن (مثلا تصاویر سگ، پرندگان و غیره). این بازنگری به چندین مثبت برای هر anchor به مدل اجازه میده تا بازنمایی های قوی تری رو یاد بگیره، چون باید تفاوت های ظریف رو در یک کلاس تشخیص بده و در عین حال بین کلاس ها تمایز قایل بشه.

از نظر تجربی، نتایج قانع کننده هستن. در معماری ResNet 200، این متد به top-1 accuracyی 81.4 درصد روی دیتاست ImageNet دست پیدا کرد- یک پیشرفت قابل توجه نسبت به cross entropy loss.

به طور خلاصه، متد SupCon فقط یک گام رو به جلوی دیگه در دیپ لرنینگ نیست. این بازنگری در نحوه فکر کردن ما به فرایند یادگیریه! درس‌هایی رو از self supervised learning یاد میگیریم و اونهارو به supervised setting بسط میدیم.

سعی کردم مفهوم رو برسونم. هر سوالی دارید بپرسید پاسخ میدم!

#ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

#هکاتون #هوش_مصنوعی

🧠 مدل بزرگ زبانی فارسی
Persian LLM | AI Hackathon

🔸 فرصتی جذاب برای علاقه‌مندان حوزه هوش مصنوعی، یادگیری ماشین و تحلیل داده

✔️ ۸۵ میلیون تومان جایزه نقدی
✔️ سخت‌افزار و داده‌های بزرگ
✔️ اهدای گواهینامه
✔️ اعطای امتیاز فعالیت نخبگانی
✔️ ۴ جلسه آموزش + فیلم و اسلاید
✔️ فرصت استخدام و همکاری در پروژه توسعه LLM فارسی

☑️مرحله انتخابی | فردی: ۱۹ و ۲۰ بهمن
☑️مرحله نهایی | تیمی: ۱۷ و ۱۸ اسفند

✅ ثبت‌نام رایگان و اطلاعات بیشتر:

🔗 https://quera.org/r/4zufw
➖➖➖➖➖➖➖
@Quera_ir

حدود 8 روز پیش ، یک لکچر جدید از دوره CS25 دانشگاه استفورد در یوتیوب منتشر شد که درباره Retrieval Augmented Language Models بود : لینک ویدیو در یوتیوب
@ai_python
فکر می کنم تقریبن هر کسی در حوزه ترنسفورمر کار می کنه با این دوره آشنایی داره. ولی برای کسانی که هنوز فرصت نداشتن تا این دوره رو دنبال کنن، این لینک صفحه اصلی دوره هست : https://web.stanford.edu/class/cs25/

در پلی لیست دوره در یوتیوب می تونید به ویدیو های ورژن 1 و 2 هم دسترسی داشته باشید : پلی لیست Transformers United

نوید داریا

می‌دونستید LangChain یه بخشی داره به اسم PromptHub؟!
مثل HuggingFace ModelHub ولی برای پرامپت‌های LLM ها!!
پشمام!

https://smith.langchain.com/hub

Graph Convolutional Networks:
Unleashing the power of Deep Learning for Graph data

🗓زمان برگزاری (به صورت آنلاین): شنبه 28 بهمن ماه 1402
⏱ساعت 17:30 الی 19

📍آدرس اتاق مجازی: https://vc.sharif.edu/ch/cognitive


@irandeeplearning | @cvision

حتما شما هم تا الان با اپراتور trace روی ماتریس آشنا شدین. ولی جدا از اینکه این اپراتور معادل مجموع عناصر روی قطر اصلی ماتریسه، چه معنی در عمل داره؟

https://youtu.be/B2PJh2K-jdU?si=C1BT6h22A74jwoi5

سخنی طلایی از کارپثی بزرگ که حیف دیدم به اشتراک نذارم. من خودمم توی این حلقه باطل گیر افتادم و بهتره که تا زمانی که فرصتش هست راه رهایی رو پیدا کرد و فرار کرد ازش:

# on shortification of "learning"

There are a lot of videos on YouTube/TikTok etc. that give the appearance of education, but if you look closely they are really just entertainment. This is very convenient for everyone involved : the people watching enjoy thinking they are learning (but actually they are just having fun). The people creating this content also enjoy it because fun has a much larger audience, fame and revenue. But as far as learning goes, this is a trap. This content is an epsilon away from watching the Bachelorette. It's like snacking on those "Garden Veggie Straws", which feel like you're eating healthy vegetables until you look at the ingredients.

Learning is not supposed to be fun. It doesn't have to be actively not fun either, but the primary feeling should be that of effort. It should look a lot less like that "10 minute full body" workout from your local digital media creator and a lot more like a serious session at the gym. You want the mental equivalent of sweating. It's not that the quickie doesn't do anything, it's just that it is wildly suboptimal if you actually care to learn.

I find it helpful to explicitly declare your intent up front as a sharp, binary variable in your mind. If you are consuming content: are you trying to be entertained or are you trying to learn? And if you are creating content: are you trying to entertain or are you trying to teach? You'll go down a different path in each case. Attempts to seek the stuff in between actually clamp to zero.

So for those who actually want to learn. Unless you are trying to learn something narrow and specific, close those tabs with quick blog posts. Close those tabs of "Learn XYZ in 10 minutes". Consider the opportunity cost of snacking and seek the meal - the textbooks, docs, papers, manuals, longform. Allocate a 4 hour window. Don't just read, take notes, re-read, re-phrase, process, manipulate, learn.

And for those actually trying to educate, please consider writing/recording longform, designed for someone to get "sweaty", especially in today's era of quantity over quality. Give someone a real workout. This is what I aspire to in my own educational work too. My audience will decrease. The ones that remain might not even like it. But at least we'll learn something.

کد تخفیف:
aiEvents

https://www.youtube.com/@lucidateAI/playlists

عجب کانالی! خصوصا پلی‌لیست Transformers & NLP رو توصیه می‌کنم. دید خوبی میده