فریمورک جدید mlx که توسط Apple برای اجرا روی پردازنده‌های اپل طراحی شده

https://twitter.com/deliprao/status/1732250132614184970?t=fRv3O5KowpH_JAIDFQ5h0Q&s=19

باید با ترنسفورمرها خداحافظی کنیم؟!

What is State Space Sequence Models (SSMs):** SSMs have emerged as a promising architecture for sequence modeling, combining aspects of recurrent neural networks (RNNs), convolutional neural networks (CNNs), and classical state space models. They offer efficient computation, either as a recurrence or convolution, with linear or near-linear scaling in sequence length. Despite their success in continuous signal data like audio and vision, SSMs have been less effective in modeling discrete and information-dense data such as text.

📌 Selective State Space Models (SSMs): The paper introduces a new class of selective SSMs, designed to achieve the modeling power of Transformers while maintaining linear scaling in sequence length. This involves a selection mechanism allowing the model to selectively propagate or forget information along the sequence length dimension, based on the input. The innovation also includes a hardware-aware parallel algorithm to address the computational challenges posed by making SSMs time- and input-variant.

📌 The selection mechanism in Mamba It allows filtering out irrelevant tokens, resetting the state to remove extraneous history, and managing how information propagates or interacts along the sequence dimension. This mechanism is also connected to the gating mechanisms of RNNs and can be applied to traditional RNNs or CNNs.

📌 Empirical Validation: Mamba's effectiveness is empirically validated in several domains, including language modeling, DNA sequencing, and audio waveform modeling. It outperforms previous state-of-the-art models in these domains and shows superior performance in both pretraining quality and domain-specific task performance.

▪️ Mamba: Linear-Time Sequence Modeling with Selective State Spaces
▪️ GitHub

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

سایت زیر اومده ابزارهای هوش‌مصنوعی در حوزه‌های مختلف رو لیست کرده، اینجوری میتونید راحت بین این ابزارها بگردید و بهترین رو متناسب با نیازتون انتخاب کنید.

https://www.aixploria.com/en/

@Ai_Events

ظاهرا قرار نیست مدل Mamba پایانی برای سلطه ترنسفورمرها باشد. RWKV مدل جدیدی که اخیرا ادعای بیشتری رو در این حیطه مطرح کرده است خواندنی هست.

▪️ RWKV: Reinventing RNNs for the Transformer Era

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

نمی‌گم بهترین توضیح برای این مقاله اما خوب توضیح داده شده و درک مقاله رو ساده‌تر می‌کنه (بخصوص برای دوستان تازه‌کار)

Yannic Kilcher on Mamba

پایتورچ را در چهار مرحله یادبگیرید.

▪️ Tutorial: Learn the Basics

1. Tensors
2. Datasets and DataLoaders
3. Transforms
4. Build Model
5. Automatic differentiation
6. Optimization loop
7. Save, Load and Use Model

▪️ Introduction to PyTorch

1. Introduction to PyTorch
2. Introduction to PyTorch Tensors
3. The Fundamentals of Autograd
4. Building Models with PyTorch
5. PyTorch TensorBoard Support
6. Training with PyTorch
7. Model Understanding with Captum

▪️ Learning PyTorch with Examples
▪️ Start writing code

#پایتون #هوش_مصنوعی #منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

Paper Link

مقاله مربوط به مدل ۷ میلیاردی ماکروسافت برای
Embedding

این مدل در حال حاضر rank 1 هاگینگ فیس هست (به محض انتشار جایگاه اول رو به خودش اختصاص داده)

خیلی مهم هست این قضیه.

بچه ها این ریپو حسابی توی گیت هاب ترند شده و به نظرم خیلی جالب اومده منابع خوبی رو برای یادگیری ماشین لرنینگ و بعدش LLM معرفی کرده!‌ هم ویدیو
داره هم نمونه کد هست و کلی داکیمونت خوب خلاصه..

حتی اشاره به منابع برای یادگیری ریاضی مورد نیازش هم کرده

https://github.com/mlabonne/llm-course
Sam92


@Ai_Events

جهت علاقه مندان حوزه علوم داده:
مجموعه ای از ویدیوهای آپارات و OCW دانشگاه شریف

هوش مصنوعی - دکتر رهبان 
https://lnkd.in/dky6WZeP

ماشین لرنینگ- دکتر رهبان

https://lnkd.in/dKbUXN_x

فرایند تصادفی - دکتر رهبان ( دکتر علیشاهی در مکتبخونه یک کلاس آموزشی راجب فرایندهای تصادفی داره)
https://lnkd.in/d8Ecqw3Q

پردازش هوشمند تصاویر زیست-پزشکی
https://lnkd.in/dwazQNTH
https://lnkd.in/dCDJPeQt

ReACT 2023
https://lnkd.in/dFZXqcew

IWCIT 2022
https://lnkd.in/dH7Hqani

آمار و احتمال مهندسی - دکتر امینی
https://lnkd.in/diuancHJ

#تشخیص_الگو - دکتر فاطمی زاده
https://lnkd.in/dScHFtje

خلاقیت الگوریتمی و برنامه‌نویسی پایتون (مخصوص دانش‌آموزان متوسطه‌ی اول و دوم) - در حال تکمیل
https://lnkd.in/d-7C8bdS

الگوریتم های بیوانفورماتیک- دکتر شریفی زارچی
https://lnkd.in/dyWrqGn8

داده ساختارها و مبانی الگوریتم ها-دکتر شریفی زارچی 
https://lnkd.in/dG5JhGzC

بیو انفورماتیک پیشرفته - دکتر شریفی زارچی
https://lnkd.in/dQbvnXsm

#یادگیری_ماشین - دکتر سلیمانی
https://lnkd.in/dwPEBD-6

#هوش_مصنوعی- دکتر سلیمانی
https://lnkd.in/dQGsuwjT

یادگیری برخط - محمدهادی فروغمند -کسری علیشاهی
https://lnkd.in/dVCEbguf

مباحثی در علوم داده (یادگیری بندیت)- 
https://lnkd.in/dWA8wiKM

بهینه سازی در علوم داده ها- محمدهادی فروغمند
https://lnkd.in/dPtdmGUi

مباحثی در #آمار (روش‌های بیزی در آمار و یادگیری)- کسری علیشاهی
https://lnkd.in/dbb6ANd7

بهینه سازی محدب-مجتبی تفاق
https://lnkd.in/d7h4bqs5

#یادگیری_تقویتی - کسری علیشاهی
https://lnkd.in/d8S7m86N

مقدمه ای بر بیوانفورماتیک (تحلیل داده های زیستی) - علی شریفی زارچی
https://lnkd.in/dWkZbMcn

#منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اگه شما هم این اشتباه رو میکردین، دیگه نکنین :)

https://www.linkedin.com/posts/avi-chawla_machinelearning-datascience-activity-7151556109340708864-Hsaa?utm_source=share&utm_medium=member_android

اگه حس کردین نیاز دارین برین سراغ یادگیری DSP این پلی لیست توصیه میشه.

https://youtube.com/playlist?list=PLuh62Q4Sv7BUSzx5Jr8Wrxxn-U10qG1et&si=rYcYO89Yg2sFT3p9

بلاگی برای فهمیدن عظمت LLM‌ها

جدیداها سندرومی در کامیونیتی ایرانی‌ها دیده شده که هر کی برای خودش دیتایی ناچیز برمیداره و به اصطلاح خودش یک LLM فارسی آموزش می‌ده و تو بوق و کرنا می‌کنه در حالی که هیچ به هیچ. امشب حالا بلاگی رو دیدم که یک ویژوالیزیشن جالب از مقیاس اندازه مدل، اندازه داده آموزشی و اندازه محاسباتی LLM‌ها ارائه داده بود:

https://medium.com/@georgeanil/visualizing-size-of-large-language-models-ec576caa5557

نکته دوم ماجرا در اینه که آیا LLM = AGI؟ در مورد سایز مدل و سایز محاسباتی نمی‌شه به این راحتی بدون داشتن دانش نوروساینسی دقیق از مغز حرف زد (شاید واقعا هم اندازه مدل و هم اندازه محاسباتی مغز ما از LLM‌ها بیشتر باشه) ولی در مورد دیتای آموزشی می‌شه با قاطعیت گفت که آدمیزاد با میزان داده خیلی خیلی خیلی کمتر از یک LLM عملکردی در اون سطح و چه بسا بهتر رو می‌تونه ارائه بده. فلذا می‌تونیم شک کنیم که راه رسیدن به AGI این مسیر داده بزرگ‌تر جمع کن و مدل بزرگتری رو روش آموزش بده، نیست.

اگه دنبال این هستین که ویژن رو از پایه و از مفاهیم اولیه و روش‌های کلاسیکش یاد بگیرین تا درک بهتری نسبت به راه‌حل های دیپ به دست بیارین، این چنل به خصوص توصیه میشه. همون طور که اسمش هم می‌رسونه استارتر فوق العاده ای برای اصول اولیه ویژنه.

https://youtu.be/1EJ84QqkxWc?si=jvitAQ_-UWx6gNEI

🚀 ساخت RAG های پیشرفته با استفاده از : FalkorDB, LangChain, Diffbot API, and OpenAI

تا حالا درباره بهره گرفتن از Knowledge Graph ها برای RAG فکر کردید؟ 🧐 به نظرم وسوسه کننده س.
@ai_python
اگر علاقه مند هستید این مقاله پیشنهاد می شه 😍 :

https://medium.com/@akriti.upadhyay/building-advanced-rag-applications-using-falkordb-langchain-diffbot-api-and-openai-083fa1b6a96c

If you're interested in self-supervised learning, join our meeting today at 9:30 a.m. Iran time!
Zoom: https://oist.zoom.us/j/92257619030?pwd=d2IvVktjQUVPME8rdFhqWFlmNERRQT09
Meeting ID: 922 5761 9030
Passcode: 595720
Speaker: Dr. Yuki M. Asano, Assistant Professor, QUVA Lab, University of Amsterdam
Title: Self-Supervised Learning from Images and Videos using Optimal Transport
Abstract:
In this talk we will learn more about self-supervised learning -- the principles, the methods and how properly utilizing video data will unlock unprecendented visual performances.
I will first provide a brief overview of self-supervised learning and show how clustering can be combined with representation learning using optimal transport ([1] @ ICLR'20 spotlight). Next, I will show how this method can be generalised to multiple modalities ([2] @NeurIPS'20) and for unsupervised segmentation in images ([3] @CVPR'22) and in videos ([4] @ICCV'23). Finally, I show how optimal transport can be utilized to learn models from scratch from just a single Walking Tour video that outperform those trained on ImageNet, demonstrating high potential for future video-based embodied learning ([5] @ICLR'24). 
[1] Self-labelling via simultaneous clustering and representation learning
Asano, Rupprecht, Vedaldi.  ICLR, 2020
[2] Labelling unlabelled videos from scratch with multi-modal self-supervision. Asano, Patrick, Rupprecht, Vedaldi. NeurIPS 2020
[3] Self-supervised learning of object parts for semantic segmentation. Ziegler and Asano. CVPR 2022
[4] Time Does Tell: Self-Supervised Time-Tuning of Dense Image Representations. Salehi, Gavves, Snoek, Asano.
[5] Is ImageNet worth 1 video? Learning strong image encoders from 1 long unlabelled video. Venkataramanan, Rizve, Carreira, Avrithis, Asano. ICLR 2024.
 

سلسله جلسات آزمایشگاه RIML با محوریت مباحث تئوری و تدریس دکتر رهبان:

- جلسه‌ اول: Conformal Prediction
- جلسه‌ دوم: Concentration of Measure - Part 1
- جلسه‌ سوم: Concentration of Measure - Part 2
- جلسه‌ چهارم: Concentration of Measure - Part 3
- جلسه‌ پنجم: Concentration of Measure - Part 4

این لیست به مرور زمان آپدیت می‌شود.

تا الان در رابطه با LLM ها زیاد شنیدین. اما SLM (small language models or specific language models) ها چی؟
https://blog.arcee.ai/what-is-an-slm/

#مقاله
اینبار بریم سراغ برسی یه مقاله پایه‌ای ماشین لرنینگ یعنی CycleGAN! ببینیم فیدبک نسبت به مقالات پایه چطوره؟!

به طور سنتی، برای ترین مدلها برای تبدیل یک تصویر از یک سبک به یه سبک دیگه (مثل تبدیل سلفی خودتون به یه شاهکار ون گوگ)، به تصاویر جفتی نیاز داشتیم - یک «قبل» و یک «بعد». اما اگه این جفت ها رو نداشته باشیم چه؟ اینجاست که CycleGAN وارد میشه!

این تکنیک به استفاده از دو مجموعه تصویر جفت نشده از حوزه های مختلف (به نقاشی های ون گوگ و سلفی های تصادفی فکر کنید) بستگی داره. نکته مهم اینه که ما نمیدونیم کدوم نقاشی با کدام سلفی مطابقت داره. چالش اینه که به یه neural network یاد بدیم که این تبدیل رو بدون جفت شدن مستقیم انجام بده. جالبه؟

میرسیم به Adversarial networks. این شبکه ها دو بازیگر اصلی دارن: یک generator و یک discriminator. شبکه generator تلاش می کنه تا یک سلفی رو به سبک نقاشی تبدیل کنه، در حالی که discriminator مثل یک منتقد هنری عمل می کنه و سعی می کنه موارد تقلبی رو در میان نقاشی های واقعی تشخیص بده.

اما موضوع فقط فریب دادن این منتقد نیست. این مدل از "cycle consistency" برای اطمینان از تحولات معنی دار استفاده می کنه. بخش جالب اینجاست: اگه یک سلفی بگیرید، اونو به یک نقاشی تبدیل کنید، و سپس اونو به یک سلفی تبدیل کنید، باید چیزی شبیه به عکس اصلی خود داشته باشید. این مثل ترجمه یک جمله از انگلیسی به فرانسوی و بازگشت به انگلیسی است، با انتظار حفظ معنای اصلی!

حالا، برای اطمینان از اینکه ترجمه‌ها نه تنها از نظر بصری دقیق هستن، بلکه معنادار هستن، نویسنده‌ها یک «cycle consistency loss» رو معرفی کردن. این مکانیسم دگرگونی‌ها رو در هر دو جهت کنترل می‌کنه و مطمین میشه که یک سلفی به یک نقاشی تبدیل شده و سپس به یک سلفی برمی‌گرده همچنان به تصویر اصلی وفاداره.

اینجا جاییه که قراره مفهوم جا بیوفته! ما دوتا generator داریم. معمولا autoencoder هستن. اولی یه تصویر سلفی رو میگیره و اونو به نقاشی تبدیل میکنه. discriminator چک میکنه که این نقاشی فیک هست یا نه. generator دومی سعی میکنه نقاشی رو به تصویر اصلی تبدیل کنه. اینطور کار میکنه!

من loss رو در تصویر زیر آوردم. بیایید اونو برسی کنیم. تصور کنید دو مترجم دارید: یکی (بیایید اونو G بنامیم) انگلیسی رو به فرانسوی ترجمه می کنه و دیگری (به نام F) فرانسوی رو به انگلیسی ترجمه می کنه. حالا، اگر یک جمله انگلیسی رو انتخاب کنید، اونو با G به فرانسوی ترجمه کنید، و بلافاصله اونو با F به انگلیسی ترجمه کنید، امیدوارید که به جمله اصلی انگلیسی خودتون برسید، درسته؟ این اساسا همون فرمول cycle consistency loss هست. شما همین کارو میکنید، اما با تصاویر به جای زبان ها: چرخه برای X به Y و بازگشت به X: ابتدا یه تصویر از دامنه X (مثل یه عکس) می گیرید، اونو با استفاده از G به دامنه Y (مثل یه نقاشی) ترجمه می کنید. سپس با استفاده از F به دامنه X برمی گرده. فرمول سپس تفاوت این تصویر دو بار ترجمه شده رو با عکس اصلی اندازه می گیره. هدف اینه که این تفاوت رو تا حد امکان کوچک کنید. هدف؟ با انجام این کار، مدل یاد می گیره که در ترجمه های خودش دقت کنه. این نمیتونه فقط یک نقاشی تصادفی از یک عکس ایجاد کنه یا بالعکس. باید اصل تصویر اصلی رو حفظ کنه تا وقتی دوباره ترجمه می‌شه، همچنان شبیه تصویر اصلی باشه! F و G همون دوتا generatorمون هستن!

امیدوارم این پست براتون مفید باشه.

#ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

#مقاله
میخوام در مورد Supervised Contrastive Learning حرف بزنم. کاری مشترک از Google Research، Boston University و MIT!

در چشم‌انداز در حال تکامل دیپ لرنینگ، درخت بارور برای classification models مدت‌ها cross entropy loss function بوده. با این حال، این loss بدون اشکال نیست - به ویژه، حساسیت به noisy labels و suboptimal margins که منجر به کاهش تعمیم میشه. اینجاست که کاوش ما شروع میشه، و وارد قلمرو supervised contrastive learning میشیم!

ماهیت supervised contrastive (SupCon) learning ریشه در اصول self-supervised contrastive learning داره. به طور مرسوم، self-supervised learning شامل نزدیک کردن یک anchor و یک positive sample (معمولا آگمنت همون دیتا) در embedding space بهم دیگه و دور کردن anchor از negative samples (دیتای دیگر) در این فضا هست! این یه رقص نزدیکی و جدایی هست که در embedding space رخ میده.

حالا، بیایید به متد SupCon بپردازیم، که به طرز درخشانی این استراتژی رو برای یک fully supervised context تطبیق میده. در اینجا، بازی تغییر می کنه: ما دیگه به data augmentation برای ساخت موارد مثبت محدود نمیشیم. درعوض، هر سمپل‌ای که لیبل کلاس یکسانی رو با anchor داره، یه سمپل "مثبت" میشه. این یه تغییر ظریف و در عین حال عمیقه. اینطور فکر کنید - اگه anchor ما تصویری از یک "گربه" هست، پس هر تصویر "گربه" دیگری در دیتاست ما، مثبته.

میشه اینطور گفت. جایی که self-supervised contrastive loss ممکنه فقط یک مورد مثبت رو در نظر بگیره (نمای متفاوتی از یک سمپل)، SupCon loss چندین مثبت رو برای هر anchor در نظر میگیره - به اصطلاح همه گربه های مختلف. این سمپل‌های مثبت در کنار بسیاری از موارد منفی هستن (مثلا تصاویر سگ، پرندگان و غیره). این بازنگری به چندین مثبت برای هر anchor به مدل اجازه میده تا بازنمایی های قوی تری رو یاد بگیره، چون باید تفاوت های ظریف رو در یک کلاس تشخیص بده و در عین حال بین کلاس ها تمایز قایل بشه.

از نظر تجربی، نتایج قانع کننده هستن. در معماری ResNet 200، این متد به top-1 accuracyی 81.4 درصد روی دیتاست ImageNet دست پیدا کرد- یک پیشرفت قابل توجه نسبت به cross entropy loss.

به طور خلاصه، متد SupCon فقط یک گام رو به جلوی دیگه در دیپ لرنینگ نیست. این بازنگری در نحوه فکر کردن ما به فرایند یادگیریه! درس‌هایی رو از self supervised learning یاد میگیریم و اونهارو به supervised setting بسط میدیم.

سعی کردم مفهوم رو برسونم. هر سوالی دارید بپرسید پاسخ میدم!

#ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person