یک ریپو مشتی برای کسایی که میخوان از سیر تا پیاز ML رو دوره کنن (کانتنت مدام آپدیت میشه)

https://github.com/aurimas13/Machine-Learning-Goodness#100daysofmlcode

دو تا ریپو جالب که توش پیپرهای پایه‌ای مطرح (حالت milestone) فیلدها و تسک‌های مختلف دیپ لرنینگ رو لیست کردن (اولی یکم قدیمیه)

https://github.com/floodsung/Deep-Learning-Papers-Reading-Roadmap
https://github.com/dansuh17/deep-learning-roadmap

I'm attending Building ML Apps with Hugging Face: LLMs to Diffusion Modeling. Would you like to attend?
https://www.linkedin.com/events/buildingmlappswithhuggingface-l7036449410284691457

همه ممکن است نشت کنند!

یکی از مهمترین بخش‌های پایپ‌لاین دیتا، نحوه صحیح تقسیم‌بندی دیتا به داده‌ی train و test است. نکات زیادی داره که مهمتریناش اینه که نباید نشتی داشته باشید؛ یعنی از داده‌ی آموزش نباید توی داده‌ی ولیدیشن و تست داشته باشید وگرنه می‌بینید متریکتون به شکل غیرواقعی خوب میشه. باز یکی دیگه از نکاتش اینه که قرار نیست توزیع داده آموزش و تست تفاوت زیادی کنند وگرنه می‌بینید که روی داده تست نتایجتون خیلی ضعیف میشه. یا اینکه قرار نیست هر جور که دوست دارید دادتون رو تقسیم کنید و گاهی مثلا اگر مساله با سری زمانی در ارتباطه، لازمه روی خط زمانی تقسیم کنید و گاهی لازمه شافل کنید و رندوم تقسیم کنید. نکات بیشتر و دقیق‌تری رو در فصل یک و دو کتاب hands on ml میتونید پیدا کنید.

شاید با خودتون فکر کنید خب اینکه خیلی راحته؛ ولی اینطور نیست. استاد پوروطنِ ما همیشه این مثل معروف رو می‌گفت که: شیطان در جزئیاته.
سال ۲۰۱۷ اندرو انگِ گولاخ و شرکا یک مقاله با عنوان CheXNet: Radiologist-Level Pneumonia Detection on Chest X-Rays with Deep Learning دادند (تریلی اسم مقاله رو نمی‌کشه). اونجا یه مدل CNNای ارائه دادند و روی صد هزار تا تصویر رادیولوژی از ۳۰ هزار تا بیمار آموزش دادند تا بتونند بیماری ذات الریه رو تشخیص بدن (اولا عظمت دیتا رو داشته باشید. ثانیا دقت کردید که چند تا تصویر برای یک بیمار وجود داشته). بعد اومدند این دیتا رو ۸۰ به ۲۰ بین آموزش و تست به صورت رندوم تقسیم کردند. چشمتون مشکل رو دید؟ اگر شما بیاید دیتا رو به صورت رندوم تقسیم کنید تصاویر یک بیمار می‌تونه توی هر دو تا داده‌ی ترین و تست باشه و مدل می‌تونه از فیچرهای مربوط به بیمار کلی استفاده کنه؛ حتی اگر این فیچرها مستقیما مربوط به خود بیماری ذات الریه نباشه. مثلا یک زخمی از عمل رو توی یه عکس آموزش میبینه و یاد میگیره این مربوط به کلاس اوله. بعد دیگه هر جا عین همون زخم رو ببینه زرتی میگه کلاس اوله و دیگه فکر نمیکنه. یعنی یه میان‌بر پیدا کرد. بعد از  ۱۱ روز فهمیدند مشکل داره و اومدند این رو درست کردند و دوباره مقاله رو منتشر کردند. در عکس دوم ضمیمه‌شده به پست می‌تونید ببینید که جمله‌ی there was 𝗻𝗼 𝗽𝗮𝘁𝗶𝗲𝗻𝘁 𝗼𝘃𝗲𝗿𝗹𝗮𝗽 between the sets رو در تصویر راست (نسخه اصلاح شده) نسبت به تصویر چپ (نسخه اولیه) اضافه کردند و نحوه تقسیم رو تغییر دادند.

حداقل دو تا درس از این موضوع میتونیم یاد بگیریم: اول. حواسمون به نشتی باشه چون همه ممکنه نشت کنیم. دوم. همه حتی اندرو انگ و شرکا هم ممکنه اشتباه کنند. پس فقط سعی کنیم یاد بگیریم، درستش کنیم و تکرار نکنیم. خجالت هم نداره.

لینک مقاله نسخه اول:
https://arxiv.org/abs/1711.05225v1

لینک مقاله نسخه اصلاح شده:
https://arxiv.org/abs/1711.05225

لینک توئیت توضیح این داستان:
https://twitter.com/svpino/status/1592140348905517056

پ.ن. شما هم اگر پست خوبی داشتید بفرستید تا به اسم خودتون توی کانال بذاریم.

#tweet
#handson

@nlp_stuff

برای دوستانی که در میونه هایپ ChatGPT و مدل های generative (😁) میخوان پایه‌هاشونو قوی کنن:
دوست خوبمون Sebastian Raschka (یکی از نویسنده‌های کتاب Machine Learning with PyTorch and Scikit-Learn، که نسبتاً اخیره و آخرین چاپش مال 2021 هست) یک پلی‌لیست یوتیوب داره به نام
Intro to Deep Learning and Generative Models Course
که توش انواع و اقسام مدل‌های مهم دیپ لرنینگ و خصوصاً generative رو با کد پای‌تورچ کاور می‌کنه
شخصاً پیشنهادش می‌کنم. تا اینجا AE, VAE, GAN رو از روش نگاه کردم و تکمیل بود👌

اینم لینکش: https://www.youtube.com/playlist?list=PLTKMiZHVd_2KJtIXOW0zFhFfBaJJilH51

انتشارات Manning یک تعداد زیادی کتاب داره توی همه حوزه‌های برنامه‌نویسی و دیتاساینس
کافیه برین توی کاتالوگش: https://www.manning.com/catalog
و کلمه کلیدی "deep learning" رو سرچ کنید. برای حوزه خاص خودتون هم حتی کتاب داره😁
متن نسبتاً روون با فونت خاص و توام با تصاویر، از ویژگی‌های بارز این کتاب‌هاست

به چیزای بد فکر نکنید! هوش مصنوعی تصویری که در ذهنتون هست رو میبینه، البته فعلا با اسکن مغزی fMRI
Link
مقاله‌ای که اخیرا توسط دو محقق ژاپنی منتشر شده نشون میده که با استفاده از Stable Diffusion تونستن تصویر ذهنی افراد رو بازسازی کنن. مقاله فعلا peer review نیست اما در ژورنال معتبر CVPR برای سال 2023 پذیرفته شده.
بعد از Transformerها که حدود 6سال پیش دنیای هوش مصنوعی رو متحول کردند و نتیجش شد چیزی مثل chatGPT، حالا یکی دو سالی هست Diffusion تکنولوژی روز هوش مصنوعی شده و نتایجی مثل DALL-E برای تولید تصاویر از متن با هوش مصنوعی داشته. اما این مقاله نشون میده قدرت این مدل‌ها بیشتر از این حرفاست.

@deeptimeai

Prof. Giuseppe Attardi, a prominent AI researcher internationally, will deliver the e-lecture:

“Large Language Models are All You Need”,
on March 14th, 2023 17:00 -18:00 CET,

see details in: https://www.i-aida.org/ai-lectures/

You can join for free using the zoom link: link & Password: 148148

Attendance is free.

@Ai_Events

Stanford MLSys Seminar Series

This seminar series has an incredible amount of knowledge and tips on a wide range of topics in ML.

Just finished watching the OPT episode which is a really good watch if you are training LLMs or just want to learn how it's done.

https://youtube.com/playlist?list=PLSrTvUm384I9PV10koj_cqit9OfbJXEkq

ارائه‌ی علمی
یادگیری ماشین بر مبنای استنتاج علّی

🗣️ گفت‌وگویی با احسان شریفیان، دانشجوی کارشناسی ارشد برق مخابرات سیستم صنعتی شریف

🔍 پژوهش‌هایی اخیرا بر این ایده متمرکزند که انسان در اصل یادگیری خود علت‌ها را تشخیص می‌دهد و رفتار محیط خود را بر اساس آن‌ علت‌های عام پیش‌بینی می‌کند. این پژوهش‌ها سعی داشته‌اند که مفهوم علت‌ها و معلول‌هایشان را به صورت ریاضی مدل کرده و ارتباط آن با روش‌های آماری و ... را بیان کنند. سپس به کمک این مدل‌سازی الگوریتم‌های یادگیری ماشین را بهبود بخشند.

🎙️ در این ارائه سعی می‌کنیم کمی بیشتر با این حوزه و مطالب مربوط به آن آشنا شویم.

📆 یکشنبه، ۲۱ اسفند ماه
⏰ ساعت ۲۰:۰۰

📌 لینک ورود به جلسه

🌱 منتظر حضورتون هستیم!

🕊 رستایی باشید.

[ RastaihaClub | Instagram | Rastaiha ]

🎀 The baby is born: GPT-4 is out! 🎀

👉GPT-4 is the new LLM (accepting image and text inputs, emitting text outputs) with human-level performance on various professional and academic benchmarks

😎More: https://bit.ly/3LntuWL

و اکنون GPT-4

و سرانجام لحظاتی پیش Open-AI رسما انتشار مدل GPT-4 را تایید کرد. فعلا تحولات اخیر در رابطه با این مدل به صورت خلاصه وار اینه که:

- در تسک‌های تست‌های انسانی آکادمیک (مثل GRE) از مدل‌‌های قبلی مثل GPT-3 بهتره و در خیلی از تسک‌ها در صدک‌های بالایی قرار داره که یعنی از بیش از نیمی از انسان‌ها هم برتره. این رو به این معنا تفسیر کردند که این مدل توانایی‌های Reasoning قابل توجهی داره.

- مولتی مداله، یعنی میتونه تصویر رو هم در کنار prompt ورودی بگیره و با توجه به اون پرامپت روی اون تصویر توضیحی بده. مثلا بهش میگید تو این عکس چه میبینی و میاد براتون توضیح میده. در خیلی از تسکای پرسش و پاسخ تصویری با این که دقتش به حد SOTA نمی‌رسه اما باز هم قابل قبوله و از مدل‌های مولتی مدال قبلی بهتر داره نتیجه می‌گیره (وقتی می‌تونید ارزش این کار رو درک کنید که دقت کنید که به صورت Zero-Shot داره این کار رو انجام میده!)

- قابلیت شخصی‌سازی و فرمان‌پذیری سبک پاسخ دادن داره! در واقع این امکان وجود داره که شما با پیام‌هاتون به GPT بفهمونید که دوست دارید با چه سبکی بهتون پاسخ بده. یک مثال جالب خود Open-AI تو دموش گذاشته که به طرف میگه فرض کن سقراط هستی و در نقش معلم و هیچ وقت به دانش آموزات پاسخ رو نمیدی بلکه سعی میکنی با سوال پرسیدن اونها رو به جواب برسونی و بعد به طرز جالبی سعی کردن که باهاش یک معادله دو مجهولی رو حل کنند!

- همچنان با همون تسک ساده پیش‌بینی کلمه بعدی آموزش دیده اما با تاثیرپذیری از Chat-GPT اینجا هم اومدن و از RHLF برای فاین‌تیون‌کردن GPT-4 استفاده کردند.

برای توضیحات بیشتر اینجا را ببینید:
https://openai.com/research/gpt-4


@nlp_stuff

پایتورچ 2.0
تمام تغییرات رو تو این لینک میتونین بررسی کنین:

https://github.com/pytorch/pytorch/releases/tag/v2.0.0

TLDR:
چند موردی که به نظرم برجسته‌تر بود:
۱. دیتاست‌های توزیع شده
۲. بهینه کردن عملیات‌های مرتبط با ترنسفورمر‌ها به خصوص نوع خاص اون یعنی مدل‌های زبانی بزرگ (scaled dot product attention)
۳. فیکس کردن set_to_none=True فلگ تابع zero_grad جهت کم کردن سربار حافظه