یکی از دوستان ما که تجربه کاری زیادی داره، پیامی درباره اهمیت کگل در گروه هوسم گذاشتن که در ادامه می‌تونید بخونید.

چیزی که من دیدم اینه که هر کسی می‌تونه با انجام یک پروژه کگل و گذاشتن کدش تو گیتاب شخصی خودش به چند تا هدف برسه:

▪️یک پروژه رو از ابتدا تا انتها انجام بده.

هر چند این پروژه با پروژه هایی که در عمل باهاش روبرو میشیم چالش‌های عملیاتی کمتری داره اما از ابتدا تا انتها بردن یک پروژه خیلی دید آدم رو گسترش میده.

▪️روی تمیز کد نوشتن کار کنه.

این کد رو داره توی ویترین خودش می‌گذاره پس ناگزیر لازمه کد تمیزی بنویسه. همین روند توانایی کدنویسی شخص رو بهبود میده.

▪️مهارت تکنیکی و بعضی از مهارت‌های نرم خودش رو نشون بده.

در مورد رزومه شدن اینو بگم که خیلی وقت ها موقعی که من با کسی مصاحبه می‌کنم اگه کدی که شخص خودش نوشته رو ببینم و ببینم که تمیزه حداقل نصف نمره مصاحبه رو بهش میدم.

چرا؟

چون از روی کامیت‌های کد میشه فهمید که یک نفر گیت رو می‌شناسه یا فقط یه چیزی زده بیاد بالا.

چون از روی فولدر بندی پروژه میشه فهمید یک نفر منظم کار می‌کنه یا نه.

چون از روی انتخاب اسم متغیرها میشه حدس‌هایی در مورد نحوه تعامل با افراد زد.

چون با دیدن کدی که یک نفر روی یک پروژه کگل زده میشه تا حد خوبی تشخیص داد که شخص مفاهیم پایه‌ای یادگیری ماشین رو می‌دونه یا نه؟
مثلا از جدا کردن داده های train و test
از انتخاب معیار ارزیابی
از انجام ارزیابی در انتهای پروژه
از مراحلی که برای تحلیل و بررسی داده طی می‌کنه و ...

در آخر اگه پروژه های خوبی روی گیت گذاشتید، می‌تونید پروژه‌های همدیگه رو بخونید و به هم دیگه ستاره بدید.

میخوام یک کورس آنلاین متن-محور برای پردازش تصویر معرفی کنم.

این کورس، مفاهیم اولیه و پایه‌ای پردازش و آنالیز تصویر رو به شکلی بسیار بسیار منسجم ارائه کرده. از جمله ویژگی‌های مثبت این کورس:
* مهم‌ترین مفاهیمی که باید در پردازش تصویر بدونید رو پوشش داده.
* کمی تئوری گفته و کدنویسی تمامی مفاهیم و روش‌ها رو هم گذاشته.
* تصاویر زیادی داره که فهم مطالب رو ساده میکنه.
* تمرین و سوال همراه با جواب داره.

کورس با این کیفیت کم پیدا میشه.

https://bioimagebook.github.io/index.html

@pytorch_howsam

Sapiens: Foundation for Human Vision Models

کار کامپیوتر ویژنی جدید متا بنام Sapiens؛ اول ویدئوی بالا رو ببینید و بعد ادامه متن رو بخونید.

بخش Reality شرکت متا یک مجموعه مدل بنام Sapiens معرفی کرده که مخصوص چهار تسک مهم بینایی کامپیوتر با محوریت انسان هست:
* تخمین ژست (Pose Estimation)
* سگمنت اعضای بدن (Body-part Segmentation
* تخمین عمق (Depth Estimation)
* پیش‌بینی نرمال سطح (Surface Normal Prediction)

ریزنکاتی از این کار ارزشمند:
* مدل‌ها بر پایه ویژن ترنسفورمرها طراحی شدن.
* مدل‌ها ورودی رزولوشن بالا در اندازه 1024×1024 قبول میکنن.
* روی 300 میلیون تصویر انسان آموزش دیدن.
* چهار مدل به سایزهای 0.3 0.6 1.0 2.0 بیلیون پارامتر ارائه شده.
* نسخه Pretrain و Finetune شده مدل‌ها در هاگینگ‌فیس قرار داده شده.
* مقاله Sapiens در ECCV پذیرفته شده.

مقاله | گیتهاب

@pytorch_howsam

Liger (Linkedin GPU Efficient Runtime) Kernel

لینکدین یک لایبرری بنام Liger Kernel معرفی کرده که به طرز قابل توجهی باعث افزایش سرعت و کاهش مصرف RAM در آموزش LLM میشه. آمار و ارقام نشون میده که شما با این لایبرری می‌تونید 20% افزایش سرعت و 60% کاهش مصرف RAM رو تجربه کنید! 🤯

استفاده از این لایبرری هم اصلا کاری نداره. فقط یک خط کد به کدهاتون اضافه می‌کنید. مثلا، در کد زیر، این لایبرری روی مدل لاما هاگینگ‌فیس اعمال شده:

import transformers
from liger_kernel.transformers import apply_liger_kernel_to_llama

model = transformers.AutoModelForCausalLM.from_pretrained("<some llama model>")

# Adding this line automatically monkey-patches the model with the optimized Liger kernels
apply_liger_kernel_to_llama()

همونطور که گفتم، این لایبرری رو لینکدین ارائه کرده و هم مورد توجه جامعه هوش مصنوعی قرار گرفته و هم دست مایه طنز کاربرهای توییتر شده! تصویر بالا رو ببینید. 😁

لینک گیتهاب

@pytorch_howsam

تصویر بالا رو توی توییتر دیدم. طبیعتا ارزش یادگیری نداره، اما می‌تونه یک آزمون کوچیک در یادگیری ماشین باشه! اینکه چقدر به موارد ذکر شده در این لیست مسلط هستی؟ آشنایی نه، تسلط...

به نظرم بلد بودن اینها به این معنی نیست که فرد به یادگیری ماشین مسلط هست. اما بلد نبودن بخش زیادی از این موارد می‌تونه نشون دهنده این باشه که فرد به یادگیری ماشین مسلط نیست. شخصا بخوام با کسی مصاحبه کنم، در بخش تئوری چنین سوالاتی ازش می‌پرسم. البته، این نظر من معلم هست، شاید افراد دیگه نظر متفاوتی داشته باشن...

@pytorch_howsam

تحلیل دیتاست‌های جدولی (Tabular) هم در ریسرچ و هم در کاربردهای واقعی خیلی مورد توجه هست. مقایسه‌هایی که تا الان انجام شده، نشون میده عملکرد مدل‌های دیپ اغلب پایین‌تر یا هم‌سطح مدل‌های بوستینگ گرادیان (GBMs) هست.

می‌خوام درباره مقاله‌ای صحبت کنم که مقایسه عمیقی روی مدل‌های آنسامبل مبتنی بر درخت تصمیم (TE)، دیپ (DL) و مدل‌های کلاسیک ML انجام داده. عنوان مقاله:

A Comprehensive Benchmark of Machine and Deep Learning Across Diverse Tabular Datasets link

حدود 111 دیتاست جدولی و 20 مدل مختلف برای مقایسه انتخاب شده. مقایسه‌های متنوعی انجام شده؛ مقایسه عملکرد مدل‌های DL و TE رو در تصویر بالا آوردم. نتایج جالبی بدست اومده:
* مدل CatBoost در 19 مورد از 111 دیتاست بهترین بوده.
* رتبه Random Forest قابل توجه هست.
* مدل XGBoost که خیلی‌ها انتخاب اولشون هست، در رتبه 10 دیده میشه!
* رتبه اول تا چهارم رو مدل‌های ML اشغال کردن.
* اولین مدل دیپ لرنینگی در رتبه 5 دیده میشه.
* شبکه MLP در رتبه 9 دیده میشه.
* شبکه TabNet آخره!

مقاله بخش‌های متنوعی داره و من فقط یک مقایسه رو آوردم. شاید بعدا بیشتر بنویسم.

@pytorch_howsam

آقای Sebastian Raschka یک ورک‌شاپ سه ساعته برای LLM برگزار کرده و ویدئوی اون رو در یوتوب گذاشته. این آموزش شامل تئوری و کدنویسی LLM-هاست. می‌خوام مشاهده این ویدئو رو توی برنامه بذارم.

قبلا، گفته بودم که آقای Sebastian Raschka یک کتاب LLM دارن (پیام ریپلای شده). من بخش کوچیکی از کتاب رو خوندم و به نظرم کتاب خوبیه. توی این ورک‌شاپ هم شکل‌های این کتاب دیده میشه. تقریبا چکیده‌ای از کتاب رو در این ورک‌شاپ می‌بینیم.

لینک ویدئو در یوتوب

@pytorch_howsam

خبر دارید دیگه؟!

ابزاری بنام Cursor برای کدنویسی به کمک هوش مصنوعی معرفی شده که خیلی خیلی مورد توجه قرار گرفته. در واقع، رقیب Microsoft Copoliot هست. البته، به نظر می‌رسه کوپایلت رو ضربه فنی کرده!

بعد از نصب این ابزار، یک محیطی مشابه با VSCode براتون باز میشه که کلی امکانات داره. تصویر بالا رو ببینید...

مثلا، شبیه کولب یا کوپایلت بهتون کد پیشنهاد میده و شما با TAB توی کد خودتون اپلای می‌کنید.

همچنین، می‌تونید باهاش چت کنید (باکس آبی) و بهش بگید چی می‌خواید. اون هم کدی میده که می‌تونید روی کد خودتون اپلای کنید. نکته جالبش این هست که کد شما در فایل پایتونی رو می‌بینه و براساس چت و درخواست شما کدهاتون رو تغییر میده!

توی X (توییتر سابق) ویدئوهایی دیدم که بچه‌های کوچیک (8 9 ساله) با همین ابزار یک اپ (مثلا چت بات ساده) ساختن.

سه تا پلن داره که پلن اولش رایگانه. پلن بعدی که احتمالا برای خیلی از ماها کافی باشه، 20 دلار قیمتش هست. توی تصویر می‌تونید ببینید که فارسی هم ساپورت میکنه. نسخه ویندوز هم داره و به راحتی نصب میشه.

برای نصب به سایت cursor.com برید. حتما باهاش کار کنید...

@pytorch_howsam

مدل های o1🍓 و کنکور ریاضی!

دیشب ۱۲ سپتامبر شرکت OpenAI سری جدید مدل های خودش رو با نام o1 معرفی کرد، این مدل ها با یه ویژگی خاص طراحی شده ان، اینکه قبل از پاسخ دادن فکر کنن.

اما چطوری؟ راز این مدل ها استدلال زنجیره ای آن ها یا CoT-Reasoning هست.
اما Chain of Tought یا CoT(استدلال زنجیره ای) دقیقا چیه؟

مدل‌های فعلی مثل سری GPT به صورت end-to-end کار می‌کنن، یعنی ورودی رو به خروجی تبدیل می‌کنن بدون اینکه خیلی بهش فکر کنن. این به معنی اینه که به سرعت جواب می‌دن بدون اینکه فرآیند استدلالی پشت جواب رو نشون بدن.

این روش چند مشکل داره:
۱. خیلی از مسائل نیاز به چند مرحله محاسبه یا استدلال دارن که مدل‌های عادی ممکنه نتونن همه این مراحل رو در یک گام انجام بدن.

۲. چون مدل مستقیم به خروجی می‌رسه بدون اینکه استدلال کنه، در مسائل پیچیده احتمال رسیدن به جواب درست کمتر می‌شه و دقت مدل پایین میاد.

۳. ما نمی‌دونیم مدل چطور به جواب رسیده و شفافیتی در منطق استفاده شده برای تولید جواب وجود نداره.

اما در استدلال زنجیره‌ای، مدل به جای اینکه جواب نهایی رو فوری تولید کنه، مراحل مختلفی رو که شامل فرآیند فکر کردن هستن به صورت زنجیره‌ای تولید می‌کنه. یعنی مسئله رو به بخش‌های کوچکتر تقسیم می‌کنه و هر بخش رو جداگانه پردازش می‌کنه و این مراحل رو گام به گام پیش می‌بره. این شبیه به کاریه که انسان برای حل مسائل پیچیده انجام می‌ده، یعنی تبدیل مسئله به بخش‌های کوچکتر و حل مرحله به مرحله.

این روش مشکلات بالا رو حل می‌کنه چون با پردازش مسئله به صورت گام به گام، هر مرحله به طور مجزا مدیریت می‌شه و احتمال خطا و از دست دادن اطلاعات مهم کم می‌شه. همچنین، استدلال استفاده شده توسط مدل به صورت شفاف قابل مشاهده است و ما می‌فهمیم که چرا مدل به این جواب رسیده.

پس در استدلال زنجیره‌ای، ورودی اولیه به مدل داده می‌شه و مدل به جای تولید جواب فوری، ورودی رو به اجزای مختلف تقسیم می‌کنه. این اجزا به مدل کمک می‌کنن که استدلالش رو به طور شفاف‌تر و به صورت مرحله به مرحله بیان کنه و به نتایج دقیق‌تر و بهتری برسه.
تیم OpenAI گفته که هرچی مدل تایم بیشتری رو به فکر کردن اختصاص بده، نتایج بهتری به دست میا‌د.

این مدل ها که در دو نسخه preview و mini برای حل مسائل سخت و پیچیده علمی و کد نویسی منتشر شدن، عملکرد خوبی نشون دادن.
مدل mini سریعتره و تو کد نویسی عملکرد خوبی داره.

مدل preview مدل بزرگتر و قوی تر هست که پیشرفت چشمگیری نسبت به GPT-4o داشته و توی بنچمارک هایی که خود تیم OpenAI انجام داده، پیشرفت های خیلی بزرگی تو زمینه های علمی به خصوص ریاضیات صورت گرفته، به عنوان مثال:

مدل GPT-4o تونسته به 13 درصد سوالات المپیاد جهانی ریاضیات پاسخ بده اما o1-preview تونسته به 56 درصد سوالات پاسخ بده که خیلی خفنه!
جالبه بدونید مدل اصلی سری یعنی خود o1 به 83 درصد سوالات پاسخ داده!

همچنین این مدل ها تونستن به سطح دانش اموزان PhD در علوم فیزیک، شیمی و زیست شناسی برسن!

در سوالات برنامه نویسی رقابتی جزو 89 درصد برتر واقع شده !

یکی از دوستان زحمت کشیدن سوالات کنکور ریاضی امسال رو به مدل preview دادن و مدل موفق شده بعد از 9 دقیقه به تمام سوالات پاسخ صحیح بده!

دسترسی این مدل ها فعلا فقط برای بخش محدودی از کاربران ChatGPT Plus به صورت خیلی محدود باز شده، تعداد پیام های مجاز نسخه preview 30 پیام در هفته ست و مدل mini ، 50 پیام در هفته که عدد خیلی کمی هست.

همچنین از طریق API هم این مدل ها به صورت محدود(20 ریکوست در ثانیه) فقط برای کاربران سطح 5 (tier 5) قابل دسترسی هست یعنی کاربرانی که حداقل هزار دلار استفاده از API داشته اند.

قیمت استفاده از این مدل ها در API هم زیاد هست و به ازای 1 میلیون توکن ورودی و خروجی مدل preview به ترتیب باید 15 و 60 دلار پرداخت کنین و برای مدل mini به ترتیب 3 و 12 دلار باید پرداخت کنین که 80 درصد نسبت به مدل preview ارزون تر هست.

شرکت OpenAI اعلام کرده که قراره مدل مینی به صورت رایگان در دسترس همه کاربرا قرار بگیره که خبر خوبیه.

امروز، به خاطر یک ماجرایی درگیر Knowledge Distillation یا KD شدم. سرچ کردم و به یک Tutorial خیلی خوب در سایت پایتورچ برخوردم. چند نوع KD رو اجرا کرده، مثلا از نوع دسته‌بندی، رگرسیون، درگیر کردن لایه‌های میانی و ...

من در خیلی از کارها مثل مقاله و کار از این KD استفاده کردم و توی دوره‌های مختلف مثل دیپ لرنینگ و کامپیوتر ویژن هم آموزش دادم. کلا، تکنیک ساده، جذاب و کارآمدی هست. حتی، الان توی آموزش شبکه‌های بزرگ هم استفاده میشه. تا الان این نوتبوک آموزشی رو توی پایتورچ ندیده بودم. فکر کنم جدید باشه...

لینک

یه ویدئو درمورد KD ضبط کنیم تو یوتوب بذاریم نه؟! 🤔

آپدیت: دمتون گرم که استقبال کردید. چشم، ضبط یک آموزش برای KD در یوتوب رو گذاشتم توی برنامه...

@pytorch_howsam

سلام
اگه خاطرتون باشه، امسال یک مینی‌دوره آموزش پایتورچ به‌صورت رایگان رو استارت زده بودیم. این دوره رو با 13 ساعت آموزش بستیم. خدا رو شکر دوره خوبی شد و فیدبک‌های مثبت و قشنگی هم دریافت کردیم.

توی این دوره هدفم این نبوده که همه چیز درباره پایتورچ رو آموزش بدم. هدفم این بوده که مفاهیم پایه‌ای شبکه عصبی و پایتورچ رو آموزش بدم. در واقع، اسم واقعی دوره "یادگیری عمیق استارتر" باید باشه. چون هم تئوری و هم کدنویسی داره. اگه از یادگیری ماشین، شبکه عصبی و پایتورچ چیزی نمی‌دونید و دوست دارید یاد بگیرید، به این دوره نگاه بندازید. نگید که خب رایگانه حتما بدرد نمیخوره! باور کنید خیلی برای ضبطش وقت و انرژی گذاشتیم! اصلا شکل و قیافه ویدئوها رو ببینید متوجه میشید! 😁

اتفاقا، درحال برنامه‌ریزی برای برگزاری یک دوره "یادگیری ماشین استارتر" هم هستیم...

دسترسی به دوره پایتورچ:
https://howsam.org/downloads/pytorch-course/

@pytorch_howsam

آقای Sebastian Raschka توی کتاب LLMs from scratch اومده معماری شبکه‌های GPT-2 Llama-2 Llama-3 رو با هم مقایسه کرده. در تصویر بالا می‌تونید این مقایسه رو به صورت شکلی ببینید.

مدل‌های Llama-2 و Llama-3 که خیلی مشابه هم هستن و تفاوت اصلی‌شون این هست که مدل Llama-3 از Grouped Query Attention استفاده میکنه.

مدل‌های GPT-2 و Llama-2 تفاوت‌هایی جزئی در بخش‌های دراپ‌اوت، نرمالیزیشن، پوزیشن امبدینگ و اکتیویشن فانکشن ماژول MLP دارن.

جزئیات بیشتر رو می‌تونید در این نوتبوک ببینید: لینک

آپدیت: یک نفر برامون 5 تا ستاره زده. اولین ستاره این کانال هست! :) ممنون دوست مهربون...

@pytorch_howsam

بهترین راه‌حل‌های مسابقات Kaggle

ریپوی Kaggle Solutions لیست مسابقات مختلف Kaggle همراه با راه حل نفرات برتر هر مسابقه رو در اختیار شما قرار میده.

تصویر بالا راه‌حل‌های یکسری از افراد برای مسابقه اخیر ISIC (سرطان پوست) رو لیست کرده. مخزن ارزشمندی هست، خصوصا برای کسانی که میخوان توی مسابقات کگل به رتبه‌های بالاتر برسن.

البته، این رو هم بگم که بعضی راه‌حل‌ها واقعا بار آموزشی ندارن. مثلا، نفر 37 مسابقه سرطان پوست ISIC رو ببینید چیکار کرده:

I used catboost, xgboost and lgbm for tabular data and tabular + cnn features. (total 6 models). As stacking method I applied StackingCVClassifier from mlxtend with LogisiticRegression as a metaclassifier. CNNs densenet201 (224 x 224) and efficient_net_b0 (384, 384).

خب، حالا شاید توی پیام بالا یک لایبرری، مدل/شبکه یا اصطلاح هم باشه که نشنیده باشید. اما، صرفا یکسری مدل قوی رو ترکیب کرده! اما، ایده‌های جالب هم پیدا میشه. مثلا، نفر اول از Diffusion Models استفاده کرده!

گویا این Kaggle Solutions کار یک ایرانی بنام فرید رشیدی هست:
لینک Kaggle Solutions

@pytorch_howsam

یک نفر در توییتر، سایتی به‌نام primeintellect برای اجاره GPU با نرخ به‌صرفه معرفی کرده بود. مشابه خیلی از سرویس‌های دیگه هزینه‌هاش ساعتی هست. من ازش استفاده نکردم و تازه باهاش آشنا شدم، اما نرخ‌هاش خوبه. مثلا، H100 رو ساعتی 1.49 دلار میده. من زیر 2 دلار ندیده بودم. حالا H100 که خیلی قوی و گرونه، ولی ممکنه کارتون با GPU-های پایین‌تر هم راه بیفته. مثلا، P100 با 16 گیگ رم، 0.11 دلار؛ یعنی 100 ساعتش میشه 11 دلار.
لینک

بگو چی شده؟! برای اولین بار، تعداد کاربرای این کانال از کاربرای کانال هوسم (@howsam_org) بیشتر شده! 🥳
ممنون ❤️

@pytorch_howsam

احتمالا درمورد NotebookLM گوگل شنیدید. می‌تونی یکسری محتوا (مثلا PDF، وبسایت، یوتوب، گوگل داک و غیره) درباره یک موضوع بهش بدی و اون برای شما خلاصه میکنه!

امروز یک کورس 1 ساعته درباره NotebookLM دیدم که خیلی ساده و سریع کار با این ابزار رو آموزش میده.
لینک

@pytorch_howsam

بالاخره، متا وزن نسخه‌های 1.5B 1B 600M 300M 125M شبکه MobileLLM رو در هاگینگ فیس منتشر کرد.

مدل MobileLLM، یکی از بهترین شبکه‌های مدل‌سازی زبان در رده مگس‌وزن‌ها (SLM) محسوب میشه. شبکه‌ها انقدر سبک هستن که با یک سیستم نه چندان قوی هم میشه باهاشون کار کرد.

قبلا، شبکه MobileLLM رو معرفی کردم. همچنین، در وبلاگ هوسم مقاله این شبکه رو تشریح کردم.

مقاله | کد | وزن‌ها | وبلاگ هوسم

@pytorch_howsam