تجربیات آرتین از سرویس‌های اجاره GPU داخلی و خارجی:

سلام، من سرویسای مختلفی رو برای اجاره GPU تست کردم و توی سرویس های ایرانی به مشکلات زیادی برخوردم که قبلا بهش اشاره شده.

ولی توی سرویس های خارجی، به نظرم اگه از کولب پرو استفاده میکنین، میتونید به جاش برید سراغ runpod

این سرویس هم قیمت کولب هست و سرویساش کلا pay as you go هست.

هم میتونید مدلاتونو باهاش هاست کنین، هم میتونین ازش GPU رو اجاره کنین و هم از طریق SSH هم یه سرور جوپیتر بهش دسترسی داشته باشین.
جای فایلاتونم همیشه محفوظه.

به نظرم ارزششو داره.

میخوای خروجی کارهات رو مثل ویدئوی بالا نشون بدی؟ کتابخونه خفن supervision این امکان رو بهت میده.

این کتابخونه، امکاناتی بهتون میده که کارهای تکراری و رو اعصاب بینایی کامپیوتر رو شیک و سریع انجام بدید. مثلا، خوندن دیتاست از هارد، نمایش خروجی دیتکشن و...

We write your reusable computer vision tools. Whether you need to load your dataset from your hard drive, draw detections on an image or video, or count how many detections are in a zone. You can count on us! 🤝

لینک

@pytorch_howsam

Data + AI Summit 2024

در این کنفرانس از موسس و مدیرعامل Databricks، علی قدسی، در مورد ساخت برنامه‌های هوش مصنوعی تولیدی، استفاده از داده‌هایتان و نحوه اینکه داده + هوش مصنوعی به هوش داده منجر می‌شود، می‌شنوید.

همچنین گفتگویی بین علی قدسی و موسس و مدیرعامل شرکت Nvidia، در مورد شراکت گسترده‌تر بین Nvidia و Databricks برای شتاب بخشیدن به داده‌های شرکتی در دوران هوش مصنوعی تولیدی برگزار خواهد شد.

دیتابریکس شرکتی فعال در زمینه داده و هوش مصنوعی است.
بیش از 10,000 سازمان در سراسر جهان - از جمله Block، Comcast، Conde Nast، Rivian و Shell، و ... که بر روی پلتفرم هوش داده Databricks فعالیت می‌کنند تا کنترل داده‌های خود را برعهده بگیرند.

روز اول :
https://www.youtube.com/watch?v=UfbyzK488Hk

روز دوم :
https://www.youtube.com/watch?v=uB0n4IZmS34

ویدئوی بالا انقدر جذاب و آموزنده هست که واقعا حیفه نبینید.

تئوری تقریب جهانی (Universal Approximation Theory) میگه که شبکه‌های عصبی مصنوعی با یک لایه پنهان، می‌تونن هر تابع پیوسته‌ای رو با دقت دلخواه تقریب بزنن. این تئوری خیلی تو یادگیری ماشین مهمه، چون نشون میده شبکه‌های عصبی می‌تونن انواع مختلف داده‌ها و روابط پیچیده غیرخطی رو مدل‌سازی کنن. البته تعداد نورون‌های لایه پنهان ممکنه خیلی زیاد بشه تا به دقت مورد نظر برسیم.

کانال یوتوبی که این ویدئو رو منتشر کرده، فقط همین یک ویدئو رو داره که 18 هزار بازدید خورده! 😁

منبع

@pytorch_howsam

یکی از اعضای کانال درباره ویدئوی بالا سوال پرسیده که:

ببخشید میشه درمورد این مثال وزن ها و بایاس ها رو بگین چی میشه مقادیرشون؟

جواب:
مقادیر وزن و بایاس که در دسترس نیست. اما، به فرمول f_hat در تصویر زیر نگاه کنید؛ این فرمول، تقریبی از f (تابع اصلی) هست که با شبکه عصبی بدست اومده. هرکدوم از n-ها معادل با یک نورون در لایه مخفی هستن که از ترکیبشون، تابع تقریبی f ساخته میشه.

توی تصویر زیر، نمودار اولین نورون (n1) رسم شده. از شکل نمودار مشخص هست که یک نورون با تابع فعال‌ساز ReLU داریم. همچنین، باتوجه به اینکه روی مبدا قرار نگرفته، پس بایاس هم داریم. فرمول نورون به صورت y = w * x + b هست که هر سه (x w b) اسکالر هستن. با درنظر گرفتن چند نقطه از (x,y)، میشه مقدار w و b رو تخمین زد. درواقع، اگه معادله خط بخش غیرصفر نورون n1 رو بدست بیارید، مقدار وزن وبایاس رو پیدا کردید. برای بقیه نورون‌ها هم همین داستان برقرار هست.

حالا این نورون‌ها برچه اساسی باهم ترکیب شدن و f_hat رو ساختن؟ از طریق وزن‌های نورون خروجی! مشخص هست که برای خروجی n1، وزن 1-، برای n2 وزن 1- و همینطور تا آخرین مورد که n6 هست، وزن 1+ داریم.

بلاگ ارزشمند خانم Chip Huyen

I help companies deploy machine learning into production. I write about AI applications, tooling, and best practices.

از متن بالا مشخص هست که تخصصش چی هست و درمورد چی صحبت میکنه. قاعدتا، اگه دنبال کار باشید، بعد از یاد گرفتن ماشین لرنینگ، میرید به این سمت که از فاز پروداکشن بیشتر بدونید. اگه در چنین مقطعی هستید، حتما به بلاگش سر بزنید.

به عنوان پیشنهاد، اینها رو چک کنید:
۱- کورس CS329S استنفورد که توسط ایشون و تیمش تدریس شد. عنوان کورس این هست:
CS 329S: Machine Learning Systems Design

۲- کتابی که برمبنای کورس بالا نوشته شده:
Designing Machine Learning Systems: An Iterative Process for Production-Ready Applications

۳- بخش MLOps guide در سایتش:
لینک

یک لیست ۱۰۰ هم توی سایتش داره که قبل مرگش می‌خواد اونها رو انجام بده. یکیش اینه که بیاد تهران!

@pytorch_howsam

مدتی هست که Lightning.ai سرویسی بنام Studio معرفی کرده که میشه رقیب گوگل کولب هست.

اما مزایای این سرویس چی هست:
* می‌تونید به‌صورت لوکال هم کد بزنید. یعنی توی VSCode یا پایچارم روی سیستم خودتون کد بزنید، ولی از سخت‌افزار استودیو استفاده کنید.
* داده‌هاتون حفظ میشه و حذف نمیشه.
* می‌تونید Web App بالا بیارید یا وزن مدل‌هایی که ساختید رو به اشتراک بذارید.
* 22 ساعت GPU رایگان برای یک ماه هم میده.

بعضی از مزایاش جالب هستن ولی خب مثلا مدت زمان GPU آنچنان زیاد نیست. بد نیست ویدئوی بالا رو ببینید.

به‌هرصورت، رفتیم که تستش کنیم؛ درخواست فرستادیم و بعد از سه روز درخواست تایید شد. وارد فاز بعدی شدیم که باید دوباره چند مرحله ثبت نام رو پشت سر میذاشتیم. رفتیم جلو و رسیدیم به شماره تلفن برای Verification! اول، خیلی سرخوش شماره ایران رو زدیم که خب هیچی! بعدش، رفتیم یه شماره مجازی گرفتیم که اونم هیچی! 😢 بعدشم که دیگه کلا Mission Failed! 😭 خلاصه اینکه، به قول بانو هایده: تا میخواستیم لب معشوقو ببوسیم، پریدیم که...

حالا شما اگه تجربه کردی به ما بگو که اینجا به اشتراک بذاریم...
link

@pytorch_howsam

دوستان، مدتی هست دوره رایگان پایتورچ رو در هوسم ارائه کردیم. مطالبش به صورت هفتگی منتشر میشه و تا الان چهار هفته (حدود 7.5 ساعت) رو منتشر کردیم.

انتشار ویدئوها رو در کانال اصلی سایت هوسم اطلاع‌رسانی می‌کنیم:
https://t.iss.one/howsam_org

دسترسی به دوره:
https://howsam.org/downloads/pytorch-course/

@pytorch_howsam

دوستان عزیز و گل،
مدت کوتاهی هست که توی X (توییتر سابق) هم فعالیت می‌کنیم. باحاله و می‌خواییم فعالیتمون رو بیشتر کنیم. دوست داشتید اونجا هم ما رو فالو کنید. 🤗
خوبی X اینه که خیلی از محقق‌ها اونجا فعالیت میکنن و مطالب جالبی میذارن. ما هم سعی می‌کنیم مفید باشیم. :)
https://x.com/pytorch_ai

آپدیت: ممنون که دارید فالو می‌کنید. ایشالا با مطالب خوب جبران کنیم. 🫶

@pytorch_howsam

خیلی‌ها دوست دارن یادگیری تقویتی یاد بگیرن. واقعا هم جذابه که بازی‌های معروف رو با هوش مصنوعی انجام بدی. اما از طرفی، به محض اینکه میری سمتش، با انبوهی از ریاضیات و مباحث پیچیده مواجه میشی.

میخوام یه آموزش کوتاه و خوب بهتون پیشنهاد بدم که فقط با کدنویسی (بدون ریاضی) چند تا بازی ساده رو با هوش مصنوعی کد بزنید و انجام بدید. این آموزش رو آقای Nicholas Renotte آماده کرده که حدود سه ساعت هست. قبلا، من این آموزش رو دیدم. برید ببینید و عشق کنید!

توی این سه ساعت چه چیزهایی میگه:
* یکمی مقدمه و تئوری میگه (خیلی سبک)
* ابزارهای موردنیاز رو معرفی میکنه
* سه تا پروژه هم انجام میده:
1. بازی Cart Pole
2. بازی Breakout
3. بازی Car Racing

بعدش خودتون می‌تونید یک عالمه بازی و سناریوی ساده در همین سطح انجام بدید.

لینک آموزش

@pytorch_howsam

احتمالا خبر دارید که اخیرا کنفرانس CVPR 2024 برگزار شد. میخوام، به مرور چند تا مقاله خوب و خوندنی این کنفرانس رو معرفی کنم. قبلا، Florence-2 رو معرفی کردم. امروز یک مقاله از حوزه شبکه‌های مگس وزن براتون آوردم! 😁

RepViT: Revisiting Mobile CNN From ViT Perspective

قبل از ظهور ترنسفورمر و ViT، شبکه‌های سبک و موبایلی زیادی داشتیم که مبتنی بر CNN بودن. مثل موبایل‌نت 1، 2، 3 و خیلی موارد دیگه. خب، در سال‌های اخیر شبکه‌های موبایلی مبتنی بر ViT هم پیشنهاد شدن که اتفاقا از لحاظ سبکی و Latency بهتر از کانولوشنی‌ها بودن. شبکه‌هایی مثل FastViT، EfficientFormer و غیره.

اما، توی این مقاله شبکه‌ای مبتنی بر CNN پیشنهاد شده که مُچ شبکه‌های ترنسفورمری رو خوابونده! توی تصویر بالا هم می‌تونید مقایسه دقت و Latency بین این شبکه و سایرین رو ببینید.

ریپوی خوبی داره. وزن‌هاش در دسترسه. مورد استقبال قرار گرفته. همچنین، اومدن این شبکه رو با SAM (همون Segment Anything) ترکیب کردن و چیز جالبی دراومده! کد این هم توی ریپو موجود هست.

مقاله | گیتهاب

@pytorch_howsam

CAP6412 Advanced Computer Vision - Spring 2024

اگه به دیپ لرنینگ مسلط هستید و تلاش می‌کنید خودتون رو بروز نگه دارید، کورس بینایی کامپیوتر پیشرفته دانشگاه UCF رو مدنظر داشته باشید. این کورس توسط مبارک شاه از بزرگان حوزه بینایی کامپیوتر در بهار 2024 ارائه شده.

هدف این دوره چی هست؟
- این دوره روی VLM-ها (Vision Language Models) تمرکز داره.
- مقاله-محور هست. مقاله‌های مهم VLM رو تشریح میکنه.
- راه انداختن دانشجوها در تحلیل مقاله، ایده زدن و ...

جلساتش طولانی نیست و حدود 30 دقیقه هست. توی جلسه اولش که معرفی دوره هست، نکات جالبی درمورد نحوه مطالعه و تحلیل مقاله، تسک‌ها و غیره میده که جالبه. من میخوام توی برنامه بذارم که ویدئوها رو نگاه کنم.

لینک یوتوب

@pytorch_howsam

اگه به دیپ لرنینگ مسلط هستید و با دنیای بینایی کامپیوتر هم آشنایی دارید، کورس متن-محور هاگینگ‌فیس رو دریابید! 13 فصل داره و شبکه‌های زیادی رو در هر فصل معرفی کرده.

سرفصل‌ها رو نگاه کنید:
UNIT 1 - FUNDAMENTALS
UNIT 2 - CONVOLUTIONAL NEURAL NETWORKS
UNIT 3 - VISION TRANSFORMERS
UNIT 4 - MULTIMODAL MODELS
UNIT 5 - GENERATIVE MODELS
UNIT 6 - BASIC CV TASKS
UNIT 7 - VIDEO AND VIDEO PROCESSING
UNIT 8 - 3D VISION, SCENE RENDERING AND RECONSTRUCTION
UNIT 9 - MODEL OPTIMIZATION
UNIT 10 - SYNTHETIC DATA CREATION
UNIT 11 - ZERO SHOT COMPUTER VISION
UNIT 12 - ETHICS AND BIASES
UNIT 13 - OUTLOOK

کورس‌های هاگینگ‌فیس، مختصر، مفید و دقیق هستن. به همین خاطر به هرکسی که میخواد توی بینایی کامپیوتر خودش رو بروز کنه، این کورس رو پیشنهاد می‌کنم. به نظرم، برای کسایی که به دیپ لرنینگ مسلط نیستن، کورس سنگینی محسوب میشه.

چند تا پیشنهاد هم دارم:
1) لینک‌های مطالعه بیشتر که میذاره رو جدی بگیرید.
2) مقاله شبکه‌هایی رو که معرفی میکنه رو بخونید. تونستید، یکمی روی کدهاشون هم وقت بذارید. هیولا میشید!

لینک کورس

@pytorch_howsam

متا بهینه‌سازی بنام Schedule-free Optimizer معرفی کرده که مورد توجه قرار گرفته. خیلی‌ها درحال ارزیابیش هستن و فیدبک مثبت دادن. چه ویژگی مثبتی داره که ترند شده؟

عملکرد بهتری نسبت به بهینه‌سازهای رایج مثل SGD و Adam داره. شکل بالا رو ببینید. این بهینه‌ساز نسبت به بهینه‌ساز AdamW با تابع پله‌ای یا کسینوسی همگرایی سریع‌تری داره.

نیازی به تنظیم لرنینگ ریت (LR Scheduler) نداره. یعنی، دیگه نیازی نیست که لرنینگ ریت رو حین آموزش تغییر بدید.

چطوری ازش استفاده کنیم؟ اول که نصب:

pip install schedulefree

بعدش هم می‌تونید از بهینه‌ساز مبتنی بر SGD یا AdamW استفاده کنید:

optimizer = schedulefree.AdamWScheduleFree(model.parameters(), lr=args.lr)

نهایتا، توی تابع train و test باید مشخص کنید که الان بهینه‌ساز توی حالت train و eval هست! توی پایتورچ، برای مدل این کار رو می‌کنیم دیگه. یعنی توی تابع train باید بنویسید:

optimizer.train()

و توی تابع eval هم:

optimizer.eval()

تامام! لینک زیر، اومدن یک شبکه CNN رو روی دیتاست MNIST با این بهینه‌ساز آموزش دادن:
لینک کد

گیتهاب Schedule-free
@pytorch_howsam