#سوال
سلام
مقالات کنفرانسی هم مثل ژورنالها دارای ضریب تاثیر و رتبه بندی هستند؟چگونه می توانیم بفهمیم رتبه و ضریب تاثیرشان چند هست؟

#جواب
کنفرانس‌ها هم رنکنیگ دارن. نام کنفرانس رو در سایت زیر بنویسید تا بهتون نشون میده:
https://www.conferenceranks.com/

@pytorch_howsam

اگر به یادگیری تقویتی علاقمند باشین و منابع رو پیگیری کرده باشین، متوجه می شین که منابع خوب برای یادگیری تقویتی کم پیدا می شه
این کتاب اما از دو جهت به سایر منابع ارجحیت داره💣💣
اول این که از پایه ای ترین مفاهیم شروع می کنه و به الگوریتم های پیشرفته یادگیری تقویتی عمیق برای محیط های پیوسته و گسسته می رسه
و دوم این که تمام کدهای کتاب کاملا خط به خط توضیح داده شده و با پایتورچ هم کد نویسی انجام شده 🎯🎯
تنها پیش نیاز مطالعه کتاب ، آگاهی از مفاهیم مقدماتی از ماشین لرنینگ و دیپ لرنینگه و آشنایی با پایتورچ
از مطالعه این کتاب حسابی لذت ببرید💥💫💫💥

با Text to Image Generation آشنا هستید؟

این روزها مورد توجه هست. اینکه با توجه به یک متن ورودی، یک تصویر توسط هوش مصنوعی ساخته بشه. شاید تصاویری از Dall.E دیده باشید. اگر ندیدید، به اینستاگرام هوسم سر بزنید، آخرین پستش همین موضوع هست.
https://www.instagram.com/howsam_org/

اما الان میخواییم درباره یک موضوع جالب‌تر صحبت کنیم! Text to Video Generation
از روی متن یک ویدئو ساخته بشه که واقعا جذابه. مقاله‌ای با عنوان زیر با استفاده ترنسفورمرهای دیوانه اومده اینکار رو انجام داده.
CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers

ویدئوی بالا هم نمونه‌هایی از خروجی کار رو نشون میده. فعلا ویدئوها کوتاه هستن و ضعیف! اما احتمالا به زودی نسخه‌های باکیفیت‌ترش رو خواهیم دید. 😊

کدهای این مقاله قرار هست منتشر بشه. فعلا لینک گیتهابش رو گذاشتن ولی کدها منتشر نشده.
https://github.com/thudm/cogvideo

@pytorch_howsam

سلام سلام
جکس (JAX) رو میشناسید؟ بله، همون کتابخونه‌ای که گوگل ارائه کرده.

جدیدا فیسبوک هم در سایت پایتورچ گفته:
We’re excited to announce the first beta release of functorch. Heavily inspired by Google JAX, functorch is a library that adds composable function transforms to PyTorch.

بیایید یک مثال از مشتق مرتبه اول و دوم توی فانکتورچ ببینیم:
from functorch import grad
x = torch.randn([])

# First-order gradients
cos_x = grad(lambda x: torch.sin(x))(x)

# Second-order gradients
neg_sin_x = grad(grad(lambda x: torch.sin(x)))(x)

یک دستور ساده grad و مشتق‌گیری به سادگی آب خوردن!

فان: گیمرها میگن کاراکتر توی تصویر بالا جکس هست! چون توی Mortal Kombat یه شخصیتی وجود داره به نام Jax! 😁 فیسبوک باید اسم بهتری انتخاب میکرد! فانکتورچ به درد نمیخوره! مثلا Scorpion! 😅

@pytorch_howsam

💣 دوره یادگیری عمیق 2022 هوسم 🔥

🛎 ثبت‌نام دوره یادگیری عمیق با 40 درصد تخفیف برای 15 نفر اول شروع شد.

📋 فهرست مطالب دوره:
فصل 0: پیش‌نیازها
فصل 1: شبکه عصبی پرسپترون (MLP)
فصل 2: مباحث ویژه شبکه MLP
فصل 3: توابع اتلاف و بهینه‌سازی

فصل 4: شبکه عصبی کانولوشن (CNN)
فصل 5: شبکه عصبی بازگشتی (RNN)
فصل 6: شبکه ترنسفورمر (Transformer) 💣
فصل 7: شبکه عصبی گرافی (GNN) 🔥
فصل 8: شبکه GAN

فصل 9: روش‌های مدرن یادگیری
فصل 10: یادگیری عمیق در بینایی کامپیوتر
فصل 11: یادگیری عمیق در پردازش متن
فصل 12: یادگیری عمیق در پردازش صوت

🌐 اطلاعات بیشتر و ثبت‌نام:
https://howsam.org/downloads/deep-learning-2022/

@howsam_org

سوالات شما:

❓من قبلا در یکسری از دوره‌های هوسم شرکت کردم. تخفیف بیشتری ندارم؟
✅ اگر در دوره یادگیری عمیق قبلی هوسم شرکت کردید، به مقدار هزینه‌ای که پرداخت کردید، می‌توانید تخفیف دریافت کنید. برای دریافت تخفیف، به پشتیبانی پیام دهید.

❓روزهای برگزاری کلاس آنلاین؟
✅ چهارشنبه و پنج‌شنبه ساعت 19 (دو جلسه در هفته)

❓کدنویسی دارد؟
✅ بله. مدت زمان آموزش برای بخش تئوری و کدنویسی تقریبا برابر هست.

❓پایتورچ یا تنسورفلو؟
✅ پایتورچ

این پست درحال آپدیت است...
.

مصوبه جدید ستاد ملی کرونا: توصیه اکید به تزریق دز بوستر (سوم) واکسن کووید-۱۹ برای همه افراد بالای ۱۲ سال (به فاصله ۶ ماه از نوبت دوم).

نظر این ستاد در مورد ماسک:

«توصیه موکد به استفاده از ماسک و رعایت فاصله‌گذاری اجتماعی در اماکن مسقف شلوغ، پرتردد و پر ازدحام، وسایل نقلیه عمومی و بیمارستان‌ها.»

«در شهرهای زرد و آبی (فعلا همه شهرهای کشور)، در سایر اماکن (بخصوص فضاهای باز) الزامی به استفاده از ماسک وجود ندارد.»

کانال تلگرامی @Scientometric

سلام دوستان

پیام کرونا اشتباهی فوروارد نشده. 😅
خوشبختانه، وضعیت کشور در کرونا الان خوبه. ولی خب توی همین شرایط هم باید توصیه‌ها رو جدی بگیریم. مثلا دز بوستر و ماسک توی اماکن شلوغ...

راستی، یکی توی این پیام ریپلای شده، اموجی 😢 گذاشته. چرا؟ غمت رو نبینم! 😁 لطفا به آیدی زیر پیام خصوصی بده.
@howsam_support

https://machinelearningmastery.com/introduction-to-1x1-convolutions-to-reduce-the-complexity-of-convolutional-neural-networks/
یک مطلب عالی از جیسون برانلی
درباره کانولوشن یک در یک
کلا ۳ تا کاربرد داره این نوع از کانولوشن :
🎯Linear Projection of stacked feature maps

🎯Channel wise pooling ( dimensionality reduction)

🎯Increase the number of feature maps

کلا کارش تغییر ( کاهش یا افزایش ) فیچر مپ هاست
مطلب اصلی رو بخونید و به کاربردهایی که مثال زده نگاهی داشته باشید تا کاربردهای کانولوشن یک در یک رو بهتر درک کنید
💡و دقت داشته باشید که
کانولوشن یک در یک که در حوزه تصویر و بینایی کامپیوتر استفاده می کنيم با کانولوشن یک بعدی که در پردازش صوت و متن استفاده می شه متفاوته.

اگه عاشق خودکار و کاغذ و ریاضی هستی، این پست رو احتمالا میپسندی...

Pen and Paper Exercises in Machine Learning
عنوان بالا اسم یه کتابچه هست که توی arxiv موجوده و شامل تمرینهای ریاضی برای یادگیری ماشینه. سوال مطرح کرده و جواب داده. این نوع کتابا واقعا مفیدن.

https://arxiv.org/abs/2206.13446

@pytorch_howsam

سلام، جمعه به کام 🥱
ما هر وقت میریم سایت پایتورچ، می‌بینیم یه لایبرری جدید معرفی کرده!
خدایا بسه دیگه، خسته شدیم... 😭

خب حالا لایبرری جدید پایتورچ چیه؟ TorchArrow
این لایبرری عملکردی مشابه با Pandas داره. پانداز چیکار میکنه؟ ساده بخواییم بگیم، توی ماشین لرنینگ، پانداز برای خوندن دیتاست‌ها و پیش پردازش اونها استفاده میشه. احتمالا دیتافریم براتون آشنا باشه.

حالا پایتورچ با لایبرری جدیدش میگه: من سعی میکنم همون کارهای پانداز رو برات انجام بدم. به تصویر بالا نگاه کنید؛ با همین torcharrow یه دیتافریم کوچیک ساخته و بعد هم با دستور fill_null اومده None رو با 999 پر کرده.

@pytorch_howsam

داخل مقالات معیار های ارزیابی Ap وجود داره
Ap50
Ap75
Aps
Apm
Apl
امکانش هست یک توضیحی درباره این معیار ها بگین و اینکه هرچه مقدار بالاتر باشه بهتر هست یا پایین تر؟

💣 تاثیر بچ‌نرمالیزیشن روی شبکه چیه؟

به تصویر نگاه کنید؛ دو نمودار لاس ترین داریم که یکی برای شبکه بدون بچ‌نرم (آبی) هست و دیگری شبکه با بچ‌نرم (قرمز)...

بچ‌نرم تکنیکی هست که باعث میشه شبکه عصبی سریع‌تر ترین بشه. این مساله به وضوح در نمودارهای لاس دیده میشه.

در شبکه بدون بچ‌نرم (آبی)، حدودا ایپاک 150 به لاس 0.3 رسیدیم. درحالی‌که در شبکه با بچ‌نرم (قرمز)، خیلی زود (زیر 100 ایپاک) به لاس 0.3 رسیدیم. این اثر بچ‌نرم هست.

❓حالا چند تا سوال:
چرا نمودار قرمز یک مقداری نوسانی شده؟
بچ‌نرم رو باید کجا قرار بدیم؟

🌐 منابع:
wikipedia
towardsdatascience
better deep learning
deep learning 2022 howsam

✅ چطور بود؟ بازم بذاریم؟؟ 🤪

@pytorch_howsam

امان از این اورفیت! 🤒

نمودار بالا، لاس مربوط به ترین و ولیدیشن یک مدل اورفیت شده هست. میخوایم تو این پست درمورد اورفیت صحبت کنیم...

❓اورفیت چیه؟
اگه مدل ما حین یادگیری، همزمان با کاهش لاس ترین، لاس ارزیابیش شروع به افزایش کنه، میگیم مدل اورفیت شده.

پس این شد:
کاهش لاس ترین، اما افزایش لاس ولیدیشن (ارزیابی)

❓سه روش جلوگیری از اورفیت چیه؟
1⃣ رگولاریزیشن L1 و L2 (اضافه کردن یک قید وزن روی لاس مدل)
2⃣ دراپ‌اوت (خاموش کردن رندومی نورون‌های یک لایه)
3⃣ دیتا آگمنتیشن

تو پست‌های بعدی درمورد این سه تا مورد جلوگیری از اورفیت توضیح میدیم.

@pytorch_howsam

🔥 خبر داغ 🔥

حتما Andrej Karpathy رو میشناسید! همونی که هد هوش مصنوعی تسلا بود. یک ویدئوی آموزشی توی یوتوب گذاشته و در 5 روز 70 هزار بازدید داشته!

موضوع ویدئو هم آموزشی هست. ساخت میکروگراد! میکروگراد یک کتابخونه کوچیک هست که شامل شبکه عصبی و پروسه پس انتشارش میشه. میکروگراد رو قبلا نوشته بود، اما الان ویدئوی آموزشیش رو تهیه کرده...

هدفش از تهیه این ویدئوی آموزشی، آشنایی افراد با مطالب پایه در شبکه عصبی مثل ساخت یک شبکه عصبی، آموزش شبکه، تسلط بر پس انتشار خطا و البته اندکی آشنایی با بک‌اند فریمورک‌های دیپ لرنینگ مثل پایتورچ هست.

https://www.youtube.com/watch?v=VMj-3S1tku0&t=2563s

@pytorch_howsam

سلام دوستان

اگه پایتورچ کار کرده باشید، میدونید که برای تعریف یک لایه فولی‌کانکتد از دستور nn.Linear استفاده میشه. این دستور دو تا ورودی مهم داره:
nn.Linear(in_features, out_features)
این دو تا ورودی چیه؟ in_features به تعداد ورودی‌های این لایه اشاره داره. مثلا توی شکل بالا، لایه فولی کانکتد 9 تا ورودی داره. out_features هم به تعداد نورونهای (یا تعداد خروجی‌های) این لایه اشاره داره. توی شکل بالا 4 هست. یعنی شکل بالا به صورت زیر نوشته میشه:
nn.Linear(9, 4)

مدتی هست که پایتورچ یه دستور آلترناتیو معرفی کرده. دستور nn.LazyLinear که برای تنبلاست! 😁 همون لایه فولی کانکتده ولی دیگه به تعیین تعداد ورودی‌ها (یا in_features) نیازی نداره. یعنی همون لایه بالا به شکل زیر تعریف میشه:
nn.LazyLinear(4)

@howsam_org

سلام

تو پست ریپلای‌شده گفتیم که آقای Andrej Karpathy اومدن میکروگراد رو ساختن. میکروگراد هم یک لایبرری دیپ لرنینگی کوچیک 150 خطی هست. فقط هم mlp داره.

دوست داری بدونی شبکه MLP چیه و چطوری یک شبکه MLP توی پایتورچ از صفر پیاده‌سازی شده؟ مثلا چطوری بک‌وارد نوشتن؟ یعنی همین کاری که آقای Andrej Karpathy انجام دادن.

ما دوست داریم یک مینی دوره با الگوگیری از کار آقای Andrej Karpathy بسازیم! یعنی mlp رو بگیم و از صفر بدون هیچ لایبرری پیاده‌سازی کنیم و یک مینی لایبرری شبیه میکروگراد بسازیم.

اگه دوست داری 👍
اگه دوست نداری 👎

@pytorch_howsam

یک ریپوی فووووووق العاااااده برای NLP 🔥

از یه امبدینگ ساده شروع کرده، بعد رفته سراغ RNN، CNN و آخرشم به اتنشن و ترنسفورمر رسیده.

کدها بسیار منظم و تمیز نوشته شده. کدهاش هم کمه و شلوغش نکرده. اگه دنبال مینی پروژه تو NLP هستی، اینو از دست نده. بشین یکی یکی رو کد بزن و بررسی کن.

https://github.com/graykode/nlp-tutorial

راستی، دمتون گرم که تو پست بالایی مشارکت کردید. ایشالا این آموزش رو آماده میکنیم و رایگان میدیم به دوستان ❤️
#nlp
@pytorch_howsam

سلام دوستان 🖤

میدونید knowledge distillation چیه؟ یک ساختار شامل دو شبکه معلم و دانش آموز هست که شبکه معلم به دانش آموز کمک میکنه که بیشتر یاد بگیره...

موضوع جذابیه و هرساله یه عالمه مقاله روی این موضوع ارائه میشه. لینک زیر لیستی از مقالات رو تا سال 2022 جمع‌آوری کرده:
https://github.com/lhyfst/knowledge-distillation-papers

این هم یک survey خوب:
https://arxiv.org/abs/2004.05937

@pytorch_howsam

اگه بخوایید یه شبکه MLP چند لایه توی پایتورچ بسازید، چیکار میکنید؟
احتمالا با دستور nn.Linear و nn.Sequential میایید یک شبکه میسازید. انصافا ساده هم هست.
model = nn.Sequential(
nn.Linear(10, 20),
nn.LayerNorm(20),
nn.ReLU(),
nn.Linear(20, 30),
nn.LayerNorm(30),
nn.ReLU(),
nn.Linear(30, 5)
)

اما یک دستوری توی پایتورچ هست که باهاش میتونید MLP بسازید. دستور زیر به شما امکان ساخت MLP با هر تعداد لایه دلخواه رو میده. تازه میتونید لایه نرمالیزه، فعالساز و دراپ اوت رو هم تعیین کنید. نمونه مثال زیر رو ببینید:
torchvision.ops.MLP(10, [20, 30, 5], nn.LayerNorm(), nn.ReLU())

برای اطلاعات بیشتر، لینک زیر رو مطالعه کنید:
https://pytorch.org/vision/stable/feature_extraction.html

@pytorch_howsam