How to user Pytorch more efficiently? (by NVIDIA)

🔵In dataloader it’s almost always better to use pin_memory=true and num_worker>0

🔵If you have convolution followed by batch norm, set the bias in convolution to zero that has no effect on the result but makes everything faster.

🔵Use the param.grad=None instead of zero_grad()

model.zero_grad() ===> for param in model.parameters():
param.grad =None

🔵Using pytorch jit can fuse operations into one single CUDA kernel
Unfused point-wise operations are memory bound. They have to
Launch a separate CUDA kernel
Load data from global memory
Perform computation
Store results back into global memory

@torch.jit.script
def gelu(x):
Return x*0.5*(1+ torch.erf(x/1.41))
That decorator makes it much faster!

More here
slides

آشنایی با شبکه عصبی GAN

در این پست درمورد شبکه عصبی GAN و معماری آن توضیح داده شده است.

لینک

@pytorch_howsam

This is the most detailed model of a human cell to date, obtained using x-ray, NMR and cryoelectron microscopy datasets.

“Cellular landscape cross-section through a eukaryotic cell.”
- by Evan Ingersoll and Gael McGill.

https://digizyme.com/cst_landscapes.html

چقدر از vscode استفاده می‌کنید؟

با نصب کتابخونه colabcode در گوگل کولب، میتونید بجای کد زدن در نوتبوک، در محیط vscode کد بزنید. یک vscode آنلاین باز میشه و شما با بهره گیری از سخت افزار کولب در vscode کدنویسی میکنید.

ویدئوی آموزش راه اندازی

در توضیحات کتابخونه گفته شده که برای کاگل هم قابل استفاده هست.

البته، ما فقط کولب رو تست کردیم که راحت راه اندازی شد.

@pytorch_howsam

دوره یادگیری ماشین دانشگاه استنفورد (Andrew Ng) به فارسی! 🤖
🌐 وب سایت:
https://mehrdad-dev.github.io/ml-andrew-ng/
برای تکمیل و بهتر کردن ترجمه و وب سایت نیاز به مشارکت شما داریم:
https://github.com/mehrdad-dev/ml-andrew-ng-code
رایگان و اوپن سورس.

ضربان قلب حین ارائه

قسمت walk onto stage رو بارها عمیقا تجربه کردم 😅

لینک

@pytorch_howsam

چطوری با بینایی کامپیوتر هواپیماها رو در تصویر هوایی پیدا کنیم؟

این نوشته در سایت ویرگول بود، به‌نظرم بد نبود.

لینک

@pytorch_howsam

ارقام دستنویس فارسی

این مجموعه بزرگ ارقام دستنویس فارسی، شامل ۱۰۲۳۵۳ نمونه دست‌نوشته سیاه و سفید است. داده های این مجموعه از حدود ۱۲۰۰۰ فرم ثبت نام آزمون سراسری کارشناسی ارشد و آزمون کاردانی در سال ۱۳۸۳ استخراج شده است. هر عدد یک تصویر ۲۸ در ۲۸ پیکسل است.

لینک

@pytorch_howsam

با کتابخونه celluloid میتونید به راحتی از نمودارهای matplotlib انیمیشن بسازید.

در تصویر بالا اسلایسهای مختلف یک تنسور به صورت انیمیشن درحال نمایشه.

لینک

@pytorch_howsam

بچه های دبیرستانی رشته ریاضی یک عالمه ریاضی میخونن! مثلا، حساب (مشتق و انتگرال)، آمار، احتمال، هندسه و جبرخطی...

این مباحث در هوش مصنوعی نقش مهمی دارن. اگر در این مباحث ضعیف هستید یا اصلا آشنایی ندارید، پیشنهاد میشه برای شروع این کتابها رو مطالعه کنید.

مثلا، کتاب هندسه تحلیلی و جبرخطی درمورد ماتریسها و بردارها توضیحات خوبی داره:
لینک کتاب قدیمی (کتاب پیش دانشگاهی)
لینک کتاب جدید (با عنوان هندسه 3)

پیشنهاد میشه کتابهای قدیمی رو بخونید، چون احتمالا حجم مطالبشون بیشتره. بقیه کتابها رو هم از سایت بالا میتونید پیدا کنید و راحت دانلود کنید.

@pytorch_howsam

یکی از بهترین تعاریف یادگیری ماشین از زبان آرتور ساموئل

لینک

@pytorch_howsam

انقلابی در حوزه بیولوژی

ما دو انقلاب در حوزه تصویر و متن رو در سالهای 2012 و 2018 با کانولوشن و ترنسفورمرها تجربه کردیم. حالا انقلابی در حوزه بیولوژی با AlphaFold رخ داده. به نمودار نگاه کنید که چقدر بهتر از بقیه هست.

اطلاعات بیشتر درباره AlphaFold

@pytorch_howsam

آموزش سریع پایتون هوسم

لینک

3 ساعت آموزش پایتون را در آپارات هوسم مشاهده نمایید.

این آموزش ادامه دارد...

@howsam_org

با jax آشنا هستید؟

فریمورک jax یک فریمورک عالی برای حوزه یادگیری ماشین هست. این فریمورک بر پایه نامپای کار میکنه و دو تا ویژگی مهم داره.

اول اینکه شما قابلیت مشتق‌گیری خودکار دارید. دوم، می‌تونید محاسبات رو روی GPU و TPU انجام بدید.

یک نمونه کد مشتق‌گیری خودکار از تابع سیگموید به همراه نمودار مشتق رو در تصویر ببینید. با دستور grad در jax می‌تونید مشتق خودکار بگیرید.

فریمورک jax رو گوگل ساخته. یک فریمورک دیگه بنام autograd وجود داره که دیگه توسعه داده نمیشه و یکسری از توسعه‌هنده‌های این فریمورک به پروژه jax ملحق شدن.

@pytorch_howsam

🔷 مرکز توسعه فناوری‌های نوظهور دیجیتال با حمایت ستاد توسعه فناوری‌های اقتصاد دیجیتال و هوشمندسازی برگزار می‌کند:

📊 فراخوان تدوین اطلس کسب‌وکارهای فعال در حوزه «هوش مصنوعی»

✅ شرکت در این فراخوان برای همه شرکت‌کنندگان واجد شرایط، رایگان است.

📕 اطلاع‌ از شرایط ثبت‌نام

🖥 iChallenge.ir
📱 @iChallenge

@pytorch_howsam

سوال یکی از کاربران سایت درباره گوگل کولب

سوال:
سلام وقتتون بخیر ،در خصوص یه مطلبی که تو وبلاگتون قرار دادید به نام چگونگی وصل شدن و استفاده کردن از گوگل کولب سوالی دارم، من 5ماهه از گوگل کولب بدون فیلتر شکن استفاده میکنم خیلیا جدیدا میگن اگ بدون فیلتر شکن استفاده کنی بلاک میشیم و اینا، میخواستم بدونم در چه صورتی بلاک میشیم تو گوگل کولب و من دقیقا بدون فیلتر شکن برم یا نه، ممنون 🙏

جواب:
سلام. ما هر هفته از گوگل کولب استفاده میکنیم. بلاک نشدیم و من صحبتی هم در این باره تا حالا نشنیدم. پیام شما در کانال میذارم که بقیه هم نظر بدن.

شما در این باره نظری دارید؟ لطفا در کامنت مطرح کنید.

@pytorch_howsam

سوالی که در پست وبلاگ آموزش گوگل کولب مطرح شده

سوال:
سوالی دارم اینکه از گوگل کولب میشه به فایل های داخل یک درایو خاص در ویندوزم دسترسی داشته باشم؟ یا حتما باید اطلاعات رو در گوگل درایو قرار بدم و مانت کنم؟ مثلا من میخوام با دستور listdir لیست تمامی فایلهایی که در دایرکتوری خاصی روی ویندوز قرار داره رو بگیرم ولی با خطای NameError: name ‘listdir’ is not defined مواجه میشم.

جواب:
خیر، نمیتونید با استفاده از دستوراتی مثل listdir به فایل‌های موجود در کامپیوتر شخصی دسترسی داشته باشید. به دو روش زیر میتونید این کار رو انجام بدید:

1- آپلود فایلها در گوگل درایو و مانت گوگل درایو (بهترین راه)
from google.colab import drive
drive.mount('/content/drive')
!ls /content/drive/MyDrive/

2- آپلود فایلها در گوگل کولب و استفاده از هارد ماشین مجازی که به شما داده شده (اطلاعات موقت ذخیره شده و پاک میشه)
from google.colab import files
uploaded = files.upload()

** در بعضی از حالات میشه داده‌ها رو در یک هاست ذخیره کرد و از اون هاست به داده‌ها در گوگل درایو دسترسی داشت.

لطفا شما هم تجربیات خودتون رو کامنت کنید. تلاش میکنیم با این سوال و جوابها تعامل خوبی بین فعالین هوش مصنوعی ایجاد کنیم. مشارکت دیروز خوب بود.

@pytorch_howsam

کورس یادگیری عمیق

این کورس توسط آقای سهیل فیضی در خارج کشور به زبان انگلیسی برگزار میشه.

بسیاری از مفاهیم پایه و پیشرفته یادگیری عمیق در این دوره تدریس شده. مثلا مباحث یادگیری عمیق مقدماتی، self supervised، شبکه GAN، متالرنینگ، domain adaptation و یادگیری تقویتی در این دوره تدریس شده.

لینک یوتیوب

@pytorch_howsam