#Python #conv2d #convolution

چندروز پیش یک پست وبلاگی معرفی کردیم که یکی از کامل‌ترین‌ها در تشریح عملکرد کانولوشن بود. پست ریپلای شده...

انیمیشن‌های خوب و زیادی داشت که یکیشو اینجا پیوست کردیم. برای بعضیا سوال شده بود که با چه ابزاری این انیمیشن‌ها رو ساخته؟! چون ما خودمون با پاورپوینت می‌کشیم و بعد انیمیشن می‌کنیم. یا بعضیا با فتوشاپ می‌کشن...

در متنش گفته همه اینها با پایتون کشیده شده 😐 کدهاشم اوپن‌سورسه...

جالبه، دست مریزاد...

لینک گیتهاب این پروژه

@pytorch_howsam

#monai #pytorch

شرکت Nvidia مجموعه‌ای به‌نام monai راه انداخته که تمرکزش روی پزشکی در هوش مصنوعی هست.

درحال حاضر یک فریمورک به‌نام monai مخصوص پزشکی آماده کردن که بر پایه پایتورچ آماده شده...

نکته مهمی که معمولا دانشجوهای مهندسی پزشکی باهاش مواجه هستن، اطلاعات و کد آموزشی کم در حوزه دیپ لرنینگ و پزشکی هست. اما کافیه که به سایت monai برید، در همون صفحه اول سایت، تعداد بسیار زیادی مثال تحت عنوان Getting Started وجود داره که میتونه شروع خوبی باشه.

یک اسکرین‌شات از مثال‌ها گذاشتیم. بیشتر از اینهاست. به سایت زیر برید و خودتون مشاهده کنید:
monai.ai

@pytorch_howsam

#آموزش_پایتورچ

جلسه چهارم: آموزش ساخت تنسورهای تصادفی در پایتورچ منتشر شد.

https://howsam.org/random-tensor-pytorch/

در این جلسه می‌خواهیم به شما نحوه ساخت تنسور تصادفی در پایتورچ را آموزش دهیم. در این جلسه با دستورهایی مثل rand ، randn ، randperm و randint در پایتورچ آشنا خواهید شد. با هوسم همراه باشید...

چرا در آموزش پایتورچ، بعد از گذشت چهارجلسه خبری از آموزش شبکه‌های عصبی نیست؟
نامپای ( numpy ) در یادگیری ماشین و یادگیری عمیق نقش کلیدی دارد. حتی در این پست (لینک) دیدید که نامپای بیشترین استفاده را در ICLR2020 داشته...
بنابراین در شروع مسیر یادگیری پایتورچ یا هر فریمورک دیگری، یادگیری نامپای ضروری هست. اما خوشبختانه پایتورچ یک نامپای در دل خودش دارد. یعنی نیازی نیست نامپای را بیاموزید، بسیاری از دستورات نامپای در پایتورچ دوباره پیاده‌سازی شده است.
به‌همین دلیل، جلسات ابتدایی را به آموزش دستورات مشابه نامپای در پایتورچ اختصاص داده‌ایم. حوصله کنید، به جلسات یادگیری عمیق هم خواهیم رسید. با ما در ارتباط باشید و سوالات و نظرات خود را کامنت کنید.

@pytorch_howsam

#آموزش_پایتورچ

لیست جلسات آموزش پایتورچ که تا امروز منتشر کردیم:

📕 جلسه اول: نصب پایتورچ و سایر موارد لازم

📕 جلسه دوم: ایجاد تنسور در پایتورچ

📕 جلسه سوم: تنسورهای خاص در پایتورچ

📕 جلسه چهارم: تنسور تصادفی در پایتورچ

📕 ادامه دارد...

@pytorch_howsam

#OpenAI #learning_day

روز یادگیری یا Learning Day عنوان یک پست وبلاگی است که در سایت OpenAI منتشر شده... پست جالبی هست. خلاصه‌ای از این پست رو در ادامه می‌تونید بخونید.

هر پنج‌شنبه در OpenAI روز یادگیری هست.

روزی که کارمندها آزاد هستن تا با مطالعه و تحقیق مهارت‌های خودشون رو ارتقا بدن. مهارت‌هایی که نمیتونن در کار روزانه یاد بگیرن، اما یاد گرفتن این مهارت‌ها میتونه باعث بشه عملکردشون در کار بهتر بشه.

مثلا تصور کنید، OpenAI مجموعه‌ای از افراد با تخصص‌های مختلف رو داره. یک متخصص نرم‌افزار، شاید کمتر با یادگیری ماشین آشنایی داشته باشه، اما در موقعیت شغلی فعلی اگر یادگیری ماشین بدونه بهتر میتونه با بقیه ارتباط برقرار کنه و پروژه‌ها هم طبیعتا بهتر جلو میره.

روز یادگیری یک هدیه برای کارمندان هست. اونها آزاد هستن که در روز یادگیری کارهایی شبیه موارد زیر انجام بدن:
* خواندن مقالات AI
* پیاده‌سازی مقالات AI
* دیدن کورس‌های آموزشی AI
* یادگرفتن مباحث پایه، مثل جبرخطی، آمار و احتمال و غیره
* آشنایی با زبان‌های برنامه‌نویسی و فریمورک‌های جدید

لینک:
https://openai.com/blog/learning-day/

#markdown

با markdown آشنا هستید؟
به‌صورت خلاصه، markdown روشی برای نوشتن محتوا برای وب هست. در حوزه آکادمیک و برای محققین، markdown کاربرد زیادی داره.

کافیه که به reddit و خصوصا github سر بزنید. تمام توضیحاتی که در پیج github پروژه‌ها می‌بینید، با همین markdown نوشته شده.

به تصویر پیوستی نگاه کنید. در سمت چپ، با یکسری علایم یک متنی نوشته شده و در سمت راست شما خروجی کار رو می‌بینید. مثلا برای عنوان‌ها H1 H2 و الی آخر، کافیه از # استفاده کنید.

یادگیریش بسیار راحته. کافیه به سایت زیر برید و آموزش رو شروع کنید. سایت این قابلیت رو هم گذاشته که مرحله‌ به مرحله آموزش‌ها رو آنلاین تست کنید و بعد برید جلو...
https://www.markdowntutorial.com/

موافقید خودمون چند جلسه آموزش متنی به فارسی براش آماده کنیم؟

@pytorch_howsam

#pytorch #tutorials

بخش Tutorials سایت پایتورچ آپدیت شده...

آموزش‌هایی که قبلا توی سایت پایتورچ بود، خیلی متنوع و خوب بود. از مباحث صفر تا پیشرفته رو به‌صورت خلاصه پوشش دادن. مثلا می‌تونید آموزش 60 دقیقه‌ای شروع پایتورچ رو ببینید که خیلی طرفدار داره. یا آموزش‌هایی از Production (بحث‌های تجاری) و ++C ببینید.

اما با بروزرسانی جدید، یک دسته‌بندی خوب براش ساختن (مطابق تصویر بالا) که با دسته‌بندی به همه آموزش‌ها دسترسی داشته باشید. همچنین، آموزش‌های جدیدی هم اضافه کردن. الان برای تصویر، متن و صوت آموزش داره و خیلی ساده هم توضیح داده.

این هم لینک بخش Tutorials:
https://pytorch.org/tutorials/index.html

@pytorch_howsam

#receptive_field

اندر حکایت Receptive Field

با receprive field در شبکه‌های CNN آشنا هستید؟ یکی از مهم‌ترین مفاهیم در شبکه‌های CNN هست و طراحی شبکه‌ها بهش خیلی توجه میشه. خصوصا شبکه‌های دیتکشن...

می‌تونیم receptive field رو اینطور تعریف کنیم: ناحیه‌ای از فضای ورودی که از دید فیچرمپ شبکه CNN درحال نگاه کردن بهش هستیم. مثلا فیچر خروجی یک لایه کانولوشنی 3×3 رو درنظر بگیرید. درواقع از هر درایه فیچر خروجی به یک ناحیه 3×3 از ورودی نگاه می‌کنید.

بدون دیدن شکل، شاید کمی تصورش سخت باشه. به تصویر پیوستی نگاه کنید. منبع تصویر بالا، سایت distill.pub هست که دغدغه‌اش شکافتن مباحث مشکل در یادگیری عمیق و ماشین هست. در لینک زیر می‌تونید به‌صورت ریاضی و البته با ابزار آنلاینش بازی کنید:
لینک

تصویر بالا ابزار آنلاینش رو نشون میده، خیلی جالبه...

در این لینک هم می‌تونید به‌صورت تصویری با receptive field آشنا بشید.

بعدا در یک پست جداگونه سایت خفن distill.pub رو معرفی می‌کنیم. البته پست بالا رو ببینید، متوجه میشید که چقدر کارشون سطح بالاست.

@pytorch_howsam

#fun

ربات کاتب 👌

نمی‌دونم تا حالا ایرانداک رفتید یا نه. ایرانداک مخزن پایان‌نامه دانشجوهاست که توی تهران به‌صورت حضوری می‌تونید برید و پایان‌نامه‌های دیگران رو مطالعه کنید. ولی نه می‌تونید پایان‌نامه رو امانت بگیرید و نه عکس بگیرید... تنها کاری که می‌تونید بکنید اینه که کاغذ و خودکار بردارید و بنویسید...

ویدئوی بالا رو که دیدم، یاد دانشجوهای مراجعه‌کننده به ایرانداک افتادم. یکسری کاتب نشستن با سرعت نور در حال نوشتن هستن 😁

اینم اضافه کنم که مراقب‌هایی همچون عقاب همراه با دوربین‌های مدار بسته اونجا هستن که نکنه شما بخوایید از صفحات عکس بگیرید 😐

باز اینم اضافه کنم که اونجا ساعتی ازتون پول میگیرن 😐

نمی‌دونم دلیلش چیه، اما آیا این کارها به‌خاطر تقلب نکردن دانشجوها و جلوگیری از کپی‌کاری پایان‌نامه انجام میشه؟ یعنی arxiv.org منبع تقلبه؟! گیتهابم؟! 🤔

من چند سال پیش، یک بار تجربه حضور در چنین فضای عجیبی رو داشتم. ایشالا قسمت شما 😁

#paper

Supervised Contrastive Learning

چند وقت پیش مقاله‌ای از آقای هینتون و همکارانشون برای Semi-supervised با Contrastive Loss و Augmentation منتشر شد که کار جالبی بود و بین محققین خیلی موردتوجه قرار گرفت. چقدر در این مقاله Augmentation نقش کلیدی داشت.

حالا براساس این مقاله، کار دیگری انجام شده که از Contrastive Loss در داده‌های Supervised استفاده شده. هدف این بوده که با این تکنیک، دقت بهتری نسبت به CrossEntropy Loss بدست بیارن که به این هدف هم رسیدن. 1 درصد در دیتاست imagenet با شبکه resnet50 بهتر شدن.

به تصویر نگاه کنید؛ سمت چپ، روش کراس‌انتروپی نشون داده شده که آشناست. وسط، کنتراستیو در نیمه-نظارتی نشون داده شده که می‌بینید یک تصویر ورودی به دو شکل متفاوت (تصویر اصلی و آگمنت‌شده) به شبکه داده میشه و از طریق تابع اتلاف کنتراستیو، شبکه آموزش میبینه. سمت راست، کنتراستیو در باناظر رو نشون میده که یک کراس‌انتروپی و کنتراستیو داره. کنتراستیو لاس برای آموزش شبکه به‌کار میره و کراس‌انتروپی برای آموزش کلاسیفایر.

مقاله

کد رسمی (پایتورچ)

@pytorch_howsam

#خبرهای_کوتاه

سایت paperswithcode.com آپدیت شده

مجموعه‌ای از کورس‌های یادگیری ماشین از مقدماتی تا پیشرفته (لینک)

ساخت مدل سه‌بعدی چهره با پایتورچ (لینک)

یکسری مقاله از ICLR2020 که موردتوجه کاربرهای توییتر قرار گرفته (لینک)

@pytorch_howsam

#Asteroid

یک فریمورک کامل در زمینه صوت مبتنی‌بر پایتورچ برای جداسازی صوت از منبع

همراه با داکیومنت و مثال، مناسب برای محقق‌ها

لينک:
https://github.com/mpariente/asteroid

@pytorch_howsam

#challenge #facebook

مسابقه Hateful Meme

فیسبوک مسابقه‌ای جالب با عنوان Hateful Meme طراحی و معرفی کرده. در تصویر بالا، نمونه‌هایی از Meme نشون داده شده. محتوای Meme در این مسابقه ترکیبی از تصویر و متن است.

این تصاویر و متن به‌تنهایی معنا و مفهوم بدی ندارن، اما وقتی درکنار هم قرار می‌گیرن معنای بد میدن. مثلا تصویر سمت راست رو ببینید: نگاه کن چند نفر دوستت دارند!

برای این مسابقه، یک دیتاست با 10 هزار نمونه آماده شده. از محقق‌ها خواسته شده سیستمی طراحی کنن تا بتونه نمونه‌های تنفرآمیز رو شناسایی کنه.

برای این مسابقه، 100 هزار دلار جایزه درنظر گرفته شده. این مسابقه به‌عنوان یکی از چالش‌های NeurIPS 2020 پذیرفته شده.

در روزهای آینده، مطالب بیشتری از این مسابقه میذاریم.

لینک مرجع

@pytorch_howsam

در بخش Machine Learning در ردیت، کاربرها هرروز مطالب جالبی رو میذارن که توصیه میشه عضو بشید و مطالب رو پیگیری کنید. این کانال یک میلیون عضو داره!

یکی از پست‌هایی که هفتگی گذاشته میشه، WAYR یا What Are You Reading هست. این هفته داری چی می‌خونی؟

از این طریق می‌تونید با مقاله‌ها، مطالب و کتاب‌هایی آشنا بشید که در دنیا موردتوجه هست.

مثلا، به‌نظر میرسه این روزها افراد مشغول بررسی کنفرانس تازه تموم‌شده ICLR2020 هستند. یکی از مقالاتی که موردتوجه بوده مقاله زیر هست:
Your classifier is secretly an energy based model and you should treat it like one (Link)

این هم لینک کدهای مقاله بالا که به پایتورچ هست.

این روزها در مورد energy based models زیاد صحبت میشه. حتی آقای Yann Lecun هم در ICLR2020 یک جلسه‌ گفت‌وگوی دو ساعته در این مورد داشتند که در این لینک می‌تونید این گفت‌وگو رو ببینید.

@pytorch_howsam

#work_from_home

توییتر به کارمندانش اجازه می‌دهد تا برای همیشه دورکاری کنند (منبع).

با افزایش مبتلایان به کرونا در سراسر دنیا، بسیاری از شرکت‌ها تصمیم گرفتند که امکان کار از منزل را فراهم کنند. حالا بعد از گذشت مدت کوتاهی، به‌نظر می‌رسد شرکت‌هایی هستند که از بازدهی و شرایط دورکاری کارمندان راضی هستند و می‌خواهند این فرآیند حتی بعد از کرونا هم ادامه داشته باشد.

یکی از این شرکت‌ها توئیتر است که به تازگی این تصمیم را گرفته... البته، این شرایط برای همه کارمندان نیست و کارمندانی که حضور فیزیکی آنها ضروری است، مانند پشتیانی، امکان دورکاری برایشان فراهم نیست.

پ.ن: مدیریت و برنامه‌ریزی درست باعث میشه که حتی زمانی‌که مدیر بالا سر کارمندها نیست هم اتفاق خاصی نیفته و کارها به‌صورت معمول پیش بره. حتی شاید با تمرکز بهتر هم پیش بره! درعین حال، شرکت‌هایی هم وجود داره که از حضور فیزیکی کارمندها در شرکت به این دیدگاه میرسن که همه‌چیز به خوبی پیش میره!

#pytorch

اگر حوصله آموزش کدنویسی ویدئویی و یا آموزش‌های طولانی رو ندارید. یا به آموزش‌های با مثال علاقه دارید، لینک زیر از سایت برجسته Machine Learning Mastery احتمالا بدردتون میخوره.
لینک آموزش کدنویسی پایتورچ

در لینک بالا، در قالب چند مثال متنوع از مرحله نصب تا آموزش شبکه‌های دیپ آموزش داده شده.

اگرچه ما هم هرهفته آموزش پایتورچ منتشر می‌کنیم (لینک)، اما ممکنه بعضی دوستان از سبک جلسه‌ای و طولانی‌مدت خوششون نیاد و دنبال یک آموزش سریع باشن.

@pytorch_howsam

#object_detection #faster_rcnn

اگر به پیاده‌سازی مرحله‌ به مرحله شبکه تشخیص اشیای Faster-RCNN با پایتورچ علاقه دارید، مقاله زیر در مدیوم رو از دست ندید.

از ویژگی‌های شاخص این مقاله اینه که مولف تئوری و کدنویسی رو گام به گام همراه با تصاویر توضیح میده. تصاویری که ایده خود مولف هست و صرفا یک کپی از مقالات و منابع دیگه نیست. مثلا تصویر پیوستی رو ببینید؛ بسیار زیبا Anchor center و Anchor box رو به تصویر کشیده. اتفاقا یکی از بهترین بخش‌های این مقاله، توضیحات مربوط به Anchor هست.

البته، مطالعه این مقاله زمان‌بره و با یک بار مطالعه نمیشه مسلط شد.

لینک مقاله

@pytorch_howsam

#nlp #pytorch

A Deep Dive into NLP with PyTorch

یک آموزش عالی برای NLP در پایتورچ... در این آموزش، از مباحث مقدماتی (مانند معرفی پایتورچ، توکنایز کردن) تا مباحث پیشرفته (مانند شبکه‌های بازگشتی، اتنشن و ترنسفورمرها) مرور میشه.

لینک ویدئو

@pytorch_howsam

#pytorch_lightning

پکیج PyTorch Lightning، سادگی بیشتری را برای مهندسان یادگیری ماشین به ارمغان می‌آورد.

اگرچه کدنویسی با پایتورچ ساده هست و محققان با آن راحت هستند، اما PyTorch Lightning می‌تواند کار را برای مهندسان آسان کند. مهندسان برخلاف به محققان ممکن‌است چندان علاقه‌مند به جزئیات شبکه‌ها نباشند. بنابراین، احتمالا ترجیح می‌دهند، صرفا با چند خط به اهدافشان برسند و یک شبکه آموزش دهند. به تصویر نگاه کنید؛ بجای حلقه آموزش در پایتورچ، تنها با Trainer در PyTorch Lightning فرآیند آموزش انجام شده است.

درواقع، PyTorch Lightning رو می‌تونیم معادل کراس برای تنسورفلو بدونیم. البته، PyTorch Lightning جزوی از پایتورچ نیست و مستقل درحال توسعه هست.

اخیرا در توییتر، در مورد پکیج PyTorch Lightning زیاد صحبت میشه و فیدبک‌های مثبتی دیده میشه.

پیج PyTorch Lightning

@pytorch_howsam

#reddit

امروز، در ردیت فردی موضوع زیر رو مطرح کرد؟

من، دو سال هست که در یکی از شاخه‌های بینایی کامپیوتر با یادگیری عمیق کار می‌کنم. تقریبا به موضوع خودم تسلط خوبی دارم. اما چالش‌های زیادی دارم که نمی‌تونم مدیریت کنم. مثلا، شما چطور خودتون رو بروز نگه می‌دارید؟ من میخوام مقاله‌های جدید در سایر زمینه‌ها رو مطالعه کنم تا بتونم از اونها الهام بگیرم. شما چطوری اینکارو انجام میدید؟ هرچند وقت مقاله میخونید؟ لیست مقالاتی که باید بخونید رو چطوری مدیریت می‌کنید؟ اکسل، مندلی یا چی؟ و چند سوال دیگه... لینک

خب خوبی ردیت اینه که مشارکت بالاست و خیلی‌ها میان نظر میدن. چندتا از جواب‌ها رو کوتاه در ادامه ببینید.

من یکسری از محقق‌ها رو در گیتهاب و گوگل اسکالر فالو کردم. وقتی اونها چیزی منتشر میکنن من باخبر میشم.

یک نفر دیگه گفته که این لیست از افراد توییتر میتونه در بروز موندن کمک کنه.

یک نفر paperswithcode.com رو معرفی کرده.

یک نفر دیگه سایت madewithml.com رو معرفی کرده.

یک نفر دیگه سایت mindmeister.com رو برای مدیریت کارها معرفی کرده. سایت جالبیه، نمونه‌های داخلی رایگان هم داریم. نگاهی به سایت تسکولو بندازید...

خب، جواب شما به این سوال‌ها چی هست؟ چطور کارهاتون در حوزه هوش مصنوعی رو مدیریت می‌کنید؟ هم دانشگاهی هم کاری؟ چه نرم‌افزارهایی دارید؟ چطور بروز می‌مونید. لطفا کامنت کنید تا بقیه هم استفاده کنن. اگه کامنت سخته، برای ادمین بفرستید تا در کانال نشر بدیم.

@pytorch_howsam