PyTorch Howsam
3.01K subscribers
341 photos
48 videos
5 files
476 links
از هوش مصنوعی میگیم...

ارتباط با ادمین
@howsam_support
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
#pytorch #tutorials

بخش Tutorials سایت پایتورچ آپدیت شده...

آموزش‌هایی که قبلا توی سایت پایتورچ بود، خیلی متنوع و خوب بود. از مباحث صفر تا پیشرفته رو به‌صورت خلاصه پوشش دادن. مثلا می‌تونید آموزش 60 دقیقه‌ای شروع پایتورچ رو ببینید که خیلی طرفدار داره. یا آموزش‌هایی از Production (بحث‌های تجاری) و ++C ببینید.

اما با بروزرسانی جدید، یک دسته‌بندی خوب براش ساختن (مطابق تصویر بالا) که با دسته‌بندی به همه آموزش‌ها دسترسی داشته باشید. همچنین، آموزش‌های جدیدی هم اضافه کردن. الان برای تصویر، متن و صوت آموزش داره و خیلی ساده هم توضیح داده.

این هم لینک بخش Tutorials:
https://pytorch.org/tutorials/index.html

@pytorch_howsam
animation.gif
14.9 MB
#receptive_field

اندر حکایت Receptive Field

با receprive field در شبکه‌های CNN آشنا هستید؟ یکی از مهم‌ترین مفاهیم در شبکه‌های CNN هست و طراحی شبکه‌ها بهش خیلی توجه میشه. خصوصا شبکه‌های دیتکشن...

می‌تونیم receptive field رو اینطور تعریف کنیم: ناحیه‌ای از فضای ورودی که از دید فیچرمپ شبکه CNN درحال نگاه کردن بهش هستیم. مثلا فیچر خروجی یک لایه کانولوشنی 3×3 رو درنظر بگیرید. درواقع از هر درایه فیچر خروجی به یک ناحیه 3×3 از ورودی نگاه می‌کنید.

بدون دیدن شکل، شاید کمی تصورش سخت باشه. به تصویر پیوستی نگاه کنید. منبع تصویر بالا، سایت distill.pub هست که دغدغه‌اش شکافتن مباحث مشکل در یادگیری عمیق و ماشین هست. در لینک زیر می‌تونید به‌صورت ریاضی و البته با ابزار آنلاینش بازی کنید:
لینک

تصویر بالا ابزار آنلاینش رو نشون میده، خیلی جالبه...

در این لینک هم می‌تونید به‌صورت تصویری با receptive field آشنا بشید.

بعدا در یک پست جداگونه سایت خفن distill.pub رو معرفی می‌کنیم. البته پست بالا رو ببینید، متوجه میشید که چقدر کارشون سطح بالاست.

@pytorch_howsam
This media is not supported in your browser
VIEW IN TELEGRAM
#fun

ربات کاتب 👌

نمی‌دونم تا حالا ایرانداک رفتید یا نه. ایرانداک مخزن پایان‌نامه دانشجوهاست که توی تهران به‌صورت حضوری می‌تونید برید و پایان‌نامه‌های دیگران رو مطالعه کنید. ولی نه می‌تونید پایان‌نامه رو امانت بگیرید و نه عکس بگیرید... تنها کاری که می‌تونید بکنید اینه که کاغذ و خودکار بردارید و بنویسید...

ویدئوی بالا رو که دیدم، یاد دانشجوهای مراجعه‌کننده به ایرانداک افتادم. یکسری کاتب نشستن با سرعت نور در حال نوشتن هستن 😁

اینم اضافه کنم که مراقب‌هایی همچون عقاب همراه با دوربین‌های مدار بسته اونجا هستن که نکنه شما بخوایید از صفحات عکس بگیرید 😐

باز اینم اضافه کنم که اونجا ساعتی ازتون پول میگیرن 😐

نمی‌دونم دلیلش چیه، اما آیا این کارها به‌خاطر تقلب نکردن دانشجوها و جلوگیری از کپی‌کاری پایان‌نامه انجام میشه؟ یعنی arxiv.org منبع تقلبه؟! گیتهابم؟! 🤔

من چند سال پیش، یک بار تجربه حضور در چنین فضای عجیبی رو داشتم. ایشالا قسمت شما 😁
#paper

Supervised Contrastive Learning

چند وقت پیش مقاله‌ای از آقای هینتون و همکارانشون برای Semi-supervised با Contrastive Loss و Augmentation منتشر شد که کار جالبی بود و بین محققین خیلی موردتوجه قرار گرفت. چقدر در این مقاله Augmentation نقش کلیدی داشت.

حالا براساس این مقاله، کار دیگری انجام شده که از Contrastive Loss در داده‌های Supervised استفاده شده. هدف این بوده که با این تکنیک، دقت بهتری نسبت به CrossEntropy Loss بدست بیارن که به این هدف هم رسیدن. 1 درصد در دیتاست imagenet با شبکه resnet50 بهتر شدن.

به تصویر نگاه کنید؛ سمت چپ، روش کراس‌انتروپی نشون داده شده که آشناست. وسط، کنتراستیو در نیمه-نظارتی نشون داده شده که می‌بینید یک تصویر ورودی به دو شکل متفاوت (تصویر اصلی و آگمنت‌شده) به شبکه داده میشه و از طریق تابع اتلاف کنتراستیو، شبکه آموزش میبینه. سمت راست، کنتراستیو در باناظر رو نشون میده که یک کراس‌انتروپی و کنتراستیو داره. کنتراستیو لاس برای آموزش شبکه به‌کار میره و کراس‌انتروپی برای آموزش کلاسیفایر.

مقاله

کد رسمی (پایتورچ)

@pytorch_howsam
#خبرهای_کوتاه

سایت paperswithcode.com آپدیت شده

مجموعه‌ای از کورس‌های یادگیری ماشین از مقدماتی تا پیشرفته (لینک)

ساخت مدل سه‌بعدی چهره با پایتورچ (لینک)

یکسری مقاله از ICLR2020 که موردتوجه کاربرهای توییتر قرار گرفته (لینک)

@pytorch_howsam
#Asteroid

یک فریمورک کامل در زمینه صوت مبتنی‌بر پایتورچ برای جداسازی صوت از منبع

همراه با داکیومنت و مثال، مناسب برای محقق‌ها

لينک:
https://github.com/mpariente/asteroid

@pytorch_howsam
#challenge #facebook

مسابقه Hateful Meme

فیسبوک مسابقه‌ای جالب با عنوان Hateful Meme طراحی و معرفی کرده. در تصویر بالا، نمونه‌هایی از Meme نشون داده شده. محتوای Meme در این مسابقه ترکیبی از تصویر و متن است.

این تصاویر و متن به‌تنهایی معنا و مفهوم بدی ندارن، اما وقتی درکنار هم قرار می‌گیرن معنای بد میدن. مثلا تصویر سمت راست رو ببینید: نگاه کن چند نفر دوستت دارند!

برای این مسابقه، یک دیتاست با 10 هزار نمونه آماده شده. از محقق‌ها خواسته شده سیستمی طراحی کنن تا بتونه نمونه‌های تنفرآمیز رو شناسایی کنه.

برای این مسابقه، 100 هزار دلار جایزه درنظر گرفته شده. این مسابقه به‌عنوان یکی از چالش‌های NeurIPS 2020 پذیرفته شده.

در روزهای آینده، مطالب بیشتری از این مسابقه میذاریم.

لینک مرجع

@pytorch_howsam
در بخش Machine Learning در ردیت، کاربرها هرروز مطالب جالبی رو میذارن که توصیه میشه عضو بشید و مطالب رو پیگیری کنید. این کانال یک میلیون عضو داره!

یکی از پست‌هایی که هفتگی گذاشته میشه، WAYR یا What Are You Reading هست. این هفته داری چی می‌خونی؟

از این طریق می‌تونید با مقاله‌ها، مطالب و کتاب‌هایی آشنا بشید که در دنیا موردتوجه هست.

مثلا، به‌نظر میرسه این روزها افراد مشغول بررسی کنفرانس تازه تموم‌شده ICLR2020 هستند. یکی از مقالاتی که موردتوجه بوده مقاله زیر هست:
Your classifier is secretly an energy based model and you should treat it like one (Link)

این هم لینک کدهای مقاله بالا که به پایتورچ هست.

این روزها در مورد energy based models زیاد صحبت میشه. حتی آقای Yann Lecun هم در ICLR2020 یک جلسه‌ گفت‌وگوی دو ساعته در این مورد داشتند که در این لینک می‌تونید این گفت‌وگو رو ببینید.

@pytorch_howsam
#work_from_home

توییتر به کارمندانش اجازه می‌دهد تا برای همیشه دورکاری کنند (منبع).

با افزایش مبتلایان به کرونا در سراسر دنیا، بسیاری از شرکت‌ها تصمیم گرفتند که امکان کار از منزل را فراهم کنند. حالا بعد از گذشت مدت کوتاهی، به‌نظر می‌رسد شرکت‌هایی هستند که از بازدهی و شرایط دورکاری کارمندان راضی هستند و می‌خواهند این فرآیند حتی بعد از کرونا هم ادامه داشته باشد.

یکی از این شرکت‌ها توئیتر است که به تازگی این تصمیم را گرفته... البته، این شرایط برای همه کارمندان نیست و کارمندانی که حضور فیزیکی آنها ضروری است، مانند پشتیانی، امکان دورکاری برایشان فراهم نیست.

پ.ن: مدیریت و برنامه‌ریزی درست باعث میشه که حتی زمانی‌که مدیر بالا سر کارمندها نیست هم اتفاق خاصی نیفته و کارها به‌صورت معمول پیش بره. حتی شاید با تمرکز بهتر هم پیش بره! درعین حال، شرکت‌هایی هم وجود داره که از حضور فیزیکی کارمندها در شرکت به این دیدگاه میرسن که همه‌چیز به خوبی پیش میره!
#pytorch

اگر حوصله آموزش کدنویسی ویدئویی و یا آموزش‌های طولانی رو ندارید. یا به آموزش‌های با مثال علاقه دارید، لینک زیر از سایت برجسته Machine Learning Mastery احتمالا بدردتون میخوره.
لینک آموزش کدنویسی پایتورچ

در لینک بالا، در قالب چند مثال متنوع از مرحله نصب تا آموزش شبکه‌های دیپ آموزش داده شده.

اگرچه ما هم هرهفته آموزش پایتورچ منتشر می‌کنیم (لینک)، اما ممکنه بعضی دوستان از سبک جلسه‌ای و طولانی‌مدت خوششون نیاد و دنبال یک آموزش سریع باشن.

@pytorch_howsam
#object_detection #faster_rcnn

اگر به پیاده‌سازی مرحله‌ به مرحله شبکه تشخیص اشیای Faster-RCNN با پایتورچ علاقه دارید، مقاله زیر در مدیوم رو از دست ندید.

از ویژگی‌های شاخص این مقاله اینه که مولف تئوری و کدنویسی رو گام به گام همراه با تصاویر توضیح میده. تصاویری که ایده خود مولف هست و صرفا یک کپی از مقالات و منابع دیگه نیست. مثلا تصویر پیوستی رو ببینید؛ بسیار زیبا Anchor center و Anchor box رو به تصویر کشیده. اتفاقا یکی از بهترین بخش‌های این مقاله، توضیحات مربوط به Anchor هست.

البته، مطالعه این مقاله زمان‌بره و با یک بار مطالعه نمیشه مسلط شد.

لینک مقاله

@pytorch_howsam
#nlp #pytorch

A Deep Dive into NLP with PyTorch

یک آموزش عالی برای NLP در پایتورچ... در این آموزش، از مباحث مقدماتی (مانند معرفی پایتورچ، توکنایز کردن) تا مباحث پیشرفته (مانند شبکه‌های بازگشتی، اتنشن و ترنسفورمرها) مرور میشه.

لینک ویدئو

@pytorch_howsam
#pytorch_lightning

پکیج PyTorch Lightning، سادگی بیشتری را برای مهندسان یادگیری ماشین به ارمغان می‌آورد.

اگرچه کدنویسی با پایتورچ ساده هست و محققان با آن راحت هستند، اما PyTorch Lightning می‌تواند کار را برای مهندسان آسان کند. مهندسان برخلاف به محققان ممکن‌است چندان علاقه‌مند به جزئیات شبکه‌ها نباشند. بنابراین، احتمالا ترجیح می‌دهند، صرفا با چند خط به اهدافشان برسند و یک شبکه آموزش دهند. به تصویر نگاه کنید؛ بجای حلقه آموزش در پایتورچ، تنها با Trainer در PyTorch Lightning فرآیند آموزش انجام شده است.

درواقع، PyTorch Lightning رو می‌تونیم معادل کراس برای تنسورفلو بدونیم. البته، PyTorch Lightning جزوی از پایتورچ نیست و مستقل درحال توسعه هست.

اخیرا در توییتر، در مورد پکیج PyTorch Lightning زیاد صحبت میشه و فیدبک‌های مثبتی دیده میشه.

پیج PyTorch Lightning

@pytorch_howsam
#reddit

امروز، در ردیت فردی موضوع زیر رو مطرح کرد؟

من، دو سال هست که در یکی از شاخه‌های بینایی کامپیوتر با یادگیری عمیق کار می‌کنم. تقریبا به موضوع خودم تسلط خوبی دارم. اما چالش‌های زیادی دارم که نمی‌تونم مدیریت کنم. مثلا، شما چطور خودتون رو بروز نگه می‌دارید؟ من میخوام مقاله‌های جدید در سایر زمینه‌ها رو مطالعه کنم تا بتونم از اونها الهام بگیرم. شما چطوری اینکارو انجام میدید؟ هرچند وقت مقاله میخونید؟ لیست مقالاتی که باید بخونید رو چطوری مدیریت می‌کنید؟ اکسل، مندلی یا چی؟ و چند سوال دیگه... لینک

خب خوبی ردیت اینه که مشارکت بالاست و خیلی‌ها میان نظر میدن. چندتا از جواب‌ها رو کوتاه در ادامه ببینید.

من یکسری از محقق‌ها رو در گیتهاب و گوگل اسکالر فالو کردم. وقتی اونها چیزی منتشر میکنن من باخبر میشم.

یک نفر دیگه گفته که این لیست از افراد توییتر میتونه در بروز موندن کمک کنه.

یک نفر paperswithcode.com رو معرفی کرده.

یک نفر دیگه سایت madewithml.com رو معرفی کرده.

یک نفر دیگه سایت mindmeister.com رو برای مدیریت کارها معرفی کرده. سایت جالبیه، نمونه‌های داخلی رایگان هم داریم. نگاهی به سایت تسکولو بندازید...

خب، جواب شما به این سوال‌ها چی هست؟ چطور کارهاتون در حوزه هوش مصنوعی رو مدیریت می‌کنید؟ هم دانشگاهی هم کاری؟ چه نرم‌افزارهایی دارید؟ چطور بروز می‌مونید. لطفا کامنت کنید تا بقیه هم استفاده کنن. اگه کامنت سخته، برای ادمین بفرستید تا در کانال نشر بدیم.

@pytorch_howsam
#ٱموزش_یادگیری_عمیق

جلسه اول: ساختار نورون مصنوعی

به امید خدا، از این به بعد یک دوره آموزش یادگیری عمیق رایگان را شروع می‌کنیم. از مباحث مقدماتی شروع می‌کنیم و به مباحث پیشرفته می‌رسیم.

در اولین جلسه می‌خواهیم ساختار یک نورون مصنوعی را بررسی کنیم. همچنین، تابع فعالسازی یا activation function در شبکه عصبی را تعریف و بررسی می‌کنیم.

لینک آموزش

@pytorch_howsam
Forwarded from PyTorch Howsam (Abedi)
مقاله و کدهایی که تا امروز معرفی کردیم و مختصری هم توضیح دادیم:

مقاله ردیابی چندهدفه FairMOT

مقاله تشخیص اشیای EfficientDet

مقاله ResNeSt

مقاله YOLOv4

مقاله OFA

مقاله Supervised Contrastive Learning

@pytorch_howsam
تشخیص خرابی جاده‌ها با استفاده از یادگیری اکتیو

یک پست وبلاگی در مدیوم که به توضیح این پروژه کاربردی پرداخته... کدهای این پروژه با پایتورچ نوشته شده و در دسترس هست.

لینک پست در مدیوم

@pytorch_howsam
آموزش کار با نرم‌افزار پایچارم (Pycharm) به زبان فارسی

مدرس: سیدسجاد اشرفی

لینک آموزش

@howsam_org
PyTorch Howsam
#آموزش_پایتورچ جلسه چهارم: آموزش ساخت تنسورهای تصادفی در پایتورچ منتشر شد. https://howsam.org/random-tensor-pytorch/ در این جلسه می‌خواهیم به شما نحوه ساخت تنسور تصادفی در پایتورچ را آموزش دهیم. در این جلسه با دستورهایی مثل rand ، randn ، randperm و randint…
#جلسه_پنجم

جلسه پنجم: اندیس‌گذاری و اسلایسینگ در پایتورچ منتشر شد.

در این جلسه می‌آموزید که چگونه بخشی از یک تنسور پایتورچی را انتخاب کنید. این جلسه توانایی شما در کار با تنسورها افزایش می‌دهد.

لینک آموزش

@pytorch_howsam