#Blender #ParlAI

چند روز قبل فیسبوک سورس چت‌بات Blender را منتشر کرد. این انتشار میتونه گام بزرگی در پیشرفت کیفیت چت‌بات‌ها باشه.
https://parl.ai/projects/blender

چت‌بات Blender زیرمجموعه پلتفرم ParlAI هست. ParlAI پلتفرمی برای آموزش و ساخت مدل‌های دیالوگی در کاربردهای مختلف هست. مدل‌ها و دیتاست‌های مختلفی رو ساپورت میکنه و مجموعه کاملی هست. سایت ParlAI:
https://parl.ai

اگرچه مدل‌های NLP در یکی دو سال اخیر خیلی بزرگ شدند، اما بازهم میشه فاین‌تیون با مدل‌های کوچک انجام داد.

@pytorch_howsam

#segmentation #pingpong

امروز در فضای مجازی مثل توییتر و ردیت، مقاله جالبی معرفی میشد که در حوزه ورزش و پینگ‌پنگ بود. در این مقاله سعی شده، بازی پینگ‌پنگ آنالیز بشه. مثلا تعیین مسیر توپ، تعیین نقطه‌ای که توپ به زمین میخوره، تعیین نت شدن و ثبت زمان اتفاقات مهم ازجمله کارهایی هست که در این مقاله انجام شده.

چند شبکه برای این کار طراحی شده که اکثرا هم سگمنت هستن. دو مرحله سگمنت coarse و fine انجام میشه تا موقعیت دقیق توپ تعیین بشه. علاوه‌براین، برای پیدا کردن بازیکن‌ها و میز هم سگمنت جداگانه‌ای انجام میشه.

ویدئوی پایین هم دمویی از خروجی کار هست که در همین تلگرام هم میتونین ببینین. مقاله رو هم گذاشتیم، اما متاسفانه کدی براش پیدا نکردیم.

https://arxiv.org/abs/2004.09927

@pytorch_howsam

https://youtu.be/5P3k5ZCDcq8

امروز یک پست وبلاگی خوندم که یک متخصص حوزه NLP یک ساله که از کار تمام وقت بیرون اومده و freelance کار میکنه. به چالش‌ها و خوبی‌هاش اشاره میکنه و میگه که در یک سال گذشته چه کارهایی انجام داده... مثلا کتاب نوشته، کار مشاوره، مهندسی و تحقیقاتی انجام داده. همچنین، درمورد مدیریت زمان و pomodoro technique صحبت میکنه.

پست جالبی هست، شما رو با نحوه تفکر، زندگی و کار یک متخصص آشنا میکنه. بعضی قسمت‌هاش رو هم میشه الگو گرفت.

اگه خوندید و جمله‌ای رو خوشتون اومد، می‌تونید همینجا کامنت کنید...

@pytorch_howsam

https://masatohagiwara.net/202002-my-first-year-as-a-freelance-ai-engineer.html

#ICLR2020

هفته پیش کنفرانس ICLR به‌صورت مجازی برگزار شد. پلتفرمی که برای برگزاری جلسات طراحی شده بود، ساده و جذاب بود. به‌نظر میرسه، بازخوردها هم نسبت به این نحوه برگزاری خوب بوده...

همه ویدئوهای ارائه در لینک زیر در دسترس هستن. هر ویدئو حداکثر 5 دقیقه هست. زمان زیادی نیست و میشه مقاله‌های جالب رو نگاه کرد.

هر مقاله‌ای رو که انتخاب کنید، همزمان ویدئوی فرد ارائه‌دهنده و اسلایدها رو نشون میده. علاوه‌براین، لینک مقاله، مقاله‌های مشابه و کدها (اگر کدهاش منتشر شده باشه) رو هم نشون میده.

علاوه‌بر کنفرانس‌ها، ویدئوهای بخش ورکشاپ هم در دسترس هست.

https://iclr.cc/virtual_2020/papers.html?filter=keywords

@pytorch_howsam

#pytorch #vision

آقای Ross Wightman در توییتر اعلام کردند که با همکاری تعدادی از افراد دیگه، کلکسیون مدل‌های ویژن (وزن‌ها، اسکریپت و...) در گیتهاب ایشون به بیش از 200 مدل رسیده!

در لینک زیر می‌تونید لیست بلندبالای مدل‌ها رو مشاهده کنید:
https://github.com/rwightman/pytorch-image-models

البته گیتهاب ایشون خیلی خوب هست و کلا پیاده‌سازی‌های مختلفی برپایه پایتورچ می‌تونید پیدا کنید.

@pytorch_howsam

#openai #flops

دیروز OpenAI پستی وبلاگی درباره هزینه محاسباتی تعدادی از شبکه‌ها از سال 2012 در سایتش منتشر کرد. از سال 2012 که با AlexNet شروع میشه و تا حدود 2020 ادامه داره.

اگر دقت AlexNet رو روی ImageNet معیار پایه بذاریم. هر 16 ماه، شبکه‌ای با همون دقت AlexNet پیشنهاد شده که هزینه محاسباتش نصف شبکه AlexNet هست.

حالا در طول این 7 8 سال گذشته، محاسبات موردنیاز 44بار کمتر شده!


به تصویر پیوست نگاه کنید؛ هم نمودار و هم جدولش اطلاعات جالبی ارائه میده. به ستون Compute در جدول نگاه کنید که چقدر هزینه محاسبات برحسب TeraFlops کاهش پیدا کرده...

لینک پست بالا

@pytorch_howsam

#cnn #implementation #pytorch

قطعا بین شماها افراد بسیار زیادی هستند که دوست دارن خودشون شبکه‌هایی مثل رزنت، گوگل‌نت و غیره رو پیاده‌سازی کنن. شاید یکی از مهم‌ترین دلایلش، درک بهتر ساختار شبکه‌هاست.

در یوتیوب ویدئوهایی از یک شخص پیدا کردیم که تعدادی از این شبکه‌های معروف رو با پایتورچ پیاده‌سازی کرده. ساختار ویدئوها هم جالبه... هر شبکه‌ای رو که میخواد پیاده‌سازی کنه، مقالش رو باز میکنه و کمی توضیح میده و بعد هم در ادیتور کدش رو به پایتورچ مینویسه. لینک چند نمونه از پیاده‌سازی‌هاش رو در زیر آوردیم:

پیاده‌سازی شبکه ResNet

پیاده‌سازی شبکه GoogleNet

پیاده‌سازی شبکه VGG

پیاده‌سازی شبکه LeNet

سایر ویدئوهای همین کانال (Aladdin Persson) رو ببینید. ویدئوهای آموزشی خوبی در زمینه پایتورچ، یادگیری عمیق و یادگیری ماشین داره.

@pytorch_howsam

#ICLR2020

سایت Analytics Vidhya که سایت خوبیه و قبلا هم ازش پست معرفی کردیم، به بررسی کنفرانس ICLR2020 پرداخته. نکات زیادی گفته، ما خلاصه‌شو اینجا میگیم:

اول اینکه، اشاره کرده به سبک کنفرانس مجازی که خیلی‌ها خوششون اومده. اونقدر طراحی سایت جالب و خوب بوده که افراد سرشناسی مانند Andrew Ng هم تشکر کردن و خوششون اومده...

دوم، حضور اسپانسرهای قدرتمند مثل گوگل، فیسبوک، آمازون، اپل، مایکروسافت و غیره

سوم، موضوع داغ یا hot topic در این دوره Deep Learning بوده. خب طبیعیه

چهارم، میزان استفاده از پایتورچ، تنسورفلو و کراس بوده... 237 مقاله که کد منتشر کردن رو بررسی کردن که پایتورچ حدود 65%، تنسورفلو حدود 38% و کراس هم 9.7% بودن. پایتورچ: 😎

پنجم، میزان استفاده از فریمورک‌های مختلف هست. به تصویر پیوستی نگاه کنید. نامپای اول، پایتورچ دوم، تنسورفلو پنجم... طبیعتا خیلی‌ها که از پایتورچ یا تنسورفلو استفاده میکنن، بازهم به نامپای نیاز دارن.

ششم، سایت openreview. شما در سایت openreview می‌تونید نظر محقق‌ها رو درباره مقاله‌ها بخونید. این مساله شفافیت در داوری مقالات رو بالا میبره.

لینک مرجع اطلاعات بالا

@pytorch_howsam

#Python #conv2d #convolution

چندروز پیش یک پست وبلاگی معرفی کردیم که یکی از کامل‌ترین‌ها در تشریح عملکرد کانولوشن بود. پست ریپلای شده...

انیمیشن‌های خوب و زیادی داشت که یکیشو اینجا پیوست کردیم. برای بعضیا سوال شده بود که با چه ابزاری این انیمیشن‌ها رو ساخته؟! چون ما خودمون با پاورپوینت می‌کشیم و بعد انیمیشن می‌کنیم. یا بعضیا با فتوشاپ می‌کشن...

در متنش گفته همه اینها با پایتون کشیده شده 😐 کدهاشم اوپن‌سورسه...

جالبه، دست مریزاد...

لینک گیتهاب این پروژه

@pytorch_howsam

#monai #pytorch

شرکت Nvidia مجموعه‌ای به‌نام monai راه انداخته که تمرکزش روی پزشکی در هوش مصنوعی هست.

درحال حاضر یک فریمورک به‌نام monai مخصوص پزشکی آماده کردن که بر پایه پایتورچ آماده شده...

نکته مهمی که معمولا دانشجوهای مهندسی پزشکی باهاش مواجه هستن، اطلاعات و کد آموزشی کم در حوزه دیپ لرنینگ و پزشکی هست. اما کافیه که به سایت monai برید، در همون صفحه اول سایت، تعداد بسیار زیادی مثال تحت عنوان Getting Started وجود داره که میتونه شروع خوبی باشه.

یک اسکرین‌شات از مثال‌ها گذاشتیم. بیشتر از اینهاست. به سایت زیر برید و خودتون مشاهده کنید:
monai.ai

@pytorch_howsam

#آموزش_پایتورچ

جلسه چهارم: آموزش ساخت تنسورهای تصادفی در پایتورچ منتشر شد.

https://howsam.org/random-tensor-pytorch/

در این جلسه می‌خواهیم به شما نحوه ساخت تنسور تصادفی در پایتورچ را آموزش دهیم. در این جلسه با دستورهایی مثل rand ، randn ، randperm و randint در پایتورچ آشنا خواهید شد. با هوسم همراه باشید...

چرا در آموزش پایتورچ، بعد از گذشت چهارجلسه خبری از آموزش شبکه‌های عصبی نیست؟
نامپای ( numpy ) در یادگیری ماشین و یادگیری عمیق نقش کلیدی دارد. حتی در این پست (لینک) دیدید که نامپای بیشترین استفاده را در ICLR2020 داشته...
بنابراین در شروع مسیر یادگیری پایتورچ یا هر فریمورک دیگری، یادگیری نامپای ضروری هست. اما خوشبختانه پایتورچ یک نامپای در دل خودش دارد. یعنی نیازی نیست نامپای را بیاموزید، بسیاری از دستورات نامپای در پایتورچ دوباره پیاده‌سازی شده است.
به‌همین دلیل، جلسات ابتدایی را به آموزش دستورات مشابه نامپای در پایتورچ اختصاص داده‌ایم. حوصله کنید، به جلسات یادگیری عمیق هم خواهیم رسید. با ما در ارتباط باشید و سوالات و نظرات خود را کامنت کنید.

@pytorch_howsam

#آموزش_پایتورچ

لیست جلسات آموزش پایتورچ که تا امروز منتشر کردیم:

📕 جلسه اول: نصب پایتورچ و سایر موارد لازم

📕 جلسه دوم: ایجاد تنسور در پایتورچ

📕 جلسه سوم: تنسورهای خاص در پایتورچ

📕 جلسه چهارم: تنسور تصادفی در پایتورچ

📕 ادامه دارد...

@pytorch_howsam

#OpenAI #learning_day

روز یادگیری یا Learning Day عنوان یک پست وبلاگی است که در سایت OpenAI منتشر شده... پست جالبی هست. خلاصه‌ای از این پست رو در ادامه می‌تونید بخونید.

هر پنج‌شنبه در OpenAI روز یادگیری هست.

روزی که کارمندها آزاد هستن تا با مطالعه و تحقیق مهارت‌های خودشون رو ارتقا بدن. مهارت‌هایی که نمیتونن در کار روزانه یاد بگیرن، اما یاد گرفتن این مهارت‌ها میتونه باعث بشه عملکردشون در کار بهتر بشه.

مثلا تصور کنید، OpenAI مجموعه‌ای از افراد با تخصص‌های مختلف رو داره. یک متخصص نرم‌افزار، شاید کمتر با یادگیری ماشین آشنایی داشته باشه، اما در موقعیت شغلی فعلی اگر یادگیری ماشین بدونه بهتر میتونه با بقیه ارتباط برقرار کنه و پروژه‌ها هم طبیعتا بهتر جلو میره.

روز یادگیری یک هدیه برای کارمندان هست. اونها آزاد هستن که در روز یادگیری کارهایی شبیه موارد زیر انجام بدن:
* خواندن مقالات AI
* پیاده‌سازی مقالات AI
* دیدن کورس‌های آموزشی AI
* یادگرفتن مباحث پایه، مثل جبرخطی، آمار و احتمال و غیره
* آشنایی با زبان‌های برنامه‌نویسی و فریمورک‌های جدید

لینک:
https://openai.com/blog/learning-day/

#markdown

با markdown آشنا هستید؟
به‌صورت خلاصه، markdown روشی برای نوشتن محتوا برای وب هست. در حوزه آکادمیک و برای محققین، markdown کاربرد زیادی داره.

کافیه که به reddit و خصوصا github سر بزنید. تمام توضیحاتی که در پیج github پروژه‌ها می‌بینید، با همین markdown نوشته شده.

به تصویر پیوستی نگاه کنید. در سمت چپ، با یکسری علایم یک متنی نوشته شده و در سمت راست شما خروجی کار رو می‌بینید. مثلا برای عنوان‌ها H1 H2 و الی آخر، کافیه از # استفاده کنید.

یادگیریش بسیار راحته. کافیه به سایت زیر برید و آموزش رو شروع کنید. سایت این قابلیت رو هم گذاشته که مرحله‌ به مرحله آموزش‌ها رو آنلاین تست کنید و بعد برید جلو...
https://www.markdowntutorial.com/

موافقید خودمون چند جلسه آموزش متنی به فارسی براش آماده کنیم؟

@pytorch_howsam

#pytorch #tutorials

بخش Tutorials سایت پایتورچ آپدیت شده...

آموزش‌هایی که قبلا توی سایت پایتورچ بود، خیلی متنوع و خوب بود. از مباحث صفر تا پیشرفته رو به‌صورت خلاصه پوشش دادن. مثلا می‌تونید آموزش 60 دقیقه‌ای شروع پایتورچ رو ببینید که خیلی طرفدار داره. یا آموزش‌هایی از Production (بحث‌های تجاری) و ++C ببینید.

اما با بروزرسانی جدید، یک دسته‌بندی خوب براش ساختن (مطابق تصویر بالا) که با دسته‌بندی به همه آموزش‌ها دسترسی داشته باشید. همچنین، آموزش‌های جدیدی هم اضافه کردن. الان برای تصویر، متن و صوت آموزش داره و خیلی ساده هم توضیح داده.

این هم لینک بخش Tutorials:
https://pytorch.org/tutorials/index.html

@pytorch_howsam

#receptive_field

اندر حکایت Receptive Field

با receprive field در شبکه‌های CNN آشنا هستید؟ یکی از مهم‌ترین مفاهیم در شبکه‌های CNN هست و طراحی شبکه‌ها بهش خیلی توجه میشه. خصوصا شبکه‌های دیتکشن...

می‌تونیم receptive field رو اینطور تعریف کنیم: ناحیه‌ای از فضای ورودی که از دید فیچرمپ شبکه CNN درحال نگاه کردن بهش هستیم. مثلا فیچر خروجی یک لایه کانولوشنی 3×3 رو درنظر بگیرید. درواقع از هر درایه فیچر خروجی به یک ناحیه 3×3 از ورودی نگاه می‌کنید.

بدون دیدن شکل، شاید کمی تصورش سخت باشه. به تصویر پیوستی نگاه کنید. منبع تصویر بالا، سایت distill.pub هست که دغدغه‌اش شکافتن مباحث مشکل در یادگیری عمیق و ماشین هست. در لینک زیر می‌تونید به‌صورت ریاضی و البته با ابزار آنلاینش بازی کنید:
لینک

تصویر بالا ابزار آنلاینش رو نشون میده، خیلی جالبه...

در این لینک هم می‌تونید به‌صورت تصویری با receptive field آشنا بشید.

بعدا در یک پست جداگونه سایت خفن distill.pub رو معرفی می‌کنیم. البته پست بالا رو ببینید، متوجه میشید که چقدر کارشون سطح بالاست.

@pytorch_howsam

#fun

ربات کاتب 👌

نمی‌دونم تا حالا ایرانداک رفتید یا نه. ایرانداک مخزن پایان‌نامه دانشجوهاست که توی تهران به‌صورت حضوری می‌تونید برید و پایان‌نامه‌های دیگران رو مطالعه کنید. ولی نه می‌تونید پایان‌نامه رو امانت بگیرید و نه عکس بگیرید... تنها کاری که می‌تونید بکنید اینه که کاغذ و خودکار بردارید و بنویسید...

ویدئوی بالا رو که دیدم، یاد دانشجوهای مراجعه‌کننده به ایرانداک افتادم. یکسری کاتب نشستن با سرعت نور در حال نوشتن هستن 😁

اینم اضافه کنم که مراقب‌هایی همچون عقاب همراه با دوربین‌های مدار بسته اونجا هستن که نکنه شما بخوایید از صفحات عکس بگیرید 😐

باز اینم اضافه کنم که اونجا ساعتی ازتون پول میگیرن 😐

نمی‌دونم دلیلش چیه، اما آیا این کارها به‌خاطر تقلب نکردن دانشجوها و جلوگیری از کپی‌کاری پایان‌نامه انجام میشه؟ یعنی arxiv.org منبع تقلبه؟! گیتهابم؟! 🤔

من چند سال پیش، یک بار تجربه حضور در چنین فضای عجیبی رو داشتم. ایشالا قسمت شما 😁

#paper

Supervised Contrastive Learning

چند وقت پیش مقاله‌ای از آقای هینتون و همکارانشون برای Semi-supervised با Contrastive Loss و Augmentation منتشر شد که کار جالبی بود و بین محققین خیلی موردتوجه قرار گرفت. چقدر در این مقاله Augmentation نقش کلیدی داشت.

حالا براساس این مقاله، کار دیگری انجام شده که از Contrastive Loss در داده‌های Supervised استفاده شده. هدف این بوده که با این تکنیک، دقت بهتری نسبت به CrossEntropy Loss بدست بیارن که به این هدف هم رسیدن. 1 درصد در دیتاست imagenet با شبکه resnet50 بهتر شدن.

به تصویر نگاه کنید؛ سمت چپ، روش کراس‌انتروپی نشون داده شده که آشناست. وسط، کنتراستیو در نیمه-نظارتی نشون داده شده که می‌بینید یک تصویر ورودی به دو شکل متفاوت (تصویر اصلی و آگمنت‌شده) به شبکه داده میشه و از طریق تابع اتلاف کنتراستیو، شبکه آموزش میبینه. سمت راست، کنتراستیو در باناظر رو نشون میده که یک کراس‌انتروپی و کنتراستیو داره. کنتراستیو لاس برای آموزش شبکه به‌کار میره و کراس‌انتروپی برای آموزش کلاسیفایر.

مقاله

کد رسمی (پایتورچ)

@pytorch_howsam

#خبرهای_کوتاه

سایت paperswithcode.com آپدیت شده

مجموعه‌ای از کورس‌های یادگیری ماشین از مقدماتی تا پیشرفته (لینک)

ساخت مدل سه‌بعدی چهره با پایتورچ (لینک)

یکسری مقاله از ICLR2020 که موردتوجه کاربرهای توییتر قرار گرفته (لینک)

@pytorch_howsam