This article is an attempt to explain all the matrix calculus you need in order to understand the training of deep neural networks. We assume no math knowledge beyond what you learned in calculus 1, and provide links to help you refresh the necessary math where needed. Note that you do not need to understand this material before you start learning to train and use deep learning in practice; rather, this material is for those who are already familiar with the basics of neural networks, and wish to deepen their understanding of the underlying math.

https://explained.ai/matrix-calculus/index.html

SinGAN

With SinGAN, you can train a generative model from a single natural image, and then generate random samples form the given image

SinGAN can be also use to a line of image manipulation task

https://arxiv.org/abs/1905.01164

🗒 PyTorch: A Modern Library for Machine Learning

🖥 وبینار
⏱ زمان : دوشنبه 25 آذر ماه ساعت15:30
🔗 ثبتنام: https://fna.ir/aqt

@bigdataworkgroup
@irandeeplearning

📌 فراخوان دعوت به ارايه بحث و یا برگزاری کارگاه آموزشی در پژوهشگاه دانش های بنیادی (IPM)

📝 زمینه‌های مد نظر: علوم شناختی، علوم اعصاب، علوم داده، علوم و مهندسی کامپیوتر، هوش مصنوعی،‌ مهندسی برق، فلسفه ذهن، زبان شناسی، روان شناسی و مردم شناسی

⚠️ اولویت با طرح هایی است که زودتر ارسال شده‌اند.

🔗 forms.gle/PJE1AQHzowELmiw56
🌐 scs.ipm.ac.ir

🔔 اطلاع رسانی‌های آتی با همکاری کانال تلگرامی @convent انجام خواهد شد

🗒 Energy-Efficient Convolutional Neural Networks Using Stochastic Computing

👤 دکتر حسن نجفی از دانشگاه لوئیزیانا

🏫 پژوهشگاه دانش‌های بنیادین (IPM)، فرمانیه، نزدیک ساختمان کوه نور

⏱ زمان : پنجشنبه 28 آذر ماه ساعت15

@bigdataworkgroup
@irandeeplearning

📚 سلسله جلسات "پیوست"

🔵جلسه دهم
🌀یادگیری و استنباط بیزی

🗣محمدرضا صمصامی
🕙 یکشنبه، 24 آذر، ساعت17:30 تا 19
🏛 كلاس 217 دانشكده علوم رياضى


چنانچه از بیرون دانشگاه تمایل به شرکت در این جلسه را دارید، خواهشمندیم فرم زیر را جهت هماهنگی ورود به دانشگاه حداکثر تا دوازده شب جمعه پر کنید.
🔗https://docs.google.com/forms/d/e/1FAIpQLSdgyjyjdSgVg1Ib2xLZFEGg3Y8J-FUWv0oqkkZjOVuecaUO1Q/viewform?usp=sf_link

همچنین اگر از بیرون دانشگاه در جلسه شرکت می کنید خواهشمندیم جهت ورود به دانشگاه از درب خیابان آزادی تردد بفرمایید.
🆔 @hamband_peyvast
🆔 @hamband_math_cs

#NeurIPS2019 Notes

Notes from NeurIPS 2019

https://david-abel.github.io/notes/neurips_2019.pdf

مناظره یاشوا بنجیو و گری مارکوس به صورت زنده از لینک زیر قابل مشاهده است
https://montrealartificialintelligence.com/aidebate/

https://www.facebook.com/MontrealAI/videos/498403850881660/

NLP 2019 Highlights

2019 was an impressive year for the field of natural language processing (NLP). In this report, I want to highlight some of the most important stories related to machine learning and NLP that I came across in 2019. I will mostly focus on NLP but I will also highlight a few interesting stories related to AI in general. The headlines are in no particular order. Stories may include publications, engineering efforts, yearly reports, the release of educational resources, etc.

https://github.com/omarsar/nlp_highlights

#پروژه_متن_باز

سلام.
با توجه به فقدان داده فارسی برای کارهایی مثل توصیف تصویر تصمیم گرفتیم دیتاست MS-COCO مربوط به image captioning را به صورت متن باز ترجمه کنیم.
سایت زیر در همین راستا آماده شده است:

https://imagecaptioning.ir

لطفا با مشارکت در آن و همچنین معرفی به دوستان خود مارا یاری کنید.

برای شروع داده های آموزش سال 2014 انتخاب شده است که ترجمه ها برای همگان در دسترس خواهد بود.

BERT
یکی از قوی ترین مدل های NLP در تاریخ است ، اما همچنین در حال حاضر پرمصرف ترین مدل در صنعت است، به طوریکه هزینه سربار محاسباتی بسیار بیشتر از ImageNet است. محققان گوگل یک بهینه ساز جدید را پیشنهاد داده‌اند که با موفقیت زمان آموزش BERT را از 3 روز به 76 دقیقه کاهش داده است. این مقاله در ICLR 2020 پذیرفته شده است.

https://arxiv.org/abs/1904.00962

Online speech recognition with wav2letter@anywhere
https://ai.facebook.com/blog/online-speech-recognition-with-wav2letteranywhere/

Congrats to Mohammad Rastegari and Ali Farhadi!
https://www.geekwire.com/2020/exclusive-apple-acquires-xnor-ai-edge-ai-spin-paul-allens-ai2-price-200m-range/
The company was founded based on the idea of the following paper:
M. Rastegari, V. Ordonez, J. Redmon, A. Farhadi, XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks, ECCV, 2016
https://arxiv.org/abs/1603.05279

🗒 Becoming an AI company

🖥 جلسه آنلاین
⏱ زمان : جمعه، 11 بهمن 1398
❄️ لینک اصلی ورود به رویداد و جزئیات بیشتر :
https://fna.ir/az3

@bigdataworkgroup

🗒 Dive into Deep Learning

An interactive #deep #learning book with code, math, and discussions, based on the NumPy interface.

✅💡The textbook is entirely open source, free to use, and comes with numerous #notebooks and #slides that you are free to incorporate into your #lectures.

🌐 https://d2l.ai/
👥 Aston Zhang, Zack Lipton, Mu Li and Alex Smola
⏱ 2020

⚙️ https://github.com/d2l-ai/d2l-en
📘 https://d2l.ai/d2l-en.pdf

@bigdataworkgroup

📌 مدرسه زمستانه هوش مصنوعی IPM از 7 تا 9 اسفند
📌 کارگاه آموزشی لینوکس و پردازش ابری 1 اسفند
📌 کارگاه آموزشی برنامه نویسی پایتون 2 اسفند
🎓 اعطای مدرک معتبر و رسمی
✅ ثبت نام برای عموم آزاد است
💯 تخفیف ویژه ثبت نام زودهنگام و گروهی
#اسفند1398
#Winter_School #Artificial_Intelligence
#Workshop #Linux #Python #Machine_Vision #Machine_Learning #Deep_Learning #FK #OpenCV #TensorFlow
#Tehran #IPM #SCS
🔗 evand.com/events/aiws
🔗 evand.com/events/aiws-unix
🔗 evand.com/events/aiws-py
🌐 scs.ipm.ac.ir
📣 @convent

📌 مدرسه زمستانه هوش مصنوعی IPM از 7 تا 9 اسفند
🎓 اعطای مدرک معتبر و رسمی
✅ ثبت نام برای عموم آزاد است
💯 تخفیف ویژه ثبت نام زودهنگام و گروهی
#اسفند1398
#Winter_School #Artificial_Intelligence
#Workshop #Linux #Python #Machine_Vision #Machine_Learning #Deep_Learning #FK #OpenCV #TensorFlow
#Tehran #IPM #SCS
🔗 evand.com/events/aiws
🌐 scs.ipm.ac.ir
📣 @convent

We showed that a self-attention layer can express any convolutional filters given enough heads and using relative positional encoding. This is maybe the first explanation why multiple heads are necessary. In fact, the multi-head self-attention layer generalizes the convolutional layer: it learns the positions of its receptive field on the whole image (instead of a fixed grid). The recepteive field can even be conditioned on the value of the input pixels, we left this interesting feature for future work. Hopefully, our findings on positional encoding for images can also be usefull for text, it seems that using learned relative positional encoding of dimension 2 should be enough but we need to verify this in practice.

https://arxiv.org/abs/1911.03584

https://jbcordonnier.com/posts/attention-cnn/

#کارگاه_آموزشی

کارگاه‌های آموزشی یازدهمین کنفرانس ملی و اولین کنفرانس بین‌المللی بینایی ماشین و پردازش تصویر ایران
https://mvip2020.ut.ac.ir/performa?_action=wks&lang=fa



برای شرکت در این کارگاه‌ها ثبت نام در کنفرانس ضروری نیست، اما دانشجویان به خصوص دانشجویان دانشگاه‌های شهر قم و تمامی دانشجویان دانشگاه تهران می‌توانند با ثبت نام رایگان در کنفرانس، با تخفیف ویژه در این کارگاه‌ها ثبت نام و شرکت کنند.


🙏Thanks to: @shenasa_ai | @mvip_2020