تاریخچه‌ای از فراز و نشیب های دوران هوش مصنوعی

🙏Thanks to: @zankoo_ai

#آموزش

Keras Learning Rate Finder

در دوره یادگری عمیق پیشرفته (اینجا) دیده بودیم که جرمی هاوارد در فریم ورک fastai روشی که در مقالات برای پیدا کردن learning rate بهینه موجود است را پیاده سازی کرده است.
حال پیاده سازی در کراس و آموزش:

https://www.pyimagesearch.com/2019/08/05/keras-learning-rate-finder/

Self-Attention Generative Adversarial Networks
Han Zhang, Ian Goodfellow, Dimitris Metaxas, Augustus Odena

SAGAN allows attention-driven, long-range dependency modeling for image generation tasks.

Traditional convolutional GANs generate high-resolution details as a function of only spatially local points in lower-resolution feature maps. In SAGAN, details can be generated using cues from all feature locations. Moreover, the discriminator can check that highly detailed features in distant portions of the image are consistent with each other. Furthermore, recent work has shown that generator conditioning affects GAN performance.

Paper: https://arxiv.org/pdf/1805.08318
GitHub: https://github.com/brain-research/self-attention-gan

#GAN #SAGAN #مقاله #کد

تشخیص محدوده های متن (Text) در تصویر با شبکه CNN + BLSTM
پیشبینی محدوده متن با مسيله دو کلاسه text و non text با ترکیب لایه های cnn و blstm
با عملکرد فوق العاده روی متن های فارسی

Scene text detection based on ctpn (connectionist text proposal network). It is implemented in tensorflow
text detection mainly based on ctpn model

لینک مقاله :
https://arxiv.org/pdf/1609.03605.pdf

لینک پیاده سازی کد با تنسرفلو و شبکه آموزش داده شده :
https://github.com/eragonruan/text-detection-ctpn

🙏Thanks to : @rezaderakhshan

#مقاله

Improved Inference via Deep Input Transfer

اکثر روش هایی که برای بهبود عمکرد مدل ها برای segmentation تصویر به وسیله شبکه های کانولوشنی ارایه شده اند، روی تغییر در معماری مدل، آموزش دادن با دیتاست های بزرگتر و ارایه توابع خطا جدید یا روش های بهینه سازی بهتر تمرکز داشته اند.
در این مفاله سعی شده با ایجاد تغییر در ورودی شبکه به شکل بهینه، عملکرد را بهبود دهند. برای آشنا شدن با این روش میتوانید این مقاله را بخوانید.
مقاله:
https://arxiv.org/pdf/1904.02307

#segmentation

ویدیو جالب از صحبت بزرگان دیپ لرنینگ در مورد Geoffrey Hinton
Source: deeplearning.ai
#geoffrey_hinton #deep_learning

تشخیص و ردیابی سه بعدی اشیا در تصویر با یادگیری عمیق

A Baseline for 3D Multi-Object Tracking
Multi-object tracking (MOT) is an essential component technology for many vision applicationssuch as autonomous driving, robot collision prediction and video face alignment

مقاله :
https://arxiv.org/pdf/1907.03961.pdf

پیاده سازی با پایتون :
https://github.com/xinshuoweng/AB3DMOT

#لیبل زدن دیتا

Free to use online tool for labelling photos. https://makesense.ai


https://github.com/SkalskiP/make-sense

Mathematics for Machine Learning Book:

https://mml-book.github.io/

یادگیری عمیق برای هوش مصنوعی

سخنران:‌ Yoshua Bengio
فوق دکترا از دانشگاه MIT
عضو هیئت علمی دانشگاه مونترال
برنده جایزه تورینگ سال ۲۰۱۸

۲شنبه ۴ شهریور
ساعت ۱۶ تا ۱۸
آمفی‌تئاتر دانشکده برق و کامپیوتر

@ut_acm

دوره ی پیش رفته این دوره آموزشی با مبحث شبکه های بازگشتی به زودی برگزار میگردد.
آگهی و اطلاعات بیشتر در طی روزهای آینده در کانال ارسال خواهد شد

#خبر
معترضان هنگ کنگی، به نشانه اعتراض، دوربین بازشناسی #چهره را به پایین کشیدند و شکاندند...

Protestors in Hong Kong are cutting down facial recognition towers.

https://video.twimg.com/ext_tw_video/1165327015806820353/pu/vid/640x640/nhD5bCtHE6DPTkdT.mp4

#face

#Dropout #inspiration

How did Geoffrey Hinton come up with the idea of Dropout?

Hinton says he was inspired by, among other things, a fraud-prevention mechanism used by banks.

In his own words:

"I went to my bank. The tellers kept changing and I asked one of them why. He said he didn’t know but they got moved around a lot. I figured it must be because it would require cooperation between employees to successfully defraud the bank. This made me realize that randomly removing a different subset of neurons on each example would prevent conspiracies and thus reduce overfitting."

There is also another inspiration for dropout based on theory of sex-based evolution in the section 2 of this paper.

Smaller, faster, cheaper, lighter: Introducing DistilBERT, a distilled version of BERT

Knowledge Distillation — Transferring generalization capabilities

Knowledge distillation (sometimes also referred to as teacher-student learning) is a compression technique in which a small model is trained to reproduce the behavior of a larger model (or an ensemble of models). It was introduced by Bucila et al. and generalized by Hinton et al. a few years later.
Another way to understand distillation is that it prevents the model to be too sure about its prediction (similarly to label smoothing).

We want to compress a large language model (like BERT) using distilling. For distilling, we’ll use the Kullback-Leibler loss since the optimizations are equivalent. When computing the gradients with respect to the student distribution we obtain the same gradients.

Blog post: https://medium.com/huggingface/distilbert-8cf3380435b5

Code: https://github.com/huggingface/pytorch-transformers/tree/master/examples/distillation

#language_model #BERT

Fast-Bert

This library will help you build and deploy BERT based models within minutes:

Fast-Bert is the deep learning library that allows developers and data scientists to train and deploy BERT and XLNet based models for natural language processing tasks beginning with Text Classification.

The work on FastBert is built on solid foundations provided by the excellent Hugging Face BERT PyTorch library and is inspired by fast.ai and strives to make the cutting edge deep learning technologies accessible for the vast community of machine learning practitioners.

With FastBert, you will be able to:

Train (more precisely fine-tune) BERT, RoBERTa and XLNet text classification models on your custom dataset.

Tune model hyper-parameters such as epochs, learning rate, batch size, optimiser schedule and more.

Save and deploy trained model for inference (including on AWS Sagemaker).

Fast-Bert will support both multi-class and multi-label text classification for the following and in due course, it will support other NLU tasks such as Named Entity Recognition, Question Answering and Custom Corpus fine-tuning.

Blog post: https://medium.com/huggingface/introducing-fastbert-a-simple-deep-learning-library-for-bert-models-89ff763ad384

Code: https://github.com/kaushaltrivedi/fast-bert

#language_model #BERT

#کد #GAN #pix2pix #keras

سایز وزودی شبکه U-Net در مدل pix2pix در مقاله آن به صورت 256 در 256 است. حالا اگر بخواهیم عکس هایی با سایز کوچکتر مثلا 32 در 32 را به شبکه ورودی بدهیم، بهتر است معماری مدل(هم شبکه مولد و هم شبکه تمییز دهنده) را اصلاح کنیم.

در این صفحه میتوانید کد کراس مربوط به این مدل را متناسب با سایز ورودی 32 در 32 موجود در دیتاست Cifar10 و با پارامترهای بسیار کمتر ببینید:

https://github.com/vrkh1996/pix2pix-modified

نتیجه آموزش مدل روی دیتاست Cifar10 برای 3 ایپاک به صورت اینکه مدل هر عکس ورودی را بازسازی کند برابر است با میانگین قدر مطلق خطا 0.0113 روی مجموعه آزمون(یعنی مدل به طور میانگین میتواند با دقت حدود 99 درصد همان عکس های ورودی را بازسازی کند).

فیلم آموزش مربوط به این مبحث:
https://www.aparat.com/v/S9bcT

WebGPU API:
GPU Compute on the Web

WebGPU is available for now in Chrome 78:
chrome://flags/#enable-unsafe-webgpu

const adapter = await navigator.gpu.requestAdapter()
const device = await adapter.requestDevice()

https://gpuweb.github.io/gpuweb

#مقاله #سورس_کد
Mean teachers are better role models:Weight-averaged consistency targets improvesemi-supervised deep learning results
A state-of-the-art semi-supervised method for image recognition

مقاله ای نه چندان جدید!
روشی برای طبقه بندی با دقت بالاتر در مواقعی که لیبل های کمتری داریم!
با 10 درصد labelهای imagenet به خطای 9.11 ± 0.12 رسیده است.

https://arxiv.org/pdf/1703.01780.pdf

https://github.com/CuriousAI/mean-teacher

Weight Agnostic Neural Network
دسته‌ای از شبکه‌ها که در اون‌ها نورون‌ها وزن مشترک دارن و حتی با مقادیر تصادفی اولیه هم دقت قابل قبولی خواهیم داشت.
در واقع اینجا به جای انتخاب یک معماری و آموزش وزن‌ها، به مرور زمان معماری رو آموزش می‌دیم. به این ترتیب وزن‌ها چندان اهمیت ندارن هر چند می‌شه بعداً وزن‌ها رو به روش‌های عادی آموزش داد. هم‌چنین چون وزن‌ها بین همهٔ نورون‌ها مشترک هستن، با انتخاب مقادیر مختلف برای این وزن‌ها می‌شه گروهی از مدل‌ها رو داشت که در مجموع دقت بالاتری به دست میارن.
https://ai.googleblog.com/2019/08/exploring-weight-agnostic-neural.html

🙏Thanks to: @samehraboon

ویدیوی سخنرانی بنجیو دانشگاه تهران چهارم شهریور
@Sensifai_Talk

https://www.aparat.com/v/RYF94

#مقاله

https://venturebeat.com/2019/09/05/facebook-microsoft-and-academics-launch-deepfake-detection-competition/
Facebook, Microsoft, and academics launch deepfake detection competition

🙏Thanks to: @Kargarisaac