یادگیری عمیق برای هوش مصنوعی

سخنران:‌ Yoshua Bengio
فوق دکترا از دانشگاه MIT
عضو هیئت علمی دانشگاه مونترال
برنده جایزه تورینگ سال ۲۰۱۸

۲شنبه ۴ شهریور
ساعت ۱۶ تا ۱۸
آمفی‌تئاتر دانشکده برق و کامپیوتر

@ut_acm

دوره ی پیش رفته این دوره آموزشی با مبحث شبکه های بازگشتی به زودی برگزار میگردد.
آگهی و اطلاعات بیشتر در طی روزهای آینده در کانال ارسال خواهد شد

#خبر
معترضان هنگ کنگی، به نشانه اعتراض، دوربین بازشناسی #چهره را به پایین کشیدند و شکاندند...

Protestors in Hong Kong are cutting down facial recognition towers.

https://video.twimg.com/ext_tw_video/1165327015806820353/pu/vid/640x640/nhD5bCtHE6DPTkdT.mp4

#face

#Dropout #inspiration

How did Geoffrey Hinton come up with the idea of Dropout?

Hinton says he was inspired by, among other things, a fraud-prevention mechanism used by banks.

In his own words:

"I went to my bank. The tellers kept changing and I asked one of them why. He said he didn’t know but they got moved around a lot. I figured it must be because it would require cooperation between employees to successfully defraud the bank. This made me realize that randomly removing a different subset of neurons on each example would prevent conspiracies and thus reduce overfitting."

There is also another inspiration for dropout based on theory of sex-based evolution in the section 2 of this paper.

Smaller, faster, cheaper, lighter: Introducing DistilBERT, a distilled version of BERT

Knowledge Distillation — Transferring generalization capabilities

Knowledge distillation (sometimes also referred to as teacher-student learning) is a compression technique in which a small model is trained to reproduce the behavior of a larger model (or an ensemble of models). It was introduced by Bucila et al. and generalized by Hinton et al. a few years later.
Another way to understand distillation is that it prevents the model to be too sure about its prediction (similarly to label smoothing).

We want to compress a large language model (like BERT) using distilling. For distilling, we’ll use the Kullback-Leibler loss since the optimizations are equivalent. When computing the gradients with respect to the student distribution we obtain the same gradients.

Blog post: https://medium.com/huggingface/distilbert-8cf3380435b5

Code: https://github.com/huggingface/pytorch-transformers/tree/master/examples/distillation

#language_model #BERT

Fast-Bert

This library will help you build and deploy BERT based models within minutes:

Fast-Bert is the deep learning library that allows developers and data scientists to train and deploy BERT and XLNet based models for natural language processing tasks beginning with Text Classification.

The work on FastBert is built on solid foundations provided by the excellent Hugging Face BERT PyTorch library and is inspired by fast.ai and strives to make the cutting edge deep learning technologies accessible for the vast community of machine learning practitioners.

With FastBert, you will be able to:

Train (more precisely fine-tune) BERT, RoBERTa and XLNet text classification models on your custom dataset.

Tune model hyper-parameters such as epochs, learning rate, batch size, optimiser schedule and more.

Save and deploy trained model for inference (including on AWS Sagemaker).

Fast-Bert will support both multi-class and multi-label text classification for the following and in due course, it will support other NLU tasks such as Named Entity Recognition, Question Answering and Custom Corpus fine-tuning.

Blog post: https://medium.com/huggingface/introducing-fastbert-a-simple-deep-learning-library-for-bert-models-89ff763ad384

Code: https://github.com/kaushaltrivedi/fast-bert

#language_model #BERT

#کد #GAN #pix2pix #keras

سایز وزودی شبکه U-Net در مدل pix2pix در مقاله آن به صورت 256 در 256 است. حالا اگر بخواهیم عکس هایی با سایز کوچکتر مثلا 32 در 32 را به شبکه ورودی بدهیم، بهتر است معماری مدل(هم شبکه مولد و هم شبکه تمییز دهنده) را اصلاح کنیم.

در این صفحه میتوانید کد کراس مربوط به این مدل را متناسب با سایز ورودی 32 در 32 موجود در دیتاست Cifar10 و با پارامترهای بسیار کمتر ببینید:

https://github.com/vrkh1996/pix2pix-modified

نتیجه آموزش مدل روی دیتاست Cifar10 برای 3 ایپاک به صورت اینکه مدل هر عکس ورودی را بازسازی کند برابر است با میانگین قدر مطلق خطا 0.0113 روی مجموعه آزمون(یعنی مدل به طور میانگین میتواند با دقت حدود 99 درصد همان عکس های ورودی را بازسازی کند).

فیلم آموزش مربوط به این مبحث:
https://www.aparat.com/v/S9bcT

WebGPU API:
GPU Compute on the Web

WebGPU is available for now in Chrome 78:
chrome://flags/#enable-unsafe-webgpu

const adapter = await navigator.gpu.requestAdapter()
const device = await adapter.requestDevice()

https://gpuweb.github.io/gpuweb

#مقاله #سورس_کد
Mean teachers are better role models:Weight-averaged consistency targets improvesemi-supervised deep learning results
A state-of-the-art semi-supervised method for image recognition

مقاله ای نه چندان جدید!
روشی برای طبقه بندی با دقت بالاتر در مواقعی که لیبل های کمتری داریم!
با 10 درصد labelهای imagenet به خطای 9.11 ± 0.12 رسیده است.

https://arxiv.org/pdf/1703.01780.pdf

https://github.com/CuriousAI/mean-teacher

Weight Agnostic Neural Network
دسته‌ای از شبکه‌ها که در اون‌ها نورون‌ها وزن مشترک دارن و حتی با مقادیر تصادفی اولیه هم دقت قابل قبولی خواهیم داشت.
در واقع اینجا به جای انتخاب یک معماری و آموزش وزن‌ها، به مرور زمان معماری رو آموزش می‌دیم. به این ترتیب وزن‌ها چندان اهمیت ندارن هر چند می‌شه بعداً وزن‌ها رو به روش‌های عادی آموزش داد. هم‌چنین چون وزن‌ها بین همهٔ نورون‌ها مشترک هستن، با انتخاب مقادیر مختلف برای این وزن‌ها می‌شه گروهی از مدل‌ها رو داشت که در مجموع دقت بالاتری به دست میارن.
https://ai.googleblog.com/2019/08/exploring-weight-agnostic-neural.html

🙏Thanks to: @samehraboon

ویدیوی سخنرانی بنجیو دانشگاه تهران چهارم شهریور
@Sensifai_Talk

https://www.aparat.com/v/RYF94

#مقاله

https://venturebeat.com/2019/09/05/facebook-microsoft-and-academics-launch-deepfake-detection-competition/
Facebook, Microsoft, and academics launch deepfake detection competition

🙏Thanks to: @Kargarisaac

#News
خبر:
فرصت مطالعاتی در شرکت انویدیا برای دانشجویان تحصیلات تکمیلی. اطلاعات بیشتر در لینک زیر:
https://www.nvidia.com/en-us/research/graduate-fellowships/
@convent

NeurIPS 2019 Stats - Diego Charrez - Medium
https://medium.com/@dcharrezt/neurips-2019-stats-c91346d31c8f

نمایش بصری گراف معماری شبکه های عصبی یادگیری عمیق و یادگیری ماشین

Visualizer for neural network, deep learning and machine learning models
Netron is a viewer for neural network, deep learning and machine learning models.

Netron supports ONNX (.onnx, .pb, .pbtxt), Keras (.h5, .keras), Core ML (.mlmodel), Caffe (.caffemodel, .prototxt), Caffe2 (predict_net.pb, predict_net.pbtxt), MXNet (.model, -symbol.json), TorchScript (.pt, .pth), NCNN (.param) and TensorFlow Lite (.tflite).

Netron has experimental support for PyTorch (.pt, .pth), Torch (.t7), CNTK (.model, .cntk), Deeplearning4j (.zip), PaddlePaddle (.zip, model), Darknet (.cfg), scikit-learn (.pkl), TensorFlow.js (model.json, .pb) and TensorFlow (.pb, .meta, .pbtxt).

https://github.com/lutzroeder/netron

سلام.
تعدادی از دانشجوهای ورودی 94 دانشگاه رجایی پروژه های پایانی مقطع کارشناسی خود را با موضوعات مرتبط با یادگیری عمیق یا بینایی کامپیوتر انتخاب کرده اند و
یکشنبه مورخ 24 شهریور ساعت 9 الی 12 از موضوعات خود دفاع خواهند کرد.
در صورتی که تمایل دارید حضور یابید لطفا فرم زیر را تکمیل فرمایید.
با توجه به محدودیت ها، بعد از بررسی و هماهنگی با دانشگاه نهایت تا روز شنبه امکان حضور یا عدم حضورتان خدمتتان اعلام خواهد شد.
https://forms.gle/hjNBEaUzuLgJ9VYWA

#خبر
طبق گزارش نشریه نیچر، ایران در بین پرتولیدترین کشورهای علمی دنیا در هوش مصنوعی قرار گرفته
لینک خبر از خبرگزاری مهر | لینک خبر از خبرگزاری علم و فرهنگ سینا

اسامی ۲۰ محققی که بیشترین پژوهش کاربردی را در میان پژوهشگران هوش مصنوعی کشور داشته‌اند در این گزارش اعلام شده است.
به تمامی این محققان و اساتید از جمله دکتر ابراهیم پور، عضو هیات علمی و رئیس دانشکده کامپیوتر دانشگاه رجایی و استاد راهنمای اسبق ارشد خودم تبریک عرض میکنم.

وقتی نویسنده‌های مقاله مدلی ارایه می‌دهند که می‌تواند متون را خلاصه کند و برای نوشتن چکیده مقاله همان مدل از آن استفاده می‌کنند!

لینک مقاله:
https://arxiv.org/abs/1909.03186

سایت o'reilly برای کسانی که تازه ثبت‌نام کنند ۱۰ روز دسترسی رایگان و آزاد به منابع خود از جمله مطالعه آنلاین کتاب‌ها، مشاهده ویدئوهای آموزشی و شرکت در کلاس‌های آنلاین و... هدیه می‌دهد.

از این لینک ثبت‌نام کنید:
https://learning.oreilly.com/register/

منبع

آخرین ریلیز Hugging Face در حوزه #NLP

به روز ترین معماری های عام منظوره مانند (BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet...) برای درک زبان طبیعی (NLU) و تولید زبان طبیعی (NLG) برای بیش از 32 مدل از پیش آموزش داده شده و برای بیش از 100 زبان با قابلیت جابه‌جایی بین دو فریم‌ورک TensorFlow 2.0 و PyTorch

Code: https://github.com/huggingface/transformers