WebGPU API:
GPU Compute on the Web

WebGPU is available for now in Chrome 78:
chrome://flags/#enable-unsafe-webgpu

const adapter = await navigator.gpu.requestAdapter()
const device = await adapter.requestDevice()

https://gpuweb.github.io/gpuweb

#مقاله #سورس_کد
Mean teachers are better role models:Weight-averaged consistency targets improvesemi-supervised deep learning results
A state-of-the-art semi-supervised method for image recognition

مقاله ای نه چندان جدید!
روشی برای طبقه بندی با دقت بالاتر در مواقعی که لیبل های کمتری داریم!
با 10 درصد labelهای imagenet به خطای 9.11 ± 0.12 رسیده است.

https://arxiv.org/pdf/1703.01780.pdf

https://github.com/CuriousAI/mean-teacher

Weight Agnostic Neural Network
دسته‌ای از شبکه‌ها که در اون‌ها نورون‌ها وزن مشترک دارن و حتی با مقادیر تصادفی اولیه هم دقت قابل قبولی خواهیم داشت.
در واقع اینجا به جای انتخاب یک معماری و آموزش وزن‌ها، به مرور زمان معماری رو آموزش می‌دیم. به این ترتیب وزن‌ها چندان اهمیت ندارن هر چند می‌شه بعداً وزن‌ها رو به روش‌های عادی آموزش داد. هم‌چنین چون وزن‌ها بین همهٔ نورون‌ها مشترک هستن، با انتخاب مقادیر مختلف برای این وزن‌ها می‌شه گروهی از مدل‌ها رو داشت که در مجموع دقت بالاتری به دست میارن.
https://ai.googleblog.com/2019/08/exploring-weight-agnostic-neural.html

🙏Thanks to: @samehraboon

ویدیوی سخنرانی بنجیو دانشگاه تهران چهارم شهریور
@Sensifai_Talk

https://www.aparat.com/v/RYF94

#مقاله

https://venturebeat.com/2019/09/05/facebook-microsoft-and-academics-launch-deepfake-detection-competition/
Facebook, Microsoft, and academics launch deepfake detection competition

🙏Thanks to: @Kargarisaac

#News
خبر:
فرصت مطالعاتی در شرکت انویدیا برای دانشجویان تحصیلات تکمیلی. اطلاعات بیشتر در لینک زیر:
https://www.nvidia.com/en-us/research/graduate-fellowships/
@convent

NeurIPS 2019 Stats - Diego Charrez - Medium
https://medium.com/@dcharrezt/neurips-2019-stats-c91346d31c8f

نمایش بصری گراف معماری شبکه های عصبی یادگیری عمیق و یادگیری ماشین

Visualizer for neural network, deep learning and machine learning models
Netron is a viewer for neural network, deep learning and machine learning models.

Netron supports ONNX (.onnx, .pb, .pbtxt), Keras (.h5, .keras), Core ML (.mlmodel), Caffe (.caffemodel, .prototxt), Caffe2 (predict_net.pb, predict_net.pbtxt), MXNet (.model, -symbol.json), TorchScript (.pt, .pth), NCNN (.param) and TensorFlow Lite (.tflite).

Netron has experimental support for PyTorch (.pt, .pth), Torch (.t7), CNTK (.model, .cntk), Deeplearning4j (.zip), PaddlePaddle (.zip, model), Darknet (.cfg), scikit-learn (.pkl), TensorFlow.js (model.json, .pb) and TensorFlow (.pb, .meta, .pbtxt).

https://github.com/lutzroeder/netron

سلام.
تعدادی از دانشجوهای ورودی 94 دانشگاه رجایی پروژه های پایانی مقطع کارشناسی خود را با موضوعات مرتبط با یادگیری عمیق یا بینایی کامپیوتر انتخاب کرده اند و
یکشنبه مورخ 24 شهریور ساعت 9 الی 12 از موضوعات خود دفاع خواهند کرد.
در صورتی که تمایل دارید حضور یابید لطفا فرم زیر را تکمیل فرمایید.
با توجه به محدودیت ها، بعد از بررسی و هماهنگی با دانشگاه نهایت تا روز شنبه امکان حضور یا عدم حضورتان خدمتتان اعلام خواهد شد.
https://forms.gle/hjNBEaUzuLgJ9VYWA

#خبر
طبق گزارش نشریه نیچر، ایران در بین پرتولیدترین کشورهای علمی دنیا در هوش مصنوعی قرار گرفته
لینک خبر از خبرگزاری مهر | لینک خبر از خبرگزاری علم و فرهنگ سینا

اسامی ۲۰ محققی که بیشترین پژوهش کاربردی را در میان پژوهشگران هوش مصنوعی کشور داشته‌اند در این گزارش اعلام شده است.
به تمامی این محققان و اساتید از جمله دکتر ابراهیم پور، عضو هیات علمی و رئیس دانشکده کامپیوتر دانشگاه رجایی و استاد راهنمای اسبق ارشد خودم تبریک عرض میکنم.

وقتی نویسنده‌های مقاله مدلی ارایه می‌دهند که می‌تواند متون را خلاصه کند و برای نوشتن چکیده مقاله همان مدل از آن استفاده می‌کنند!

لینک مقاله:
https://arxiv.org/abs/1909.03186

سایت o'reilly برای کسانی که تازه ثبت‌نام کنند ۱۰ روز دسترسی رایگان و آزاد به منابع خود از جمله مطالعه آنلاین کتاب‌ها، مشاهده ویدئوهای آموزشی و شرکت در کلاس‌های آنلاین و... هدیه می‌دهد.

از این لینک ثبت‌نام کنید:
https://learning.oreilly.com/register/

منبع

آخرین ریلیز Hugging Face در حوزه #NLP

به روز ترین معماری های عام منظوره مانند (BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet...) برای درک زبان طبیعی (NLU) و تولید زبان طبیعی (NLG) برای بیش از 32 مدل از پیش آموزش داده شده و برای بیش از 100 زبان با قابلیت جابه‌جایی بین دو فریم‌ورک TensorFlow 2.0 و PyTorch

Code: https://github.com/huggingface/transformers

#خبر
بلاخره ساعاتی پیش تنسرفلو نسخه ۲ رسما منتشر شد

https://medium.com/tensorflow/tensorflow-2-0-is-now-available-57d706c2a9ab


برای نصب میتوانید به مستندات نصب مراجعه کنید:
https://www.tensorflow.org/install

#tensorflow2

Announcing TensorFlow 2.0

@cvision

تغییرات تنسرفلو ۲ برای شبکه های بازگشتی
یکی از تغییرات تنسرفلو ۲ حذف API های اضافی بوده است.
مثلا در تنسرفلو قبلا با دو روش مختلف

TF RNN و Keras RNN

میتوانستیم شبکه ها را تعریف کنیم.
در نسخه جدید تنسرفلو روش TF RNN برای تعریف شبکه های بازگشتی منسوخ شده و کاربردهایی که قبلا داشته و در Keras نبوده به Keras پورت شده است.
حالا از این پس صرفا با API هایی که کراس در اختیارمون میگذاره باید شبکه های RNN را تعریف کنیم.

اطلاعات بیشتر را در این مورد میتوانید از اینجا مطالعه کنید:

https://github.com/tensorflow/community/blob/master/rfcs/20180920-unify-rnn-interface.md


tf.nn.rnn_cell.BasicRNNCell -> tf.keras.SimpleRNNCell
tf.nn.rnn_cell.BasicLSTMCell, tf.keras.LSTMCell -> tf.nn.rnn_cell.LSTMCell
tf.nn.rnn_cell.GRUCell -> tf.keras.GRUCell
tf.nn.rnn_cell.MultiRNNCell -> tf.keras.StackedRNNCells

#RNN, #tensorflow2

معادل rnn ها در api کراس تنسرفلو
https://t.iss.one/cvision/1444

☑️تغییرات RNN ها در تنسرفلو۲
اگر خاطرتون باشه قبلا برای استفاده از GPU در مدلهای RNN باید شرط مینوشتیم و از لایه معادل CUDNN آن استفاده میکردیم که کد واقعا کثیف میشد!
مثلا برای تولید اشعاری شبیه شاهنامه کد زیر را که در عکس مشخص شده داشتیم

https://nbviewer.jupyter.org/github/Alireza-Akhavan/class.vision/blob/master/48-text-generation-on-shahnameh-tensorflow.ipynb
#tensorflow2 #rnn

در تنسرفلو ۲، به صورت پیش فرض اگر GPU در دسترس باشه و اگر از لایه های RNN ی استفاده کنید، از GPU استفاده خواهد شد.
اگر یادتون باشه قبلا اینطوری نبود که اینجا مثال زدم:

https://t.iss.one/cvision/1446

پس به همین دلیل دیگه دو لایه ی keras.layers.CuDNNLSTM/CuDNNGRU layers
منقضی شدند. و میتونید بدون نگرانی به نوع سخت افزار کد بنویسید.

اما از اونجایی که لایه های rnn در کرنل CUDNN تحت شرایط خاص نوشته شده، نمیتونیم هر پارامتری که میخوایم را بهش پاس بدیم، در غیر این صورت کدمون فقط رو cpu ران میشه!

شرایطی که باعث میشه لایه های RNN ی روی GPU نره و فقط رو CPU اجرا شه!

🔴Changing the activation function from tanh to something else.
🔴Changing the recurrent_activation function from sigmoid to something else.
🔴Using recurrent_dropout > 0.
Setting unroll to True, which forces LSTM/GRU to decompose the inner tf.while_loop into an unrolled for loop.
🔴Setting use_bias to False.
🔴Using masking when the input data is not strictly right padded (if the mask corresponds to strictly right padded data, CuDNN can still be used. This is the most common case).

https://www.tensorflow.org/guide/keras/rnn

@cvision
#tensorflow2 #rnn

#آموزش
نوت بوک آموزشی تنسرفلو 2 که توسط Chollet منتشر شد

https://colab.research.google.com/drive/1UCJt8EYjlzCs1H1d1X0iDGYJsHKwu-NO#scrollTo=fxINLLGitX_n

#tensorflow2 #Keras