اگر یکی که تا حالا کار نکرده ازتون پرسید یادگیری ماشین چیه، چی میگید؟
میتونید به سادگی Samuel توضیح بدید یا به پیچیدگی Mitchell!!

#آموزش و طرح #ابهام مستندات چند نخی در کراس - بخش 1 از دو

استفاده از use_multiprocessing و workers در fit_generator کراس
طرح یک ابهام در داکیومنت های #Keras !

#سوال:
احتمالا میدونید که اگر با دیتاست های خیلی بزرگ تصویری سر و کار داشته باشید، خیلی وقت ها bottleneck فرآیند آموزش خواندن تصاویر از هارد و augmentation توی pipeline آموزش CPU میشه و GPU معطل دیتا میمونه و بیکار میمونه و Utilization سیستم میاد پایین!
راهکارتون چیه؟

#پاسخ:
استفاده از پارامتر use_multiprocessing=True اجازه میده که process-based threading فعال بشه و با چند نخ و موازی دیتا خوانده و augment بشه
اما یه پارامتر دیگه هم باید ست کنید؛ و اونم عددی برای workers هستش.
توضیحات در داکیومنت:
Maximum number of processes to spin up when using process-based threading.

با این دو پارامتر میتونید به صورت موازی دیتا را خوانده و پیش پردازش کنید و با افزایش سرعت آماده کردن دیتا میتونید از بیکار بودن GPU جلوگیری کرده و utilization اونو افزایش بدید.

اما
#ابهام داکیومنت کجاست حالا؟

اگر دقت کنید نوشته:

workers: Integer. Maximum number of processes to spin up when using process-based threading.

از طرفی داشتیم:
use_multiprocessing: Boolean. If True, use process-based threading.

من به شخصه وقتی این دو جمله را میخونم برداشتم اینه که عددی که جلوی workers مینویسم فقط برای وقتیه که use_multiprocessing را True ست کرده باشم.
برداشت دیگه ای میشه داشت؟؟

مشاهده داکیومنت: https://keras.io/models/sequential/

ادامه در: https://t.iss.one/cvision/1360

#آموزش و طرح #ابهام مستندات چند نخی در کراس - بخش 2 از دو

بخش 1 در
https://t.iss.one/cvision/1359

اما وقتی کدها را ببینید عملا مشاهده میشه که کراس تو حالتی که use_multiprocessing را هم False داده باشیم داره از پارامتر workers استفاده میکنه

https://github.com/keras-team/keras/blob/47e1b18c0b7e3ddeef4e9fcded409a55d0479a4f/keras/utils/data_utils.py#L463

...

این توئیت خنده دار بود #fun

طرف نوشته 12 ساله همسرمو میشناسم، جیمیل هنوزم ایمیل هاشو به عنوان غیر مهم طبقه بندی میکنه!

بعد Ian Goodfellow در ابراز همدردی نوشته ایمیل های خودمم جیمیل غیر مهم طبقه بندی میکنه :)

یان لکان اومده جواب داده فقط از وقتی که از گوگل رفتی این اتفاق افتاده :)))

پانوشت:
گودفلو قبلا تو گوگل کار میکرد، و لکان داره بهش تیکه میندازه زمانی که خودتم گوگلی بودی همین وضع بوده...

https://twitter.com/doomie/status/1139249234891329536

#آموزش
Online/Incremental Learning with #Keras and #Creme
https://www.pyimagesearch.com/2019/06/17/online-incremental-learning-with-keras-and-creme/


*Creme is a library specifically tailored to #incremental_learning.

#آموزش #مقاله


New DeepMind Unsupervised Image Model Challenges AlexNet

https://medium.com/syncedreview/new-deepmind-unsupervised-image-model-challenges-alexnet-d658ef92ab1e

⚪️Contrastive Predictive Coding (CPC) that outperforms the fully-supervised AlexNet model in Top-1 and Top-5 accuracy on ImageNet.

⚪️CPC was introduced by DeepMind in 2018. The unsupervised learning approach uses a powerful autoregressive model to extract representations of high-dimensional data to predict future samples.

⚪️Given 13 labeled images per class, DeepMind’s CPC model outperformed state-of-the-art semi-supervised methods by 10 percent in Top-5 accuracy, and supervised methods by 20 percent.


#Unsupervised #DeepMind

Facial Recognition Has a Blind Spot


https://zora.medium.com/facial-recognition-has-a-blind-spot-57523b73039e

For White men, the software works correctly 99% of the time. For darker-skinned women, there were nearly 35% more errors.

سخنرانی TED مرتبط:
https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms

#face

#مقاله #پیاده_سازی
XLNet: Generalized Autoregressive Pretraining for Language Understanding



#XLNet outperforms #BERT on 20 tasks, often by a large margin, and achieves state-of-the-art results on 18 tasks including question answering, natural language inference, sentiment analysis, and document ranking. Code and comparisons here:

سورس کد (تنسرفلو)
https://github.com/zihangdai/xlnet

مقاله
https://arxiv.org/abs/1906.08237v1

#NLP

#مقاله #پیاده_سازی
XLNet: Generalized Autoregressive Pretraining for Language Understanding



#XLNet outperforms #BERT on 20 tasks, often by a large margin, and achieves state-of-the-art results on 18 tasks including question answering, natural language inference, sentiment analysis, and document ranking. Code and comparisons here:

سورس کد (تنسرفلو)
https://github.com/zihangdai/xlnet

مقاله
https://arxiv.org/abs/1906.08237v1

#NLP

#آموزش #keras
Hyperparameter tuning magic

Note that the search space can be dynamic: here you have a 'for' loop controlled by a hyperparameter, inside which you define new hyperparameters.

You could push this to any level (e.g. searching over a connectivity graph for a dynamic number of nodes). Even recursion...

https://twitter.com/fchollet/status/1141532631810527232

#Hyperparameter

#مقاله #پیاده_سازی
XLNet: Generalized Autoregressive Pretraining for Language Understanding
https://t.iss.one/cvision/1366

Open fully-funded PhD position in cognitive robotics and machine learning at Cognitive Robotics, Interactive Systems & Speech Processing (CNRS) lab

France

The CRISSP Team (Cognitive Robotics, Interactive Systems & Speech Processing) of the GIPSA-Lab at UGA (University Grenoble Alpes) is looking for a PhD student to reinforce our research on cognitive robotics and machine learning. This work will be conducted in partnership with the MARVIN team of the LIG-Lab from the same university. The position will be financed by the new MIAI@UGA (Multidisciplinary Institute for Artificial Intelligence, Grenoble-France), one of the four AI institutes1 selected in France.

More Details: https://www.marktechpost.com/job/open-fully-funded-phd-position-in-cognitive-robotics-and-machine-learning-at-cognitive-robotics-interactive-systems-speech-processing-cnrs-lab/

#خبر

اظهارات اخیر Andrew Ng فردی تاثیر گذار در حوزه یادگیری ماشینی، و یادگیری عمیق در مورد نرم افزار deep nude که اخیرا ارائه شده، و سوء استفاده ای از روش pix2pix است.

روش pix2pix یک روش بر مبنای #GAN است که برای #Image_to_Image_Translation استفاده میشود. در این روش تصویر ۱ توسط شبکه عصبی عمیق به تصویر متناظر ۲ تبدیل می گردد، که در این نرم افزار تصویر افراد ورودی شبکه، و تصویر بدون لباس فرد را خروجی میدهد.

https://twitter.com/AndrewYNg/status/1144668413140144128?s=19

جادی هم در این رابطه یک پست با عنوان
بالاخره «دوربین لخت کن» ساخته شد، و ما درکش نمی کنیم
نوشته که میتونید بخونیدش...


https://jadi.net/2019/06/deep-nude/
___
مطلب مرتبط:

#آموزش
آموزش شبکه ی مولد تخاصمی (GAN) برای تبدیل تصویر با روش pix2pix

https://www.aparat.com/v/S9bcT?c

اسلاید:

https://fall97.class.vision/slides/17.pdf

کد (نوت بوک پایتون تنسرفلو - کراس) :

https://nbviewer.jupyter.org/github/alireza-akhavan/class.vision/blob/master/57-gan-pix2pix_tensorflow_eager.ipynb


کلاس نوت فارسی pix2pix

https://blog.class.vision/1397/10/pixtopix/

#GAN #pix2pix #cyclegan #keras #tensorflow
#Image_to_Image_Translation
#deep_nude

#مجموعه_داده
#چالش

Announcing the YouTube-8M Segments Dataset
Friday, June 28, 2019

https://ai.googleblog.com/2019/06/announcing-youtube-8m-segments-dataset.html

یک چالش کگل هم با این مجموعه داده در حال برگزاری است.
به 10 نفر نخست $2,500 دلار داده میشه تا بتونند در ICCV’19 شرکت کنند.

https://www.kaggle.com/c/youtube8m-2019

#آموزش

نزدیک یک ماه پیش مهندس قریشی پستی در کانال منتشر کردند که با این سوال شروع شده بود:

آیا میتوان شبکه ای که با ورودی 224 در 224 آموزش دیده را با سایز ورودی دیگری آموزش داد ؟

سایت pyimagesearch پنج روز پیش پستی با عنوان Change input shape dimensions for fine-tuning with Keras منتشر کرده که همین موضوع را توضیح داده است:

Q. Can I fine-tune a CNN on image dimensions *smaller* than what it was originally trained on?
A. Yes, you can!

https://www.pyimagesearch.com/2019/06/24/change-input-shape-dimensions-for-fine-tuning-with-keras/


مطلب مرتبط در کانال:
https://t.iss.one/cvision/1295

#کورس

انتشار کورس جدید Deep Learning from the Foundations توسط جرمی هاوارد

5 ویدیو در مورد آموزش مفاهیم و مبانی دیپ لرنینگ با #پایتورچ ، #fastai و پایتون و 2 ویدیو آخر مربوط به #سوئیفت و استفاده از آن در #تنسورفلو می باشد که توسط نویسنده این زبان آموزش داده شده است.

Jeremy Howard:
"Today we are releasing a new course (taught by me), Deep Learning from the Foundations, which shows how to build a state of the art deep learning model from scratch. It takes you all the way from the foundations of implementing matrix multiplication and back-propogation, through to high performance mixed-precision training, to the latest neural network architectures and learning techniques, and everything in between. It covers many of the most important academic papers that form the foundations of modern deep learning, using “code-first” teaching, where each method is implemented from scratch in python and explained in detail (in the process, we’ll discuss many important software engineering techniques too). The whole course, covering around 15 hours of teaching and dozens of interactive notebooks, is entirely free (and ad-free), provided as a service to the community. The first five lessons use Python, PyTorch, and the fastai library; the last two lessons use Swift for TensorFlow, and are co-taught with Chris Lattner, the original creator of Swift, clang, and LLVM."

لینک صفحه کورس: https://course.fast.ai/part2
لینک خبر: https://www.fast.ai/2019/06/28/course-p2v3

رد شدن مقاله های هینتون، یوشیا بنجیو و یان لکان توی NIPS ، ICML و CVPR توی سال های 2007، 2009 و 2010 به خاطر دلیل های مسخره. مثلا به هینتون گفتن چون یه مقاله دیپ لرنیگی قبل از اون پذیرفتند دیگه نمیتونند یه مقاله دیگه توی یه فیلد بپذیرند یا به یان لکان گفتن مقاله ات اصن ربطی به کامپیوتر ویژن نداره چون همه چی مبتنی بر لرنینگه با اینکه روشش از بقیه روش ها بهتر بوده!

لیست شبکه ها و الگوریتم های ارائه شده برای تشخیص اشیا ( object detection ) در تصویر به همراه مقاله ها و پیاده سازی های متنوع

This is a list of awesome articles about object detection. If you want to read the paper according to time, you can refer to Date.

https://github.com/amusi/awesome-object-detection

#خبر

https://www.instagram.com/p/BzVQBkaJ6Ap/?igshid=1sxd9om4ifno5

این اپ از روش pix2pix استفاده میکرد که برای جلویری از سوء استفاده حذف شد.

البته جمله اول توئیت اندرو انگ که نوشته بود "I’m glad DeepNude is dead. " به همین خبر اشاره داشته...

مرتبط با
https://t.iss.one/cvision/1371

#آموزش + #سورس_کد فارسی

آموزش تراز کردن کارت ملی (ایرانی) + سورس کد

آموزش:
https://blog.class.vision/1398/04/2541/

سورس کد:
https://github.com/ElmiiiRaa/align_iranian_national_id_card

با تشکر از مهندس المیرا قربانی

#تراز #کارت_ملی
#face #mtcnn

New Google Brain Optimizer Reduces BERT Pre-Training Time From Days to Minutes

کاهش مدت زمان pre-training مدل زبانی BERT از سه روز به 76 دقیقه با ارائه یک تابع بهینه ساز جدید!

Google Brain researchers have proposed LAMB (Layer-wise Adaptive Moments optimizer for Batch training), a new optimizer which reduces training time for its NLP training model BERT (Bidirectional Encoder Representations from Transformers) from three days to just 76 minutes.

لینک مقاله: https://arxiv.org/abs/1904.00962
لینک بلاگ پست: https://medium.com/syncedreview/new-google-brain-optimizer-reduces-bert-pre-training-time-from-days-to-minutes-b454e54eda1d

#BERT #language_model #optimizer