#ترجمه

ترجمه ی زیر ادامه ی از فصلهای کتاب یادگیری ماشین andrw ng که به صورت رایگان توسط گروهی ترجمه شده است . بقیه ی ترجمه ها رو بزودی بار گذاری میکنم . ترجمه ی زیر نیاز به ویرایش داره به همین جهت از دوستانی که میتونند در کار ویرایش کمک کنند لطف در فایل گوگل داک کامنت بزارند پس از ویرایش نهایی کل کتاب به صورت رایگان در سایت خود کتاب andrew ng به زبان فارسی منتشر میشه .

اسامی همه ی مترجمین + ویرایش کننده ها هم ذکر میشود .



https://docs.google.com/document/d/1HOWu4t_4-T1GAxVkDhL90evSUdAQGlcH4_Ig0skL4m8/edit?usp=sharing

https://twitter.com/rezamahmooudi/status/1146693157989560321?s=19

#خبر
ابزاری برای کمک به تکمیل کد در حین برنامه‌نویسی (code autocompletion) مبتنی بر مدل GPT-2 آموزش داده شده روی حدود ۲ میلیون فایل از گیت‌هاب:
https://tabnine.com/blog/deep?utm_campaign=NLP%20News&utm_medium=email&utm_source=Revue%20newsletter


مرتبط با:
https://t.iss.one/cvision/1035
https://t.iss.one/cvision/1026
🙏Thanks to: @Machine_Learnings

#nlp

#خبر

2019 Google Scholar Metrics Released, CVPR Cracks the Top Ten

https://medium.com/syncedreview/2019-google-scholar-metrics-released-cvpr-cracks-the-top-ten-905deebbf833

🙏Thanks to: @MH_Sattarian

OmniNet: A unified architecture for multi-modal multi-task learning

OmniNet is a unified and extended version of the Transformer architecture for multi-modal multi-task learning.

A single OmniNet architecture can encode multiple inputs from almost any real-life domain (text, image, video) and is capable of asynchronous multi-task learning across a wide range of tasks.

code: https://github.com/subho406/OmniNet
paper: https://arxiv.org/abs/1907.07804

#multi_task_learning

چگونه می توان عملکرد طبقه بند را زمانی که رزولوشن عکس های مجموعه آموزش و آزمون با هم تفاوت داشته باشند، بهبود داد؟ برای جواب این سوال میتوانید به این مقاله نگاهی بیاندازید.

Fixing the train-test resolution discrepancy

A simple yet effective and efficient strategy to optimize the classifier performance when the train and test resolutions differ.

مقاله: https://arxiv.org/abs/1906.06423
کد: https://github.com/facebookresearch/FixRes

#مقاله #کد

Cyclical Learning Rates with Keras and Deep Learning

Using Cyclical Learning Rates you can dramatically reduce the number of experiments required to tune and find an optimal learning rate for your model.

Reference: https://www.pyimagesearch.com/2019/07/29/cyclical-learning-rates-with-keras-and-deep-learning/
#cyclical_learning_rates #lr #learning_rate

شغل هزاران نفر در سرار دنیا برچسب زدن دیتا شده است تا حجم عظیم اطلاعات مورد نیاز شرکت ها برچسب خورده و در آموزش الگوریتم های یادگیری ماشین استفاده شود.

https://www.ft.com/content/56dde36c-aa40-11e9-984c-fac8325aaa04


@techinsider_channel

#مقاله #کد #BERT #RoBERTa

RoBERTa: A Robustly Optimized BERT Pretraining Approach

همانطور که میدونید انواع انتخاب مقادیر مختلف برای هایپرپارامترها تاثیر جدی در نتیجه نهایی آموزش یک شبکه دارد.

طبق مطالعه انجام شده توسط محققین فیس بوک و دانشگاه واشنگتن و بقیه تیم پژوهشی به این نتیجه رسیده اند که مدل BERT که منتشر شد به خوبی آموزش داده نشده بود. درحالی که میتوانست با انتخاب بهینه هایپرپارامترها از تمام مدل های موجود و حتی بعد از خودش بهتر عمل کند.

"We find that BERT was significantly undertrained, and can match or exceed the performance of every model published after it."

در این مقاله میتوانید روش به کار گرفته شده برای حل این مسئله را بیشتر بررسی کنید.
https://arxiv.org/pdf/1907.11692

همینطور تمام کدها و مدل ها را هم منتشر کردند که میتوانید در این لینک ببینید.
https://github.com/pytorch/fairseq/tree/master/examples/roberta

BlazeFace: Sub-millisecond Neural Face Detection on Mobile GPUs

فریم ورکی که محققین گوگل برای تشخیص چهره ارایه دادند که میتواند با دقت و سرعت بالایی بر روی موبایل عمل کند.

BlazeFace is a new face detection framework adapted from the Single Shot Multibox Detector (SSD) framework and optimized for inference on mobile GPUs. The lightweight face detector runs at an impressive speed of 200–1000+ FPS on flagship smartphones.

مقاله:
https://arxiv.org/abs/1907.05047

#face_detection #face

کتابخانه tf.explain ابزاری است برای درک بهتر رفتار شبکه عصبی که امکان تحلیل گرادیان ها و ترسیم المان های مصور سازی نظیر heatmap ها را میدهد.
همچنین قابل ترکیب با tensorboard و قابل استفاده از طریق tf.keras API هم میباشد.

The library is adapted to the Tensorflow 2.0 workflow, using tf.keras API as possible. It provides:
- Heatmaps Visualizations & Gradients Analysis
- Both off-training and tf.keras.Callback Usages
- Tensorboard Integration

tf-explain respects the new TF2.0 API, and is primarily based on tf.keras when possible. It benefits from the @tf.function decorator which helps to keep support for both eager and graph mode. This allows keeping most algorithms computation time negligible compared to full training.

Algorithms implemented in tf-explain:
- Activations Visualizations
- Grad CAM
- Occlusion Sensitivity
- SmoothGrad

Documentation: https://tf-explain.readthedocs.io/en/latest/
Github: https://github.com/sicara/tf-explain

#visualization #tensorflow

#زمستان_هوش_مصنوعی
زمستان دوم

در دهه 80 و پس از فروکش کردن زمستان اول، عصر جدیدی از AI پا به عرصه ظهور گذاشت. این‌بار پیدایش «سیستمهای خِبره» یا Expert Systems بود که هوش مصنوعی را بر سر زبانها می‌انداخت. شکل‌گیری این سیستمها، یک گام در مسیر درست بود. مسیری که AI را دوباره به حل مسائل و چالشهای واقعی نزدیک می کرد. نکته این بود که این بار برخلاف دوره قبل که جامعه هوش مصنوعی در تلاش بود تا با تقلید از مدل ذهن آدمها در فرایند حل مساله، به یک AI همه‌منظوره و مافوق بشر دست پیدا کنند، سیستم‌های خبره بر روی حل مسائل خاص منظوره تمرکز داشتند. این سیستمها در «برنامه ریزی مالی»، «تشخیص بیماریها»، «اکتشافات زمین شناسی» و «طراحی مدارهای میکروالکترونیک» پیاده سازی شدند و موفقیت‌های چشم‌گیری نیز به دست آوردند.
یکی از نمونه های معروف این سیستمها Mycin نام داشت. سیستمی که برای «تشخیص باکتریهای عامل عفونت» طراحی شده بود و خروجیِ آن، تجویز آنتی‌بیوتیک با دُز مناسب با توجه به ویژگیهای بیمار (مانند وزن و...) بود. bit.ly/31R2gi3
(قبلا در مطلبی با عنوان «هوش مصنوعی به کجا می رود؟» هم به این سیستمها اشاره کرده بودیم)
t.iss.one/zankoo_ai/83

خلاصه با سیستم‌های خبره، نه تنها دوباره سازمانهای دولتی بلکه این بار شرکت‌های خصوصی هم متقاعد شدند که در پروژه‌های تحقیقاتی هوش مصنوعی سرمایه گذاری کنند. اما طولی نکشید که همان عارضه‌ی قبلی بروز کرد: وعده‌های بزرگ و غیرواقع بینانه‌ی پژوهشگران به مثابه حباب‌هایی دوباره رشد کردند. از سوی دیگر هم، ترس از رشد سریع شرکت‌های فناوری و تسخیر بازار، جلوی توسعه‌ی هوش را می‌گرفت.

در این میان، رسانه‌ها هم در این حباب می‌دمیدند. تعدادی کنفرانس بزرگ مثل AAAI در این دوران شکل گرفت. آنقدر این کنفرانسها مخاطب و هوادار پیدا کرده بود که بلیت‌هایشان خیلی سریع به فروش می‌رفت. مجله بلومبرگ تیتر زده بود که «هوش مصنوعی همین‌جاست». تبلیغات شرکتهای هوش مصنوعی هم جالب بود، مثلا «ما یک ذهن برتر ساخته ایم»یا عبارات اغراق آمیزی که همگی از کمبود یک تصویر درست از توانایی‌ها و محدودیتهای محصولات AI حکایت داشت.

در سال 1984، Marvin Minsky از پیشگامان AI و از بازماندگان زمستان اول، راجع به وقوع یک بحران دیگر هشدار داد. در جریان کنفرانس AAAI، میز گردی تشکیل شد با عنوان: «عصر تاریک AI. آیا میتوانیم از آن پیشگیری کنیم یا نجات پیدا کنیم؟»
در جریان میزگرد، پروفسور Drew McDermott به این اشاره کرد که "انتظارات از AI بالا رفته و ممکن است دوباره به یک فاجعه دیگر منجر شود."

"بیایید بدترین حالت ممکن را در نظر بگیریم، فرض کنیم در 5 سال آینده «جنبش ملی محاسبات استراتژیک» (سرمایه گذار تحقیقات در حوزه سخت افزار پیشرفته و هوش مصنوعی در آمریکا) بخاطر شکست پروژه‌ی خودروهای هوشمند، تعطیل شود. پروژه‌ی کامپیوترهای نسل 5 به جایی نرسد و دولت ژاپن دست از حمایت بردارد. استارت آپ ها یکی‌یکی شکست بخورند. شرکت Texas Instruments و schlumberger و دیگر شرکتها از سرمایه گذاری در AI دست بردارند. و ناگهان متوجه شویم که بابت پروژه‌های AI نمی‌توان بودجه‌ای گرفت! در این بلبشو همه شروع خواهند کرد به دستکاری عنوان پروژه‌های تحقیقاتی‌شان تا خودشان را به حوزه‌های دیگر بچسبانند و از این گرداب نجات دهند. بله! این وضعیت AI Winter نام دارد. چیزی شبیه به «زمستان هسته‌ای» (که در آن بودجه‌ی سلاح‌های هسته‌ای قطع شد.)
البته این بدترین حالت ممکن است و به نظرم به هیچ وجه چنین شرایطی محتمل نیست!"
bit.ly/313MbVe

در همین سال John McCarthy از وجود نواقصی در سیستمهای خبره انتقاد کرد و معتقد بود این سیستمها منجر به تصمیم‌گیری های اشتباه می شوند و از محدودیت‌هایشان بی‌اطلاع‌اند. مثلا در سیستم Mycin، در شرایطی که باکتری ویبریوکلرا در روده‌ی بیمار باشد، سیستم برایش دو هفته تتراسیکلین تجویز میکند. این درمان، باعث از بین رفتن تمام باکتری‌های بیمار می‌شود اما قبل از آن خود بیمار را هم راهی قبرستان میکند!
علاوه بر این بسیاری از مسائل آنقدر پیچیده بودند که مهندسها نمی‌توانستند تمام قوانین را خودشان دستی طراحی کنند و بنویسند.

رکود در بازار سیستم‌های خبره‌ی کامپیوتری، اولین نشانه‌های زمستان دوم بود. با کاهش موفقیت پروژه‌ها و عدم تحقق وعده‌ها، Schwarz مدیر DARPA در اواخر دهه 80، تصمیم به کاهش بودجه‌ی پروژه‌ها گرفت. بسیاری از استارت آپ ها تعطیل شدند. کنفرانس AAAI با ریزش شدید بازدیدکننده‌ها مواجه شد، تا جاییکه در 1995 انتشار مقالات AI به پایین ترین حد خود رسید. نهایتا هم اصطلاح «سیستمهای خبره» شد هم‌تراز «وعده‌های عمل نشده و سرمایه های هدر رفته» (مانند اتفاقی که بر سر واژه‌ی هوش مصنوعی در زمستان اول افتاد)

جواد امیریان
زانکو
🙏Thanks to: @zankoo_ai

تاریخچه‌ای از فراز و نشیب های دوران هوش مصنوعی

🙏Thanks to: @zankoo_ai

#آموزش

Keras Learning Rate Finder

در دوره یادگری عمیق پیشرفته (اینجا) دیده بودیم که جرمی هاوارد در فریم ورک fastai روشی که در مقالات برای پیدا کردن learning rate بهینه موجود است را پیاده سازی کرده است.
حال پیاده سازی در کراس و آموزش:

https://www.pyimagesearch.com/2019/08/05/keras-learning-rate-finder/

Self-Attention Generative Adversarial Networks
Han Zhang, Ian Goodfellow, Dimitris Metaxas, Augustus Odena

SAGAN allows attention-driven, long-range dependency modeling for image generation tasks.

Traditional convolutional GANs generate high-resolution details as a function of only spatially local points in lower-resolution feature maps. In SAGAN, details can be generated using cues from all feature locations. Moreover, the discriminator can check that highly detailed features in distant portions of the image are consistent with each other. Furthermore, recent work has shown that generator conditioning affects GAN performance.

Paper: https://arxiv.org/pdf/1805.08318
GitHub: https://github.com/brain-research/self-attention-gan

#GAN #SAGAN #مقاله #کد

تشخیص محدوده های متن (Text) در تصویر با شبکه CNN + BLSTM
پیشبینی محدوده متن با مسيله دو کلاسه text و non text با ترکیب لایه های cnn و blstm
با عملکرد فوق العاده روی متن های فارسی

Scene text detection based on ctpn (connectionist text proposal network). It is implemented in tensorflow
text detection mainly based on ctpn model

لینک مقاله :
https://arxiv.org/pdf/1609.03605.pdf

لینک پیاده سازی کد با تنسرفلو و شبکه آموزش داده شده :
https://github.com/eragonruan/text-detection-ctpn

🙏Thanks to : @rezaderakhshan

#مقاله

Improved Inference via Deep Input Transfer

اکثر روش هایی که برای بهبود عمکرد مدل ها برای segmentation تصویر به وسیله شبکه های کانولوشنی ارایه شده اند، روی تغییر در معماری مدل، آموزش دادن با دیتاست های بزرگتر و ارایه توابع خطا جدید یا روش های بهینه سازی بهتر تمرکز داشته اند.
در این مفاله سعی شده با ایجاد تغییر در ورودی شبکه به شکل بهینه، عملکرد را بهبود دهند. برای آشنا شدن با این روش میتوانید این مقاله را بخوانید.
مقاله:
https://arxiv.org/pdf/1904.02307

#segmentation

ویدیو جالب از صحبت بزرگان دیپ لرنینگ در مورد Geoffrey Hinton
Source: deeplearning.ai
#geoffrey_hinton #deep_learning

تشخیص و ردیابی سه بعدی اشیا در تصویر با یادگیری عمیق

A Baseline for 3D Multi-Object Tracking
Multi-object tracking (MOT) is an essential component technology for many vision applicationssuch as autonomous driving, robot collision prediction and video face alignment

مقاله :
https://arxiv.org/pdf/1907.03961.pdf

پیاده سازی با پایتون :
https://github.com/xinshuoweng/AB3DMOT

#لیبل زدن دیتا

Free to use online tool for labelling photos. https://makesense.ai


https://github.com/SkalskiP/make-sense

Mathematics for Machine Learning Book:

https://mml-book.github.io/

یادگیری عمیق برای هوش مصنوعی

سخنران:‌ Yoshua Bengio
فوق دکترا از دانشگاه MIT
عضو هیئت علمی دانشگاه مونترال
برنده جایزه تورینگ سال ۲۰۱۸

۲شنبه ۴ شهریور
ساعت ۱۶ تا ۱۸
آمفی‌تئاتر دانشکده برق و کامپیوتر

@ut_acm