#زمستان_هوش_مصنوعی
زمستان دوم

در دهه 80 و پس از فروکش کردن زمستان اول، عصر جدیدی از AI پا به عرصه ظهور گذاشت. این‌بار پیدایش «سیستمهای خِبره» یا Expert Systems بود که هوش مصنوعی را بر سر زبانها می‌انداخت. شکل‌گیری این سیستمها، یک گام در مسیر درست بود. مسیری که AI را دوباره به حل مسائل و چالشهای واقعی نزدیک می کرد. نکته این بود که این بار برخلاف دوره قبل که جامعه هوش مصنوعی در تلاش بود تا با تقلید از مدل ذهن آدمها در فرایند حل مساله، به یک AI همه‌منظوره و مافوق بشر دست پیدا کنند، سیستم‌های خبره بر روی حل مسائل خاص منظوره تمرکز داشتند. این سیستمها در «برنامه ریزی مالی»، «تشخیص بیماریها»، «اکتشافات زمین شناسی» و «طراحی مدارهای میکروالکترونیک» پیاده سازی شدند و موفقیت‌های چشم‌گیری نیز به دست آوردند.
یکی از نمونه های معروف این سیستمها Mycin نام داشت. سیستمی که برای «تشخیص باکتریهای عامل عفونت» طراحی شده بود و خروجیِ آن، تجویز آنتی‌بیوتیک با دُز مناسب با توجه به ویژگیهای بیمار (مانند وزن و...) بود. bit.ly/31R2gi3
(قبلا در مطلبی با عنوان «هوش مصنوعی به کجا می رود؟» هم به این سیستمها اشاره کرده بودیم)
t.iss.one/zankoo_ai/83

خلاصه با سیستم‌های خبره، نه تنها دوباره سازمانهای دولتی بلکه این بار شرکت‌های خصوصی هم متقاعد شدند که در پروژه‌های تحقیقاتی هوش مصنوعی سرمایه گذاری کنند. اما طولی نکشید که همان عارضه‌ی قبلی بروز کرد: وعده‌های بزرگ و غیرواقع بینانه‌ی پژوهشگران به مثابه حباب‌هایی دوباره رشد کردند. از سوی دیگر هم، ترس از رشد سریع شرکت‌های فناوری و تسخیر بازار، جلوی توسعه‌ی هوش را می‌گرفت.

در این میان، رسانه‌ها هم در این حباب می‌دمیدند. تعدادی کنفرانس بزرگ مثل AAAI در این دوران شکل گرفت. آنقدر این کنفرانسها مخاطب و هوادار پیدا کرده بود که بلیت‌هایشان خیلی سریع به فروش می‌رفت. مجله بلومبرگ تیتر زده بود که «هوش مصنوعی همین‌جاست». تبلیغات شرکتهای هوش مصنوعی هم جالب بود، مثلا «ما یک ذهن برتر ساخته ایم»یا عبارات اغراق آمیزی که همگی از کمبود یک تصویر درست از توانایی‌ها و محدودیتهای محصولات AI حکایت داشت.

در سال 1984، Marvin Minsky از پیشگامان AI و از بازماندگان زمستان اول، راجع به وقوع یک بحران دیگر هشدار داد. در جریان کنفرانس AAAI، میز گردی تشکیل شد با عنوان: «عصر تاریک AI. آیا میتوانیم از آن پیشگیری کنیم یا نجات پیدا کنیم؟»
در جریان میزگرد، پروفسور Drew McDermott به این اشاره کرد که "انتظارات از AI بالا رفته و ممکن است دوباره به یک فاجعه دیگر منجر شود."

"بیایید بدترین حالت ممکن را در نظر بگیریم، فرض کنیم در 5 سال آینده «جنبش ملی محاسبات استراتژیک» (سرمایه گذار تحقیقات در حوزه سخت افزار پیشرفته و هوش مصنوعی در آمریکا) بخاطر شکست پروژه‌ی خودروهای هوشمند، تعطیل شود. پروژه‌ی کامپیوترهای نسل 5 به جایی نرسد و دولت ژاپن دست از حمایت بردارد. استارت آپ ها یکی‌یکی شکست بخورند. شرکت Texas Instruments و schlumberger و دیگر شرکتها از سرمایه گذاری در AI دست بردارند. و ناگهان متوجه شویم که بابت پروژه‌های AI نمی‌توان بودجه‌ای گرفت! در این بلبشو همه شروع خواهند کرد به دستکاری عنوان پروژه‌های تحقیقاتی‌شان تا خودشان را به حوزه‌های دیگر بچسبانند و از این گرداب نجات دهند. بله! این وضعیت AI Winter نام دارد. چیزی شبیه به «زمستان هسته‌ای» (که در آن بودجه‌ی سلاح‌های هسته‌ای قطع شد.)
البته این بدترین حالت ممکن است و به نظرم به هیچ وجه چنین شرایطی محتمل نیست!"
bit.ly/313MbVe

در همین سال John McCarthy از وجود نواقصی در سیستمهای خبره انتقاد کرد و معتقد بود این سیستمها منجر به تصمیم‌گیری های اشتباه می شوند و از محدودیت‌هایشان بی‌اطلاع‌اند. مثلا در سیستم Mycin، در شرایطی که باکتری ویبریوکلرا در روده‌ی بیمار باشد، سیستم برایش دو هفته تتراسیکلین تجویز میکند. این درمان، باعث از بین رفتن تمام باکتری‌های بیمار می‌شود اما قبل از آن خود بیمار را هم راهی قبرستان میکند!
علاوه بر این بسیاری از مسائل آنقدر پیچیده بودند که مهندسها نمی‌توانستند تمام قوانین را خودشان دستی طراحی کنند و بنویسند.

رکود در بازار سیستم‌های خبره‌ی کامپیوتری، اولین نشانه‌های زمستان دوم بود. با کاهش موفقیت پروژه‌ها و عدم تحقق وعده‌ها، Schwarz مدیر DARPA در اواخر دهه 80، تصمیم به کاهش بودجه‌ی پروژه‌ها گرفت. بسیاری از استارت آپ ها تعطیل شدند. کنفرانس AAAI با ریزش شدید بازدیدکننده‌ها مواجه شد، تا جاییکه در 1995 انتشار مقالات AI به پایین ترین حد خود رسید. نهایتا هم اصطلاح «سیستمهای خبره» شد هم‌تراز «وعده‌های عمل نشده و سرمایه های هدر رفته» (مانند اتفاقی که بر سر واژه‌ی هوش مصنوعی در زمستان اول افتاد)

جواد امیریان
زانکو
🙏Thanks to: @zankoo_ai

تاریخچه‌ای از فراز و نشیب های دوران هوش مصنوعی

🙏Thanks to: @zankoo_ai

#آموزش

Keras Learning Rate Finder

در دوره یادگری عمیق پیشرفته (اینجا) دیده بودیم که جرمی هاوارد در فریم ورک fastai روشی که در مقالات برای پیدا کردن learning rate بهینه موجود است را پیاده سازی کرده است.
حال پیاده سازی در کراس و آموزش:

https://www.pyimagesearch.com/2019/08/05/keras-learning-rate-finder/

Self-Attention Generative Adversarial Networks
Han Zhang, Ian Goodfellow, Dimitris Metaxas, Augustus Odena

SAGAN allows attention-driven, long-range dependency modeling for image generation tasks.

Traditional convolutional GANs generate high-resolution details as a function of only spatially local points in lower-resolution feature maps. In SAGAN, details can be generated using cues from all feature locations. Moreover, the discriminator can check that highly detailed features in distant portions of the image are consistent with each other. Furthermore, recent work has shown that generator conditioning affects GAN performance.

Paper: https://arxiv.org/pdf/1805.08318
GitHub: https://github.com/brain-research/self-attention-gan

#GAN #SAGAN #مقاله #کد

تشخیص محدوده های متن (Text) در تصویر با شبکه CNN + BLSTM
پیشبینی محدوده متن با مسيله دو کلاسه text و non text با ترکیب لایه های cnn و blstm
با عملکرد فوق العاده روی متن های فارسی

Scene text detection based on ctpn (connectionist text proposal network). It is implemented in tensorflow
text detection mainly based on ctpn model

لینک مقاله :
https://arxiv.org/pdf/1609.03605.pdf

لینک پیاده سازی کد با تنسرفلو و شبکه آموزش داده شده :
https://github.com/eragonruan/text-detection-ctpn

🙏Thanks to : @rezaderakhshan

#مقاله

Improved Inference via Deep Input Transfer

اکثر روش هایی که برای بهبود عمکرد مدل ها برای segmentation تصویر به وسیله شبکه های کانولوشنی ارایه شده اند، روی تغییر در معماری مدل، آموزش دادن با دیتاست های بزرگتر و ارایه توابع خطا جدید یا روش های بهینه سازی بهتر تمرکز داشته اند.
در این مفاله سعی شده با ایجاد تغییر در ورودی شبکه به شکل بهینه، عملکرد را بهبود دهند. برای آشنا شدن با این روش میتوانید این مقاله را بخوانید.
مقاله:
https://arxiv.org/pdf/1904.02307

#segmentation

ویدیو جالب از صحبت بزرگان دیپ لرنینگ در مورد Geoffrey Hinton
Source: deeplearning.ai
#geoffrey_hinton #deep_learning

تشخیص و ردیابی سه بعدی اشیا در تصویر با یادگیری عمیق

A Baseline for 3D Multi-Object Tracking
Multi-object tracking (MOT) is an essential component technology for many vision applicationssuch as autonomous driving, robot collision prediction and video face alignment

مقاله :
https://arxiv.org/pdf/1907.03961.pdf

پیاده سازی با پایتون :
https://github.com/xinshuoweng/AB3DMOT

#لیبل زدن دیتا

Free to use online tool for labelling photos. https://makesense.ai


https://github.com/SkalskiP/make-sense

Mathematics for Machine Learning Book:

https://mml-book.github.io/

یادگیری عمیق برای هوش مصنوعی

سخنران:‌ Yoshua Bengio
فوق دکترا از دانشگاه MIT
عضو هیئت علمی دانشگاه مونترال
برنده جایزه تورینگ سال ۲۰۱۸

۲شنبه ۴ شهریور
ساعت ۱۶ تا ۱۸
آمفی‌تئاتر دانشکده برق و کامپیوتر

@ut_acm

دوره ی پیش رفته این دوره آموزشی با مبحث شبکه های بازگشتی به زودی برگزار میگردد.
آگهی و اطلاعات بیشتر در طی روزهای آینده در کانال ارسال خواهد شد

#خبر
معترضان هنگ کنگی، به نشانه اعتراض، دوربین بازشناسی #چهره را به پایین کشیدند و شکاندند...

Protestors in Hong Kong are cutting down facial recognition towers.

https://video.twimg.com/ext_tw_video/1165327015806820353/pu/vid/640x640/nhD5bCtHE6DPTkdT.mp4

#face

#Dropout #inspiration

How did Geoffrey Hinton come up with the idea of Dropout?

Hinton says he was inspired by, among other things, a fraud-prevention mechanism used by banks.

In his own words:

"I went to my bank. The tellers kept changing and I asked one of them why. He said he didn’t know but they got moved around a lot. I figured it must be because it would require cooperation between employees to successfully defraud the bank. This made me realize that randomly removing a different subset of neurons on each example would prevent conspiracies and thus reduce overfitting."

There is also another inspiration for dropout based on theory of sex-based evolution in the section 2 of this paper.

Smaller, faster, cheaper, lighter: Introducing DistilBERT, a distilled version of BERT

Knowledge Distillation — Transferring generalization capabilities

Knowledge distillation (sometimes also referred to as teacher-student learning) is a compression technique in which a small model is trained to reproduce the behavior of a larger model (or an ensemble of models). It was introduced by Bucila et al. and generalized by Hinton et al. a few years later.
Another way to understand distillation is that it prevents the model to be too sure about its prediction (similarly to label smoothing).

We want to compress a large language model (like BERT) using distilling. For distilling, we’ll use the Kullback-Leibler loss since the optimizations are equivalent. When computing the gradients with respect to the student distribution we obtain the same gradients.

Blog post: https://medium.com/huggingface/distilbert-8cf3380435b5

Code: https://github.com/huggingface/pytorch-transformers/tree/master/examples/distillation

#language_model #BERT

Fast-Bert

This library will help you build and deploy BERT based models within minutes:

Fast-Bert is the deep learning library that allows developers and data scientists to train and deploy BERT and XLNet based models for natural language processing tasks beginning with Text Classification.

The work on FastBert is built on solid foundations provided by the excellent Hugging Face BERT PyTorch library and is inspired by fast.ai and strives to make the cutting edge deep learning technologies accessible for the vast community of machine learning practitioners.

With FastBert, you will be able to:

Train (more precisely fine-tune) BERT, RoBERTa and XLNet text classification models on your custom dataset.

Tune model hyper-parameters such as epochs, learning rate, batch size, optimiser schedule and more.

Save and deploy trained model for inference (including on AWS Sagemaker).

Fast-Bert will support both multi-class and multi-label text classification for the following and in due course, it will support other NLU tasks such as Named Entity Recognition, Question Answering and Custom Corpus fine-tuning.

Blog post: https://medium.com/huggingface/introducing-fastbert-a-simple-deep-learning-library-for-bert-models-89ff763ad384

Code: https://github.com/kaushaltrivedi/fast-bert

#language_model #BERT

#کد #GAN #pix2pix #keras

سایز وزودی شبکه U-Net در مدل pix2pix در مقاله آن به صورت 256 در 256 است. حالا اگر بخواهیم عکس هایی با سایز کوچکتر مثلا 32 در 32 را به شبکه ورودی بدهیم، بهتر است معماری مدل(هم شبکه مولد و هم شبکه تمییز دهنده) را اصلاح کنیم.

در این صفحه میتوانید کد کراس مربوط به این مدل را متناسب با سایز ورودی 32 در 32 موجود در دیتاست Cifar10 و با پارامترهای بسیار کمتر ببینید:

https://github.com/vrkh1996/pix2pix-modified

نتیجه آموزش مدل روی دیتاست Cifar10 برای 3 ایپاک به صورت اینکه مدل هر عکس ورودی را بازسازی کند برابر است با میانگین قدر مطلق خطا 0.0113 روی مجموعه آزمون(یعنی مدل به طور میانگین میتواند با دقت حدود 99 درصد همان عکس های ورودی را بازسازی کند).

فیلم آموزش مربوط به این مبحث:
https://www.aparat.com/v/S9bcT

WebGPU API:
GPU Compute on the Web

WebGPU is available for now in Chrome 78:
chrome://flags/#enable-unsafe-webgpu

const adapter = await navigator.gpu.requestAdapter()
const device = await adapter.requestDevice()

https://gpuweb.github.io/gpuweb

#مقاله #سورس_کد
Mean teachers are better role models:Weight-averaged consistency targets improvesemi-supervised deep learning results
A state-of-the-art semi-supervised method for image recognition

مقاله ای نه چندان جدید!
روشی برای طبقه بندی با دقت بالاتر در مواقعی که لیبل های کمتری داریم!
با 10 درصد labelهای imagenet به خطای 9.11 ± 0.12 رسیده است.

https://arxiv.org/pdf/1703.01780.pdf

https://github.com/CuriousAI/mean-teacher

Weight Agnostic Neural Network
دسته‌ای از شبکه‌ها که در اون‌ها نورون‌ها وزن مشترک دارن و حتی با مقادیر تصادفی اولیه هم دقت قابل قبولی خواهیم داشت.
در واقع اینجا به جای انتخاب یک معماری و آموزش وزن‌ها، به مرور زمان معماری رو آموزش می‌دیم. به این ترتیب وزن‌ها چندان اهمیت ندارن هر چند می‌شه بعداً وزن‌ها رو به روش‌های عادی آموزش داد. هم‌چنین چون وزن‌ها بین همهٔ نورون‌ها مشترک هستن، با انتخاب مقادیر مختلف برای این وزن‌ها می‌شه گروهی از مدل‌ها رو داشت که در مجموع دقت بالاتری به دست میارن.
https://ai.googleblog.com/2019/08/exploring-weight-agnostic-neural.html

🙏Thanks to: @samehraboon

ویدیوی سخنرانی بنجیو دانشگاه تهران چهارم شهریور
@Sensifai_Talk

https://www.aparat.com/v/RYF94