یکی از محدودیت‌های شبکه‌های عمیق، پیچیدگی محاسباتی بالای آنها در هنگام استفاده در دنیای واقعی است که حوزه‌ی کاربرد آنها را محدود می‌کند. برای حل این مشکل، اگر بتوانیم دانش یاد گرفته شده در این شبکه‌ها را استخراج کنیم، می‌توانیم مدل‌های ساده‌تری برای این دانش بسازیم. حال سوال این است که چگونه دانش موجود در شبکه‌های عمیق را استخراج کنیم؟ هینتون به همراه دو محقق دیگر در سال ۲۰۱۵، مقاله‌ی زیر را به این منظور ارائه دادند. راهکار آنها این است که پس از آموزش شبکه، خروجی شبکه برای نمونه‌های مختلف بعنوان دانش یاد گرفته شده در نظر گرفته شود. این خروجی‌ها در قالب برچسب نرم (soft label) هستند، یعنی در هر نمونه، الگوهای کلاس‌های مختلف وجود دارد ولی به میزان متفاوت. به عنوان مثال، تصویر یک گربه، الگوهایی از کلاس‌های دیگر مانند سگ را نیز دارد. آنها نشان دادند که می‌توان شبکه‌ای ساده‌تر معادل شبکه‌ی اولیه با استفاده از این برچسب‌های نرم آموزش داد. حتی با حذف کامل نمونه‌های برخی کلاس‌ها مدل جدید قادر بود الگوی این کلاس‌ها را از نمونه‌های دیگر یاد بگیرد. این ایده در حوزه‌های مختلف مورد استفاده قرار گرفته است و یکی از جدیدترین این موارد، روش DistilBERT است که برای ساده‌سازی مدل زبانی معروف گوگل (BERT) ارائه شده است.
https://arxiv.org/pdf/1503.02531.pdf
https://arxiv.org/pdf/1910.01108

پرفروش‌ترین کتاب‌های حال حاضر آمازون در حوزه هوش مصنوعی

مجموعه‌ای نسبتاً جامع از مقالات مرتبط با یادگیری عمیق روی گراف:
https://github.com/DeepGraphLearning/LiteratureDL4Graph

پروفسور یاشوا بنجیو در سخنرانی خود در کنفرانس NeurIPS 2019 به مفهوم "سیستم یک" و "سیستم دو" اشاره می‌کند:
https://www.youtube.com/watch?v=T3sxeTgT4qc

این مفاهیم توسط دانیل کانمن برنده‌ی جایزه‌ی نوبل اقتصاد ۲۰۰۲ در کتاب معروف ایشان با عنوان “تفکر، سریع و آهسته” مطرح شده است و اشاره به این دارد که فرآیند تفکر انسان به دو دسته تقسیم می‌شود: “سیستم یک” که سریع و بطور ناخودآگاه عمل می‌کند و “سیستم دو” که بصورت آگاهانه و آهسته عمل می‌کند. بنجیو اشاره می‌کند که دستاوردهای فعلی یادگیری ماشین در حوزه‌ی "سیستم یک" بوده است و در آینده شاهد موفقیت‌های ماشین‌های هوشمند در حوزه‌ی "سیستم دو" خواهیم بود.

مصاحبه‌ی زیر با دانیل کانمن نیز که اخیرا منتشر شده است، به علاقه‌مندان توصیه می‌شود:
https://www.youtube.com/watch?v=UwwBG-MbniY

مصاحبه با برندگان جایزه‌ی تورینگ ۲۰۱۸ (Hinton ،LeCun و Bengio). نکته‌ی جالب این مصاحبه‌ها این است که به بریده‌هایی از زندگی این افراد از زمان کودکی تا بزرگسالی آنها پرداخته شده است.
https://www.youtube.com/watch?v=z9Fz96Mr4bM
https://www.youtube.com/watch?v=oUa8Jk04tZQ
https://www.youtube.com/watch?v=PHhFI8JexLg

بریده‌ای از مصاحبه با پروفسور بنجیو (دقیقه‌ی ۴۴:۴۳ تا ۴۷:۱۰). توجه کنید که این یک ترجمه‌ی کلمه به کلمه از مصاحبه نیست.

سوال: آیا این درست است که ما هنوز ماشینی با سطح هوش یک بچه‌ی دوساله نداریم؟
پاسخ: این سوال از اینجا ناشی می‌شود که ما فکر می‌کنیم هوش در یک بُعد قابل سنجش است (مثل آی‌کیو). اگر من شما را الان در بدن یک موش قرار دهم شما به‌زودی از گرسنگی می‌میرید یا توسط اولین گربه خورده می‌شوید. آیا این به این معنی است که موش از شما باهوش‌تر است؟ خیر! او هوشی را دارد که برای حیات در دنیای خودش نیاز دارد و شما هوشی که برای حیات در دنیای خودتان نیاز دارید. بنابراین، او از ابعادی هوشمند است و شما از ابعادی دیگر. حتی انسان‌ها هم در ابعاد مختلف هوشمند هستند. در مورد ماشین هم ما الان ماشینی داریم که می‌تواند در بعضی از بازی‌های فکری (مثل گو) انسان را شکست دهد ولی در بسیاری دیگر از ابعاد از انسان به مراتب عقب‌تر است. البته محققین تلاش می‌کنند در ابعاد بیشتری سطح هوشمندی ماشین به انسان نزدیک شود و هیچ دلیل موجهی نداریم که ثابت کند ماشین نمی‌تواند در همه‌ی ابعاد به هوشمندی انسان یا بیشتر دست پیدا کند.
https://www.youtube.com/watch?v=PHhFI8JexLg

معماری transformer که در مقاله‌ای با عنوان attention is all you need در سال ۲۰۱۷ معرفی شد، یکی از مدل‌های بسیار موفق در پردازش زبان‌های طبیعی بوده است. بعنوان مثال، BERT یکی از کاربردهای transformer بود که در تعداد زیادی از وظایف پردازش زبان دقت‌های مدل‌های پیشین را بهبود بخشید. با این وجود، آموزش transformerها برروی دنباله‌های بزرگ از لحاظ پیچیدگی محاسباتی و حافظه‌ی مورد نیاز بسیار پرهزینه است. اخیرا گوگل یک مدل جدید به نام reformer معرفی کرده است که نسبت به transformer از لحاظ سرعت و حافظه بسیار کاراتر است. مقاله‌ی reformer در لینک زیر قابل دریافت است:
https://arxiv.org/pdf/2001.04451.pdf

پست مربوطه را در بلاگ هوش مصنوعی گوگل می‌توانید در لینک زیر مشاهده نمایید:
https://ai.googleblog.com/2020/01/reformer-efficient-transformer.html

و در لینک زیر نیز می‌توانید یک اجرا از این مدل برای وظیفه‌ی تولید متون طبیعی پس از پردازش کتاب “جنایت و مکافات” داشته باشید:
https://colab.research.google.com/github/google/trax/blob/master/trax/models/reformer/text_generation.ipynb

برای محققینی که در حوزه‌ی یادگیری ماشین فعالیت می‌کنند، مقایسه‌ی توانایی ماشین در یادگیری با رقیب سرسخت ماشین‌ها یعنی انسان‌ها نه تنها جذاب بلکه الهام‌بخش است. یکی از بهترین منابعی که در سال ۲۰۲۰ منتشر شده و به این موضوع می‌پردازد کتاب زیر است. نویسنده‌ی این کتاب، آقای استانیسلاس دوآن از نظریه‌پردازان سرشناس جهان در حوزه‌ی روانشناسی و علوم اعصاب شناختی است که با آشنایی با حوزه‌ی یادگیری ماشین و تسلط بر حوزه‌ی یادگیری انسان به خوبی به مقایسه‌ی یادگیری ماشین و انسان پرداخته است.

دو فایل پی‌دی‌اف زیر، دو اسلاید از کورس مرتبط با پردازش زبان‌های طبیعی ارائه شده در دانشگاه نیویورک در ترم جاری است.
موضوع اسلایدها این است: اگر می‌خواهید یک مقاله‌ی تاثیرگذار در حوزه‌ی پردازش زبان‌های طبیعی منتشر کنید، مهندسی فقط نیمی از کار است. نیمه‌ی دیگر شامل مواردی از جمله یافتن و مرور کارهای پیشین، طراحی آزمایش‌های موثر و تحلیل نتایج، مسائل اخلاقی و نگارش و انتشار مقاله است که در این دو اسلاید به آنها پرداخته شده است.

مدل GPT-3 بعنوان جدیدترین مدل زبانی ارائه شده ۱۷۵ میلیارد پارامتر دارد. برای این‌که به حجم این تعداد پارامتر پی ببرید توجه کنید که نسخه‌ی Large مدل معروف BERT دارای ۳۴۰ میلیون پارامتر است، یعنی کمتر از ۰.۲ درصد پارامترهای GPT-3.

نکته‌ی جالب مقاله‌ی GPT-3 که در عنوان مقاله نیز به آن اشاره شده است
(Language Models are Few-Shot Learners)
این است که نشان داده‌اند بدون نیاز به اصلاح کردن وزن‌های موجود در GPT-3 می‌توان این مدل را برای بسیاری از مسائل پردازش زبان طبیعی مورد استفاده قرار داد. فقط کافی است به GPT-3 متنی بدهید که شامل تعریف مسئله و چند نمونه‌ی پاسخ‌دار از آن مسئله به همراه ورودی مورد نظر باشد، و مدل زبانی با تکمیل کردن آن متن می‌تواند خروجی‌ای برای آن ورودی ارائه دهد. بعنوان مثال، برای ترجمه‌ی یک جمله‌ی فارسی به انگلیسی کافی است به GPT-3 بعنوان ورودی متن زیر را وارد کنید (بدون نیاز به اصلاح وزن‌های آن براساس نمونه‌های آموزشی):
Translation Persian to English
جمله‌ی نمونه‌ی اول به فارسی => ترجمه‌ی جمله‌ی اول به انگلیسی
جمله‌ی نمونه‌ی دوم به فارسی => ترجمه‌ی جمله‌ی دوم به انگلیسی
جمله‌ی نمونه‌ی آخر به فارسی => ترجمه‌ی جمله‌ی آخر به انگلیسی
جمله‌ای که به دنبال ترجمه‌ی آن هستیم =>
در این‌صورت، مدل GPT-3 با تکمیل متن فوق، ترجمه‌ی جمله‌ی آخر را تحویل می‌دهد. دقت‌های گزارش شده در مقاله برای تعدادی از مسائل پردازش زبان طبیعی نزدیک مدل‌هایی است که بطور خاص منظوره برای آن وظایف آموزش داده شده‌اند.

برای یک مرور انتقادی بر مقاله، ویدئوی زیر را مشاهده کنید:
https://www.youtube.com/watch?v=SY5PvZrJhLE

خواندن و حل سودوکو توسط هوش مصنوعی

اخیرا زیرمجموعه‌ای از دستورات NumPy در تنسورفلو پیاده‌سازی شده است که امکان اجرای این دستورات روی جی‌پی‌یو را فراهم می‌کند. در این شکل، تفاوت سرعت اجرای عملیات جمع بین دو آرایه‌ی ۱۰۰ میلیون عنصری با استفاده از NumPy اصلی و NumPy پیاده‌سازی شده در تنسورفلو را مشاهده می‌کنید.

مجموعه داده‌ی فارس‌تیل (FarsTail) بعنوان اولین مجموعه داده‌ی فارسی برای مسئله‌ی استنتاج زبانی با بیش از ۱۰۰۰۰ نمونه در قالب یک پروژه ۲ ساله توسط یک تیم ۶ نفره در آزمایشگاه داده‌کاوی و یادگیری ماشین دانشگاه قم تهیه شده است. برای اطمینان از کیفیت فارس‌تیل، مراحل تهیه‌ی داده براساس مجموعه داده‌های معتبر بین‌المللی (مانند SciTail) انجام شده و چند مرحله پاک‌سازی و برچسب‌زنی مجدد صورت پذیرفته است.

مقاله در آرکایو:
https://arxiv.org/pdf/2009.08820.pdf

لینک در paperswithcode:
https://paperswithcode.com/sota/natural-language-inference-on-farstail

دانلود داده برای کارهای غیرتجاری:
https://github.com/dml-qom/FarsTail

مجموعه داده‌های پردازش زبان فارسی:

وب‌سایتی برای سامان‌دهی مجموعه‌‌های موجود:
https://nlpdataset.ir

مجموعه‌ی ParsiNLU شامل شش وظیفه‌ی مختلف:
https://github.com/persiannlp/parsinlu

اسلایدهای ارائه‌ی دکتر خشابی

ویدئوی ارائه‌ی دکتر خشابی:
https://conf.ipm.ir/playback/presentation/2.0/playback.html?meetingId=5f8c24df54546e6668f301bfc0f338303ce6513f-1622559008074

کانال مرتبط مفید:
https://t.iss.one/nlp_stuff