معماری transformer که در مقاله‌ای با عنوان attention is all you need در سال ۲۰۱۷ معرفی شد، یکی از مدل‌های بسیار موفق در پردازش زبان‌های طبیعی بوده است. بعنوان مثال، BERT یکی از کاربردهای transformer بود که در تعداد زیادی از وظایف پردازش زبان دقت‌های مدل‌های پیشین را بهبود بخشید. با این وجود، آموزش transformerها برروی دنباله‌های بزرگ از لحاظ پیچیدگی محاسباتی و حافظه‌ی مورد نیاز بسیار پرهزینه است. اخیرا گوگل یک مدل جدید به نام reformer معرفی کرده است که نسبت به transformer از لحاظ سرعت و حافظه بسیار کاراتر است. مقاله‌ی reformer در لینک زیر قابل دریافت است:
https://arxiv.org/pdf/2001.04451.pdf

پست مربوطه را در بلاگ هوش مصنوعی گوگل می‌توانید در لینک زیر مشاهده نمایید:
https://ai.googleblog.com/2020/01/reformer-efficient-transformer.html

و در لینک زیر نیز می‌توانید یک اجرا از این مدل برای وظیفه‌ی تولید متون طبیعی پس از پردازش کتاب “جنایت و مکافات” داشته باشید:
https://colab.research.google.com/github/google/trax/blob/master/trax/models/reformer/text_generation.ipynb

برای محققینی که در حوزه‌ی یادگیری ماشین فعالیت می‌کنند، مقایسه‌ی توانایی ماشین در یادگیری با رقیب سرسخت ماشین‌ها یعنی انسان‌ها نه تنها جذاب بلکه الهام‌بخش است. یکی از بهترین منابعی که در سال ۲۰۲۰ منتشر شده و به این موضوع می‌پردازد کتاب زیر است. نویسنده‌ی این کتاب، آقای استانیسلاس دوآن از نظریه‌پردازان سرشناس جهان در حوزه‌ی روانشناسی و علوم اعصاب شناختی است که با آشنایی با حوزه‌ی یادگیری ماشین و تسلط بر حوزه‌ی یادگیری انسان به خوبی به مقایسه‌ی یادگیری ماشین و انسان پرداخته است.

دو فایل پی‌دی‌اف زیر، دو اسلاید از کورس مرتبط با پردازش زبان‌های طبیعی ارائه شده در دانشگاه نیویورک در ترم جاری است.
موضوع اسلایدها این است: اگر می‌خواهید یک مقاله‌ی تاثیرگذار در حوزه‌ی پردازش زبان‌های طبیعی منتشر کنید، مهندسی فقط نیمی از کار است. نیمه‌ی دیگر شامل مواردی از جمله یافتن و مرور کارهای پیشین، طراحی آزمایش‌های موثر و تحلیل نتایج، مسائل اخلاقی و نگارش و انتشار مقاله است که در این دو اسلاید به آنها پرداخته شده است.

مدل GPT-3 بعنوان جدیدترین مدل زبانی ارائه شده ۱۷۵ میلیارد پارامتر دارد. برای این‌که به حجم این تعداد پارامتر پی ببرید توجه کنید که نسخه‌ی Large مدل معروف BERT دارای ۳۴۰ میلیون پارامتر است، یعنی کمتر از ۰.۲ درصد پارامترهای GPT-3.

نکته‌ی جالب مقاله‌ی GPT-3 که در عنوان مقاله نیز به آن اشاره شده است
(Language Models are Few-Shot Learners)
این است که نشان داده‌اند بدون نیاز به اصلاح کردن وزن‌های موجود در GPT-3 می‌توان این مدل را برای بسیاری از مسائل پردازش زبان طبیعی مورد استفاده قرار داد. فقط کافی است به GPT-3 متنی بدهید که شامل تعریف مسئله و چند نمونه‌ی پاسخ‌دار از آن مسئله به همراه ورودی مورد نظر باشد، و مدل زبانی با تکمیل کردن آن متن می‌تواند خروجی‌ای برای آن ورودی ارائه دهد. بعنوان مثال، برای ترجمه‌ی یک جمله‌ی فارسی به انگلیسی کافی است به GPT-3 بعنوان ورودی متن زیر را وارد کنید (بدون نیاز به اصلاح وزن‌های آن براساس نمونه‌های آموزشی):
Translation Persian to English
جمله‌ی نمونه‌ی اول به فارسی => ترجمه‌ی جمله‌ی اول به انگلیسی
جمله‌ی نمونه‌ی دوم به فارسی => ترجمه‌ی جمله‌ی دوم به انگلیسی
جمله‌ی نمونه‌ی آخر به فارسی => ترجمه‌ی جمله‌ی آخر به انگلیسی
جمله‌ای که به دنبال ترجمه‌ی آن هستیم =>
در این‌صورت، مدل GPT-3 با تکمیل متن فوق، ترجمه‌ی جمله‌ی آخر را تحویل می‌دهد. دقت‌های گزارش شده در مقاله برای تعدادی از مسائل پردازش زبان طبیعی نزدیک مدل‌هایی است که بطور خاص منظوره برای آن وظایف آموزش داده شده‌اند.

برای یک مرور انتقادی بر مقاله، ویدئوی زیر را مشاهده کنید:
https://www.youtube.com/watch?v=SY5PvZrJhLE

خواندن و حل سودوکو توسط هوش مصنوعی

اخیرا زیرمجموعه‌ای از دستورات NumPy در تنسورفلو پیاده‌سازی شده است که امکان اجرای این دستورات روی جی‌پی‌یو را فراهم می‌کند. در این شکل، تفاوت سرعت اجرای عملیات جمع بین دو آرایه‌ی ۱۰۰ میلیون عنصری با استفاده از NumPy اصلی و NumPy پیاده‌سازی شده در تنسورفلو را مشاهده می‌کنید.

مجموعه داده‌ی فارس‌تیل (FarsTail) بعنوان اولین مجموعه داده‌ی فارسی برای مسئله‌ی استنتاج زبانی با بیش از ۱۰۰۰۰ نمونه در قالب یک پروژه ۲ ساله توسط یک تیم ۶ نفره در آزمایشگاه داده‌کاوی و یادگیری ماشین دانشگاه قم تهیه شده است. برای اطمینان از کیفیت فارس‌تیل، مراحل تهیه‌ی داده براساس مجموعه داده‌های معتبر بین‌المللی (مانند SciTail) انجام شده و چند مرحله پاک‌سازی و برچسب‌زنی مجدد صورت پذیرفته است.

مقاله در آرکایو:
https://arxiv.org/pdf/2009.08820.pdf

لینک در paperswithcode:
https://paperswithcode.com/sota/natural-language-inference-on-farstail

دانلود داده برای کارهای غیرتجاری:
https://github.com/dml-qom/FarsTail

مجموعه داده‌های پردازش زبان فارسی:

وب‌سایتی برای سامان‌دهی مجموعه‌‌های موجود:
https://nlpdataset.ir

مجموعه‌ی ParsiNLU شامل شش وظیفه‌ی مختلف:
https://github.com/persiannlp/parsinlu

اسلایدهای ارائه‌ی دکتر خشابی

ویدئوی ارائه‌ی دکتر خشابی:
https://conf.ipm.ir/playback/presentation/2.0/playback.html?meetingId=5f8c24df54546e6668f301bfc0f338303ce6513f-1622559008074

کانال مرتبط مفید:
https://t.iss.one/nlp_stuff

اسلایدهای وبینار هوش مصنوعی

سلام دوستان.
گاهی عزیزانی که می‌خواهند وارد حوزه‌ی هوش مصنوعی شوند راجع به مسیر پیشنهادی سوال می‌کنند. هرچند نقشه‌ راه‌های پیشنهادی مختلفی وجود دارد، من هم سعی کردم بخشی از تجربیات خودم را در قالب یک نوشتار کوتاه مستند کنم. از طریق لینک زیر می‌توانید این فایل را مطالعه بفرمایید. خوشحال می‌شوم نظرتان را راجع به این محتوا در کامنت‌های این پست بنویسید. همچنین اگر موضوعی است که فکر می‌کنید خوب است به این سند اضافه شود یا بیشتر توضیح داده شود، لطفا بیان کنید تا به مرور سند را کامل‌تر کنم.
سپاس
https://docs.google.com/document/d/13VnNg0BxC4AqbN9SWfEaq6CQgHKJRmlW3Lkk-2SHbCo/edit?usp=sharing