🔺مثالی مفهومی و واقعی از reinforcement learning یا یادگیری تقویتی

@Akharinkhabar

هاگینگ فیس و AutoNLP

هاگینگ فیس یک کتابخونه‌ی AutoNLP داره آماده می‌کنه که به صورت خودکار مدل، فاین تیون کردن روی دیتا و دیپلویمنت مدل را برای تسک‌های مختلفی مثل classification, NER, summarization, translation به راحتی خوردن یک لیوان آب سالم می‌کنه و قراره در سه ماهه‌ی اول ۲۰۲۱ release بشه.
لینک پایین را هم دادند که ملت ثبت نام کنند و بگن که برای چه زبان و تسکی و اینا می‌خوان استفاده کنند که به نسخه بتا بهشون دسترسی بده.

https://huggingface.typeform.com/to/FAtsVfbg

#news

@nlp_stuff

🔵معمای دانش متعارفی🔵


چگونه ما جهان اطرافمان را براحتی درک میکنیم اما هوش مصنوعی در درک آن دچار مشکل است. یکی از بزرگترین سوالات هوش مصنوعی از روز های نخست این بود که چگونه میتوان آنچه را که به نام «فهم متعارفی» (common sense) میشناسیم در سیستم های هوش مصنوعی وارد کنیم. به طور مثال اگر من بگویم فلانی چاق است و به دکتر رفته است شما می دانید که او دکتر تغذیه رفته است یا حتی ضمنی تر او باید زمانی را با دکتر تنظیم کند یا اینکه معمولا مردم پیش دکتر می روند نه اینکه دکتر پیش ان ها بیاید. و غیره و غیره! اینها فهم ما از جهان اطراف است که جایی نوشته نشده است ولی همه ما می دانیم! آن ها در واقع دانش پیش زمینه ای هستند که تعامل ما با بقیه را امکان پذیر می کند. حجم چنین دانشی بسیار بزرگتر از چیزی است که تصور می کنید.
تلاش های بسیار زیادی شده است که چنین دانشی را به مدل های هوش مصنوعی آموزش داده شود. حتی نوشتن این دانش خود مساله ی پیچیده ای است که روش های زیادی برای حمله کردن به آن وجود دارد. از پر کردن جای خالی در یک جمله گرفته تا استدلال در مورد وقایع غیر ممکن. مثلا ما می توانیم درک کنیم اگر فلان اتفاق نمی افتاد نتیجه اش چه میشد (counterfactual reasoning) یا با دادن چند کلمه می توانیم یک جمله از آن درست کنیم چون می توانیم رابطه ی بین مفاهیم را درک کنیم.
در نوشتار زیر من مهمترین دیتاست های این زمینه که بیشترشان توسط موسسه AllenAI توسعه داده شده اند را معرفی کرده ام. این نوشتار سعی شده کامل باشد و به تمام این مسائل اشاره کند

(به زبان انگلیسی)

https://hilbert-cantor.medium.com/a-curated-list-of-the-most-important-common-sense-datasets-in-nlp-66963567d00b

✳️ کشاورزی در گذشته نیاز به نیروی انسانی زیادی داشته است. امروزه با پیشرفت تکنولوژی بسیاری از کارهای دستی مکانیزه شده‌اند و در یکی از جدیدترین پیشرفت‌ها کار برداشت میوه‌ی رسیده نیز بر عهده هوش مصنوعی گذاشته شده است.

👈 این دستگاهی است که با استفاده از فناوری پردازش تصویر و تشخیص اشیا و به‌کارگیری الگوریتم‌های توسعه داده شده، میوه‌‎های رسیده را از میوه‌های کال تشخیص می‌دهد و آن‌ها را می‌چیند. با این حساب احتمالا در آینده‌ای نزدیک، فقط وظیفه‌ی خوردن میوه‌ بر عهده انسان‌ها باشد!
.
.
🆔 @partdpai

لیست مقالات پذیرفته شده در کنفرانس مطرح #AAAI2021

@ml_nlp_cv

مقالات پذیرفته شده در #ICLR2021 معتبرترین کنفرانس هوش مصنوعی

@ml_nlp_cv

🖋 برای نخستین بار مقاله‌ای از ایران توسط مهدی صفرنژاد بروجنی، دانشجوی دکترای دانشکده مهندسی کامپیوتر دانشگاه صنعتی شریف و از ارائه‌دهندگان چندین دوره WSS، در ژورنال Journal of the ACM، یکی از معتبرترین ژورنال‌های «علوم کامپیوتر»، پذیرفته شد.
این دستاورد را به ایشان و جامعه علمی کشور تبریک میگوییم.

متن کامل خبر را میتوانید در لینک زیر بخوانید.
🔗 https://b2n.ir/167575

🎓 دانشگاه هاروارد اقدام به برگزاری دوره آموزش رایگان هوش مصنوعی کرده و از این بابت که هوش مصنوعی در حال دگرگون کردن نحوه زندگی، کار و فرایندهای ماست، این دوره می‌تواند اهمیتی ویژه برای علاقه‌مندان داشته باشد.

📍 با توسعه روزافزون فناوری‌‌های هوشمند و استفاده از آن ها در ابزارهای جدیدی همچون اتومبیل‌‌های خودران، سیستم‌‌های سفارش خودکار و موتورهای جستجوی هوشمند، تقاضا برای تخصص در هوش مصنوعی و #یادگیری_ماشین به سرعت در حال رشد است. این دوره آموزشی رایگان به شما امکان می‌‌دهد اولین قدم اساسی در جهت حل مشکلات مهم دنیای واقعی با استفاده از راه‌حل‌‌های #هوش_مصنوعی را بردارید و برای ساختن آینده شغلی خود آماده شوید.

🎯 آنچه در پایان این دوره خواهید آموخت:

✅ الگوریتم‌‌های جستجوی نمودار
✅ #یادگیری_تقویتی
✅ یادگیری ماشین
✅ مبانی هوش مصنوعی
✅ نحوه طراحی سیستم‌‌های هوشمند
✅ نحوه استفاده از هوش مصنوعی در برنامه‌‌های #پایتون

📌 برای ثبت نام و کسب اطلاعات بیشتر به لینک زیر مراجعه کنید:
🔗 yun.ir/rts5i7

جدیدترین یافته‌ها و اخبار هوش مصنوعی در کانال مرکز تحقیقات هوش مصنوعی پارت
🆔 @partdpai

Machine Learning: The Great Stagnation
https://marksaroufim.substack.com/p/machine-learning-the-great-stagnation

@ml_nlp_cv

Fit More and Train Faster With ZeRO via DeepSpeed and FairScale
https://huggingface.co/blog/zero-deepspeed-fairscale

@ml_nlp_cv

آنچه بنجیو در خشت خام می‌بیند

یاشوا بنجیو که (انصافا) یکی از پدرهای هوش مصنوعی و دیپ لرنینگ است، از یکی دو سال پیش به تدریج در تاک‌های مختلف (مثلا اینجا و اینجا و اینجا و اینجا) ایده‌های خود برای پیشرفت‌ آینده هوش مصنوعی را شرح داده است. ایده‌های او بر بناکردن inductive biasهای جدیدی (به طور خیلی خلاصه و مفید inductive bias همان فرضیاتی که یک الگوریتم یادگیری قبل از حل مساله در مورد آن در نظر می‌گیرد و راه حلش روی آن فرض بنا شده است، برای مثال وقتی ما فرض می‌کنیم که معنای یک تیکه از تصویر می‌تواند از تیکه‌های مجاورش دریافت شود این فرض ما منجر به بناشدن شبکه‌های cnnای می‌شود) برای دیپ لرنینگ حول کلیدواژه مهم out of distribution generalization (
تا الان بدین شکل بوده که مدل ما یک توزیع از داده‌های آموزشی در می‌آورده و نهایتا با کمی تغییر دنبال این توزیع در داده‌های تست بوده است. اما شیخ ما اعتقاد دارد بایستی از این به بعد تغییرات گسترده در داده‌های تست نسبت به توزیع داده‌های آموزش را هم بتواند تحمل کند. مثلا باید یادگرفتن را یادبگیرد تا اگر توزیع محیطش تغییری هم کرد بتواند خودش را با آن وفق دهد!) بنا شده است.
به طور مختصر و مفید؛ پیر ما معتقد است که تسک‌هایی را که مغز انسان انجام می‌دهد می‌توان به دسته سیستم ۱ و سیستم ۲ تقسیم ‌بندی کرد. تسک‌های سیستم ۱ مسائلی هستند که به صورت ناخودآگاه و البته سریع و بدون نیاز به تفکر قابل انجام توسط مغز هستند مثلا تشخیص خر از پنگوئن، تشخیص ناسزا از غیرناسزا و ... ، حال ان که تسک‌های سیستم ۲ بایستی با توجه و برنامه‌ریزی و البته آگاهانه انجام شوند مثلا رانندگی کردن.
بنجیو می‌گوید که توانایی فعلی دیپ لرنینگ در انجام دادن تسک‌های سیستم ۱ است و در سیستم ۲ توفیقی هنوز ندارد. در ادامه بنجیو پیشنهاد می‌دهد که آینده هوش مصنوعی درگیر با انجام تسک‌های سیستم ۲ و همچنین همان کلیدواژه out of distribution generalization خواهد بود.

بر اساس همین ایده اولیه، بنجیو تعدادی ایده برای الهام‌گیری و شکستن بن‌بست فعلی پیشرفت دیپ لرنینگ پیشنهاد می‌کند که از آن‌ها می‌توان به بررسی مسائل multi agent، خلق شبکه‌های عصبی با ویژگی ماژولاریزیشن نظیر RIMها، دیدن مسائل از زاویه گراف‌های علی (causal) متغیر‌ها، متالرنینگ و ... اشاره کرد.

لینک مقاله‌‌اش:

https://arxiv.org/pdf/2011.15091.pdf

پ.ن. لطفا کانال را به کسایی که هوش مصنوعی دوست دارند، معرفی کنید! ممنون.

#paper
#read

@nlp_stuff

شبیه سازی پرواز دسته جمعی پرندگان به کمک مکانیزم محرک اوریگامی
https://t.iss.one/modern_cogitation

THE GRAMMARLY KEYBOARD
Write mistake-free emails, texts, and posts in all your apps.

Grammarly’s AI-powered keyboard
ensures your emails, LinkedIn
messages, and Facebook posts
are clear and mistake-free.400
https://www.grammarly.com/keyboard

Download for Android
Download for iOS

@ml_nlp_cv

Learning the language of viral evolution and escape | Science
https://science.sciencemag.org/content/371/6526/284

@ml_nlp_cv

How Facebook is using AI to improve photo descriptions for people who are blind or visually impaired

@ml_nlp_cv

Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

توضیح مقاله: در عنوان مقاله ذکر شده که تعداد پارامترهای ترسفورمر به یک تریلیون افزایش یافته است (تعداد پارامترهای مدل #GPT_3، صدوهفتاد و پنج بیلیون بود!)
سوالی که در اینجا پیش می آید این است که آیا واقعا تعداد پارامترها، در مقایسه با ترنسفورمرهای قبلی به این نسبت (تقریبا ۵.۵ برابر) افزایش پیدا کرده است؟!
بله، ولی اینجا به روش متفاوتی از پارامترها استفاده میشه. یک روش sparse (در عنوان مقاله هم کلمه sparsity قید شده)

در این کار از یک معماری به اسم Switch-Tramsformers استفاده کرده اند. معماری که بر اساس MoE عمل میکنه‌ (خود MoE یا Mixture of Experts هم مفهوم با ارزشی است که اخیرا داره مطرح میشه)
لایه فیدفوروارد شبکه به این expert ها تقسیم بندی میشه و سوئیچ-ترنسفورمر، هر توکِن رو فقط به یک اکسپرت route میکنه (اسپارسیتی یا تُنُک بودن اینجا هست)
روشهای قبلی مبتنی بر MoE ادعا میکردند برای اینکه یک سیگنال آموزشی باثبات داشته باشیم حداقل به دو تا expert نیاز داریم. اما معماری ترسفورمری که اینجا ارائه شده این تعداد را به یک عدد کاهش داده است.
نتیجه: امکان scaling اکسپرت ها، و در واقع امکان افزایش تعداد پارامترهای مدل، اون هم بدون اینکه مدل مجبور به محاسبات بیشتری باشد، فراهم شده است (این فرض و مفهومی خیلی مهم و باارزش محسوب می شود)
به همین دلیل در ابتدا عرض شد که تعداد یک تریلیون پارامتر عنوان شده در این مقاله، لزوما قابل قیاس با ۱۷۵ بیلیون پارامتر مدل GPT-3 نمیباشد!
راهکارهایی که در این مقاله برای با ثبات کردن آموزش ارائه شده:
• Selective Dropout
• Selective Casting of Parameters to Defferent Precisions
• Better initializiong

اینم لینک این مقاله جالب و نسبتا طولانی، تقدیم به شما:

https://arxiv.org/abs/2101.03961

@ml_nlp_cv

سایت paperswithcode (که توصیه می‌کنیم توی این سایت بخوابید) اومده مقاله‌های قبول شده‌ی ICLR 2021 را به همراه کدشون گذاشته و می‌تونید با استفاده از تسک و نویسنده و keyword فیلتر کنید.

https://paperswithcode.com/conference/iclr-2021-1

#link

@nlp_stuff

روش جدید ارائه شده توسط جورجیاتک و مرکز هوش مصنوعی فیس بوک، برای فشرده سازی مدل های توصیه گر عمیق که منجر به کاهش قابل توجه میزان مصرف حافظه و استفاده از آنها در مقیاس بزرگ تر می شود. نوآوری کلیدی این روش جایگزینی جداول تعبیه سازی بزرگ DLRM با دنباله ای از ضرب های ماتریسی با استفاده از روش تجزیه tensor train میباشد.

TTc-Rec: Tensor Train Compression for Deep Learning Recommendation Models.  paper, Github and blog post.

@ml_nlp_cv