مقاله‌ی برنده‌ی ACL2020

این مقاله امسال جایزه‌ی بهترین مقاله‌ی کنفرانس ACL2020 را برنده شد. حتما بخونیدش. لینک پایین هم ویدیوی توضیحات یکی از نویسندهاشه!

حرف حساب این مقاله اینه که به جای این که برای ارزیابی مدل‌ها بیایم از روش «آموزش روی دیتای آموزشی و گرفتن یک عدد آماری روی دیتای تست» استفاده کنیم، واسه هر تسکی جنبه‌های مختلفی را بررسی کنیم.
مثلا تسک sentiment را در نظر بگیرید. یک جنبه برای این تسک اینه که با اضافه کردن یک جمله مثبت در پایان جمله ورودی نباید میزان مثبت بودن جمله کاهش پیدا کنه.
یا مثلا اگر کلمه خنثایی در متن ورودی با کلمه خنثای دیگه‌ای جایگزین شد نباید لیبل متن (مثبت، منفی یا خنثی) تغییر کنه.
یا مثلا برای تسک NER یک جنبه می‌تونه این باشه که عوض کردن اسم کشور نباید نتیجه را تغییر بده.

در پایان: برای مقاله شاخ دادن لازم نیست حتما منابع سخت‌افزاری شاخ و مدل گنده‌ای داشت و هنوز هم ایده‌ها می‌تونند‌ موفق باشند.

https://www.aclweb.org/anthology/2020.acl-main.442.pdf

https://slideslive.com/38929272/beyond-accuracy-behavioral-testing-of-nlp-models-with-checklist

#read
#paper

@nlp_stuff

مندلک‌بازی‌ها با GPT-3 شروع شدند!
یه توضیح برای layout می‌گیره و کد jsx براش تولید می‌کنه!

https://twitter.com/sharifshameem/status/1282676454690451457?s=20

#twitter

@nlp_stuff

از پرسه زدن بی‌هدف در توییتر و اینستاگرام و تلگرام و یوتیوب خسته شده‌اید؟
پنج دقیقه هم در فروم هاگینگ‌فیس پرسه بزنید؛ یاد بگیرید، بپرسید و باز هم یادبگیرید و فرهیخته بشید!


https://discuss.huggingface.co/

#link

@nlp_stuff

تست تورینگ (تشخیص اینکه طرف مقابل انسانه یا نه) روی GPT-3.
هنوز مونده کامل به اون نقطه برسه ولی باز هم روزگار غریبی‌ست.

https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html

#read
#blog

@nlp_stuff

این بلاگ پست راجع به روش‌های Zero-Shot Learning با استفاده از ترنسفورمرهای huggingface توضیح داده!

اگر با این موضوع آشنا نیستید این پست (https://t.iss.one/nlp_stuff/19) را اول بخونید.


https://joeddav.github.io/blog/2020/05/29/ZSL.html

#read
#blog

@nlp_stuff

حوصله‌تون سررفته؟ می‌تونید برید و با بلبل‌زبان که حاصل آموزش دادن مدل GPT2 روی متون زبان فارسی است بازی کنید و سرگرم بشید.

www.bolbolzaban.com

#link

@nlp_stuff

این پست اومده بخش‌های مختلف مقاله‌ی اسطوره‌ای «attention is all you need» را به صورت تیکه تیکه آورده و با پایتورچ پیاده‌سازی کرده.
خیلی تمیز و خوبه.

https://nlp.seas.harvard.edu/2018/04/03/attention.html

#read
#blog

@nlp_stuff

یک سری شامورتی‌بازی که با مدل GPT-3 تا الان منتشر شده، در لینک زیر یکجا آورده شده. باحاله.

https://machinelearningtokyo.com/2020/07/26/10-cool-gpt-3-demos/

#read
#blog

@nlp_stuff

برادر آمیت لطف کرده و یه خلاصه برای مقاله‌ی برنده‌ی ACL2020 نوشته. اگر خود مقاله را هم نخوندید، این را بخونید خوبه!

https://amitness.com/2020/07/checklist/

(اگر نمی‌دونید کلا داستان چیه، این پست را اول ببینید: https://t.iss.one/nlp_stuff/48)

#read
#blog

@nlp_stuff

دو تا از روش‌هایی که برای کوچک‌کردن مدل‌ها استفاده میشن pruning و distillation هستند.
این پست یه خلاصه‌ی خوب از مقاله‌ی Poor Man's BERT: Smaller and Faster Transformer Models برای روش‌های هرس کردن و مزیت‌هاش نوشته.

https://medium.com/dair-ai/poor-mans-bert-why-pruning-is-better-than-knowledge-distillation-%EF%B8%8F-f9652a1dc2bd

لینک مقاله‌ی اصلی:
https://arxiv.org/abs/2004.03844

#read
#blog

@nlp_stuff

ما داریم سعی می‌کنیم یک لیست درجه یک از مقاله‌های عالی NLP را (که باید خونده بشن) به تفکیک حوزه‌ها در ریپو زیر درست کنیم و به روز نگه داریمش. 

 اگر مقاله‌ای عالی می‌شناسید که در این لیست نیست، یا پول ریکوئست بدید یا اطلاع بدید که ما اضافه‌اش کنیم.
و اینکه در قسمت Thanks to لیست هم اضافه‌تون می‌کنیم که دور هم باشیم!

امیدواریم انشاءالله با هم یک منبع ماندگار و به‌روز درست کنیم.


پی‌نوشت ۱. لطفا دست به دست کنید!
پی‌نوشت ۲. استار فراموش نشه. ما خیلی استار دوست داریم! :))

https://github.com/aabadri/nlp-papers


#read
#paper
#link
#irani

@nlp_stuff

فکر نکنین که با ظهور دیپ و اومدن هر روزه شبکه‌های سنگین‌تر مسائل در حال حل شدن هستند و ما داریم به هوش واقعی می‌رسیم!
نخیر! همونطور که مشاهده می‌کنید گوگل با اون عظمتش گاهی لنگ می‌زنه!

@nlp_stuff

درسته که ما فعلا نمی‌تونیم لقمه‌های بزرگ مثل آموزش دادن GPT3 و GPT2 و اینها رو برداریم؛ ولی می‌تونیم که کوچیک کوچیک سهم خودمون رو در دنیای nlp بیشتر کنیم! این پروژه نمونه یکی از همون پروژه‌های جمع و جور هستش که سعی داره یک پیشرفت رو به نمایش بگذاره. ازش استفاده کنین تا سریعتر از nltk بتونین bleu رو حساب کنید!
به طور فنی‌تر اگر مجموعه مرجعتون خیلی بزرگه و می‌خواید معیار bleu یا self-bleu رو برای مدل‌های مختلف حساب کنید به احتمال زیاد به کارتون میاد (در واقع مجموعه مرجع ثابت و چندین مجموعه hypotheses دارید. بیشتر در ارزیابی مدل‌های زبانی چنین شرایطی پیش میاد)

تا جایی که می‌شده تست شده؛ خوشحال می‌شیم اگه مشکلی داشت issue بزنید. روی لینوکسم هست و برای ویندوز تست نشده!

در ضمن شما هم اگر کدی زدید که فکر می‌کنید می‌تونه خفن باشه به ما بگین تا تبلیغش کنیم.

https://github.com/Danial-Alh/fast-bleu

#irani
#tool
#code

@nlp_stuff

کنفرانس آنلاین Data Science fwdays'20 در روزهای ۸ و ۱۵ آگوست به صورت رایگان برگزار شده و میشه.
فردا حدود ساعت ۱۹ هم سخنرانی توماس ولف از تیم هاگینگ فیس با موضوع جذاب An Introduction to Transfer Learning and Hugging Face خواهد بود.


لینک لایو یوتیوب کنفرانس (ساعت ۱۲:۲۰ شروع میشه):
https://www.youtube.com/watch?v=TCutgkMyjdY

ویدیو دیگه‌ای از ایشون با همین موضوع در NLP Zurich:
https://www.youtube.com/watch?v=rEGB7-FlPRs

ویدیو پارسالش در همین کنفرانس Data Science fwdays با موضوع Transfer learning in NLP:
https://youtu.be/0T_Qr4qBrqc?list=PLPcgQFk9n9y8CCapH9u99Va7Ufs5bVZZn&t=24


خلاصه با این همه منابع در این موضوع برید کیف کنید.

#coach
#course

@nlp_stuff

در این ریپو اخبار و تاپیک‌های هوش مصنوعی و ماشین لرنینگ (کنفرانس، مدل‌های خفن، کورس و …) به صورت ماهانه گذاشته میشه.
جای تمیز و به‌درد‌بخوریه.

https://github.com/Machine-Learning-Tokyo/AI-ML-Newsletter

#link

@nlp_stuff

دیتاست ویکی‌پدیا فارسی شامل تمامی مقالات فارسی تا تاریخ ۱۲ مرداد ۱۳۹۹.
مخصوصا برای آموزش مدل زبانی خیلی به درد می‌خوره.

استار بدید لذتشو ببره.


https://github.com/miladfa7/Persian-Wikipedia-Dataset


#link
#irani
#dataset

@nlp_stuff

آقا توماس از تیم هاگینگ‌فیس می‌خواد برامون نمونه کدهایی ساده و تمیز از استفاده از ترنسفورمرها با همه‌ی مراحل مهم (پیش‌پردازش، آموزش، ارزیابی و تنظیم هایپرپارامتر) درست کنه. این اولیشه.
در توییتر دنبالش کنید. چیزای زیادی ازش یاد می‌گیرید.

https://twitter.com/Thom_Wolf/status/1296633793558786048

#twitter

@nlp_stuff