بسم الله الرحمن الرحیم

اینجا قصد داریم مطالب و لینک‌های به‌دردبخور برای هوش مصنوعی و پردازش زبان طبیعی را منتشر کنیم.

شکرشکن شوند همه طوطیان هند
زین قند پارسی که به بنگاله می‌رود

@nlp_stuff

اگر دنبال یک نقشه‌ی راه و چک‌لیست هستید، این لینک می‌تونه خیلی کمک‌کننده باشه.

https://github.com/amitness/learning

#coach
#course
#book

@nlp_stuff

در این لینک روش‌های تولید و تقویت دیتا(data augmentation) در حوزه پردازش زبان طبیعی آورده شده.
لینک خیلی خوبیه.

https://amitness.com/2020/05/data-augmentation-for-nlp/

#read
#blog

@nlp_stuff

یکی از مراحل پیش‌پردازش متن Subword Tokenization است که مشکل پردازش و امبدینگ کلمات ناآشنا (که در پیکره نبودند) را که در Tokenization وجود دارد حل می‌کند.
یکی از بهترین الگوریتم‌ها برای این کار BPE(Byte Pair Encoding) است که در بهترین مدل‌های زبانی امروزی مثل GPT2 و LASER هم استفاده شده.
لینک پایین این الگوریتم را به خوبی توضیح داده و کد هم براش آورده:


https://towardsdatascience.com/byte-pair-encoding-the-dark-horse-of-modern-nlp-eb36c7df4f10

#read
#blog

@nlp_stuff

این لینک به صورت خیلی خوب و خلاصه اکثر روش‌های امبدینگ متن را یکجا آورده. شدیدا ارزش خوندن داره.


https://towardsdatascience.com/document-embedding-techniques-fed3e7a6a25d

#read
#blog

@nlp_stuff

این لینک مدل word2vec skip-gram را به صورت خیلی خوب و مختصر توضیح می‌ده. این مدل یکی از معروف‌ترین روش‌های تبدیل واژه به برداره (embedding).


https://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/

#read
#blog

@nlp_stuff

برادرمون اومده مدل زبانی GPT2 رو روی کتاب تاملات مارکوس آئورلیوس آموزش داده، نتیجه این شده که مدل شروع به تولید متن‌های فلسفی تاریخی میکنه. می‌تونید از هاب هاگینگ فیس دانلودش کنین لذت ببرید.

https://mobile.twitter.com/mrm8488/status/1263519187496054788

#read
#twitter

@nlp_stuff

بالاخره huggingface 🤗 مدل reformer رو هم به مدل‌های تحت پشتیبانی‌اش اضافه کرد! به طور مختصر و مفید reformer یک نوع transformer ای هستش که توش یک سری تکنیک زدن که شما می‌تونید حتی رشته‌هایی به طول ۱۰۰ هزار توکن رو هم بدون ترس از کم آوردن حافظه پردازش کنید (مطلبی که نقطه ضعف transformer های عادی بود )

https://twitter.com/huggingface/status/1263850138595987457

#link
#fresh

@nlp_stuff

اگر علاقه‌مند شدید می‌تونید پیپر reformer رو هم بخونید و از پیچیدگی درونش (‌مثل استفاده از hash برای محاسبه سریع‌تر و کم حافظه‌تر attention) لذت ببرید!

https://arxiv.org/abs/2001.04451

@nlp_stuff

سایت paperwithcode جایی هستش که شما می‌تونید هم از آخرین پیپر‌های trend روز پژوهش‌های زمینه یادگیری ماشین مطلع بشین و هم این که کلی تسک رو براتون آورده و می‌تونید به تمیزی ببنید که واسه هر تسکی چه پیپر‌هایی ارائه شده و عملکردهر کدوم در مقایسه با هم چه شکلی بوده

https://paperswithcode.com/
https://paperswithcode.com/area/natural-language-processing

#link

@nlp_stuff

اولین برت فارسی بالاخره آمد!

https://twitter.com/hooshvare/status/1265644110838407169?s=20
https://github.com/hooshvare/parsbert
https://arxiv.org/pdf/2005.12515.pdf

#fresh
#irani

@nlp_stuff

خدمتی دیگر از huggingface 🤗؛
این جا می‌تونید راحت برید دیتاست‌های تسک‌های nlp رو بگردین و کند و کاو کنید و خلاصه کیف کنید!
تازه امکان load این دیتاست‌های مختلف رو هم به صورت متمرکز و یکپارچه بهتون می‌ده.

https://huggingface.co/nlp/viewer/

#link
#fresh

@nlp_stuff

این دوره کاملا مینیمال و جمع و جوره که می‌تونه شروع خوبی باشه. دانش و مهارت پیش زمینه‌ی زیادی هم لازم نداره ولی می‌تونه در یک سری مفاهیم و مهارت‌ها کمک‌کننده باشه و یه جورایی دستتون را تنسورفلویی و دیتایی بکنه. کدهاش هم در گیت‌هاب موجوده.

https://www.coursera.org/learn/natural-language-processing-tensorflow/home/welcome

https://github.com/lmoroney/dlaicourse/tree/master/TensorFlow%20In%20Practice/Course%203%20-%20NLP


در ضمن ویدیوهایی با مفاهیم و کدهای مشابه با این دوره و از همین مدرس را در یوتیوب با نام “Natural Language Processing-NLP Zero to Hero” می‌تونید ببینید:

https://www.youtube.com/watch?v=fNxaJsNG3-s&list=PLQY2H8rRoyvwLbzbnKJ59NkZvQAW9wLbx&index=1

#coach
#course

@nlp_stuff

یکی از سایت‌های خوب برای پیدا کردن مقاله‌های جدید این سایته:

https://deeplearn.org

منبعش مقاله‌های arxiv.org و توییتر و ردیته. امکاناتی مثل مانیتور کردن و دسته‌بندی موضوعی هم میده.
یکی از موضوعاتش هم به اسم language است که مقاله‌های جدید حوزه پردازش زبان طبیعی اونجاست.

سایت‌های تمیز مشابهی که اینکارو می‌کنند:

https://semanticscholar.org/
https://arxiv-sanity.com/

این هم آدرس ریپو این پروژه‌ست که داداشمون کل کد سایت رو روی گیت‌هاب گذاشته. استار بدید که لذتشو ببره.

https://github.com/zomux/dlmonitor

خلاصه که سعی کنید مثل حرفه‌ای‌ها ترندهای روز رو زیر نظر داشته باشید.

#link
#tool

@nlp_stuff

این ابزارها در پیش‌پردازش متون فارسی می‌تونند بهتون کمک کنند.


https://github.com/ICTRC/Parsivar
https://github.com/sobhe/hazm
https://github.com/ishto7/persianutils
https://github.com/kharazi/persian-stopwords


طبق بررسی ما پارسی‌وار (لینک اول) از بقیه بهتره. خیلی خوبه ولی قطعا هنوز هم خیلی جای تکمیل شدن داره.

لینک دوم هضمه که معروفه.

لینک سوم یک کتابخونه دیگه‌ست که چند تا کار باحال هم انجام میده. گذاشتیمش که کلکسیون تکمیل باشه!

لینک آخر هم یه لیست از ایست‌واژه‌های فارسیه. اگر خواستید استفاده کنید، حتما یه بار کلشو خودتون نگاه کنید. بعضی‌هاش مثل واژه‌ی «امیدوارند» به نظر ایست‌واژه نیست.

استار بدید که لذتشو ببرند.

#tool
#irani

@nlp_stuff

این لینک یک مبحث بسیار جذاب به اسم zero shot classification را توضیح داده.
یعنی شما مدلی رو روی تسک دیگه‌ای مثل تشخیص قطبیت یا مدل زبانی آموزش بدید و بعدش بدون هیچ تغییری (حتی فاین تیون) ازش برای یک تسک دیگه مثل کلاسیفیکیشن جواب بگیری!! شاید به نظرتون این حرف کاملا غلط بیاد ولی در کمال ناباوری داره جواب می‌گیره!
ایده‌هایی که توضیح داده خیلی قشنگند حقیقتا.

https://amitness.com/2020/05/zero-shot-text-classification/

از این داداشمون قبلا هم پست گذاشتیم:
https://t.iss.one/nlp_stuff/5

بلاگ یا توییترش (https://twitter.com/amitness) را دنبال کنید. خیلی خوبه.

#read
#blog

@nlp_stuff

اگر دنبال یک نقطه شروع خوب برای مسیر یادگیری ماشین لرنینگ یا دیپ لرنینگ هستید، شدیداً ویرایش دوم این کتاب را توصیه می‌کنیم.

هم متن روان و خوبی داره و هم نمونه کدهای زیادی داره و هم مفاهیم را به صورت خوبی توضیح داده. نه فصل اولش ماشین لرنینگ یاد میده و ده فصل بعدی دیپ لرنینگ.

اگر هم مفاهیم ماشین لرنینگ و الگوریتم‌هاش را بلدید، برای پردازش زبان طبیعی این فصل‌ها از کتاب، شما را خیلی سریع وارد بازی می‌کنند:
۱۰, ۱۱, ۱۲, ۱۳, ۱۵, ۱۶

هر چند توصیه خود نویسنده‌ی کتاب هم اینه که از ابتدای کتاب شروع کنید و کدهاش رو حتما حداقل یک بار خودتون بزنید.

پ.ن. تشکر فراوان از دکتر پی‌براه و مهندس سینا شیخ‌الاسلامی که چند سال پیش این کتاب را بهمون معرفی کردند.

https://www.amazon.com/Hands-Machine-Learning-Scikit-Learn-TensorFlow/dp/1492032646


#coach
#book

@nlp_stuff

برید به لینک زیر و با پارس‌برت از تیم هوشواره کیف کنید. عملکرد خیلی خوبی داره.

یک دموی خیلی خوب از چهار تا تسک NER, Sentiment Analysis, Text classification, Text Generation به صورت گرافیکی موجوده. طبیعتا با زدن دکمه Analyze بر روی متنی که در کادر کپی شده اجرا میشه.

دمشون گرم. حتما در کانالشون (@HooshvareTeam) عضو بشید که از مطالب خوبشون استفاده کنید.

https://lab.hooshvare.com

#link

@nlp_stuff

خلاصه‌ی تمام مدل‌هایی که در کتابخانه ترنسفورمر موجوده در لینک زیر اومده. واسه شروع آشنایی با این کتابخونه‌ی خفن می‌تونه راه خوبی باشه.

سعی کنید یک دور هر جوری شده کل این لینک را مطالعه کنید. اگر هم حجم کلمات و مفاهیم ناآشنای متن براتون زیاده، نگران نباشید.
قصد داریم خرد خرد شروع کنیم و برای بعضی از مدل‌هاش مطلب بگذاریم.

https://huggingface.co/docs/transformers/main/en/model_summary

در توییتر(https://twitter.com/huggingface) دنبالشون کنید. خیلی چیزها یاد می‌گیرید.

#read
#blog

@nlp_stuff

برید به این لینک و آمار و ارقام کنفرانس ACL2020 را ببینید.
این کنفرانس یکی از معتبرترین کنفرانس‌های پردازش زبان طبیعیه.

اینجا میتونید برید ببینید برای هر کدوم از زیر شاخه‌ها چند تا مقاله فرستاده شده و چند تا قبول شده.

یکی از فایده‌های دنبال کردن این کنفرانس‌ها خبردار شدن از ترندهای روز دنیا در هر کدام از زمینه‌هاست.

https://acl2020.org/blog/general-conference-statistics/

#link

@nlp_stuff