بسم الله الرحمن الرحیم
اینجا قصد داریم مطالب و لینک‌های به‌دردبخور برای هوش مصنوعی و پردازش زبان طبیعی را منتشر کنیم.
شکرشکن شوند همه طوطیان هند
زین قند پارسی که به بنگاله می‌رود
@nlp_stuff
اینجا قصد داریم مطالب و لینک‌های به‌دردبخور برای هوش مصنوعی و پردازش زبان طبیعی را منتشر کنیم.
شکرشکن شوند همه طوطیان هند
زین قند پارسی که به بنگاله می‌رود
@nlp_stuff
اگر دنبال یک نقشه‌ی راه و چک‌لیست هستید، این لینک می‌تونه خیلی کمک‌کننده باشه.
https://github.com/amitness/learning
#coach
#course
#book
@nlp_stuff
https://github.com/amitness/learning
#coach
#course
#book
@nlp_stuff
GitHub
GitHub - amitness/learning: A log of things I'm learning
A log of things I'm learning. Contribute to amitness/learning development by creating an account on GitHub.
در این لینک روش‌های تولید و تقویت دیتا(data augmentation) در حوزه پردازش زبان طبیعی آورده شده.
لینک خیلی خوبیه.
https://amitness.com/2020/05/data-augmentation-for-nlp/
#read
#blog
@nlp_stuff
لینک خیلی خوبیه.
https://amitness.com/2020/05/data-augmentation-for-nlp/
#read
#blog
@nlp_stuff
Amit Chaudhary
A Visual Survey of Data Augmentation in NLP
An extensive overview of text data augmentation techniques for Natural Language Processing
یکی از مراحل پیش‌پردازش متن Subword Tokenization است که مشکل پردازش و امبدینگ کلمات ناآشنا (که در پیکره نبودند) را که در Tokenization وجود دارد حل می‌کند.
یکی از بهترین الگوریتم‌ها برای این کار BPE(Byte Pair Encoding) است که در بهترین مدل‌های زبانی امروزی مثل GPT2 و LASER هم استفاده شده.
لینک پایین این الگوریتم را به خوبی توضیح داده و کد هم براش آورده:
https://towardsdatascience.com/byte-pair-encoding-the-dark-horse-of-modern-nlp-eb36c7df4f10
#read
#blog
@nlp_stuff
یکی از بهترین الگوریتم‌ها برای این کار BPE(Byte Pair Encoding) است که در بهترین مدل‌های زبانی امروزی مثل GPT2 و LASER هم استفاده شده.
لینک پایین این الگوریتم را به خوبی توضیح داده و کد هم براش آورده:
https://towardsdatascience.com/byte-pair-encoding-the-dark-horse-of-modern-nlp-eb36c7df4f10
#read
#blog
@nlp_stuff
Medium
Byte Pair Encoding — The Dark Horse of Modern NLP
Deriving meaning from rare infrequent words
این لینک به صورت خیلی خوب و خلاصه اکثر روش‌های امبدینگ متن را یکجا آورده. شدیدا ارزش خوندن داره.
https://towardsdatascience.com/document-embedding-techniques-fed3e7a6a25d
#read
#blog
@nlp_stuff
https://towardsdatascience.com/document-embedding-techniques-fed3e7a6a25d
#read
#blog
@nlp_stuff
Medium
Document Embedding Techniques
A review of notable literature on the topic
این لینک مدل word2vec skip-gram را به صورت خیلی خوب و مختصر توضیح می‌ده. این مدل یکی از معروف‌ترین روش‌های تبدیل واژه به برداره (embedding).
https://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/
#read
#blog
@nlp_stuff
https://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/
#read
#blog
@nlp_stuff