دیتاست ویکی‌پدیا فارسی شامل تمامی مقالات فارسی تا تاریخ ۱۲ مرداد ۱۳۹۹.
مخصوصا برای آموزش مدل زبانی خیلی به درد می‌خوره.

استار بدید لذتشو ببره.


https://github.com/miladfa7/Persian-Wikipedia-Dataset


#link
#irani
#dataset

@nlp_stuff

آقا توماس از تیم هاگینگ‌فیس می‌خواد برامون نمونه کدهایی ساده و تمیز از استفاده از ترنسفورمرها با همه‌ی مراحل مهم (پیش‌پردازش، آموزش، ارزیابی و تنظیم هایپرپارامتر) درست کنه. این اولیشه.
در توییتر دنبالش کنید. چیزای زیادی ازش یاد می‌گیرید.

https://twitter.com/Thom_Wolf/status/1296633793558786048

#twitter

@nlp_stuff

این دو ویدئوی جمع و جور از دوست هندیمون (یکی از خفنای کگل) را ببینید.
اولیش برای آموزش یک مدل ساده‌ی تشخیص قطبیت با تورچ و برت از هاگینگ‌فیس و بعدش سرو کردنش با فلسکه.
دومیش هم داکر برای دیتا سانتیست‌هاست که داکرایز کردن همون پروژه‌ی ویدیوی اوله.


https://www.youtube.com/watch?v=hinZO--TEk4

https://www.youtube.com/watch?v=0qG_0CPQhpg

https://github.com/abhishekkrthakur/bert-sentiment

#coach
#course

@nlp_stuff

این بلاگ پست فوق‌العاده مسیر رشد تحقیقات در حوزه پردازش زبان طبیعی را از دوران RNN تا مقاله‌ی Big Bird مرور می‌کنه و دید از بالای خیلی خوبی میده.

https://eugeneyan.com/writing/nlp-supervised-learning-survey/

#read
#blog

@nlp_stuff

به نظر میاد فریمورک‌هایی که قراره به زودی همه چیزو رنده کنند، امثال Objax (از گوگل)، HAIKU (از دیپ مایند گوگل) و flax (بازم از گوگل) هستند که روی Jax (طبیعتا بازم از گوگل) درست شدند.
کتابخونه jax مستقیما از داده ساختار numpy استفاده می‌کنه (به تنسور تبدیل نمیشه) و روی gpu ران می‌شه و چون از کامپایلر xla استفاده میکنه با tpu سازگاری کامل داره. استفاده از numpy برای کد زدن قطعا خیلی راحت‌تره و خیلیا هم بلدن.
اولویت این کتابخونه‌ها سادگی و قابلیت شخصی‌سازی راحتشونه.

این دوتا توییت از آقای گودفلوی کبیر و آقای برثلوت (سازنده‌ی objax) را ببینید.
https://twitter.com/goodfellow_ian/status/1299753335524700160?s=09

https://twitter.com/D_Berthelot_ML/status/1299275145886875650?s=20


اینم گیت کتابخونه objax:
https://github.com/google/objax


اینم یه مقایسه اولیه بین سرعت پایتورچ و jax:
https://www.kaggle.com/grez911/performance-of-jax-vs-pytorch

اینا فقط سر نخه که بگیریم و بریم دنبال داستان.

با تشکر از دانیال علی‌حسینی، حامد شادباش و مهدی رضایی.

#twitter
#link

@nlp_stuff

آقا آمیت مثل همیشه شرمنده‌مون کرده و یک پست جدید درباره Data Augmentation (تولید و تقویت دیتا) برامون نوشته اما این بار از MarianMT (از کتابخونه transformers) به جای گوگل ترنسلیت برای تکنیک back translation استفاده کرده.
کدش هم گذاشته که روی گوگل کولب ران کنیم کیف کنیم.
بحث data augmentation بحث خیلی مهم، به‌روز و خیلی به درد بخوریه. از دست ندید.

اگر کلا نمی‌دونید داستان چیه، قبلش این پست (https://t.iss.one/nlp_stuff/5) را ببینید.


https://amitness.com/back-translation/

#read
#blog

@nlp_stuff

در این دوره تحلیل پردازش زبان طبیعی با منابع کم بررسی میشه که قطعا به درد ما می‌خوره!!
قبلا از این دوستمون هم دوره‌ی دیگه‌ای (https://t.iss.one/nlp_stuff/33) معرفی کرده بودیم.


https://www.youtube.com/watch?v=glIbcpay1-I&list=PL8PYTP1V4I8A1CpCzURXAUa6H4HO7PF2c


#coach
#course

@nlp_stuff

آینده هوش احتمالا وابسته به فیلد RL هستش. در راستای این جمله پژوهش جدید openAI رو مشاهده کنید. این تیم که کلا رو RL زیاد فوکوس کرده‌اند، این بار به سراغ نشون دادن تاثیر RL بر مدل‌های زبانی رفته‌اند. تیم OpenAI گفته‌اند که مدل‌های زبانی فعلی با هدف تشخیص کلمه بعدی آموزش می‌بینند که می‌تونه راه کامل و جامعی برای آموزش مدل نباشه.
سپس اومدن با یادگیری بانظارت مدلی رو روی فیدبک‌های انسانی آموزش دادن که بتونه تشخیص بده کدوم خلاصه‌سازی از یک متن بیشتر به مذاق آدمیزاد خوش میاد. بعدش اومدن با کمک این مدل و البته RL، مدل زبانی رو روی تسک خلاصه سازی متن Fine tune کردن. در نهایت هم نشون دادن که این مدل خلاصه سازی متن حاصل شده، کیفیتش از مدلی خلاصه سازی ده برابر بزرگتر از اون بهتره.
اگر به RL و مدل‌های زبانی علاقه مندین و البته مشکل خاصی با ایلان ماسک ندارین، توصیه می‌کنیم که این مقاله رو بخونین که مال همین ۴ سپتامبره و از نون‌های تو سفره‌تون داغ تره!

https://openai.com/blog/learning-to-summarize-with-human-feedback/

#read
#paper

@nlp_stuff

این حساب مدیوم به صورت هفتگی اخبار حوزه پردازش زبان طبیعی را منتشر می‌کنه.
این پست دیروز منتشر شده. حتما چند دقیقه وقت بذارید بخونید.

https://medium.com/towards-artificial-intelligence/nlp-news-cypher-09-06-20-bfa8bb4a07b5

#read
#blog

@nlp_stuff

قبلا چندین بار راجع به مندلک‌بازی‌های این مدل جدید GPT3 صحبت کرده‌بودیم؛ این بار مندلک جدیدش رو ببینید که باهاش سعی کردن یک انشا بلند با موضوع صلح‌‌طلبی روبات‌ها در قبال انسان‌ها تولید کنن. خیره کننده و تعجب برانگیزه.
نظر شخصی ما (که قاعدتا هیچی نیستیم:) ) اما اینه که شما بیای صرفا بر قدرت سخت افزاری تکیه کنی و هر از چند گاهی مدلت رو ده برابر بزرگتر کنی و نشون بدی وای چه قدر خوب شده، چه قدر نتایج خفنی داره، هنر نیست. این مسیری که دارن می‌رن بیشتر از این که توش نوآوری و خلاقیت دیده بشه، قدرت مالی و منابع سخت افزاری دیده می‌شه.

https://www.theguardian.com/commentisfree/2020/sep/08/robot-wrote-this-article-gpt-3

#read
#blog

@nlp_stuff

در سومین پست از رشته‌‌پست‌ «داستان ترنسفورمرها»، رفتیم سراغ اصل مطلب و معماری ترنسفورمرها و مقاله‌ی attention is all you need را کامل تشریح کردیم.
این مطلب دریچه ورود به مدل‌هایی مثل برته؛ پس حتما بخونید!
کم‌کاری نکنید. نظر بدید و با بقیه به اشتراک بگذارید.

اگر پست خوبی داشتید خبر بدید که در انتشارات بگذاریم.


https://virgool.io/overfit/transformers3-uzhfclfjaikl

#read
#blog
#overfit

@nlp_stuff

قبلا دیالوگ‌سیستم‌های وظیفه‌محور را به سه تسک فهم زبانی (NLU)، مدیریت دیالوگ (Dialogue Management) و تولید متن (NLG) تقسیم می‌کردند. این تقسیم باعث انتشار خطا می‌شد.
اما حالا آقا احسان حسینی و شرکا یک مدل به نام SimpleTOD برای آموزش انتها به انتهای دیالوگ‌های وظیفه‌محور پیشنهاد دادند. این مدل در اصل یک مدل زبانی علی (causal) مانند جی‌پی‌تی-۲ است. این بلاگ پست فنی را حتما حتما بخونید و با نتایجش کیف کنید.

https://blog.einstein.ai/simpletod/

#read
#blog

@nlp_stuff

این مقاله (از کنفرانس emnlp2020) اومده تولید محتوای سمی (فحش و حرف‌های جنسیت‌زده و اینا) توسط مدل‌های زبانی را بررسی کرده؛ مواردی مثل دلایل بروزش، چارچوبی برای سنجش میزانش در مدل و دیتای آموزشی و اینکه آیا ممکنه که جلوش گرفته شه یا نه.
کد و دیتا و کلا همه چیز را در اختیار عموم گذاشتند.
موضوع عجیبیه که در کاربردهای تولید متن مثل چت‌بات‌ها و … شدیدا مشکل‌ساز میشه.
حداقل این بلاگشون و این رشته توییت را بخونید خوبه.

https://toxicdegeneration.allenai.org

https://twitter.com/ssgrn/status/1310970616682622976

https://arxiv.org/abs/2009.11462

#read
#paper
#blog

@nlp_stuff

کتابخونه nlpaug خیلی‌ به‌دردبخوره. باهاش میتونید نویز رو در سطح کاراکتر و کلمه به دیتاست وارد کنید و به شکل نیکویی data augmentation کنید. چند تا از کارای باحالش:
- حروف را حروف کنارش در کیبورد (QWERTY) و یا رندوم جایگزین می‌کنه.
- کلمه‌ها را با کلمه‌های مشابه با استفاده از wordnet، word2vec، GloVe، fasttext ،BERT و یا به صورت رندم با کلمه‌های دیگه جایگزین می‌کنه.

خلاصه خیلی خوبه. لینک بلاگ و گیتش را در ادامه آوردیم.


https://towardsdatascience.com/data-augmentation-library-for-text-9661736b13ff

https://github.com/makcedward/nlpaug

اگر با data augmentation آشنا نیستید این دو تا پست را ببینید:
https://t.iss.one/nlp_stuff/5
https://t.iss.one/nlp_stuff/71


#read
#blog
#tool

@nlp_stuff

گراف‌های دانش پایگاه‌های دانشی هستند که علی رغم جذابیت و صحت اطلاعاتی بالاشون، اما جمع آوری و یا درست کردن اتوماتیکشون کار سختیه و نیازمند روش های supervisd یا حداکثر semisupervised هستش. حدود دو هفته پیش اما پیپری ارائه شد که روشی رو برای ساختن گراف های دانش از مدل‌های زبانی نظیر Bert و GPT پیشنهاد کرد (روشی حتی بدون فاین تیون کردن این مدل‌های زبانی)
حالا چند روز پیش یک ویدئوی خوبی در توضیح این پیپر منتشر شده. ببینیدش.

https://arxiv.org/abs/2010.11967

https://youtu.be/NAJOZTNkhlI

#paper
#read

@nlp_stuff