آینده هوش احتمالا وابسته به فیلد RL هستش. در راستای این جمله پژوهش جدید openAI رو مشاهده کنید. این تیم که کلا رو RL زیاد فوکوس کرده‌اند، این بار به سراغ نشون دادن تاثیر RL بر مدل‌های زبانی رفته‌اند. تیم OpenAI گفته‌اند که مدل‌های زبانی فعلی با هدف تشخیص کلمه بعدی آموزش می‌بینند که می‌تونه راه کامل و جامعی برای آموزش مدل نباشه.
سپس اومدن با یادگیری بانظارت مدلی رو روی فیدبک‌های انسانی آموزش دادن که بتونه تشخیص بده کدوم خلاصه‌سازی از یک متن بیشتر به مذاق آدمیزاد خوش میاد. بعدش اومدن با کمک این مدل و البته RL، مدل زبانی رو روی تسک خلاصه سازی متن Fine tune کردن. در نهایت هم نشون دادن که این مدل خلاصه سازی متن حاصل شده، کیفیتش از مدلی خلاصه سازی ده برابر بزرگتر از اون بهتره.
اگر به RL و مدل‌های زبانی علاقه مندین و البته مشکل خاصی با ایلان ماسک ندارین، توصیه می‌کنیم که این مقاله رو بخونین که مال همین ۴ سپتامبره و از نون‌های تو سفره‌تون داغ تره!

https://openai.com/blog/learning-to-summarize-with-human-feedback/

#read
#paper

@nlp_stuff

این حساب مدیوم به صورت هفتگی اخبار حوزه پردازش زبان طبیعی را منتشر می‌کنه.
این پست دیروز منتشر شده. حتما چند دقیقه وقت بذارید بخونید.

https://medium.com/towards-artificial-intelligence/nlp-news-cypher-09-06-20-bfa8bb4a07b5

#read
#blog

@nlp_stuff

قبلا چندین بار راجع به مندلک‌بازی‌های این مدل جدید GPT3 صحبت کرده‌بودیم؛ این بار مندلک جدیدش رو ببینید که باهاش سعی کردن یک انشا بلند با موضوع صلح‌‌طلبی روبات‌ها در قبال انسان‌ها تولید کنن. خیره کننده و تعجب برانگیزه.
نظر شخصی ما (که قاعدتا هیچی نیستیم:) ) اما اینه که شما بیای صرفا بر قدرت سخت افزاری تکیه کنی و هر از چند گاهی مدلت رو ده برابر بزرگتر کنی و نشون بدی وای چه قدر خوب شده، چه قدر نتایج خفنی داره، هنر نیست. این مسیری که دارن می‌رن بیشتر از این که توش نوآوری و خلاقیت دیده بشه، قدرت مالی و منابع سخت افزاری دیده می‌شه.

https://www.theguardian.com/commentisfree/2020/sep/08/robot-wrote-this-article-gpt-3

#read
#blog

@nlp_stuff

در سومین پست از رشته‌‌پست‌ «داستان ترنسفورمرها»، رفتیم سراغ اصل مطلب و معماری ترنسفورمرها و مقاله‌ی attention is all you need را کامل تشریح کردیم.
این مطلب دریچه ورود به مدل‌هایی مثل برته؛ پس حتما بخونید!
کم‌کاری نکنید. نظر بدید و با بقیه به اشتراک بگذارید.

اگر پست خوبی داشتید خبر بدید که در انتشارات بگذاریم.


https://virgool.io/overfit/transformers3-uzhfclfjaikl

#read
#blog
#overfit

@nlp_stuff

قبلا دیالوگ‌سیستم‌های وظیفه‌محور را به سه تسک فهم زبانی (NLU)، مدیریت دیالوگ (Dialogue Management) و تولید متن (NLG) تقسیم می‌کردند. این تقسیم باعث انتشار خطا می‌شد.
اما حالا آقا احسان حسینی و شرکا یک مدل به نام SimpleTOD برای آموزش انتها به انتهای دیالوگ‌های وظیفه‌محور پیشنهاد دادند. این مدل در اصل یک مدل زبانی علی (causal) مانند جی‌پی‌تی-۲ است. این بلاگ پست فنی را حتما حتما بخونید و با نتایجش کیف کنید.

https://blog.einstein.ai/simpletod/

#read
#blog

@nlp_stuff

این مقاله (از کنفرانس emnlp2020) اومده تولید محتوای سمی (فحش و حرف‌های جنسیت‌زده و اینا) توسط مدل‌های زبانی را بررسی کرده؛ مواردی مثل دلایل بروزش، چارچوبی برای سنجش میزانش در مدل و دیتای آموزشی و اینکه آیا ممکنه که جلوش گرفته شه یا نه.
کد و دیتا و کلا همه چیز را در اختیار عموم گذاشتند.
موضوع عجیبیه که در کاربردهای تولید متن مثل چت‌بات‌ها و … شدیدا مشکل‌ساز میشه.
حداقل این بلاگشون و این رشته توییت را بخونید خوبه.

https://toxicdegeneration.allenai.org

https://twitter.com/ssgrn/status/1310970616682622976

https://arxiv.org/abs/2009.11462

#read
#paper
#blog

@nlp_stuff

کتابخونه nlpaug خیلی‌ به‌دردبخوره. باهاش میتونید نویز رو در سطح کاراکتر و کلمه به دیتاست وارد کنید و به شکل نیکویی data augmentation کنید. چند تا از کارای باحالش:
- حروف را حروف کنارش در کیبورد (QWERTY) و یا رندوم جایگزین می‌کنه.
- کلمه‌ها را با کلمه‌های مشابه با استفاده از wordnet، word2vec، GloVe، fasttext ،BERT و یا به صورت رندم با کلمه‌های دیگه جایگزین می‌کنه.

خلاصه خیلی خوبه. لینک بلاگ و گیتش را در ادامه آوردیم.


https://towardsdatascience.com/data-augmentation-library-for-text-9661736b13ff

https://github.com/makcedward/nlpaug

اگر با data augmentation آشنا نیستید این دو تا پست را ببینید:
https://t.iss.one/nlp_stuff/5
https://t.iss.one/nlp_stuff/71


#read
#blog
#tool

@nlp_stuff

گراف‌های دانش پایگاه‌های دانشی هستند که علی رغم جذابیت و صحت اطلاعاتی بالاشون، اما جمع آوری و یا درست کردن اتوماتیکشون کار سختیه و نیازمند روش های supervisd یا حداکثر semisupervised هستش. حدود دو هفته پیش اما پیپری ارائه شد که روشی رو برای ساختن گراف های دانش از مدل‌های زبانی نظیر Bert و GPT پیشنهاد کرد (روشی حتی بدون فاین تیون کردن این مدل‌های زبانی)
حالا چند روز پیش یک ویدئوی خوبی در توضیح این پیپر منتشر شده. ببینیدش.

https://arxiv.org/abs/2010.11967

https://youtu.be/NAJOZTNkhlI

#paper
#read

@nlp_stuff

این ویدیو و نوت‌بوک بهتون یاد میده که چجوری با استفاده ماژول pipline از کتابخونه‌ی huggingface با چند خط کد مثل آب خوردن یک multilabel classifier داشته باشید.


https://www.youtube.com/watch?v=J6D-S9gfgwk&ab_channel=BhaveshBhatt

https://github.com/bhattbhavesh91/zero-shot-huggingface-demo/blob/main/zero-shot-classification-notebook.ipynb

#coach
#video

@nlp_stuff

این پست جدید از هاگینگ فیس را بنگرید!
حدود یکسال پیش بچه‌های هاگینگ‌فیس طی این پست در مدیوم پیشنهاد کردند که برای شبکه های seq2seq بیایم و از انکودرهای از پیش آموزش دیده شده نظیر برت به عنوان نقطه شروع شبکه‌های انکودر و دیکودر استفاده کنیم ( مثالش اینه که فکر کنید یک تسک تبدیل متن انگلیسی به sql داشته باشیم و بیایم روی متن انگلیسی و متن‌های sql دو تا شبکه برت آموزش بدیم و بعد این برت ها را به عنوان انکودر و دیکودر شبکه دنباله به دنباله بکاریم و حالا روش شروع به آموزش کنیم و فاین تیون کنیم)
حال پس از گذشت یک سال، هاگینگ فیس امکان استفاده از این قابلیت را تا حد خوبی پیاده‌سازی کرده و در این پست از بلاگش اون رو به خوبی تشریح کرده. الان دیگه به زیبایی میتونید بیاید از مدل‌های جالبی مثل Bert2Bert یا Bert2GPT برای تسک‌های دنباله‌ به دنباله نظیر خلاصه‌سازی و ترجمه‌ماشینی و دیالوگ و هر چی تسک دنباله به دنباله عجیبی که به ذهنتون می‌تونه برسه، استفاده کنید.
مرسی آقای هاگینگ فیس 🤗

https://huggingface.co/blog/warm-starting-encoder-decoder


#read
#blog

@nlp_stuff

فوقع ما وقع

این دوستمون Jax را یادتونه؟ حالا بالاخره اولین گام‌های عملی در این زمینه برداشته شده و هاگینگ فیس با همکاری تیم Flax، برت و روبرتا پیاده‌شده روی Jax را ارائه داده.
پایتورچ و تنسرفلو آماده باشن که Jax داره میاد!

https://twitter.com/avitaloliver/status/1326986383983063058

پ.ن. اگر اولین باره که اسم Jax را می‌شنوین به این پست از کانال نگاه بندازین.
#twitter

@nlp_stuff

گلچین EMNLP و ICLR به روایت رودر

آقای Sebastian Ruder در شماره‌ی ۵۴ از NLP News سایتش، مقاله‌هایی را که به نظرش در EMNLP و ICLR امسال قشنگ هستند و همینطور کارهای اخیر در موضوع toxicity detection و data augmentation آورده. بعضی از مقاله‌ها و بلاگ‌هایی که گفته قبلا در کانال بحث کردیم. دنبالش کنید که چیزای خوبی یاد می‌گیرید.

https://newsletter.ruder.io/issues/emnlp-iclr-2020-toxicity-detection-data-augmentation-and-adversarial-examples-285207

#read
#blog

@nlp_stuff

تولد موازی‌سازی مدل‌ها روی هاگینگ فیس

بدانید و آگاه باشید که هفته قبل هاگینگ‌فیس طی حرکت بسیار خفنی، موازی‌سازی مدل‌ها روی جی‌پی‌یو را اضافه کرده و فعلا برای GPT-2 و T5 هم پیاده شده.
نمی‌دونیم می‌تونید یا نه؛ ولی اگر می‌تونید (یعنی چند تا جی‌پی‌یو دارید)، حالشو ببرید.


https://twitter.com/LysandreJik/status/1330964117243441153?s=20

#twitter

@nlp_stuff

گلچین شاد EMNLP2020

ایشون اومده ۱۳ تا از مقاله‌های EMNLP2020 را گلچین کرده. مقاله‌های خیلی خوبی هستند، یه نگاه بهشون (حداقل عنوان‌شون!) بندازید خوبه.
ما هم به شرط حیات چندتاشو به زودی خلاصه می‌کنیم و براتون تعریف می‌کنیم که کی کیو زده.

https://twitter.com/sjmielke/status/1332069329416892418?s=20

#twitter

@nlp_stuff

مهدی‌مون در کنفرانس WSS 2020 ارائه‌ای با موضوع Transfer Learning in NLP with Huggingface داره و قراره مرور کاملی روی مباحث انتقال یادگیری در پردازش زبان طبیعی و استفاده از کتابخانه‌ی هاگینگ‌فیس داشته باشه.
سعی کنید به هیچ وجه از دستش ندید و لطفا دست به دست کنید.

زمان ارائه: ۱۰ دی (۳۰ دسامبر)

https://sharif-wss.ir/workshop/26

#coach
#overfit

@WSS_SUT

@nlp_stuff