گراف مقالات مرتبط با یک مقاله
دارید روی یک موضوعی پژوهش می‌کنید و خیلی بی‌هدف و شاید نومیدانه دنبال مقالات مرتبط و پیشینش جستجو می‌کنید؟ پس این ابزار رو امتحان کنید شاید مفید واقع شد، کافیه یک مقاله هدف رو بهش بدید تا براتون یک گراف خوشگل از کارهای مرتبطش رسم کنه.
هر گره این گراف یک مقاله است که به اون مقاله مورد جستجو شما مرتبطه. رنگ و سایز هر گره هم سال انتشار و تعداد ارجاعات شده به اون مقاله رو نشون میدن. مقاله‌ها هم بر اساس این که چه قدر با هم ارجاعات مشترک دارن به هم دیگه وصل شده‌اند.
https://www.connectedpapers.com/
#tool
@nlp_stuff
دارید روی یک موضوعی پژوهش می‌کنید و خیلی بی‌هدف و شاید نومیدانه دنبال مقالات مرتبط و پیشینش جستجو می‌کنید؟ پس این ابزار رو امتحان کنید شاید مفید واقع شد، کافیه یک مقاله هدف رو بهش بدید تا براتون یک گراف خوشگل از کارهای مرتبطش رسم کنه.
هر گره این گراف یک مقاله است که به اون مقاله مورد جستجو شما مرتبطه. رنگ و سایز هر گره هم سال انتشار و تعداد ارجاعات شده به اون مقاله رو نشون میدن. مقاله‌ها هم بر اساس این که چه قدر با هم ارجاعات مشترک دارن به هم دیگه وصل شده‌اند.
https://www.connectedpapers.com/
#tool
@nlp_stuff
بار جدید کورس
آقا الویس (elvis) چهار تا کورس خفن معرفی کرده که وقتی بررسی‌شون کردیم، خوف کردیم:
یک. Applied Machine Learning: این کورس کلی از مباحث رو به صورت جمع و جور توضیح داده؛ از SVM گرفته تا Deep Learning. فقط در حد تعریف نیست و پیاده‌سازی و مثال هم آورده. این کورس سعی کرده به صورت گسترده عمل کنه تا عمیق.
دو. Intro to Deep Learning: این کورس کلاس دیپ لرنینگ دانشگاه برکلیه، با مقدمات ML شروع میشه، مقدمات دیپ مثل back propagation رو میگه و میرسه به CNN و RNN و ترنسرفورمرها. کوتاه و جامع. مخصوص دوران جمع‌بندی عید!
سه. Full Stack Deep Learning: هدف این کورس عجیب با مدرس‌های غولش (یه نگاه به رخ خودشون و شرکت‌هاشون بندازید) اینه که فاصله‌ی بین آموزش مدل‌ها و دیپلویمنت رو کم کنه. هنوز داره آپدیت میشه. ویدیوهاشون پر از Lab (و لوچه) است که به صورت عملی نشون بده داستان چیه.
چهار. CS 329S: Machine Learning Systems Design: این کورس استنفورد هم راجع به طراحی، مقیاس‌پذیری و دیپلویمنته. مال همین ترم اخیره. این موضوعیه که به زودی در ایران هم کلی نیاز خواهد شد و آدم هم براش خیلی کمه.
#coach
#course
@nlp_stuff
آقا الویس (elvis) چهار تا کورس خفن معرفی کرده که وقتی بررسی‌شون کردیم، خوف کردیم:
یک. Applied Machine Learning: این کورس کلی از مباحث رو به صورت جمع و جور توضیح داده؛ از SVM گرفته تا Deep Learning. فقط در حد تعریف نیست و پیاده‌سازی و مثال هم آورده. این کورس سعی کرده به صورت گسترده عمل کنه تا عمیق.
دو. Intro to Deep Learning: این کورس کلاس دیپ لرنینگ دانشگاه برکلیه، با مقدمات ML شروع میشه، مقدمات دیپ مثل back propagation رو میگه و میرسه به CNN و RNN و ترنسرفورمرها. کوتاه و جامع. مخصوص دوران جمع‌بندی عید!
سه. Full Stack Deep Learning: هدف این کورس عجیب با مدرس‌های غولش (یه نگاه به رخ خودشون و شرکت‌هاشون بندازید) اینه که فاصله‌ی بین آموزش مدل‌ها و دیپلویمنت رو کم کنه. هنوز داره آپدیت میشه. ویدیوهاشون پر از Lab (و لوچه) است که به صورت عملی نشون بده داستان چیه.
چهار. CS 329S: Machine Learning Systems Design: این کورس استنفورد هم راجع به طراحی، مقیاس‌پذیری و دیپلویمنته. مال همین ترم اخیره. این موضوعیه که به زودی در ایران هم کلی نیاز خواهد شد و آدم هم براش خیلی کمه.
#coach
#course
@nlp_stuff
مدل‌های زبانی یا موتور‌های محاسبه؟
معماری داخلی شبکه‌های ترنسفورمری را می‌توان به سه بخش لایه‌های امبدینگ، لایه‌های ترنسفورمری (اتنشن) و لایه خروجی تفکیک کرد. حالا در این مقاله جدید به نام Pretrained Transformers as Universal Computation Engines اومدند و قابلیت تعمیم پذیری شبکه‌های ازپیش‌آموزش‌دیده زبانی روی تسک‌های سایر مودالیتی‌ها نظیر تسک‌های تصویری (مثل دسته‌بندی روی cifar) و ریاضی (مثل حساب کردن یک عبارت) تست کردند. چگونه؟ به این نحو که قلب شبکه رو (همون بخش‌های اتنشن میانی) فریز کردند و باقی بخش‌های مدل رو که صرفا یک درصد از پارامترهای کل مدل هستند، روی تسک هدف فاین تیون کردند و بعد عملکرد این مدل‌ها رو با حالتی که شبکه ترنسفورمری از ابتدا و به صورت خام روی این تسک‌ها آموزش ببینه مقایسه کردند.
نتایج نسبتا جالب توجه هستند، به این صورت که مدل‌های فاین‌تیون‌شده از مدل‌های دسته دوم پا پس نکشیدند و حتی در برخی تسک‌ها به امتیازهای بهتری دست پیدا کردند.
چند آزمایش جالب دیگه انجام دادند؛ مثلا یه بار اون اتنشن‌های وسط رو رندوم عدد دادند، فریز کردند و ترین کردند و بعد دیدند جواب بد شده. یا یه بار دیگه جای پیش‌آموزش روی متن روی تصویر پیش‌آموزش دادند و دیدند باز هم متن بهتر بوده.
همین نتایج این حدس رو برمی‌انگیزه که احتمالا مدل‌های از ازپیش‌آموزش‌دیده زبانی در قسمت لایه‌های اتنشن خودشون، منطق محاسباتی رو یاد می‌گیرند که همین بهشون در تسک‌های دیگه کمک می‌کنه و بر همین اساس نام مقاله اینی شده که مشاهده می‌کنید.
لینک ویدیوی توضیح مقاله:
https://www.youtube.com/watch?v=Elxn8rS88bI&t=1080s
لینک مقاله:
https://arxiv.org/abs/2103.05247
#read
#paper
#watch
@nlp_stuff
معماری داخلی شبکه‌های ترنسفورمری را می‌توان به سه بخش لایه‌های امبدینگ، لایه‌های ترنسفورمری (اتنشن) و لایه خروجی تفکیک کرد. حالا در این مقاله جدید به نام Pretrained Transformers as Universal Computation Engines اومدند و قابلیت تعمیم پذیری شبکه‌های ازپیش‌آموزش‌دیده زبانی روی تسک‌های سایر مودالیتی‌ها نظیر تسک‌های تصویری (مثل دسته‌بندی روی cifar) و ریاضی (مثل حساب کردن یک عبارت) تست کردند. چگونه؟ به این نحو که قلب شبکه رو (همون بخش‌های اتنشن میانی) فریز کردند و باقی بخش‌های مدل رو که صرفا یک درصد از پارامترهای کل مدل هستند، روی تسک هدف فاین تیون کردند و بعد عملکرد این مدل‌ها رو با حالتی که شبکه ترنسفورمری از ابتدا و به صورت خام روی این تسک‌ها آموزش ببینه مقایسه کردند.
نتایج نسبتا جالب توجه هستند، به این صورت که مدل‌های فاین‌تیون‌شده از مدل‌های دسته دوم پا پس نکشیدند و حتی در برخی تسک‌ها به امتیازهای بهتری دست پیدا کردند.
چند آزمایش جالب دیگه انجام دادند؛ مثلا یه بار اون اتنشن‌های وسط رو رندوم عدد دادند، فریز کردند و ترین کردند و بعد دیدند جواب بد شده. یا یه بار دیگه جای پیش‌آموزش روی متن روی تصویر پیش‌آموزش دادند و دیدند باز هم متن بهتر بوده.
همین نتایج این حدس رو برمی‌انگیزه که احتمالا مدل‌های از ازپیش‌آموزش‌دیده زبانی در قسمت لایه‌های اتنشن خودشون، منطق محاسباتی رو یاد می‌گیرند که همین بهشون در تسک‌های دیگه کمک می‌کنه و بر همین اساس نام مقاله اینی شده که مشاهده می‌کنید.
لینک ویدیوی توضیح مقاله:
https://www.youtube.com/watch?v=Elxn8rS88bI&t=1080s
لینک مقاله:
https://arxiv.org/abs/2103.05247
#read
#paper
#watch
@nlp_stuff
Telegram
stuff
آمار کانال در سال ۱۳۹۹
سال نو همه‌مون مبارکا! انشاءالله همگی در سال ۱۴۰۰ مفیدتر و کاراتر از ۱۳۹۹ باشیم و سال جدید پر از امید، عزت و سلامتی برامون باشه.
ما این کانال را ۳۰ اردی‌بهشت ۱۳۹۹ به امید کمک به گسترش و یادگیری بیشتر هوش مصنوعی و پردازش زبان طبیعی ساختیم.
ممنون از همه‌ی کسایی که بهمون انتقاد و کمک کردند. تشکر از همه کسایی که ما را به بقیه معرفی کردند و می‌کنند. دمتون گرم.
این‌ها تصاویری از آمارهای امسال کاناله. گفتیم شاید براتون جالب باشه (شایدم هیچ اهمیتی نداشته باشه یه کانال ۷۰۰ نفره چه آماری داره😄)!
نتایج کانال در این نه ماه شده: بیش از ۷۱۰ تا عضو، میانگین ۱۶ تا پست در ماه، میانگین ۶۵۰ تا بازدید به ازای هر پست، میانگین ۹۰ تا اشتراک به ازای هر پست و از همه مهم‌تر کلی پیام مهرآمیز و حمایت‌های مشتی از سمت شما. به نظرمون برای یک کانال تخصصی بد نیست. بیش باد!
اگر مشکلی می‌بینید یا پیشنهادی دارید، بهمون بگید که سال بعد بهتر عمل کنیم. اندک کانال خودتونه، تعارف نکنید خلاصه!
#overfit
@nlp_stuff
سال نو همه‌مون مبارکا! انشاءالله همگی در سال ۱۴۰۰ مفیدتر و کاراتر از ۱۳۹۹ باشیم و سال جدید پر از امید، عزت و سلامتی برامون باشه.
ما این کانال را ۳۰ اردی‌بهشت ۱۳۹۹ به امید کمک به گسترش و یادگیری بیشتر هوش مصنوعی و پردازش زبان طبیعی ساختیم.
ممنون از همه‌ی کسایی که بهمون انتقاد و کمک کردند. تشکر از همه کسایی که ما را به بقیه معرفی کردند و می‌کنند. دمتون گرم.
این‌ها تصاویری از آمارهای امسال کاناله. گفتیم شاید براتون جالب باشه (شایدم هیچ اهمیتی نداشته باشه یه کانال ۷۰۰ نفره چه آماری داره😄)!
نتایج کانال در این نه ماه شده: بیش از ۷۱۰ تا عضو، میانگین ۱۶ تا پست در ماه، میانگین ۶۵۰ تا بازدید به ازای هر پست، میانگین ۹۰ تا اشتراک به ازای هر پست و از همه مهم‌تر کلی پیام مهرآمیز و حمایت‌های مشتی از سمت شما. به نظرمون برای یک کانال تخصصی بد نیست. بیش باد!
اگر مشکلی می‌بینید یا پیشنهادی دارید، بهمون بگید که سال بعد بهتر عمل کنیم. اندک کانال خودتونه، تعارف نکنید خلاصه!
#overfit
@nlp_stuff
عیدی صوتی فیس‌بوک به همه زبانها
خب مندلک‌بازی و تبریک سال نو بسه، بریم سراغ کار اصلی‌مون: چند وقت پیش در کانال درباره wav2vec2 پستی (این پست https://t.iss.one/nlp_stuff/135) گذاشتیم. نکته‌ش این بود که مدل pre-train/fine-tune که قبل از این، در حوزه NLP سربلند بیرون اومده بود حالا وارد عرصه speech شده. شما باید اول یه مدل pre-train شده رو که به صورت بدون نظارت است در یک زبان آموزش داده باشید و بعد با اندک دیتای برچسب‌خورده در تسک موردنظرتون (مثلا بازشناسی گفتار) بر اون تسک فائق بیاید! حالا دوستان Facebook AI گفتند که شاید برخی زبانها حتی همون دیتای بدون برچسب در حجم زیاد رو هم نداشته باشند و یا اینکه منابع لازم برای آموزش مدل pre-train رو در اختیار نداشته باشند، به خاطر همین مدل cross lingual همین wav2vec رو ارائه دادند که در واقع از شر pre-train رها می‌شید و فقط به دنبال fine tune کردن روی تسک مورد نظرتون تمرکز می‌کنید. نتیجه اینکه هاگینگ فیس هم کلی ذوق کرد و ملت رو بسیج کرد تا با امکاناتی که فراهم کرده این مدل cross lingual رو برای زبان محلی خودشون فاین تیون کنند. حالا آقای مهرداد فراهانی برای زبان فارسی، بار امانت رو به دوش کشید. طبیعتا از یه مدل cross lingual نباید توقع داشت که state of the artهای زبان رو جا به جا کنه ولی به نرخ خطای ۳۲ درصد بر اساس معیار WER رسیده که خوبه. توجه کنید که اندک کارهای قبلی در حوزه ASR فارسی نرخ خطاهایی در حدود ۲۰ الی ۲۸ درصد داشتند (البته سناریوهای تست با توجه به نویزی بودن و یا تمیز بودن صوت و مدل سازی صوت متفاوته)! اگر جایی گیر کردید و ASR لازم بودید، میتونید از این مدل استفاده کنید یا حتی روی دیتاست شخصیتون اون رو فاین تیون کنید و غمتون نباشه دیگه.
لینک مقاله cross-lingual:
https://arxiv.org/abs/2006.13979
لینک راهنمای فاین‌تیون کردن:
https://huggingface.co/blog/fine-tune-xlsr-wav2vec2
لینک مدل فاین‌تیون شده فارسی:
https://huggingface.co/m3hrdadfi/wav2vec2-large-xlsr-persian
#read
#paper
#link
@nlp_stuff
خب مندلک‌بازی و تبریک سال نو بسه، بریم سراغ کار اصلی‌مون: چند وقت پیش در کانال درباره wav2vec2 پستی (این پست https://t.iss.one/nlp_stuff/135) گذاشتیم. نکته‌ش این بود که مدل pre-train/fine-tune که قبل از این، در حوزه NLP سربلند بیرون اومده بود حالا وارد عرصه speech شده. شما باید اول یه مدل pre-train شده رو که به صورت بدون نظارت است در یک زبان آموزش داده باشید و بعد با اندک دیتای برچسب‌خورده در تسک موردنظرتون (مثلا بازشناسی گفتار) بر اون تسک فائق بیاید! حالا دوستان Facebook AI گفتند که شاید برخی زبانها حتی همون دیتای بدون برچسب در حجم زیاد رو هم نداشته باشند و یا اینکه منابع لازم برای آموزش مدل pre-train رو در اختیار نداشته باشند، به خاطر همین مدل cross lingual همین wav2vec رو ارائه دادند که در واقع از شر pre-train رها می‌شید و فقط به دنبال fine tune کردن روی تسک مورد نظرتون تمرکز می‌کنید. نتیجه اینکه هاگینگ فیس هم کلی ذوق کرد و ملت رو بسیج کرد تا با امکاناتی که فراهم کرده این مدل cross lingual رو برای زبان محلی خودشون فاین تیون کنند. حالا آقای مهرداد فراهانی برای زبان فارسی، بار امانت رو به دوش کشید. طبیعتا از یه مدل cross lingual نباید توقع داشت که state of the artهای زبان رو جا به جا کنه ولی به نرخ خطای ۳۲ درصد بر اساس معیار WER رسیده که خوبه. توجه کنید که اندک کارهای قبلی در حوزه ASR فارسی نرخ خطاهایی در حدود ۲۰ الی ۲۸ درصد داشتند (البته سناریوهای تست با توجه به نویزی بودن و یا تمیز بودن صوت و مدل سازی صوت متفاوته)! اگر جایی گیر کردید و ASR لازم بودید، میتونید از این مدل استفاده کنید یا حتی روی دیتاست شخصیتون اون رو فاین تیون کنید و غمتون نباشه دیگه.
لینک مقاله cross-lingual:
https://arxiv.org/abs/2006.13979
لینک راهنمای فاین‌تیون کردن:
https://huggingface.co/blog/fine-tune-xlsr-wav2vec2
لینک مدل فاین‌تیون شده فارسی:
https://huggingface.co/m3hrdadfi/wav2vec2-large-xlsr-persian
#read
#paper
#link
@nlp_stuff
Telegram
stuff
شبکه عصبی خود را بهتر بفهمید!
خب احتمالا هر وقت که یه تسک دسته‌بندی یا رگرسیون و یا حتی تسک‌های NLP رو به دقت خوبی انجام دادید یه حس کنجکاوی درون‌تون بوده که چرا داره خوب کار می‌کنه! یا اینکه کدوم فیچر‌ها هستن که بیشترین تاثیر رو در تولید این خروجی با کیفیت دارند. احتمالا هم تیپ کارهای برتولوژی و غیره رو دیدید که نمونه‌ش هم برای حوزه NLP هست و هم حوزه تصویر. اما حالا این ابزار رو ببینید که دیگه نعمت رو بر همه‌مون تکمیل کرده! با این ابزار که تقریبا تمامی فریم‌ورک‌‌ها و ابزارهای لرنینگ رو پشتیبانی می‌کنه میتونید اهمیت فیچرهای ورودی رو در تولید خروجی مدل آموزش‌داده‌شده به صورت مصور ببینید و لذت ببرید و برای سازندگانش دعای خیر بکنید. به عنوان یک مثال، در تسک تحلیل قطبیت جملات میتونید ببینید که کدوم کلمات در تعیین قطبیت جمله نقش بیشتری داشتند. همچنین مثلا در تسک‌های دسته‌بندی روی دیتای ساختاریافته هم میتونید ببینید که کدوم فیچر‌ها در تولید خروجی بیشترین نقش رو داشتند.
آدرس صفحه گیت‌هاب:
https://github.com/slundberg/shap#citations
#link
@nlp_stuff
خب احتمالا هر وقت که یه تسک دسته‌بندی یا رگرسیون و یا حتی تسک‌های NLP رو به دقت خوبی انجام دادید یه حس کنجکاوی درون‌تون بوده که چرا داره خوب کار می‌کنه! یا اینکه کدوم فیچر‌ها هستن که بیشترین تاثیر رو در تولید این خروجی با کیفیت دارند. احتمالا هم تیپ کارهای برتولوژی و غیره رو دیدید که نمونه‌ش هم برای حوزه NLP هست و هم حوزه تصویر. اما حالا این ابزار رو ببینید که دیگه نعمت رو بر همه‌مون تکمیل کرده! با این ابزار که تقریبا تمامی فریم‌ورک‌‌ها و ابزارهای لرنینگ رو پشتیبانی می‌کنه میتونید اهمیت فیچرهای ورودی رو در تولید خروجی مدل آموزش‌داده‌شده به صورت مصور ببینید و لذت ببرید و برای سازندگانش دعای خیر بکنید. به عنوان یک مثال، در تسک تحلیل قطبیت جملات میتونید ببینید که کدوم کلمات در تعیین قطبیت جمله نقش بیشتری داشتند. همچنین مثلا در تسک‌های دسته‌بندی روی دیتای ساختاریافته هم میتونید ببینید که کدوم فیچر‌ها در تولید خروجی بیشترین نقش رو داشتند.
آدرس صفحه گیت‌هاب:
https://github.com/slundberg/shap#citations
#link
@nlp_stuff
کیمیای سعادت یانیک کیلچر در دکترای یادگیری ماشین
حالا که به انتهای تعطیلات رسیده‌ایم و تقارن شوم شامگاه جمعه و سیزده‌به‌در را تجربه می‌کنیم، بایستی آماده بازگشت به کارهای خودمون بشیم. اگر دارید در زمینه یادگیری ماشین چه آن‌ور آب‌ها و چه حتی این‌ور آب دکترا می‌گیرید یا قصد دارید در آینده بگیرید یا حتی اگر از دکترا خوشتون نمیاد، اوصیکم به مشاهده این فیلم از یانیک خان کیلچر.
ایشون در این ویدئو خیلی مختصر و کوتاه و مفید راجع به برخی گلوگاه‌های دکترا، نظیر چگونگی انتخاب موضوع و نوشتن مقاله و حفظ روحیه در طول این مدت طولانی و شبکه‌سازی و این‌ها صحبت می‌کنند. دیدنش میتونه مفید واقع بشه.
https://www.youtube.com/watch?v=rHQPBqMULXo&t=1s
#watch
@nlp_stuff
حالا که به انتهای تعطیلات رسیده‌ایم و تقارن شوم شامگاه جمعه و سیزده‌به‌در را تجربه می‌کنیم، بایستی آماده بازگشت به کارهای خودمون بشیم. اگر دارید در زمینه یادگیری ماشین چه آن‌ور آب‌ها و چه حتی این‌ور آب دکترا می‌گیرید یا قصد دارید در آینده بگیرید یا حتی اگر از دکترا خوشتون نمیاد، اوصیکم به مشاهده این فیلم از یانیک خان کیلچر.
ایشون در این ویدئو خیلی مختصر و کوتاه و مفید راجع به برخی گلوگاه‌های دکترا، نظیر چگونگی انتخاب موضوع و نوشتن مقاله و حفظ روحیه در طول این مدت طولانی و شبکه‌سازی و این‌ها صحبت می‌کنند. دیدنش میتونه مفید واقع بشه.
https://www.youtube.com/watch?v=rHQPBqMULXo&t=1s
#watch
@nlp_stuff
YouTube
Machine Learning PhD Survival Guide 2021 | Advice on Topic Selection, Papers, Conferences & more!
#machinelearning #phd #howto
This video is advice for new PhD students in the field of Machine Learning in 2021 and after. The field has shifted dramatically in the last few years and navigating grad school can be very hard, especially when you're as clueless…
This video is advice for new PhD students in the field of Machine Learning in 2021 and after. The field has shifted dramatically in the last few years and navigating grad school can be very hard, especially when you're as clueless…
میمون گیمر و جوی‌استیک ذهنی
شرکت Neuralink (یکی از شرکت‌های آقای ایلان ماسک) در فصل بهار باعث ریزش شکوفه‌ها و برگ‌ها شده‌اند. آن‌ها میمونی را به اسم پیجر مورد آزمایش جالبی قرار داده‌اند: ابتدا پیجر را روی بازی‌ها با روش RL آموزش داده‌اند، به این صورت که یک جوی‌استیک دستش داده‌اند که می‌تواند اکشن‌هایش را در بازی انتخاب کند و در صورتی که در بازی موفق شود، از طریق لوله‌ای که در دهانش قرار دارد خوراکی به او داده می‌شود و در کمال تعجب همانطور که خودتان در فیلم مشاهده خواهید کرد این میمون توانسته بازی کردن را یاد بگیرد و شکمش را سیر کند.
اما شگفتی بزرگتر در ادامه رخ می‌دهد. پژوهشگران الکترود‌هایی را در مغز این میمون بی‌نوا قرار داده و فعالیت‌ها و اسپایک‌های نورون‌های مغزی او را در حین بازی کردن ثبت کرده و سپس تفسیر و دیکود کردند و توانستند حرکات انتخابی میمون در ذهنش را اجرا کنند؛ یعنی بدون حرکت دادن جوی‌استیک و تنها با فکر کردن به اکشن درست موردنظر، او می‌تواند بازی‌ای همچون pong را پیروز شود. آخرش هم به او یک موز بزرگ و خوشمزه دادند.
خوش‌بینانه و خیرخواهانه‌ترین کاربرد این طرح کمک به معلولان جسمی است تا کارهایی را که فکر می‌کند، بتوانند اجرایی کنند.
https://www.youtube.com/watch?v=rsCul1sp4hQ
#link
#watch
@nlp_stuff
شرکت Neuralink (یکی از شرکت‌های آقای ایلان ماسک) در فصل بهار باعث ریزش شکوفه‌ها و برگ‌ها شده‌اند. آن‌ها میمونی را به اسم پیجر مورد آزمایش جالبی قرار داده‌اند: ابتدا پیجر را روی بازی‌ها با روش RL آموزش داده‌اند، به این صورت که یک جوی‌استیک دستش داده‌اند که می‌تواند اکشن‌هایش را در بازی انتخاب کند و در صورتی که در بازی موفق شود، از طریق لوله‌ای که در دهانش قرار دارد خوراکی به او داده می‌شود و در کمال تعجب همانطور که خودتان در فیلم مشاهده خواهید کرد این میمون توانسته بازی کردن را یاد بگیرد و شکمش را سیر کند.
اما شگفتی بزرگتر در ادامه رخ می‌دهد. پژوهشگران الکترود‌هایی را در مغز این میمون بی‌نوا قرار داده و فعالیت‌ها و اسپایک‌های نورون‌های مغزی او را در حین بازی کردن ثبت کرده و سپس تفسیر و دیکود کردند و توانستند حرکات انتخابی میمون در ذهنش را اجرا کنند؛ یعنی بدون حرکت دادن جوی‌استیک و تنها با فکر کردن به اکشن درست موردنظر، او می‌تواند بازی‌ای همچون pong را پیروز شود. آخرش هم به او یک موز بزرگ و خوشمزه دادند.
خوش‌بینانه و خیرخواهانه‌ترین کاربرد این طرح کمک به معلولان جسمی است تا کارهایی را که فکر می‌کند، بتوانند اجرایی کنند.
https://www.youtube.com/watch?v=rsCul1sp4hQ
#link
#watch
@nlp_stuff
YouTube
Monkey MindPong
Pager, a nine year old Macaque, plays MindPong with his Neuralink.
www.neuralink.com
www.neuralink.com
حرکت به سمت پروداکشن با TFX!
تا الان شاید یادگرفته باشید که چه‌طور یه مدل خوب بسازید که کیفیت خوبی داشته باشه. اما این پایان کار نیست. حرکت از experiment به سمت production کمک می‌کنه تا قدرت AI رو به دنیای واقعی بیاریم. مثلا فرض کنید که یه محصول ترجمه ماشینی تولید کردید یا یه محصولی که بلده تحلیل احساسات درباره وقایع خاص بکنه. این محصول نیاز داره به صورت دوره‌ای کیفیتش سنجیده بشه، اگه لازم بود دوباره ترین بشه و اگه مدل‌سازی بهتری صورت گرفته مدل‌های جدید به جای مدل‌های قدیمی‌تر serve شوند بدون اینکه محصول پایین بیاد. اینجاست که نیاز به یه ابزار قدرتمند که بتونه برای ما یه پایپلاین درست کنه حس میشه. TFX یا همون TensorFlow Extended دقیقا همون ابزاریه که دنبالش می‌گردیم. یه ابزار open source که به صورت انتها به انتها کل پایپلاین رو برای ما پوشش میده. از چک کردن معتبر بودن داده تا مهندسی ویژگی‌ها و فاز ETL تا بررسی کیفیت مدل‌ها و پوش کردن اونها به صورت خودکار میتونه با TFX انجام بشه. این ابزار در واقع یه CI/CD برای مدل‌های ماشین لرنینگی محصول شما ست که میتونه کمک کنه توی پروداکشن بدون نگرانی مدل‌های جدید رو دیپلوی کنید و لذتش رو ببرید. اگه مفاهیمش رو بیشتر می‌خواید درک کنید این ویدیو رو از خانم Vergadia از تیم گوگل از دست ندید.
لینک ویدیو:
https://youtu.be/17l3VR2MIeg
#watch
پ.ن. در معرفی کانال به بقیه کوشا باشید!
@nlp_stuff
تا الان شاید یادگرفته باشید که چه‌طور یه مدل خوب بسازید که کیفیت خوبی داشته باشه. اما این پایان کار نیست. حرکت از experiment به سمت production کمک می‌کنه تا قدرت AI رو به دنیای واقعی بیاریم. مثلا فرض کنید که یه محصول ترجمه ماشینی تولید کردید یا یه محصولی که بلده تحلیل احساسات درباره وقایع خاص بکنه. این محصول نیاز داره به صورت دوره‌ای کیفیتش سنجیده بشه، اگه لازم بود دوباره ترین بشه و اگه مدل‌سازی بهتری صورت گرفته مدل‌های جدید به جای مدل‌های قدیمی‌تر serve شوند بدون اینکه محصول پایین بیاد. اینجاست که نیاز به یه ابزار قدرتمند که بتونه برای ما یه پایپلاین درست کنه حس میشه. TFX یا همون TensorFlow Extended دقیقا همون ابزاریه که دنبالش می‌گردیم. یه ابزار open source که به صورت انتها به انتها کل پایپلاین رو برای ما پوشش میده. از چک کردن معتبر بودن داده تا مهندسی ویژگی‌ها و فاز ETL تا بررسی کیفیت مدل‌ها و پوش کردن اونها به صورت خودکار میتونه با TFX انجام بشه. این ابزار در واقع یه CI/CD برای مدل‌های ماشین لرنینگی محصول شما ست که میتونه کمک کنه توی پروداکشن بدون نگرانی مدل‌های جدید رو دیپلوی کنید و لذتش رو ببرید. اگه مفاهیمش رو بیشتر می‌خواید درک کنید این ویدیو رو از خانم Vergadia از تیم گوگل از دست ندید.
لینک ویدیو:
https://youtu.be/17l3VR2MIeg
#watch
پ.ن. در معرفی کانال به بقیه کوشا باشید!
@nlp_stuff
Telegram
stuff
مخزن نوتبوک‌های متنوع NLP
در اینجا بیش از ۲۰۰ نوتبوک گرد‌آوری شده‌اند که مسائل مختلفی در حوزه NLP رو (از نحوه فاین تیون‌کردن bert و gpt گرفته تا استفاده از doc2vec و fasttext) پوشش داده‌اند. میتونه منبع خیلی خوبی برای بازی‌کردن و دستکاری کردن و در نهایت آموزش و تمرین کد زدن برای مسائل مختلف nlp با استفاده از مدل‌های مختلف باشه.
https://notebooks.quantumstat.com/
#link
@nlp_stuff
در اینجا بیش از ۲۰۰ نوتبوک گرد‌آوری شده‌اند که مسائل مختلفی در حوزه NLP رو (از نحوه فاین تیون‌کردن bert و gpt گرفته تا استفاده از doc2vec و fasttext) پوشش داده‌اند. میتونه منبع خیلی خوبی برای بازی‌کردن و دستکاری کردن و در نهایت آموزش و تمرین کد زدن برای مسائل مختلف nlp با استفاده از مدل‌های مختلف باشه.
https://notebooks.quantumstat.com/
#link
@nlp_stuff
کورسی برای علاقه‌مندان به مولتی‌مودال
این اواخر در کانال راجع به مولتی مودال لرنینگ پست‌های زیادی گذاشته شد و راجع بهش صحبت کردیم و قبلا هم گفتیم که یکی از جهت‌های ریسرچ‌های آینده میتونه باشه. اگر به این موضوع علاقه‌مند هستید، دعوتتون می‌کنیم این کورس یادگیری ماشین مولتی‌مودال از دانشگاه Carnegie Mellon رو که مال همین پاییز ۲۰۲۰ هست مشاهده کنید و استفاده‌اش رو ببرید.
https://www.youtube.com/playlist?list=PLTLz0-WCKX616TjsrgPr2wFzKF54y-ZKc
https://cmu-multicomp-lab.github.io/mmml-course/fall2020/schedule/
#coach
#course
@nlp_stuff
این اواخر در کانال راجع به مولتی مودال لرنینگ پست‌های زیادی گذاشته شد و راجع بهش صحبت کردیم و قبلا هم گفتیم که یکی از جهت‌های ریسرچ‌های آینده میتونه باشه. اگر به این موضوع علاقه‌مند هستید، دعوتتون می‌کنیم این کورس یادگیری ماشین مولتی‌مودال از دانشگاه Carnegie Mellon رو که مال همین پاییز ۲۰۲۰ هست مشاهده کنید و استفاده‌اش رو ببرید.
https://www.youtube.com/playlist?list=PLTLz0-WCKX616TjsrgPr2wFzKF54y-ZKc
https://cmu-multicomp-lab.github.io/mmml-course/fall2020/schedule/
#coach
#course
@nlp_stuff
پاسخ به ده سوال تاریخ از برت
این بلاگ‌پست نابی و تازه به ده سوال راجع به برت و مدل‌های ترنسفورمری پاسخ میده؛ سوالاتی مثل اینا:
• برت و ترنسفورمرها چی هستند؟
• قبل از این مدل‌ها چکار می‌کردیم؟
• معماری پایه و اصلی ترنسفورمرها چیه؟
• توکنایزر برت چیه؟
• روش آموزش برت چیه؟
پاسخ‌هایی که به سوالات داده خیلی دقیق و در عین حال مختصر و مفید هستند؛ یعنی هم برای آشنایی با موضوع و هم مرور کلیش مناسبه. نیم ساعت وقت بگذارید ارزششو داره.
https://neptune.ai/blog/bert-and-the-transformer-architecture-reshaping-the-ai-landscape
پ.ن. بعدش هم میتونید برید ویرگول ما و سه‌گانه‌ی «داستان ترنسفورمرها» را بخونید که پیدایش و تکامل این مدل‌ها را مفصل گفتیم:
https://virgool.io/overfit
#read
#blog
@nlp_stuff
این بلاگ‌پست نابی و تازه به ده سوال راجع به برت و مدل‌های ترنسفورمری پاسخ میده؛ سوالاتی مثل اینا:
• برت و ترنسفورمرها چی هستند؟
• قبل از این مدل‌ها چکار می‌کردیم؟
• معماری پایه و اصلی ترنسفورمرها چیه؟
• توکنایزر برت چیه؟
• روش آموزش برت چیه؟
پاسخ‌هایی که به سوالات داده خیلی دقیق و در عین حال مختصر و مفید هستند؛ یعنی هم برای آشنایی با موضوع و هم مرور کلیش مناسبه. نیم ساعت وقت بگذارید ارزششو داره.
https://neptune.ai/blog/bert-and-the-transformer-architecture-reshaping-the-ai-landscape
پ.ن. بعدش هم میتونید برید ویرگول ما و سه‌گانه‌ی «داستان ترنسفورمرها» را بخونید که پیدایش و تکامل این مدل‌ها را مفصل گفتیم:
https://virgool.io/overfit
#read
#blog
@nlp_stuff
This media is not supported in your browser
VIEW IN TELEGRAM
دیتای خودت را بکش!
این ابزار به شما اجازه میده که دیتای خودتون رو بکشید و ازش خروجی json یا csv بگیرید. تازه ازش میتونید در جوپیتر نوتبوک هم استفاده کنید. این ابزار میتونه در کارهای ریسرچی و آموزشی، سرعت و کیفیت کارتون رو بالا ببره.
باحاله واقعا.
لینک دمو:
https://calmcode.io/labs/drawdata.html
گیت:
https://github.com/koaning/drawdata
#link
@nlp_stuff
این ابزار به شما اجازه میده که دیتای خودتون رو بکشید و ازش خروجی json یا csv بگیرید. تازه ازش میتونید در جوپیتر نوتبوک هم استفاده کنید. این ابزار میتونه در کارهای ریسرچی و آموزشی، سرعت و کیفیت کارتون رو بالا ببره.
باحاله واقعا.
لینک دمو:
https://calmcode.io/labs/drawdata.html
گیت:
https://github.com/koaning/drawdata
#link
@nlp_stuff
کورس Machine Learning with Graphs
به‌به! کورس این ترم CS224W Machine Learning with Graphs از استنفورد هم هفته‌ای دو جلسه‌اش داره میاد. در این کورس بیشتر روی مباحثی مثل Graph Representation و GNN که الان خیلی داغ هم هستند تمرکز میشه. در ضمن اگر کورس ۲۰۱۹ این درس را دیدید، توصیه می‌کنیم یه نگاه به سیلابس درس بندازید تا ببینید چقدر آپدیت شده و جذابه!
استادش (jure leskovec) هم که غول مرحله‌ی آخر این زمینه‌ست دیگه. یه نگاه به h-index و سنش به‌طور هم‌زمان بندازید تا حرف ما رو تصدیق کنید.
ویدیوهای کورس:
https://www.youtube.com/playlist?list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn
سیلابس کورس:
https://web.stanford.edu/class/cs224w/
پ.ن. کانال رو به دو نفر دیگه معرفی کنید که ببینیم اپیدمی در یک شبکه‌ی پیچیده چقدر منتشر میشه! :))
#coach
#course
@nlp_stuff
به‌به! کورس این ترم CS224W Machine Learning with Graphs از استنفورد هم هفته‌ای دو جلسه‌اش داره میاد. در این کورس بیشتر روی مباحثی مثل Graph Representation و GNN که الان خیلی داغ هم هستند تمرکز میشه. در ضمن اگر کورس ۲۰۱۹ این درس را دیدید، توصیه می‌کنیم یه نگاه به سیلابس درس بندازید تا ببینید چقدر آپدیت شده و جذابه!
استادش (jure leskovec) هم که غول مرحله‌ی آخر این زمینه‌ست دیگه. یه نگاه به h-index و سنش به‌طور هم‌زمان بندازید تا حرف ما رو تصدیق کنید.
ویدیوهای کورس:
https://www.youtube.com/playlist?list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn
سیلابس کورس:
https://web.stanford.edu/class/cs224w/
پ.ن. کانال رو به دو نفر دیگه معرفی کنید که ببینیم اپیدمی در یک شبکه‌ی پیچیده چقدر منتشر میشه! :))
#coach
#course
@nlp_stuff