آقای تورینگ! تست شما پاس شد؛ لطفا سوال بعدی!

چند وقتی هست که مدل GPT-3 معرفی شده و هر روز که از خواب پا میشیم به زیبا بودن این مدل بیشتر و بیشتر پی می‌بریم. از معرفی ابزار copilot توسط گیت‌هاب گرفته (که براساس GPT-3 بود و بر اساس function definition به زبان طبیعی، به ۸۰ زبان زنده دنیا کدنویسی می‌کرد) تا این مقاله از خانوم کلارک که به عنوان یکی از برجسته‌ترین مقالات رویداد ACLNLP2021 انتخاب شده است. در این مقاله درواقع چارچوبی برای تست انسانی مدل‌های تولید زبان طبیعی (NLG) معرفی شده است و در کنار اون نتایج ارزیابی انسانی مدل GPT-3 بررسی شده است.

حتما می‌دونید که یکی از اهداف مقدس آلن تورینگ فقید در دهه ۵۰ میلادی، طراحی سیستمی بود که اگر جملاتی به زبان انگلیسی تولید می‌کرد و به انسان‌های مختلف نشان داده می‌شد، کسی قادر نباشد که مشخص کند تولیدکننده آن متن‌ها ماشین است. در این مقاله خانوم کلارک و دوستان با استفاده از ابزار Amazon Mechanical Turk که امکان crowdsourcing را فراهم می‌کند، این تست را بر روی مدل GPT-3 انجام دادند. تست‌ها در سه دامنه داستان‌های کوتاه، مقاله کوتاه خبری و دستورآشپزی بودند. شاید جالب باشه که بدونید کیفیت تشخیص ارزیابی‌کنندگان این متون، حدود ۵۰ درصد بوده است!!! یعنی دقیقا با شانس رندم توانستند machine-generated بودن این متون را تشخیص دهند. اما کار اصلی این مقاله، انجام آزمایشاتی در راستای آموزش ارزیابی‌کنندگان برای ارزیابی این مجموعه متون تستی بود تا کیفیت تشخیص آن‌ها بهبود یابد. در این مقاله ۳ سناریو برای آموزش انتخاب شده است. در سناریو اول ابتدا در کنار هر متن تستی، چند جمله در جهت راهنمایی برای تشخیص کیفیت متن گذاشته می‌شود و سپس ارزیابی صورت می‌گیرد. در سناریوی بعدی در هر متن تستی، بعد از انتخاب گزینه توسط ارزیابی‌کننده (در ابزار AMT می‌تونید برای هر تست گزینه‌هایی انتخاب کنید که ارزیابی‌کننده‌ها از بین اون‌ها انتخاب کنند و در اینجا به صورت ساده ۴ گزینه درنظر گرفته شده است. گزینه اول ؛ مطمئنا انسان نوشته است، گزینه دوم؛ احتمالا انسان نوشته است، گزینه سوم؛ احتمالا ماشین نوشته است و گزینه آخر؛ قطعا ماشین نوشته است انتخاب شده‌اند) در صورتی که اشتباه انتخاب می‌کرده‌است، گزینه درست به همراه دلایلی برای توضیح به ارزیابی‌کنندگان نشان داده می‌شده است. همچنین در سناریو سوم دو متن که با جملات یکسان اولیه یکی توسط انسان و دیگری توسط ماشین تولید شده است به ارزیابی‌کنندگان داده شده و پس از انتخاب گزینه، گزینه درست به آن‌ها نمایش داده شده است. تا اینجا اگه فکر می‌کنید که این سناریوها در بهبود کیفیت تشخیص ارزیابی‌کنندگان خیلی موثر بودند باید بگم که سخت در اشتباهید!! مدل GPT-3 حتی در این سناریوها نیز قدرت خودش رو نشون داد و فقط سناریو دوم تونست یه مقدار موثر باشه و به‌طور میانگین حدود ۶ درصد تشخیص رو بهتر کنه!

نویسندگان این مقاله با تحلیل و بررسی نتایج آزمایشات دریافتند که یکی از عوامل گمراهی عامل انسانی در تشخیص ماشینی بودن متون، عدم درک درست عامل انسانی از توانایی ماشین بوده! به همین دلیل، ارزیابی‌کنندگان برای تشخیص، به‌مقدار زیاد بر روی ویژگی‌های ظاهری متون مانند استایل و گرامر تکیه می‌کردند و با انجام آموزش‌هایی که در بالا به اون‌ها اشاره شد، آگاه‌تر شدند و برای تشخیص به ویژگی‌های محتوایی و معنایی نیز توجه بیشتری کردند و از لایه ظاهری برای تشخیص عبور کردند( که البته این عبور خیلی موفقیت‌آمیز نبود همون‌طور که گفتیم!)
در نهایت هم چندتا پیشنهاد برای محققان حوزه NLG دارند که باید سرلوحه کار خودشون قرار بدهند. اول اینکه، نتایج تست انسانی مدل‌هاشون رو سعی کنند با چارچوب معرفی شده گزارش کنند. دوم اینکه در ارزیابی‌های انسانی از لایه ظاهر عبور کنند و توجه بیشتری به معنا و مفید بودن متن بکنند. مثلا یک تست جذاب برای این موضوع این است که از ارزیابی‌کننده درخواست کنند تا در ادامه متن داده شده، متنی را بنویسند و توانایی همراهی ارزیابی‌کننده با متن را اندازه‌گیری کنند. همچنین از ارزیابی متن‌های کوتاه عبور کرده و به سمت متن‌های طولانی‌تر بروند.
این پیشنهاد‌ها به طور ضمنی چالش‌های بعدی حوزه NLG رو هم مشخص می‌کنند. به‌همین خاطر توصیه می‌کنیم این مقاله رو حتما اگر نمی‌خونید حداقل یه نگاه بهش بندازید خداوکیلی!

لینک مقاله:
https://arxiv.org/abs/2107.00061

پ.ن.۱: به عکس دقت کنید! به نظرتون کدومش کار ماشینه؟ ☺️

پ.ن.۲: جا داره یه نگاه دوباره به این پست از کانال بندازید که بررسی مقاله‌ی برنده‌ی ACL2020 بود و اون هم روی یک نگاه دیگه از ارزیابی مدل تکیه کرده بود:
https://t.iss.one/nlp_stuff/48

#read
#paper

@nlp_stuff

موقعیت پستداک سه ساله
ماشین لرنینگ
کشور بلژیک

Post-Doctoral Position in Machine Learning (UMONS, Belgium)
University of Mons - Department of Computer Science - Belgium

Applications are invited for a three-year postdoctoral position in machine learning with a focus on federated learning, time series modelling, and predictive maintenance. The successful candidate will be involved in a three-year research project in collaboration with various academic and industry partners. She/he will be part of a machine learning research team and will contribute to the participatory research process, collaborating directly with the industry partners. The main objectives of the project is to develop new federated learning models and algorithms for predictive maintenance based on time series data. Training machine learning models in a federated manner can involve various statistical and system challenges, including data heterogeneity, privacy constraints, model robustness and security, communication efficiency, system heterogeneity, and dynamic environments. The candidate will be supervised by Souhaib Ben Taieb (PhD, Associate Professor), from the Department of Computer Science of the University of Mons. Belgium is centrally located in Europe, and the lab is well-connected to other research teams worldwide. A research position in our group is an ideal stepping stone for an independent research career in academia or industry. 

Eligibility details and applications
Qualified candidates should hold a PhD degree in computer science, computational statistics or related domains, with a focus in machine learning or data science. A good knowledge of machine learning/computational statistics and former experience in data analysis with popular ML Python libraries (e.g. Scikit-learn, Pytorch, TensorFlow) are highly recommended. Candidates should be proficient in English and have good oral and written communication skills.
Official applications should be submitted at your earliest convenience by e-mail at [email protected], with subject line “ML Post-Doctoral Position at UMONS”, and should contain at least: 
• a CV, including previous experience relevant to the project
• a list of previous publications 
• a digital copy of the PhD thesis
• contact information for at least two potential academic referees
• a motivation letter
• the earliest available starting date of the candidate
• full contact details of the candidate

@ml_nlp_cc

💠 شرکت پردازش اطلاعات مالی پارت و مرکز تحقیقات هوش مصنوعی پارت، حامیان اصلی رویداد تخصصی "سکوی پرتاب هوش مصنوعی"

💎 استارتاپ‌ها می‌توانند در این رویداد تخصصی که با همکاری صندوق سرمایه‌گذاری جسورانه پارتیان و صداستارتاپ برگزار می‌شود، با ارائه طرح‌های خود شرکت کنند.

✅ مرکز تحقیقات هوش مصنوعی پارت بخش داوری طرح‌های تخصصی مربوط به هوش مصنوعی را در این رویداد بر عهده دارد و قرار است صندوق سرمایه‌گذاری جسورانه پارتیان نیز از طرح‌ها و استارتاپ‌های برگزیده این رویداد حمایت مالی به عمل آورد.

⚡با مشخص شدن طرح‌ها و تشکیل تیم‌های نهایی، رویداد در پنجم مرداد در مرکز رویدادهای ۱۰۰ استارتاپ برگزار خواهد شد.
🆔 @partdpai

💠آیا به راستی هوش مصنوعی می‌تواند رازهای زبانی حیوانات را برملا کند؟
پیش‌تر هوش مصنوعی عملکرد موثری در رمزگشایی از زبان انسان‌ باستان داشته است. آیا دلیل خاصی وجود دارد که دلفین‌ها با انسان باستان فرق داشته باشند؟

✅ برقراری ارتباط فقط به واژگان محدود نمی‌شود. لحن، زمان‌بندی، بافت، حالات چهره و غیره نیز در ارتباطات انسانی نقش دارند. حالا این موارد را به دنیای دلفین‌ها تعمیم دهید؛ حال خودتان می‌بینید که مسائل چقدر سریع پیچیده می‌شوند. انقدر پیچیده که پافشاری انسان برای فهم حیوانات با هوش مصنوعی برایتان قابل هضم می‌شود.

📌 برای خواندن متن کامل مقاله به لینک زیر مراجعه کنید:
🔗 hooshio.com/?p=16285
جدیدترین یافته‌ها و اخبار هوش مصنوعی در کانال مرکز تحقیقات هوش مصنوعی پارت
🆔 @partdpai

How to Build a Custom YOLOv4 Object Detector using TensorFlow

https://morioh.com/p/f9702a8223b2

CODE: https://github.com/theAIGuysCode/tensorflow-yolov4-tflite

@ml_nlp_cv

مقاله این پژوهش مهم DeepMind هم هفته پیش در نیچر منتشر شد. کدش هم اینجاست. تفاوت اصلی AlphaFold2 با نسخه قبلیش اینه که در اون به جای کانوولوشن از مکانیزم توجه استفاده شده.

@ml_nlp_cv

پنج‌شنبه ۱۴ مرداد ساعت ۱۶:۳۰ به وقت تهران، جلسه‌ی ارائه‌ی آزمایشگاه الگوریتم‌ها به صورت مجازی برگزار می‌گردد.

این جلسه، میزبان آقای ‍‍‍«سهیل بهنژاد»‍ دانشجوی دکتری دانشگاه مریلند خواهیم بود.

برای شرکت در جلسه، از این لینک استفاده کنید.
--
🔰 @sharifslide

این توتوریال Python عالیه، یک جزوه کامل برای دوستانی که قصد یادگیری جامع از صفر رو دارند. حوصله داشتید در کنار چیت‌شیت‌هایی که اینجا قرار دادم می‌تونید پرینت بگیرید و مطالعه کنید.

مطالب مشابه: (اینجا+)

☯ آقای صنایع - @Mr_IE 🌎

چاپ دوم کتاب با ارزش یادگیری آماری ساعاتی پیش منتشر شد!

دوستانی که کتاب هستی-تیبشیرانی (استاد دانشگاه استنفورد) از انتشارات اشپرینگر رو طبق علاقه‌ای که بر یادگیری آماری داشتند، مطالعه کردند، حتما تغییرات نسخه جدید رو نیز بررسی کنند. در ادامه تغییرات رو قرار خواهم داد. (نسخه اول در پیامی که ریپلای شده قرار دارد. حدود سه سال پیش بود)

☯ آقای صنایع - @Mr_IE 🌎

این فایل مفاهیم مهم علم داده را به شکل جذاب و واضحی توضیح می دهد.
1. Dataset
2. Data Wrangling
3. Outliers
4. Data Imputation
5. Principal Component Analysis (PCA)
6. Supervised Learning
7. Model Parameters and Hyperparameters

@ml_nlp_cv

نمونه خروجی
SuperResolution
مدل SR3، واقعاً 🤯🤯🤯

Google ai blog

اشاره کنم که خروجی خیلی خیلی بهتر از
Generative
مدل‌ها هست

🔷سومین دوره مجموعه سخنرانی‌های دانشجویی علم داده و هوش مصنوعی امیرکبیر (AAISS 2021)

📣به شرکت کنندگان گواهی حضور در رویداد اعطا می شود.

📅کارگاه‌ها: ۳ الی ۷ شهریور
📅ارائه ها: ۹ الی ۱۲ شهریور


اطلاعات بیشتر و ثبت نام:
🔗https://aaiss.ce.aut.ac.ir

@aaiss_aut
@ceit_ssc

Lights, Camera, Action! A Framework to Improve NLP Accuracy over OCR documents

https://paperswithcode.com/paper/lights-camera-action-a-framework-to-improve

🔴 تمدید شد؛ با اضافه شدن ۱۵ آموزش جدید، تعداد آموزش‌های رایگان طرح نذری آموزشی فرادرس به ۶۰ عنوان رسید...
 
✔️ آموزش‌های جدید این طرح - [کلیک کنید]
 
🔳 در این طرح و تا این لحظه، ۶۰ آموزش تخصصی، دانشگاهی و کاربردی فرادرس به صورت «رایگان» و به مدت محدود ارائه شده است.
 
📚 فهرست ۱۵+۴۰ آموزش رایگان شده - [دریافت نذری]
 
📆 مهلت دریافت: یکشنبه ۳۱ مرداد ۱۴۰۰
 
💥آموزش‌های رایگان بعدی در راه است... ?+۱۵+۴۵
 
@FaraDars - فرادرس

https://www.forbes.com/sites/gilpress/2021/06/16/andrew-ng-launches-a-campaign-for-data-centric-ai/
🔖مقاله خوبی از گیل پرس در توصیف هوش مصنوعی متمرکز بر داده ، و اینکه چرا این رویکرد برای کمک به بسیاری از صنایع در ایجاد سیستم های با ارزش هوش مصنوعی حیاتی است.
______
📚 @ArmanbehnamAI

کار هنری با هوش مصنوعی!

آموزش تولید اثر هنری توسط هوش مصنوعی، با شبکه های CLIP و VQGAN

https://blog.roboflow.com/ai-generated-art

@ml_nlp_cv

💠ربات انسان نمای تسلا؛ ایلان ماسک به دنبال فتح یک دنیای جدید

⚡️ایلان ماسک، رئیس شرکت تسلا، پس از تسلط بر بازار خودروهای خودران و تبدیل شدن به یکی از بزرگ‌ترین میلیاردرهای دنیا، از دنیای جدید که قصد فتح آن را دارد خبر داد: ربات انسان نمای تسلا.

📌 برای خواندن متن کامل مقاله به لینک زیر مراجعه کنید:
🔗 hooshio.com/?p=17128
جدیدترین اخبار و مقالات هوش مصنوعی را در کانال هوشیو بخوانید:
🆔@hooshio