Adversarial machine learning: The underrated threat of data poisoning
https://bdtechtalks.com/2021/04/05/machine-learning-data-poisoning-2/

@ml_nlp_cv

گوگل، کد Lyra را Open Source کرد.

https://opensource.googleblog.com/2021/04/lyra-enabling-voice-calls-for-next-billion-users.html?m=1

این Audio codec که مبتنی بر یادگیری ماشین می باشد، کیفیت تماس صوتی رو حتی در جاهایی که سیگنال تماس ضعیف باشد، بالا نگه میدارد.

@ml_nlp_cv

Make your code clearer, more concise, and more Pythonic with Sourcery's coding assistant.
ابزار sourcery کد پایتون‌تون رو ریفکتور و تمیز می‌کنه. برای PyCharm و VSCode هم addOn آماده داره.

#python #refactor #clean #cleancode #refactoring #tools #pycharm #vscode
@pythony

https://sourcery.ai

MBRL-Lib: A Modular Library for Model-based Reinforcement Learning

https://github.com/facebookresearch/mbrl-lib

Paper

@ml_nlp_cv

یک کمپانی اومده با پردازش تصویر و هوش مصنوعی، فیلم‌ها دوبله میکنه.لحن و صدای بازیگرا عوض نمیشه ولی زبان اونها عوض میشه. دیالوگها با حرکات دهان بازیگرا تو فیلم‌ها و مدت دیالوگ‌شون هماهنگ میشه

خب کم کم با زیر نویس و دوبلاژ بی کیفیت خداحافظی کنید.


#خبرهای_تکنولوڑی_را_بخوانید_و_شگفت_زده_شوید👇👇👇👇
@iAPtel

معماری تماما MLP برای پردازش تصویر

پست امروز درباره یک معماری ساده است که همین دو روز پیش مقاله‌اش منتشر شده. این معماری برای تسک دسته‌بندی تصاویر ارائه شده و بر خلاف شبکه‌های نامداری مثل ResNet و ViT هیچ گونه کانولوشن و اتنشی درون خودش نداره و تماما از MLP تشکیل شده. خیلی خلاصه بخوایم توضیح بدیم، ابتدا مثل ViT میاد و تصویر رو به تکه (patch) هایی تقسیم می‌کنه، سپس بعد از عبور دادن این پچ‌ها از لایه‌ی امبدینگ و به دست آوردن یک وکتور برای هر یک از تکه‌ها، اونها رو از N تا لایه به اسم MixerLayer می‌گذرونه. این MixerLayer درون خودش از دو تا شبکه MLP تشکیل شده که اولیش میاد یک فیدفوروارد روی یک جنبه از تماما تصویر‌ها میزنه (در واقع یک فیچر از روی یک فیچر تمامی تکه‌ها درست می‌کنه) و دومین MLP هم میاد یک فیدفوروارد از روی فیچر‌های یک تکه درست می‌کنه (شکل پیوست شده رو اگر ببینید درکش بسیار راحته، به اون T یا Transpose ها فقط باید دقت کنید) در نهایت هم به یک شبکه رسیدند و آزمایش‌های مختلف پیش‌آزمایش و فاین تیون رو روش انجام دادند.
شبکه اش از نظر دقتی خاص و برجسته نیست و البته پرت هم نیست. نقطه مثبتش رو میشه نرخ توان عملیاتی بالاش (throughput) دونست که خیلی از شبکه‌های مثل ViT بهتره (یک دلیلش میتونه این باشه که توی ViT به خاطر وجود اتنشن با افزایش رزولشن و در نتیجه افزایش تعداد تکه‌ها و طول ورودی، میزان نیاز به حافظه به صورت توان دویی زیاد میشه ولی اینجا این اتفاق به صورت خطی رخ میده).
کلا مقاله جالبیه و خب البته سوالاتی رو هم برمی‌انگیزه که چطوری بدون سوگیری القایی (inductive bias) خاصی به این نتیجه رسیده.

مثل همیشه یانیک کیلچر هم به سرعت یک ویدئو در توضیح این مقاله بیرون داده که می‌تونید تماشا کنید:
https://www.youtube.com/watch?v=7K4Z8RqjWIk

لینک مقاله:
https://arxiv.org/abs/2105.01601v1

#read
#paper
#watch

@nlp_stuff

#سخنرانی

"Making Sense of Limited Resources in Cross-Lingual NLP"


‼️سخنرانی به‌صورت آنلاین می‌باشد. لطفا جهت دریافت لینک سخنرانی و شرکت در رویداد، از طریق لینک زیر ثبت‌نام فرمایید.


📆 دوشنبه ١٧ خردادماه ۱۴۰۰

🕚 ساعت ١۶:٠٠

ثبت‌نام(الزامی):

https://teias.institute/rasooli-talk202106/

‼️مهلت ثبت‌نام: ١٢ خردادماه ۱۴٠٠

@pasargadschools

رویترز: استفاده از هوش مصنوعی در صنعت فیلم سازی؛ این تام هنکسه که داره ژاپنی صحبت میکنه؟

https://www.reuters.com/technology/is-that-tom-hanks-speaking-japanese-no-its-just-ai-2021-05-19/

@ml_nlp_cv

From conversation to code: Microsoft introduces its first product features powered by #GPT-3

https://blogs.microsoft.com/ai/from-conversation-to-code-microsoft-introduces-its-first-product-features-powered-by-gpt-3/

@ml_nlp_cv

یادگیری ماشین در صنعت؛ یا چگونه‌ یک مساله‌ی هوش مصنوعی را در دستگاه نوا بنوازیم!

یادداشت عارف قدمایی

در این نوشته، سعی دارم تجربیات خود را به عنوان یک مهندس یادگیری ماشین با شما به اشتراک بگذارم. عنوان را درست خوانده‌اید، تمرکز من در این نوشته، اصلا در مورد یادگیری هوش مصنوعی نیست. اگر کلیات حل یک مسئله‌ی ماشین لرنینگ را بلدید و می‌خواهید با فضای این‌کار در صنعت و نحوه‌ی استفاده از دانش خود در محیط‌های کاری آشنا شوید، این مقاله مخصوص شماست.

بخش Dataset Loaders از سایت paperswithcode!

سایت paperswithcode (قبلا این پست و این پست و این پست را درباره‌اش گذاشته بودیم) که بخش دیتاست‌ها را قبلا به سایتش اضافه کرده بود، حالا جدیدا بخشی رو اضافه کرده که برای هر دیتاست، کد لود کردنش رو با کتابخونه‌های مختلف مثل huggingface datasets, TensorFlow datasets, OpenMMLab, AllenNLP آورده؛ خیلی کاربردی و یک جا.

لینک یک دیتاست مثال:
https://paperswithcode.com/dataset/sst

#link

@nlp_stuff

تز دکترای Andrej Karpathy که درباره کانکشن بین پردازش زبان طبیعی و کامپیوتر ویژن نوشته شده.

به طور خاص مبحث image captioning
که برای علاقمندان این حوزه می تونه مفید باشه.

https://cs.stanford.edu/people/karpathy/main.pdf

با تشکر از امیررضا عزیز

@pytorch_howsam

طراحی نسل بعدی پردازنده های گوگل بر اساس یادگیری تقویتی خواهد بود و امروز مقاله ش در نیچر چاپ شد https://www.nature.com/articles/s41586-021-03544-w طراح پروژه هم یک خانم ایرانی است که در ایران کارشناسی گرفت.
@ml_nlp_cv

گوگل از امکان جدیدی به نام Cinematic Moments رونمایی کرده که در اون با استفاده از شبکه‌های عصبی در بین عکس‌های پشت‌سرهمی که از یک سوژه گرفته‌اید، فریم‌های جدیدی می‌سازه و اونها رو تبدیل به یک ویدیوی متحرک می‌کنه.

@ml_nlp_cv

An Attention Free Teansformer

Paper, Code

@ml_nlp_cv

آکادمی همراه با همکاری دانشگاه صنعتی امیرکبیر برگزار می‌کند:

🛎 رویداد آنلاین+پرسش و پاسخ زنده
مقدمه‌ای بر پردازش زبان طبیعی (NLP)

🔻 هوش مصنوعی و پردازش زبان
🔻 سیستم‌ها و تکنیک‌های پردازش زبان
🔻 چالش‌های دانش زبان‌شناسی
🔻 یادگیری عمیق در پردازش زبان
🔻 چت‌بات‌ها نمونه‌ای از کاربرد پردازش زبان

🎤 دکتر سعیده ممتازی
🔸 استادیار گروه هوش مصنوعی و رباتیک دانشگاه صنعتی امیرکبیر
🔸مدیر آزمایشگاه پردازش زبان طبیعی دانشگاه صنعتی امیرکبیر

⌛️ پنجشنبه ۳ تیر، ساعت ۱۶:۰۰ تا ۱۹:۰۰
🎁 هزینه ثبت‌نام: رایگان

🎁 تخفیف ویژه شرکت در دوره اصلی درصورت پاسخ به چالش انتهای رویداد 🎁

🌐 برای مشاهده اطلاعات بیشتر و ثبت‌نام اینجا کلیک کنید.
🆔 @hamrah_academy

آقای تورینگ! تست شما پاس شد؛ لطفا سوال بعدی!

چند وقتی هست که مدل GPT-3 معرفی شده و هر روز که از خواب پا میشیم به زیبا بودن این مدل بیشتر و بیشتر پی می‌بریم. از معرفی ابزار copilot توسط گیت‌هاب گرفته (که براساس GPT-3 بود و بر اساس function definition به زبان طبیعی، به ۸۰ زبان زنده دنیا کدنویسی می‌کرد) تا این مقاله از خانوم کلارک که به عنوان یکی از برجسته‌ترین مقالات رویداد ACLNLP2021 انتخاب شده است. در این مقاله درواقع چارچوبی برای تست انسانی مدل‌های تولید زبان طبیعی (NLG) معرفی شده است و در کنار اون نتایج ارزیابی انسانی مدل GPT-3 بررسی شده است.

حتما می‌دونید که یکی از اهداف مقدس آلن تورینگ فقید در دهه ۵۰ میلادی، طراحی سیستمی بود که اگر جملاتی به زبان انگلیسی تولید می‌کرد و به انسان‌های مختلف نشان داده می‌شد، کسی قادر نباشد که مشخص کند تولیدکننده آن متن‌ها ماشین است. در این مقاله خانوم کلارک و دوستان با استفاده از ابزار Amazon Mechanical Turk که امکان crowdsourcing را فراهم می‌کند، این تست را بر روی مدل GPT-3 انجام دادند. تست‌ها در سه دامنه داستان‌های کوتاه، مقاله کوتاه خبری و دستورآشپزی بودند. شاید جالب باشه که بدونید کیفیت تشخیص ارزیابی‌کنندگان این متون، حدود ۵۰ درصد بوده است!!! یعنی دقیقا با شانس رندم توانستند machine-generated بودن این متون را تشخیص دهند. اما کار اصلی این مقاله، انجام آزمایشاتی در راستای آموزش ارزیابی‌کنندگان برای ارزیابی این مجموعه متون تستی بود تا کیفیت تشخیص آن‌ها بهبود یابد. در این مقاله ۳ سناریو برای آموزش انتخاب شده است. در سناریو اول ابتدا در کنار هر متن تستی، چند جمله در جهت راهنمایی برای تشخیص کیفیت متن گذاشته می‌شود و سپس ارزیابی صورت می‌گیرد. در سناریوی بعدی در هر متن تستی، بعد از انتخاب گزینه توسط ارزیابی‌کننده (در ابزار AMT می‌تونید برای هر تست گزینه‌هایی انتخاب کنید که ارزیابی‌کننده‌ها از بین اون‌ها انتخاب کنند و در اینجا به صورت ساده ۴ گزینه درنظر گرفته شده است. گزینه اول ؛ مطمئنا انسان نوشته است، گزینه دوم؛ احتمالا انسان نوشته است، گزینه سوم؛ احتمالا ماشین نوشته است و گزینه آخر؛ قطعا ماشین نوشته است انتخاب شده‌اند) در صورتی که اشتباه انتخاب می‌کرده‌است، گزینه درست به همراه دلایلی برای توضیح به ارزیابی‌کنندگان نشان داده می‌شده است. همچنین در سناریو سوم دو متن که با جملات یکسان اولیه یکی توسط انسان و دیگری توسط ماشین تولید شده است به ارزیابی‌کنندگان داده شده و پس از انتخاب گزینه، گزینه درست به آن‌ها نمایش داده شده است. تا اینجا اگه فکر می‌کنید که این سناریوها در بهبود کیفیت تشخیص ارزیابی‌کنندگان خیلی موثر بودند باید بگم که سخت در اشتباهید!! مدل GPT-3 حتی در این سناریوها نیز قدرت خودش رو نشون داد و فقط سناریو دوم تونست یه مقدار موثر باشه و به‌طور میانگین حدود ۶ درصد تشخیص رو بهتر کنه!

نویسندگان این مقاله با تحلیل و بررسی نتایج آزمایشات دریافتند که یکی از عوامل گمراهی عامل انسانی در تشخیص ماشینی بودن متون، عدم درک درست عامل انسانی از توانایی ماشین بوده! به همین دلیل، ارزیابی‌کنندگان برای تشخیص، به‌مقدار زیاد بر روی ویژگی‌های ظاهری متون مانند استایل و گرامر تکیه می‌کردند و با انجام آموزش‌هایی که در بالا به اون‌ها اشاره شد، آگاه‌تر شدند و برای تشخیص به ویژگی‌های محتوایی و معنایی نیز توجه بیشتری کردند و از لایه ظاهری برای تشخیص عبور کردند( که البته این عبور خیلی موفقیت‌آمیز نبود همون‌طور که گفتیم!)
در نهایت هم چندتا پیشنهاد برای محققان حوزه NLG دارند که باید سرلوحه کار خودشون قرار بدهند. اول اینکه، نتایج تست انسانی مدل‌هاشون رو سعی کنند با چارچوب معرفی شده گزارش کنند. دوم اینکه در ارزیابی‌های انسانی از لایه ظاهر عبور کنند و توجه بیشتری به معنا و مفید بودن متن بکنند. مثلا یک تست جذاب برای این موضوع این است که از ارزیابی‌کننده درخواست کنند تا در ادامه متن داده شده، متنی را بنویسند و توانایی همراهی ارزیابی‌کننده با متن را اندازه‌گیری کنند. همچنین از ارزیابی متن‌های کوتاه عبور کرده و به سمت متن‌های طولانی‌تر بروند.
این پیشنهاد‌ها به طور ضمنی چالش‌های بعدی حوزه NLG رو هم مشخص می‌کنند. به‌همین خاطر توصیه می‌کنیم این مقاله رو حتما اگر نمی‌خونید حداقل یه نگاه بهش بندازید خداوکیلی!

لینک مقاله:
https://arxiv.org/abs/2107.00061

پ.ن.۱: به عکس دقت کنید! به نظرتون کدومش کار ماشینه؟ ☺️

پ.ن.۲: جا داره یه نگاه دوباره به این پست از کانال بندازید که بررسی مقاله‌ی برنده‌ی ACL2020 بود و اون هم روی یک نگاه دیگه از ارزیابی مدل تکیه کرده بود:
https://t.iss.one/nlp_stuff/48

#read
#paper

@nlp_stuff

موقعیت پستداک سه ساله
ماشین لرنینگ
کشور بلژیک

Post-Doctoral Position in Machine Learning (UMONS, Belgium)
University of Mons - Department of Computer Science - Belgium

Applications are invited for a three-year postdoctoral position in machine learning with a focus on federated learning, time series modelling, and predictive maintenance. The successful candidate will be involved in a three-year research project in collaboration with various academic and industry partners. She/he will be part of a machine learning research team and will contribute to the participatory research process, collaborating directly with the industry partners. The main objectives of the project is to develop new federated learning models and algorithms for predictive maintenance based on time series data. Training machine learning models in a federated manner can involve various statistical and system challenges, including data heterogeneity, privacy constraints, model robustness and security, communication efficiency, system heterogeneity, and dynamic environments. The candidate will be supervised by Souhaib Ben Taieb (PhD, Associate Professor), from the Department of Computer Science of the University of Mons. Belgium is centrally located in Europe, and the lab is well-connected to other research teams worldwide. A research position in our group is an ideal stepping stone for an independent research career in academia or industry. 

Eligibility details and applications
Qualified candidates should hold a PhD degree in computer science, computational statistics or related domains, with a focus in machine learning or data science. A good knowledge of machine learning/computational statistics and former experience in data analysis with popular ML Python libraries (e.g. Scikit-learn, Pytorch, TensorFlow) are highly recommended. Candidates should be proficient in English and have good oral and written communication skills.
Official applications should be submitted at your earliest convenience by e-mail at [email protected], with subject line “ML Post-Doctoral Position at UMONS”, and should contain at least: 
• a CV, including previous experience relevant to the project
• a list of previous publications 
• a digital copy of the PhD thesis
• contact information for at least two potential academic referees
• a motivation letter
• the earliest available starting date of the candidate
• full contact details of the candidate

@ml_nlp_cc