How Facebook is using AI to improve photo descriptions for people who are blind or visually impaired
@ml_nlp_cv
@ml_nlp_cv
Tech at Meta
How Facebook is using AI to improve photo descriptions for people who are blind or visually impaired How Facebook is using automatic…
How Facebook is using AI to improve photo descriptions for people who are blind or visually impaired How Facebook is using automatic alt text to improve photo descriptions for people who are blind and visually impairedHow Facebook is using AI to improve photo…
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
توضیح مقاله: در عنوان مقاله ذکر شده که تعداد پارامترهای ترسفورمر به یک تریلیون افزایش یافته است (تعداد پارامترهای مدل #GPT_3، صدوهفتاد و پنج بیلیون بود!)
سوالی که در اینجا پیش می آید این است که آیا واقعا تعداد پارامترها، در مقایسه با ترنسفورمرهای قبلی به این نسبت (تقریبا ۵.۵ برابر) افزایش پیدا کرده است؟!
بله، ولی اینجا به روش متفاوتی از پارامترها استفاده میشه. یک روش sparse (در عنوان مقاله هم کلمه sparsity قید شده)
در این کار از یک معماری به اسم Switch-Tramsformers استفاده کرده اند. معماری که بر اساس MoE عمل میکنه (خود MoE یا Mixture of Experts هم مفهوم با ارزشی است که اخیرا داره مطرح میشه)
لایه فیدفوروارد شبکه به این expert ها تقسیم بندی میشه و سوئیچ-ترنسفورمر، هر توکِن رو فقط به یک اکسپرت route میکنه (اسپارسیتی یا تُنُک بودن اینجا هست)
روشهای قبلی مبتنی بر MoE ادعا میکردند برای اینکه یک سیگنال آموزشی باثبات داشته باشیم حداقل به دو تا expert نیاز داریم. اما معماری ترسفورمری که اینجا ارائه شده این تعداد را به یک عدد کاهش داده است.
نتیجه: امکان scaling اکسپرت ها، و در واقع امکان افزایش تعداد پارامترهای مدل، اون هم بدون اینکه مدل مجبور به محاسبات بیشتری باشد، فراهم شده است (این فرض و مفهومی خیلی مهم و باارزش محسوب می شود)
به همین دلیل در ابتدا عرض شد که تعداد یک تریلیون پارامتر عنوان شده در این مقاله، لزوما قابل قیاس با ۱۷۵ بیلیون پارامتر مدل GPT-3 نمیباشد!
راهکارهایی که در این مقاله برای با ثبات کردن آموزش ارائه شده:
• Selective Dropout
• Selective Casting of Parameters to Defferent Precisions
• Better initializiong
اینم لینک این مقاله جالب و نسبتا طولانی، تقدیم به شما:
https://arxiv.org/abs/2101.03961
@ml_nlp_cv
توضیح مقاله: در عنوان مقاله ذکر شده که تعداد پارامترهای ترسفورمر به یک تریلیون افزایش یافته است (تعداد پارامترهای مدل #GPT_3، صدوهفتاد و پنج بیلیون بود!)
سوالی که در اینجا پیش می آید این است که آیا واقعا تعداد پارامترها، در مقایسه با ترنسفورمرهای قبلی به این نسبت (تقریبا ۵.۵ برابر) افزایش پیدا کرده است؟!
بله، ولی اینجا به روش متفاوتی از پارامترها استفاده میشه. یک روش sparse (در عنوان مقاله هم کلمه sparsity قید شده)
در این کار از یک معماری به اسم Switch-Tramsformers استفاده کرده اند. معماری که بر اساس MoE عمل میکنه (خود MoE یا Mixture of Experts هم مفهوم با ارزشی است که اخیرا داره مطرح میشه)
لایه فیدفوروارد شبکه به این expert ها تقسیم بندی میشه و سوئیچ-ترنسفورمر، هر توکِن رو فقط به یک اکسپرت route میکنه (اسپارسیتی یا تُنُک بودن اینجا هست)
روشهای قبلی مبتنی بر MoE ادعا میکردند برای اینکه یک سیگنال آموزشی باثبات داشته باشیم حداقل به دو تا expert نیاز داریم. اما معماری ترسفورمری که اینجا ارائه شده این تعداد را به یک عدد کاهش داده است.
نتیجه: امکان scaling اکسپرت ها، و در واقع امکان افزایش تعداد پارامترهای مدل، اون هم بدون اینکه مدل مجبور به محاسبات بیشتری باشد، فراهم شده است (این فرض و مفهومی خیلی مهم و باارزش محسوب می شود)
به همین دلیل در ابتدا عرض شد که تعداد یک تریلیون پارامتر عنوان شده در این مقاله، لزوما قابل قیاس با ۱۷۵ بیلیون پارامتر مدل GPT-3 نمیباشد!
راهکارهایی که در این مقاله برای با ثبات کردن آموزش ارائه شده:
• Selective Dropout
• Selective Casting of Parameters to Defferent Precisions
• Better initializiong
اینم لینک این مقاله جالب و نسبتا طولانی، تقدیم به شما:
https://arxiv.org/abs/2101.03961
@ml_nlp_cv
Forwarded from NLP stuff
سایت paperswithcode (که توصیه میکنیم توی این سایت بخوابید) اومده مقالههای قبول شدهی ICLR 2021 را به همراه کدشون گذاشته و میتونید با استفاده از تسک و نویسنده و keyword فیلتر کنید.
https://paperswithcode.com/conference/iclr-2021-1
#link
@nlp_stuff
https://paperswithcode.com/conference/iclr-2021-1
#link
@nlp_stuff
This media is not supported in your browser
VIEW IN TELEGRAM
روش جدید ارائه شده توسط جورجیاتک و مرکز هوش مصنوعی فیس بوک، برای فشرده سازی مدل های توصیه گر عمیق که منجر به کاهش قابل توجه میزان مصرف حافظه و استفاده از آنها در مقیاس بزرگ تر می شود. نوآوری کلیدی این روش جایگزینی جداول تعبیه سازی بزرگ DLRM با دنباله ای از ضرب های ماتریسی با استفاده از روش تجزیه tensor train میباشد.
TTc-Rec: Tensor Train Compression for Deep Learning Recommendation Models. paper, Github and blog post.
@ml_nlp_cv
TTc-Rec: Tensor Train Compression for Deep Learning Recommendation Models. paper, Github and blog post.
@ml_nlp_cv
Forwarded from PyTorch Howsam
و این گوگل کولب دوست داشتنی!
کولب امکانی رو اضافه کرده که بعد از اینکه اجرا تموم شد، به شما نوتیف میده! مناسب برای زمانی که اجرا گذاشتید و مشغول کار دیگری هستید.
نحوه فعالسازی:
Tools -> Settings -> Site -> Show desktop notif...
@pytorch_howsam
کولب امکانی رو اضافه کرده که بعد از اینکه اجرا تموم شد، به شما نوتیف میده! مناسب برای زمانی که اجرا گذاشتید و مشغول کار دیگری هستید.
نحوه فعالسازی:
Tools -> Settings -> Site -> Show desktop notif...
@pytorch_howsam
Forwarded from آرمان بهنام (آرمان بهنام)
This media is not supported in your browser
VIEW IN TELEGRAM
#کرونا #شهر_هوشمند #اینترنت_اشیا
دستگیره درب هوشمند
🖌این دستگیره خودش را ضدعفونی میکند.
________
📚@BigDataServe
دستگیره درب هوشمند
🖌این دستگیره خودش را ضدعفونی میکند.
________
📚@BigDataServe
The battle of algorithms: Uncovering offensive AI | MIT Technology Review
https://www.technologyreview.com/2021/02/05/1017563/the-battle-of-algorithms-uncovering-offensive-ai/
https://www.technologyreview.com/2021/02/05/1017563/the-battle-of-algorithms-uncovering-offensive-ai/
MIT Technology Review
The battle of algorithms: Uncovering offensive AI
As machine-learning applications move into the mainstream, a new era of cyber threat is emerging—one that uses offensive artificial intelligence (AI) to supercharge attack campaigns. Offensive AI allows attackers to automate reconnaissance, craft tailored…
AI detects 1,210 potential gravitational lenses in the search for dark matter
https://thenextweb.com/neural/2021/02/03/ai-detects-1210-new-potential-gravitational-lenses-in-the-search-for-dark-matter/
https://thenextweb.com/neural/2021/02/03/ai-detects-1210-new-potential-gravitational-lenses-in-the-search-for-dark-matter/
Neural | The Next Web
AI detects 1,210 new potential gravitational lenses in the search for dark matter
Scientists used deep residual neural networks to search for the lenses in surveys of the sky. Their study could help unravel the mysteries of dark matter.
Forwarded from PyTorch Howsam
This media is not supported in your browser
VIEW IN TELEGRAM
CharacterGAN
تولید کاراکتر همراه با انیمیشن با استفاده از GAN
مقالهای که طی روزهای اخیر ترند شده و موردتوجه قرار گرفته. کار قشنگیه...
مقاله | کد پایتورچ
@pytorch_howsam
تولید کاراکتر همراه با انیمیشن با استفاده از GAN
مقالهای که طی روزهای اخیر ترند شده و موردتوجه قرار گرفته. کار قشنگیه...
مقاله | کد پایتورچ
@pytorch_howsam
Forwarded from NLP stuff
This media is not supported in your browser
VIEW IN TELEGRAM
توضیح خلاصهی ViT
در چند روز اخیر سیلی عظیمی از مدلهای ترنسفورمری برای vision به راه افتادهاند. اگر هنوز مقاله An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale را نخوندید و حوصله خوندن پیپرش را هم هنوز ندارید، ده دقیقه این پست را مشاهده کنید تا بفهمید چه خبره و از قافله بعدی عقب نمونید.
https://theaisummer.com/vision-transformer/
پ.ن. قبلا این مقاله را در این پست (https://t.iss.one/nlp_stuff/82) معرفی کرده بودیم.
#read
#blog
@nlp_stuff
در چند روز اخیر سیلی عظیمی از مدلهای ترنسفورمری برای vision به راه افتادهاند. اگر هنوز مقاله An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale را نخوندید و حوصله خوندن پیپرش را هم هنوز ندارید، ده دقیقه این پست را مشاهده کنید تا بفهمید چه خبره و از قافله بعدی عقب نمونید.
https://theaisummer.com/vision-transformer/
پ.ن. قبلا این مقاله را در این پست (https://t.iss.one/nlp_stuff/82) معرفی کرده بودیم.
#read
#blog
@nlp_stuff
مقاله ای جدید در nature که نشان میدهد از روی چهره افراد می توان گرایشات سیاسی آنها را متوجه شد!
https://www.nature.com/articles/s41598-020-79310-1
@ml_nlp_cv
https://www.nature.com/articles/s41598-020-79310-1
@ml_nlp_cv
Nature
Facial recognition technology can expose political orientation from naturalistic facial images
Scientific Reports - Facial recognition technology can expose political orientation from naturalistic facial images
توضیح خیلی خوب و روان مدل #GPT_3، و معرفی پنج ابزار مبتنی بر این مدل برای تولید محتوا، تولید متون تبلیغاتی و بازاریابی:
https://techpp.com/2021/01/28/gpt-3-tools-for-copywriting
@ml_nlp_cv
https://techpp.com/2021/01/28/gpt-3-tools-for-copywriting
@ml_nlp_cv
TechPP
GPT-3 for Copywriting: What is it and What are the Best GPT-3 Tools for Copywriting - TechPP
If you've been keeping an eye on GPT-3 and are interested in trying it out for your copywriting needs, here are some of the best GPT-3 tools to help you with different content generation needs.
Forwarded from اخلاق نشر و منابع علمی
Media is too big
VIEW IN TELEGRAM
پنجم اسفندماه هر سال به مناسبت بزرگداشت خواجه نصیرالدین طوسی، روز مهندس نامیده میشود.
خواجه نصیر از بزرگترین دانشمندان قرون وسطی است. تصویر مربوط به "زوج طوسی" است که خواجه توسط آن حرکات سیارات را توصیف کرد.
فیلم در مورد نقش طوسی در کشفیات کوپرنیک درباره حرکت اجسام سماوی است.
https://www.dailymotion.com/video/x6t81rn
اصل توصیف "زوج طوسی" را در کتاب "تحریر المجسطی" در زیر بخوانید.
'اذا كانت هناك دائرتان متحدتا المستوى، قطر الاولى يساوي نصف قطر الاخرى،وتكون متلامستان من الداخل بنقطة،وأخذت نقطة معينة من الدائرة الصغرى-ولتكن نقطة التماس مع الدائرة الكبرى-،الان لو تحركت الدائرتين حركة بسيطة وباتجاهين متعاكسين بحيث تكون سرعة الصغرى ضعف سرعة الكبرى بحيث تكمل الصغرى دورتين عندما تكمل الكبرى دورة واحدة، أذن سوف نرى ان النقطة سوف تتحرك على قطر الدائرة الكبرى والتي مرت في البداية من نقطة التماس، متذبذبة بين الطرفين"
#روز_مهندس_مبارک
#نوابغ_علم
در کانال اخلاق نشر و منابع علمی در تلگرام عضو شوید
https://t.iss.one/pubethicsmums/936
خواجه نصیر از بزرگترین دانشمندان قرون وسطی است. تصویر مربوط به "زوج طوسی" است که خواجه توسط آن حرکات سیارات را توصیف کرد.
فیلم در مورد نقش طوسی در کشفیات کوپرنیک درباره حرکت اجسام سماوی است.
https://www.dailymotion.com/video/x6t81rn
اصل توصیف "زوج طوسی" را در کتاب "تحریر المجسطی" در زیر بخوانید.
'اذا كانت هناك دائرتان متحدتا المستوى، قطر الاولى يساوي نصف قطر الاخرى،وتكون متلامستان من الداخل بنقطة،وأخذت نقطة معينة من الدائرة الصغرى-ولتكن نقطة التماس مع الدائرة الكبرى-،الان لو تحركت الدائرتين حركة بسيطة وباتجاهين متعاكسين بحيث تكون سرعة الصغرى ضعف سرعة الكبرى بحيث تكمل الصغرى دورتين عندما تكمل الكبرى دورة واحدة، أذن سوف نرى ان النقطة سوف تتحرك على قطر الدائرة الكبرى والتي مرت في البداية من نقطة التماس، متذبذبة بين الطرفين"
#روز_مهندس_مبارک
#نوابغ_علم
در کانال اخلاق نشر و منابع علمی در تلگرام عضو شوید
https://t.iss.one/pubethicsmums/936
پیاده سازی یادگیری ماشین در ابزارهای هوش تجاری مایکروسافت Power BI و Tableau توسط #pycaret!
در لینکهای زیر آموزش اتصال و نحوه فعالسازی بصورت تفکیک شده شرح گردیده، با دوستان علاقهمند به اشتراک بگذارید.
▪️ Topic Modeling in Power BI
yun.ir/b8sia6
▪️ Implement Clustering in Power BI using PyCaret
yun.ir/ha3wz6
▪️ Build your first Anomaly Detector in Power BI using PyCaret
yun.ir/2wgj7f
▪️ Machine Learning in Power BI using PyCaret
yun.ir/w7q5x6
▪️Machine Learning in Tableau with PyCaret
yun.ir/99fvu3
@ml_nlp_cv
در لینکهای زیر آموزش اتصال و نحوه فعالسازی بصورت تفکیک شده شرح گردیده، با دوستان علاقهمند به اشتراک بگذارید.
▪️ Topic Modeling in Power BI
yun.ir/b8sia6
▪️ Implement Clustering in Power BI using PyCaret
yun.ir/ha3wz6
▪️ Build your first Anomaly Detector in Power BI using PyCaret
yun.ir/2wgj7f
▪️ Machine Learning in Power BI using PyCaret
yun.ir/w7q5x6
▪️Machine Learning in Tableau with PyCaret
yun.ir/99fvu3
@ml_nlp_cv
یون | yun.ir
کوتاه کننده لینک
سرویس کوتاه کننده لینک با قابلیت انتخاب آدرس دلخواه برای لینک کوتاه شده و همچنین رمز عبور جهت مشاهده، ارائه خدمات متنوع دیگری از قبیل ایجاد لینک لیست و کوتاه کردن متن و ایجاد نظر سنجی آنلاین علاوه بر قابلیت کوتاه کردن لینک در این وبسایت فراهم آمده است
Forwarded from هوشیو | رسانه تخصصی هوش مصنوعی
💠ژنوم هایی که با استفاده از #هوش_مصنوعی ساخته شده اند
⚡ این روزها دیگر #تشخیص_چهره انسان معمولی از چهرهای که توسط هوش مصنوعی تولید شده، دشوار است.
✳ برخی علائم از جمله حالت چشمان زیر عینک، لکههای روی پوست و حالت موها میتواند کمک کند تا در این تشخیص موفقتر عمل کنیم.
❓ اما اگر تفاوتها دیگر منحصر به پوست نباشند چه ؟ اگر هوش مصنوعی موفق به ساخت ژنوم شده باشد چه؟ اگر انسانهایی که توسط رایانه خلق شدهاند در سطح ژنتیکی توصیف شوند، چه میشود؟
📌 برای خواندن متن کامل مقاله به لینک زیر مراجعه کنید:
🔗 yun.ir/humpe2
جدیدترین اخبار و مقالات هوش مصنوعی را در کانال هوشیو بخوانید:
🆔@hooshio
⚡ این روزها دیگر #تشخیص_چهره انسان معمولی از چهرهای که توسط هوش مصنوعی تولید شده، دشوار است.
✳ برخی علائم از جمله حالت چشمان زیر عینک، لکههای روی پوست و حالت موها میتواند کمک کند تا در این تشخیص موفقتر عمل کنیم.
❓ اما اگر تفاوتها دیگر منحصر به پوست نباشند چه ؟ اگر هوش مصنوعی موفق به ساخت ژنوم شده باشد چه؟ اگر انسانهایی که توسط رایانه خلق شدهاند در سطح ژنتیکی توصیف شوند، چه میشود؟
📌 برای خواندن متن کامل مقاله به لینک زیر مراجعه کنید:
🔗 yun.ir/humpe2
جدیدترین اخبار و مقالات هوش مصنوعی را در کانال هوشیو بخوانید:
🆔@hooshio
DreamerV2: اولین عامل یادگیری تقویتی که در بازیهای آتاری عملکرد بهتری نسبت به انسان دارد (ویدیو ، کد و موارد دیگر)
@ml_nlp_cv
@ml_nlp_cv
Google AI Blog
Mastering Atari with Discrete World Models
Posted by Danijar Hafner, Student Researcher, Google Research Deep reinforcement learning (RL) enables artificial agents to improve thei...
Hands-On Image Generation with TensorFlow: A practical guide to generating images and videos using deep learning
کتابی که اخیرا منتشر شده و خیلی هم مورد توجه قرار گرفته... اینم توئیت فرانسوا شوله که کلی از کتاب تعریف کرده:
https://twitter.com/fchollet/status/1366582819175026689?s=09
#GANs
@ml_nlp_cv
کتابی که اخیرا منتشر شده و خیلی هم مورد توجه قرار گرفته... اینم توئیت فرانسوا شوله که کلی از کتاب تعریف کرده:
https://twitter.com/fchollet/status/1366582819175026689?s=09
#GANs
@ml_nlp_cv