A new very cool paper by Google:
Self-training with Noisy Student improves ImageNet classification
Abstract
We present a simple self-training method that achieves
87.4% top-1 accuracy on ImageNet, which is 1.0% better
than the state-of-the-art model that requires 3.5B weakly labeled Instagram images. On robustness test sets, it improves
ImageNet-A top-1 accuracy from 16.6% to 74.2%, reduces
ImageNet-C mean corruption error from 45.7 to 31.2, and
reduces ImageNet-P mean flip rate from 27.8 to 16.1.
To achieve this result, we first train an EfficientNet model
on labeled ImageNet images and use it as a teacher to generate pseudo labels on 300M unlabeled images. We then
train a larger EfficientNet as a student model on the combination of labeled and pseudo labeled images. We iterate
this process by putting back the student as the teacher. During the generation of the pseudo labels, the teacher is not
noised so that the pseudo labels are as good as possible.
But during the learning of the student, we inject noise such
as data augmentation, dropout, stochastic depth to the student so that the noised student is forced to learn harder from
the pseudo labels.
Link to the paper
#ComputerVision
#Google
🔭 @DeepGravity
Self-training with Noisy Student improves ImageNet classification
Abstract
We present a simple self-training method that achieves
87.4% top-1 accuracy on ImageNet, which is 1.0% better
than the state-of-the-art model that requires 3.5B weakly labeled Instagram images. On robustness test sets, it improves
ImageNet-A top-1 accuracy from 16.6% to 74.2%, reduces
ImageNet-C mean corruption error from 45.7 to 31.2, and
reduces ImageNet-P mean flip rate from 27.8 to 16.1.
To achieve this result, we first train an EfficientNet model
on labeled ImageNet images and use it as a teacher to generate pseudo labels on 300M unlabeled images. We then
train a larger EfficientNet as a student model on the combination of labeled and pseudo labeled images. We iterate
this process by putting back the student as the teacher. During the generation of the pseudo labels, the teacher is not
noised so that the pseudo labels are as good as possible.
But during the learning of the student, we inject noise such
as data augmentation, dropout, stochastic depth to the student so that the noised student is forced to learn harder from
the pseudo labels.
Link to the paper
#ComputerVision
🔭 @DeepGravity
arXiv.org
Self-training with Noisy Student improves ImageNet classification
We present Noisy Student Training, a semi-supervised learning approach that works well even when labeled data is abundant. Noisy Student Training achieves 88.4% top-1 accuracy on ImageNet, which...
درود بر همهی شما دوستان گرامی،
امیدوارم این روزهای سخت بهاری به زودی با چیرگی سبزی بر سیاهی سپری بشه. هر چند اندوهش هرگز از یادها نخواهد رفت.
به منظور بررسی ابعاد بحران #کرونا از نگاه #ماشین_لرنینگ، قصد دارم به کمک شما عزیزان یک جلسهی هماندیشی آنلاین رو راهاندازی کنم. در لینک زیر زمانهای مختلفی رو میبینین. لطفا زمانی که برای شما مناسبتره رو انتخاب کنین که تو اون تایم از طریق زوم یا گوگل میت بتونیم دور هم جمع بشیم. سعی کردم گزینهها رو بین صبح و عصر و شب پخش کنم که با توجه به اختلاف ساعتها بتونیم تایم مشترکی رو پیدا کنیم:
https://doodle.com/poll/69fvgkegwq3y8p6w
هدف این جلسه بیشتر هم اندیشی و به اشتراک گذاری دانستهها و داشتهها ست. من خودم دو تا رپو آماده کردم که در موردشون توضیح خواهم داد.
(هدف مقاله دادن یا کار اقتصادی کردن نیست)
امیدوارم ما هم بتونیم در کنار تیم درمان، کمکی برای کشور (و شاید دنیا) در این شرایط باشیم.
اگه پیشنهادی هم دارین، لطفا در کامنت یا به صورت خصوصی پیام بذارین.
ارادتمند
#ai #computervision #machinelearning #deeplearning #covid19
@Reza
🔭 @DeepGravity
امیدوارم این روزهای سخت بهاری به زودی با چیرگی سبزی بر سیاهی سپری بشه. هر چند اندوهش هرگز از یادها نخواهد رفت.
به منظور بررسی ابعاد بحران #کرونا از نگاه #ماشین_لرنینگ، قصد دارم به کمک شما عزیزان یک جلسهی هماندیشی آنلاین رو راهاندازی کنم. در لینک زیر زمانهای مختلفی رو میبینین. لطفا زمانی که برای شما مناسبتره رو انتخاب کنین که تو اون تایم از طریق زوم یا گوگل میت بتونیم دور هم جمع بشیم. سعی کردم گزینهها رو بین صبح و عصر و شب پخش کنم که با توجه به اختلاف ساعتها بتونیم تایم مشترکی رو پیدا کنیم:
https://doodle.com/poll/69fvgkegwq3y8p6w
هدف این جلسه بیشتر هم اندیشی و به اشتراک گذاری دانستهها و داشتهها ست. من خودم دو تا رپو آماده کردم که در موردشون توضیح خواهم داد.
(هدف مقاله دادن یا کار اقتصادی کردن نیست)
امیدوارم ما هم بتونیم در کنار تیم درمان، کمکی برای کشور (و شاید دنیا) در این شرایط باشیم.
اگه پیشنهادی هم دارین، لطفا در کامنت یا به صورت خصوصی پیام بذارین.
ارادتمند
#ai #computervision #machinelearning #deeplearning #covid19
@Reza
🔭 @DeepGravity
Doodle
Doodle: The COVID-19 Aspects
For Iranians in AI
Forwarded from Apply Time Positions
🎓 Researcher in AI and Deepfake, OsloMet – Oslo Metropolitan University, #Norway
📚 Fields: #Algorithms #ArtificialIntelligence #ArtificialNeuralNetwork #MachineLearning #ComputerVision
⏳ Deadline: 2021-06-15
🔗 Link to the position
🔍 More positions
✔ @ApplyTime
🌐 https://applytime.ir
📚 Fields: #Algorithms #ArtificialIntelligence #ArtificialNeuralNetwork #MachineLearning #ComputerVision
⏳ Deadline: 2021-06-15
🔗 Link to the position
🔍 More positions
✔ @ApplyTime
🌐 https://applytime.ir