توضیح خیلی ساده، سرراست و مهم تر از همه فوق تصویری مدل زبانی BERT گوگل (Self-Attention):
https://youtu.be/-9vVhYEXeyQ
https://youtu.be/-9vVhYEXeyQ
YouTube
How to get meaning from text with language model BERT | AI Explained
In this video, we give a step-by-step walkthrough of self-attention, the mechanism powering the deep learning model BERT, and other state-of-the-art transformer models for natural language processing (NLP). More on attention and BERT: https://bit.ly/38vpOyW…
🔥2
چهار تا ویدیو با توضیح از صفر مباحث self attention و transformer
باشد که رستگار شوید...
ps- با تشکر از @AliAsad059
[1] https://youtu.be/yGTUuEx3GkA
[2] https://youtu.be/tIvKXrEDMhk
[3] https://youtu.be/23XUv0T9L5c
[4] https://youtu.be/EXNBy8G43MM
باشد که رستگار شوید...
ps- با تشکر از @AliAsad059
[1] https://youtu.be/yGTUuEx3GkA
[2] https://youtu.be/tIvKXrEDMhk
[3] https://youtu.be/23XUv0T9L5c
[4] https://youtu.be/EXNBy8G43MM
YouTube
Rasa Algorithm Whiteboard - Transformers & Attention 1: Self Attention
This is the first video on attention mechanisms. We'll start with self attention and end with transformers.
We're going at it step by step, but if you're interested in immediately reading all about it in full detail then we might recommend these online…
We're going at it step by step, but if you're interested in immediately reading all about it in full detail then we might recommend these online…
🥰3
[Forwarded from Tensorflow(@CVision) (Alireza Akhavan)]
همان طور که قبلا اعلام شد یه کورس OpenCV دارم تهیه میکنم و قراره از مکتب خونه منتشر بشه. تا الان 45 تا نوت بوک درست کردم که در اینجا منتشر کردم، این پیج هر هفته با سرفصلها و نوت بوکهای جدید به روز خواهد شد...
https://github.com/Alireza-Akhavan/class.vision/blob/master/README.md
همان طور که قبلا اعلام شد یه کورس OpenCV دارم تهیه میکنم و قراره از مکتب خونه منتشر بشه. تا الان 45 تا نوت بوک درست کردم که در اینجا منتشر کردم، این پیج هر هفته با سرفصلها و نوت بوکهای جدید به روز خواهد شد...
https://github.com/Alireza-Akhavan/class.vision/blob/master/README.md
GitHub
class.vision/README.md at master · Alireza-Akhavan/class.vision
Computer vision and Deep learning. Contribute to Alireza-Akhavan/class.vision development by creating an account on GitHub.
🔥2
ML & AI resources
چهار تا ویدیو با توضیح از صفر مباحث self attention و transformer باشد که رستگار شوید... ps- با تشکر از @AliAsad059 [1] https://youtu.be/yGTUuEx3GkA [2] https://youtu.be/tIvKXrEDMhk [3] https://youtu.be/23XUv0T9L5c [4] https://youtu.be/EXNBy8G43MM
استفاده از transformer ها در computer vision :
Vision Transformer
paper:
https://arxiv.org/abs/2010.11929
توضیح ویدیویی خوب:
https://youtu.be/HZ4j_U3FC94
پیاده سازی قدم به قدم Vit با pytorch :
https://youtu.be/ovB0ddFtzzA
Vision Transformer
paper:
https://arxiv.org/abs/2010.11929
توضیح ویدیویی خوب:
https://youtu.be/HZ4j_U3FC94
پیاده سازی قدم به قدم Vit با pytorch :
https://youtu.be/ovB0ddFtzzA
YouTube
Vision Transformer for Image Classification
Vision Transformer (ViT) is the new state-of-the-art for image classification. ViT was posted on arXiv in Oct 2020 and officially published in 2021. On all the public datasets, ViT beats the best ResNet by a small margin, provided that ViT has been pretrained…
🔥2
ورژن پنجم کورس جرمی هاوارد امروز منتشر شد!
Practical Deep Learning for Coders
https://course.fast.ai/
این کورس براساس کتابخونه‌های پایتورچ، fastai و huggingface و … هست و مباحث کامپیوتر ویژن، NLP، تحلیل داده structured، سیستم‌های توصیه دهنده و الگوریتم‌هایی مثل رگرسیون و random forest رو پوشش میده.
توضیحات بیشتر رو میتونید در توییت جرمی هاوارد بخونید:
https://twitter.com/jeremyphoward/status/1550264123925360640?s=21&t=EFNN4D6QI6Y5EDk_KxdPCw
Practical Deep Learning for Coders
https://course.fast.ai/
این کورس براساس کتابخونه‌های پایتورچ، fastai و huggingface و … هست و مباحث کامپیوتر ویژن، NLP، تحلیل داده structured، سیستم‌های توصیه دهنده و الگوریتم‌هایی مثل رگرسیون و random forest رو پوشش میده.
توضیحات بیشتر رو میتونید در توییت جرمی هاوارد بخونید:
https://twitter.com/jeremyphoward/status/1550264123925360640?s=21&t=EFNN4D6QI6Y5EDk_KxdPCw
Practical Deep Learning for Coders
Practical Deep Learning for Coders - Practical Deep Learning
A free course designed for people with some coding experience, who want to learn how to apply deep learning and machine learning to practical problems.
🔥3
Forwarded from NLP stuff
تیر آخر برای فهمیدن ترنسفورمرها!
اگر هنوزم ترنسفورمرها رو مشکل دارید و با خوندن پست‌های ما روی ویرگول هنوزم دوشواری داریید، توصیه اکید می‌کنیم این دو تا لینک رو بجوئید. لینک اول یه بلاگ پسته که از بیخ و بن ترنسفورمرها رو توضیح میده. از اول ضرب نقطه‌ای و وان‌هات انکودینگ شروع کرده تا حتی BPE رو توضیح میده.
لینک دوم هم پیاده‌سازی پایتورچی ترنسفورمرها رو خط به خط توضیح میده. قبلا ورژن قدیمیش رو پست کرده بودیم. کدش رو میتونید از گیتشون پول کنید و ران کنید و با دیباگ کردن خروجی و متغیرهای قضیه رو ببینید. برای یه مسئله ساده (خروجی دادن یک دنباله ورودی تصادفی) پیاده کردند که راحت خروجی و متغیرها رو ببینید.
ما هر دو این لینک‌ها رو از ریپو سوم (از آقای Elvis) یافتیم که ریپو داره آپدیت هم میشه.
لینک بلاگ:
https://e2eml.school/transformers.html
لینک پیاده‌سازی:
https://nlp.seas.harvard.edu/annotated-transformer/#a-first-example
لینک ریپو:
https://github.com/dair-ai/Transformers-Recipe
#read
#blog
@nlp_stuff
اگر هنوزم ترنسفورمرها رو مشکل دارید و با خوندن پست‌های ما روی ویرگول هنوزم دوشواری داریید، توصیه اکید می‌کنیم این دو تا لینک رو بجوئید. لینک اول یه بلاگ پسته که از بیخ و بن ترنسفورمرها رو توضیح میده. از اول ضرب نقطه‌ای و وان‌هات انکودینگ شروع کرده تا حتی BPE رو توضیح میده.
لینک دوم هم پیاده‌سازی پایتورچی ترنسفورمرها رو خط به خط توضیح میده. قبلا ورژن قدیمیش رو پست کرده بودیم. کدش رو میتونید از گیتشون پول کنید و ران کنید و با دیباگ کردن خروجی و متغیرهای قضیه رو ببینید. برای یه مسئله ساده (خروجی دادن یک دنباله ورودی تصادفی) پیاده کردند که راحت خروجی و متغیرها رو ببینید.
ما هر دو این لینک‌ها رو از ریپو سوم (از آقای Elvis) یافتیم که ریپو داره آپدیت هم میشه.
لینک بلاگ:
https://e2eml.school/transformers.html
لینک پیاده‌سازی:
https://nlp.seas.harvard.edu/annotated-transformer/#a-first-example
لینک ریپو:
https://github.com/dair-ai/Transformers-Recipe
#read
#blog
@nlp_stuff
Telegram
stuff
Machine learning model performance degrades over time. When data quality is fine, there are two usual suspects: data drift or concept drift.
▪️ Data Drift -- The input data has changed. The distribution of the variables is meaningfully different. As a result, the trained model is not relevant for this new data.
▪️ Concept Drift -- In contrast to the data drift, the distributions might even remain the same. Instead, the relationships between the model inputs and outputs change. In essence, the very meaning of what we are trying to predict evolves.
source: https://www.linkedin.com/feed/update/urn:li:share:6959891342726463488?utm_source=linkedin_share&utm_medium=member_desktop_share&utm_content=post
▪️ Data Drift -- The input data has changed. The distribution of the variables is meaningfully different. As a result, the trained model is not relevant for this new data.
▪️ Concept Drift -- In contrast to the data drift, the distributions might even remain the same. Instead, the relationships between the model inputs and outputs change. In essence, the very meaning of what we are trying to predict evolves.
source: https://www.linkedin.com/feed/update/urn:li:share:6959891342726463488?utm_source=linkedin_share&utm_medium=member_desktop_share&utm_content=post
👍2
هر لایه یک لاس‌فانکشن!
علمای گوگل برین اخیرا مقاله‌ای منتشر کردن و بجای معرفی معماری و لاس‌فانکشن و تسک جدید نگاه جنرال تری داشتند و در اون یک فرم‌ورک جدید برای آموزش شبکه های عصبی معرفی کردن که با این فرم‌ورک پیشرفت قابل توجهی در عملیات Backpropagation بوجود میاد.
در این فرم‌ورک شبکه‌های عصبی رو ترکیبی ماژولار (و نه بهم پیوسته) از لایه‌ها متصور شدند که در هر لایه ابتدا یک تبدیل خطی روی ورودی اش انجام میشه و بعد هم یک تبدیل غیرخطی که همون Activation Function هست.خب تا اینجاش بجز ماژولار بودن تفاوتی با قبل نداشت. تفاوت اصلی در اینجاست که هر لایه برای خودش regularizer جدا، output target جدا و همچنین loss function جدا داره. که بخاطر همین لوکالیتی بودن اینها اسم فرم‌ورک رو گذاشتند LocoProp. یعنی Local Loss Optimization framework.
حالا چه مزیت‌هایی داره؟ به گفته خود اعزه گوگل مهمترین آورده local losses کاهش زمان Trian هست. چرا که ترین هر لایه بصورت Parallel انجام میشه. ضمن اینکه با اینکه در هر لایه از یک Optimizer درجه اول استفاده می‌کنیم اما در عمل نتایجش تنه به تنه Optimizer های با درجات بالا (مشتقات درجه چندم) می‌زنه و این یعنی در عین داشتن مزایای این اپتیمایزرها تمام هزینه‌های محاسباتی شون اعم از matrix inversions رو نداره.
خلاصه اینکه وظیفه اینگونه شبکه‌ها بجای اینکه آپدیت وزن ها برای به حداقل رسانی لاس‌فانکشن لایه آخر باشه، این فرم‌ورک برای هر لایه یک لاس‌فانکشن تعریف می‌کنه که وظیفه شبکه کاهش اختلاف بین خروجی هرلایه و خروجی مدنظر هر لایه ست. درمورد اینکه خروجی مدنظر هرلایه رو چی تعریف می‌کنند تنها چیزی که فهمیدم اینه که خروجی اکتیوفانکشن میشه همون خروجی واقعی یا همون ground truth. ولی مطمئن نیستم اینجاش رو درست فهمیدم و اگه کسی از دوستان دقیق‌تر می‌دونست خوشحال میشم یاد بگیرم.
لینک مقاله: https://lnkd.in/eqsrUnJA
لینک گوگل بلاگ: https://lnkd.in/ephQyxEE
من بلد نبودم gif توضیح تصویری فرم‌ورک رو بذارم تو پست. لینکش رو گذاشتم:
https://lnkd.in/eR83iPrn
source: https://www.linkedin.com/feed/update/urn:li:share:6960231926687227905?utm_source=linkedin_share&utm_medium=member_desktop_share&utm_content=post
علمای گوگل برین اخیرا مقاله‌ای منتشر کردن و بجای معرفی معماری و لاس‌فانکشن و تسک جدید نگاه جنرال تری داشتند و در اون یک فرم‌ورک جدید برای آموزش شبکه های عصبی معرفی کردن که با این فرم‌ورک پیشرفت قابل توجهی در عملیات Backpropagation بوجود میاد.
در این فرم‌ورک شبکه‌های عصبی رو ترکیبی ماژولار (و نه بهم پیوسته) از لایه‌ها متصور شدند که در هر لایه ابتدا یک تبدیل خطی روی ورودی اش انجام میشه و بعد هم یک تبدیل غیرخطی که همون Activation Function هست.خب تا اینجاش بجز ماژولار بودن تفاوتی با قبل نداشت. تفاوت اصلی در اینجاست که هر لایه برای خودش regularizer جدا، output target جدا و همچنین loss function جدا داره. که بخاطر همین لوکالیتی بودن اینها اسم فرم‌ورک رو گذاشتند LocoProp. یعنی Local Loss Optimization framework.
حالا چه مزیت‌هایی داره؟ به گفته خود اعزه گوگل مهمترین آورده local losses کاهش زمان Trian هست. چرا که ترین هر لایه بصورت Parallel انجام میشه. ضمن اینکه با اینکه در هر لایه از یک Optimizer درجه اول استفاده می‌کنیم اما در عمل نتایجش تنه به تنه Optimizer های با درجات بالا (مشتقات درجه چندم) می‌زنه و این یعنی در عین داشتن مزایای این اپتیمایزرها تمام هزینه‌های محاسباتی شون اعم از matrix inversions رو نداره.
خلاصه اینکه وظیفه اینگونه شبکه‌ها بجای اینکه آپدیت وزن ها برای به حداقل رسانی لاس‌فانکشن لایه آخر باشه، این فرم‌ورک برای هر لایه یک لاس‌فانکشن تعریف می‌کنه که وظیفه شبکه کاهش اختلاف بین خروجی هرلایه و خروجی مدنظر هر لایه ست. درمورد اینکه خروجی مدنظر هرلایه رو چی تعریف می‌کنند تنها چیزی که فهمیدم اینه که خروجی اکتیوفانکشن میشه همون خروجی واقعی یا همون ground truth. ولی مطمئن نیستم اینجاش رو درست فهمیدم و اگه کسی از دوستان دقیق‌تر می‌دونست خوشحال میشم یاد بگیرم.
لینک مقاله: https://lnkd.in/eqsrUnJA
لینک گوگل بلاگ: https://lnkd.in/ephQyxEE
من بلد نبودم gif توضیح تصویری فرم‌ورک رو بذارم تو پست. لینکش رو گذاشتم:
https://lnkd.in/eR83iPrn
source: https://www.linkedin.com/feed/update/urn:li:share:6960231926687227905?utm_source=linkedin_share&utm_medium=member_desktop_share&utm_content=post
PMLR
LocoProp: Enhancing BackProp via Local Loss Optimization
Second-order methods have shown state-of-the-art performance for optimizing deep neural networks. Nonetheless, their large memory requirement and high comput...
ML & AI resources
هر لایه یک لاس‌فانکشن! علمای گوگل برین اخیرا مقاله‌ای منتشر کردن و بجای معرفی معماری و لاس‌فانکشن و تسک جدید نگاه جنرال تری داشتند و در اون یک فرم‌ورک جدید برای آموزش شبکه های عصبی معرفی کردن که با این فرم‌ورک پیشرفت قابل توجهی در عملیات Backpropagation بوجود…
This media is not supported in your browser
VIEW IN TELEGRAM
این لینک واقعن بخ درد بخوره دیتاست فارسی برا همه‌چی تو NLP داره
https://github.com/mhbashari/awesome-persian-nlp-ir/blob/master/sections/datasets.md
https://github.com/mhbashari/awesome-persian-nlp-ir/blob/master/sections/datasets.md
GitHub
awesome-persian-nlp-ir/sections/datasets.md at master · mhbashari/awesome-persian-nlp-ir
Curated List of Persian Natural Language Processing and Information Retrieval Tools and Resources - mhbashari/awesome-persian-nlp-ir
🔥1
Forwarded from AI with Papers - Artificial Intelligence & Deep Learning
This media is not supported in your browser
VIEW IN TELEGRAM
☀️LocoProp: Composition of Neural Layers☀️
👉Google AI unveils LocoProp: novel neural paradigm for modular composition of layers.
𝐇𝐢𝐠𝐡𝐥𝐢𝐠𝐡𝐭𝐬:
✅Backprop++ via Local Loss Optimization
✅Layer-based weight-reg, target output & loss
✅Multiple local updates via first-order optimizer
✅Superior performance and efficiency
More: https://bit.ly/3Q40YJn
👉Google AI unveils LocoProp: novel neural paradigm for modular composition of layers.
𝐇𝐢𝐠𝐡𝐥𝐢𝐠𝐡𝐭𝐬:
✅Backprop++ via Local Loss Optimization
✅Layer-based weight-reg, target output & loss
✅Multiple local updates via first-order optimizer
✅Superior performance and efficiency
More: https://bit.ly/3Q40YJn
🤔1
تعدادی از کورسای علم داده دانشگاه هاروارد که رایگان شدند:
Catalog of Courses | Harvard University
https://pll.harvard.edu/catalog?keywords=&subject%5B%5D=84&free%5B1%5D=1&max_price=&start_date_range%5Bmin%5D%5Bdate%5D=&start_date_range%5Bmax%5D%5Bdate%5D=
Catalog of Courses | Harvard University
https://pll.harvard.edu/catalog?keywords=&subject%5B%5D=84&free%5B1%5D=1&max_price=&start_date_range%5Bmin%5D%5Bdate%5D=&start_date_range%5Bmax%5D%5Bdate%5D=
Harvard University
Catalog of Courses
Browse the latest courses from Harvard University
https://pythonspeed.com/articles/docker-cache-pip-downloads/
Faster Docker deployment with PIP-Caching
Faster Docker deployment with PIP-Caching
Python⇒Speed
Speed up pip downloads in Docker with BuildKit’s new caching
Every time you change your Python pip requirements and rebuild your Docker image, you’re going to redownload all your packages. You can fix this with BuildKit.
🤩1