This is a video recording of the following CVPR 2023 tutorial - All Things ViTs: Understanding and Interpreting Attention in Vision by Hila Chefer (Tel-Aviv University and Google) and Sayak Paul (Hugging Face).

Sections:

00:00 - Introductions
05:05 - Part 1: Intro to Transformers
21:10 - Part 2: Probing Vision Transformers
38:15 - Part 3: Explaining Transformers
01:09:00 - Part 4: Attention as Explanation
01:18:00 - Guest lecture by Ron Mokady
01:32:00 - Part 5: Attention for downstream tasks
01:51:05 - Conclusion and open questions

All links:

* Tutorial website: https://all-things-vits.github.io/atv (containing all the other tutorial materials)

https://youtu.be/ma3NYVo8Im0?si=1AIQdA0HXiFL-1u0

ایده جالبی تو این کار وجود داره

برای سبک کردن و کاهش زمان inference مربوط به LLM، اومدن و فرایند decoding رو هدف قرار دادن.

برای این کار، خیلی ساده بخوام بگم، اومدن و از یک SLM که بر روی بازنمایی تولیدی یک pretrained LLM شرطی سازی شده استفاده کردن تا هزینه decoding مشابه با SLM باشه و با هزینه سنگین LLM ها فاصله داشته باشه.

https://www-marktechpost-com.cdn.ampproject.org/c/s/www.marktechpost.com/2024/03/03/enhancing-autoregressive-decoding-efficiency-a-machine-learning-approach-by-qualcomm-ai-research-using-hybrid-large-and-small-language-models/

یه ویدیو خوب از AAAI در رابطه با روند پیشرفت در حوزه هوش مصنوعی

https://youtu.be/8SMmjBQ40YE?si=pneexOjM3N67ehcU

یکی از دوستان پیام زیر رو برام ارسال کردند:

سلام،

ما یک  استارت‌آپ در امریکا و فیلیپین هستیم که به دنبال
دو پوزیشن جهت استخدامیم

پوزیشن اول : یک توسعه‌دهنده ML/DL/NLP  .

پوزیشن دوم: full stack developer

این آگهی استخدام برای دو شغل تمام وقت است، به دنبال دو کارمند بلند مدت مسلط به زبان انگلیسی هستیم، که در نهایت یک تیم را ایجاد کنیم.

اگر علاقه‌مند هستید، رزومتون رو برای آی‌دی زیر بفرستید.
@Parsa5k
متشکرم

@Ai_Events

لیست ابزارهای دانلود رایگان مقاله و کتاب

1. Nexus search (telegram bot)
🟢 t.iss.one/sks7777777nexusbot
🟢 t.iss.one/nexusbooks_maxenswlfr_bot
🟢 t.iss.one/rcbook_bot
🟢 t.iss.one/subitoafk_bot
🟢 t.iss.one/Nexus_books_moji_bot 
🟢 t.iss.one/nexus_bookss_bot
🟢 t.iss.one/Crawl_for_books_bot
🟢 t.iss.one/Fr_lib_pirate_bot
🟢 t.iss.one/NexusbotBot
🟢 t.iss.one/scihubot
🟢 t.iss.one/sks7777777nexusbot
🟢 t.iss.one/tkutuphanebot
🟢 t.iss.one/Researchassist_free_article_bot
🟢 t.iss.one/subitoafk_bot
🟢 t.iss.one/ShingekiKyojin_bot
🟡 t.iss.one/nexus_search_brian_bot
🟡 t.iss.one/asschandmustdie_bot
🟡 t.iss.one/science_nexus_bot
🟡 t.iss.one/nexus_search_another_bot

2. Library Genesis (site):
🟢 libgen.is
🟢 libgen.st
🟢 libgen.rs
🟢 libgen.gs
🟢 libgen.rs
🟢 libgen.rs
🟡 libgen.io
🟡 libgen.be
🟡 libgen.nl

3. Sci-hub (site):
🟢 sci-hub.ee
🟢 sci-hub.ren
🟢 sci-hub.wf
🟢 sci-hub.se
🟢 sci-hub.wf
🟢 sci-hub.wf

4. Papers Download (telegram group):
🟢 t.iss.one/+htsaeeM3ZwUwNTY8
🟢 t.iss.one/freepapers_drkayvanfar

5. Z-library (site):
🟢 z-lib.is
🟢 z-lib.io

6. Pdfdrive (site):
🟢 pdfdrive.com

7. Wosonhj (site):
🟢 wosonhj.com

8. STC (site):
🟢 standard--template--construct-org.ipns.dweb.link

لیست به ترتیب سهولت و سرعت استفاده مرتب شده است

#منابع

پ.ن: چیزی میدونین کامنت کنید‌

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

یه ریپوی قشنگ برای LLMها و برخی موارد در کنار اونها که تعداد ستاره هاشم بالاس :))

https://github.com/mlabonne/llm-course

یکی از مسائلی که به شدت بعد از اهمیت پیدا کردن دیتا برای آموزش مدل‌های یادگیری عمیق مورد بحث و نگرانی بوده و هست، موضوع privacy دیتا هست که یکی از راهکارهایی که براش پیشنهاد شده بود، استفاده از فریمورک های federated learning هست.

بچه‌های گوگل حالا اومدن و با این منطق که ما خودمون، زمانی که می‌خوایم یک چیزی رو یاد بگیریم، از زبان طبیعی استفاده میکنیم و لزوما اون داده هایی که استاد دیده رو ندیدیم و از درکی که استاد پیدا کرده و توضیحاتش یک موضوعی رو متوجه میشیم، استفاده کرده تا این موضوع رو از زاویه دیگه ای حل کنه.

به این صورت که از LLM ها در دو role مختلف استفاده می‌کنه. یکی student و دیگری teacher. حالا student به جای اینکه سعی کنه مفاهیم جدید رو با داده‌های private یاد بگیره، از teacher میخواد که بر اساس داده‌های private که دیده، داده جدید non-private تولید کنه تا student با استفاده از اون، مفهوم جدید رو یاد بگیره.

جزییات بیشتر رو میتونین اینجا مشاهده کنین.

https://blog.research.google/2024/03/social-learning-collaborative-learning.html

یه سایت خوب با visualization فوق العاده برای درک بهتر کرنل‌های مختلف و تاثیرشون بعد از اعمال روی تصویر
https://setosa.io/ev/image-kernels/

چنلهای یوتیوب خوب و کاربردی الگوریتمهای هوش مصنوعی (قسمت اول)

1- Abhishek Thakur (Practical videos)
ویژگی پلی لیست :
Applied Machine Learning Framework, Tips & Tricks of machine learning

2- Ahlad Kumar (Deep learning, Theoretical )
ویژگی پلی لیست:
Deep Learning, Convolutional Neural Network, Neural Networks

3- Aladdin Persson (Content about: PyTorch, TensorFlow )
ویژگی پلی لیست:
PyTorch Tutorials, TensorFlow 2.0 Beginner Tutorials, Machine Learning Algorithms.

4- Andreas Mueller ( Content about: Machine learning )
ویژگی پلی لیست:
Applied Machine Learning

5- Data School ( Content about: Python, Machine learning, Theoretical )
ویژگی پلی لیست:
Introduction to Machine Learning , Data analysis in Python with Pandas, other talks videos and Python videos.

6-Henry AI Labs (Theoretical )
ویژگی پلی لیست:
Deep Learning Paper Summaries, Reinforcement Learning, Generative Adversarial Networks, Neural Network Design

7- Jeremy Howard (Deep learning, Theoretical )
ویژگی پلی لیست:
Deep Learning from the Foundations, Introduction to Machine Learning for Coders, Practical Deep Learning for Coders

8- Rasa ( Content about: Rasa, AI, NLP )
ویژگی پلی لیست:
NLP for Developers, Developing Contextual AI assistants with Rasa tools, Algorithm Whiteboard, Live Coding

9- Yannic Kilcher ( Content about: NLP, Machine learning, Deep learning, Theoretical )
ویژگی پلی لیست:
NLP, General Machine Learning, Deep Learning Architectures, CV, Applications of Machine Learning

10- OpenAI ( Content about: NLP, Machine learning, AI )
ویژگی پلی لیست:
Events and Talks, Research Releases, Robotics

11- Two Minute Papers ( Content about: Machine Learning and AI Research, Scientific Papers )
ویژگی پلی لیست:
Two Minute Papers, AlphaGo, Fluid, Cloth and Hair Simulations, AI and Deep Learning, Light Transport, Ray Tracing and Global Illumination

12- Machine Learnia ( Content about: Machine Learning, Scikit Learn, Python )
ویژگی پلی لیست:
Deep Learning, SKLEARN tutoriel français Machine Learning, Python Special Machine Learning

13- Mark Saroufim ( Content about: Machine Learning Engineering, Practical videos, Books review )
ویژگی پلی لیست:
Machine Learning Systems, GNN ,...

14- sentdex ( Content about: Python for AI and Finance )
ویژگی پلی لیست:
Python Programming for Finance, Machine Learning with Python, Neural Networks from Scratch in Python

#منابع #مبتدی #مقدماتی #پیشرفته #پایتون #الگوریتمها #هوش_هوصنوعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اگر مدل‌هایی مثل :

Llama2, Mixtral, Gemma

کار شما و شرکت شمارو راه میندازه حتما یک سری به
https://wow.groq.com/

بزنید و از LPU طراحی شده توسط این شرکت لذت ببرید؛
LPU: Language Processing Unit

واحد پردازشی این شرکت هست که برای inference طراحی شده و از TPU, GPU برای این کاربرد خاص بسیار بسیار سریعتر و بهینه‌تر هست بعنوان مثال برای مدل
Llama2 70B parameter
در زمان inference چیزی معادل 325T/s سرعتش هست؛ این عدد برای Nvidia A100 طبق گذارشات موجود بصورت میانگین 5T/s هست؛
T/s: token per seconds

نخوندم جایی اشاره بشه؛ ولی طراحی و ایده نسخه اول از TPU های گوگل هم توسط مدیر همین شرکت بود.

این یه study group درباره Graph Neural Network هست که قراره توسط IPM راه اندازی شه.
روند و سیلابسش طبق کورس cs224 دانشگاه stanford است و منابع دیگری هم تو فایلی که فرستادم قرار گرفته.
قرار است که کسانی که شرکت میکنن خودشون بیان و lecture ارائه بدن و اینکه کاملا به صورت مجازی برگذار می شود. از استاد های دانشگاه خودمون و اساتید خود ipm هم حضور دارن، فرصت خوبی هست اگر دوست دارید هم بیشتر و عمیق تر درباره gnn ها بدونید هم با بقیه افراد این حوزه آشنا شید.
اگر علاقه دارید این فرم رو پر کنید، تعدادی از کسانی که فرم رو پر کنن برگزیده می شوند.

https://docs.google.com/forms/d/e/1FAIpQLSfIMThgVK58Aw_flZ4kcFZYMaD3N6GhTECet_6HMvml4Mv9QQ/viewform?usp=sf_link

سلام به همه‌ی دوستان
عزیزانی که علاقه‌مند به پژوهش در حوزه یادگیری ماشین اعتمادپذیر در آزمایشگاه RIML هستند، لطفا رزومه‌ و مدت زمانی که براشون مقدور هست به پژوهش اختصاص بدهند را به ایمیل زیر ارسال کنند. نهایتاََ یک تیم از دوستان علاقه‌مند تشکیل می‌شود و یک فرآیند آموزش و در ادامه تعریف صورت مسئله برای پژوهش صورت خواهد گرفت که خروجی نهایی در قالب مقاله برای کنفرانس‌های مرتبط ML ارسال خواهد شد. بحث توصیه‌نامه برای دوستان حاضر در پروژه از سمت اساتید در نظر گرفته می‌شود.
کارهای مشابه آزمایشگاه در این حوزه را در این مقاله و این لینک می‌توانید بررسی بفرمایید.
[email protected]