در این بین که همگی در حال گذران آخر هفته بودیم، بچه‌های مایکروسافت، یه کار عجیب و باحال رو منتشر کردن که فقط میتونم بگم چه جالب :)

یکی از مفاهیمی که بعد از درخشش ChatGPT و باقی LLM ها خیلی برجسته شد، مفهوم Quantization برای افزایش سرعت inference و کاهش میزان حافظه مصرفی بود. به صورت پیش‌فرض، تمامی پارامترها ۳۲ بیتی هستند ولی میتونیم با کاهش دقت floating point و کاهش تعداد بیت مورد استفاده برای هر پارامتر شبکه، بدون از دست دادن چشمگیر performance اولیه، به مدلی سبک‌تر و سریع‌تر برای inference دست پیدا کنیم.

حالا بچه‌های مایکروسافت، پا رو فراتر گذاشتن و به دنبال این بودن که بررسی کنن که آیا با یک بیت به ازای هر پارامتر میتونیم تا چه حدی از performance اولیه رو حفظ کنیم. و خب تقریبا نتیجه قابل حدسه، عملکرد به شدت افت می‌کنه. ولی حرکت بعدی جالب و قابل توجه هست. میان این فرض رو در نظر میگیرند که به جای اینکه پارامترها رو به صورت تک bit داشته باشن، به صورت یک ternary bit در نظر گرفتن به صورتی که می‌تونه مقادیر {1, 0, 1-} رو به خودش بگیره و بعد از آموزش مدل با وزن های جدید، در نتیجه دیدن تا حد خوبی این روش در عین حال که مدل رو به شدت سبک و سریع میکنه، تونسته performance رو تا حد خوبی مشابه وزن های ۳۲ بیت نگه داره.

این حد از Quantization می‌تونه به شدت حجم و سرعت inference رو افزایش بده و دست ما رو برای اجرای این نوع از مدل‌ها روی هر دستگاهی باز بزاره. واقعا دستخوش

اگه دوست دارین بیشتر در رابطه با این مقاله بخونین، میتونین به لینک زیر سر بزنین تا جزییات کارایی که کردن رو خودتون بخونین.

https://huggingface.co/papers/2402.17764

https://www.linkedin.com/posts/andrew-iain-jardine_llm-llama2-llms-activity-7168989296845111299-D0pH

یه تعدادی ابزار مولد برای ساده کردن و تسریع فرآیند Literature Review

https://www.linkedin.com/posts/muhammad-muneeb1_phd-students-researchers-how-to-literature-activity-7169282443923935235-5GXG

از VAE تا Diffusion. نگاه high-level نقلی

https://www.youtube.com/watch?v=i2qSxMVeVLI

This is a video recording of the following CVPR 2023 tutorial - All Things ViTs: Understanding and Interpreting Attention in Vision by Hila Chefer (Tel-Aviv University and Google) and Sayak Paul (Hugging Face).

Sections:

00:00 - Introductions
05:05 - Part 1: Intro to Transformers
21:10 - Part 2: Probing Vision Transformers
38:15 - Part 3: Explaining Transformers
01:09:00 - Part 4: Attention as Explanation
01:18:00 - Guest lecture by Ron Mokady
01:32:00 - Part 5: Attention for downstream tasks
01:51:05 - Conclusion and open questions

All links:

* Tutorial website: https://all-things-vits.github.io/atv (containing all the other tutorial materials)

https://youtu.be/ma3NYVo8Im0?si=1AIQdA0HXiFL-1u0

ایده جالبی تو این کار وجود داره

برای سبک کردن و کاهش زمان inference مربوط به LLM، اومدن و فرایند decoding رو هدف قرار دادن.

برای این کار، خیلی ساده بخوام بگم، اومدن و از یک SLM که بر روی بازنمایی تولیدی یک pretrained LLM شرطی سازی شده استفاده کردن تا هزینه decoding مشابه با SLM باشه و با هزینه سنگین LLM ها فاصله داشته باشه.

https://www-marktechpost-com.cdn.ampproject.org/c/s/www.marktechpost.com/2024/03/03/enhancing-autoregressive-decoding-efficiency-a-machine-learning-approach-by-qualcomm-ai-research-using-hybrid-large-and-small-language-models/

یه ویدیو خوب از AAAI در رابطه با روند پیشرفت در حوزه هوش مصنوعی

https://youtu.be/8SMmjBQ40YE?si=pneexOjM3N67ehcU

یکی از دوستان پیام زیر رو برام ارسال کردند:

سلام،

ما یک  استارت‌آپ در امریکا و فیلیپین هستیم که به دنبال
دو پوزیشن جهت استخدامیم

پوزیشن اول : یک توسعه‌دهنده ML/DL/NLP  .

پوزیشن دوم: full stack developer

این آگهی استخدام برای دو شغل تمام وقت است، به دنبال دو کارمند بلند مدت مسلط به زبان انگلیسی هستیم، که در نهایت یک تیم را ایجاد کنیم.

اگر علاقه‌مند هستید، رزومتون رو برای آی‌دی زیر بفرستید.
@Parsa5k
متشکرم

@Ai_Events

لیست ابزارهای دانلود رایگان مقاله و کتاب

1. Nexus search (telegram bot)
🟢 t.iss.one/sks7777777nexusbot
🟢 t.iss.one/nexusbooks_maxenswlfr_bot
🟢 t.iss.one/rcbook_bot
🟢 t.iss.one/subitoafk_bot
🟢 t.iss.one/Nexus_books_moji_bot 
🟢 t.iss.one/nexus_bookss_bot
🟢 t.iss.one/Crawl_for_books_bot
🟢 t.iss.one/Fr_lib_pirate_bot
🟢 t.iss.one/NexusbotBot
🟢 t.iss.one/scihubot
🟢 t.iss.one/sks7777777nexusbot
🟢 t.iss.one/tkutuphanebot
🟢 t.iss.one/Researchassist_free_article_bot
🟢 t.iss.one/subitoafk_bot
🟢 t.iss.one/ShingekiKyojin_bot
🟡 t.iss.one/nexus_search_brian_bot
🟡 t.iss.one/asschandmustdie_bot
🟡 t.iss.one/science_nexus_bot
🟡 t.iss.one/nexus_search_another_bot

2. Library Genesis (site):
🟢 libgen.is
🟢 libgen.st
🟢 libgen.rs
🟢 libgen.gs
🟢 libgen.rs
🟢 libgen.rs
🟡 libgen.io
🟡 libgen.be
🟡 libgen.nl

3. Sci-hub (site):
🟢 sci-hub.ee
🟢 sci-hub.ren
🟢 sci-hub.wf
🟢 sci-hub.se
🟢 sci-hub.wf
🟢 sci-hub.wf

4. Papers Download (telegram group):
🟢 t.iss.one/+htsaeeM3ZwUwNTY8
🟢 t.iss.one/freepapers_drkayvanfar

5. Z-library (site):
🟢 z-lib.is
🟢 z-lib.io

6. Pdfdrive (site):
🟢 pdfdrive.com

7. Wosonhj (site):
🟢 wosonhj.com

8. STC (site):
🟢 standard--template--construct-org.ipns.dweb.link

لیست به ترتیب سهولت و سرعت استفاده مرتب شده است

#منابع

پ.ن: چیزی میدونین کامنت کنید‌

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

یه ریپوی قشنگ برای LLMها و برخی موارد در کنار اونها که تعداد ستاره هاشم بالاس :))

https://github.com/mlabonne/llm-course

یکی از مسائلی که به شدت بعد از اهمیت پیدا کردن دیتا برای آموزش مدل‌های یادگیری عمیق مورد بحث و نگرانی بوده و هست، موضوع privacy دیتا هست که یکی از راهکارهایی که براش پیشنهاد شده بود، استفاده از فریمورک های federated learning هست.

بچه‌های گوگل حالا اومدن و با این منطق که ما خودمون، زمانی که می‌خوایم یک چیزی رو یاد بگیریم، از زبان طبیعی استفاده میکنیم و لزوما اون داده هایی که استاد دیده رو ندیدیم و از درکی که استاد پیدا کرده و توضیحاتش یک موضوعی رو متوجه میشیم، استفاده کرده تا این موضوع رو از زاویه دیگه ای حل کنه.

به این صورت که از LLM ها در دو role مختلف استفاده می‌کنه. یکی student و دیگری teacher. حالا student به جای اینکه سعی کنه مفاهیم جدید رو با داده‌های private یاد بگیره، از teacher میخواد که بر اساس داده‌های private که دیده، داده جدید non-private تولید کنه تا student با استفاده از اون، مفهوم جدید رو یاد بگیره.

جزییات بیشتر رو میتونین اینجا مشاهده کنین.

https://blog.research.google/2024/03/social-learning-collaborative-learning.html

یه سایت خوب با visualization فوق العاده برای درک بهتر کرنل‌های مختلف و تاثیرشون بعد از اعمال روی تصویر
https://setosa.io/ev/image-kernels/

چنلهای یوتیوب خوب و کاربردی الگوریتمهای هوش مصنوعی (قسمت اول)

1- Abhishek Thakur (Practical videos)
ویژگی پلی لیست :
Applied Machine Learning Framework, Tips & Tricks of machine learning

2- Ahlad Kumar (Deep learning, Theoretical )
ویژگی پلی لیست:
Deep Learning, Convolutional Neural Network, Neural Networks

3- Aladdin Persson (Content about: PyTorch, TensorFlow )
ویژگی پلی لیست:
PyTorch Tutorials, TensorFlow 2.0 Beginner Tutorials, Machine Learning Algorithms.

4- Andreas Mueller ( Content about: Machine learning )
ویژگی پلی لیست:
Applied Machine Learning

5- Data School ( Content about: Python, Machine learning, Theoretical )
ویژگی پلی لیست:
Introduction to Machine Learning , Data analysis in Python with Pandas, other talks videos and Python videos.

6-Henry AI Labs (Theoretical )
ویژگی پلی لیست:
Deep Learning Paper Summaries, Reinforcement Learning, Generative Adversarial Networks, Neural Network Design

7- Jeremy Howard (Deep learning, Theoretical )
ویژگی پلی لیست:
Deep Learning from the Foundations, Introduction to Machine Learning for Coders, Practical Deep Learning for Coders

8- Rasa ( Content about: Rasa, AI, NLP )
ویژگی پلی لیست:
NLP for Developers, Developing Contextual AI assistants with Rasa tools, Algorithm Whiteboard, Live Coding

9- Yannic Kilcher ( Content about: NLP, Machine learning, Deep learning, Theoretical )
ویژگی پلی لیست:
NLP, General Machine Learning, Deep Learning Architectures, CV, Applications of Machine Learning

10- OpenAI ( Content about: NLP, Machine learning, AI )
ویژگی پلی لیست:
Events and Talks, Research Releases, Robotics

11- Two Minute Papers ( Content about: Machine Learning and AI Research, Scientific Papers )
ویژگی پلی لیست:
Two Minute Papers, AlphaGo, Fluid, Cloth and Hair Simulations, AI and Deep Learning, Light Transport, Ray Tracing and Global Illumination

12- Machine Learnia ( Content about: Machine Learning, Scikit Learn, Python )
ویژگی پلی لیست:
Deep Learning, SKLEARN tutoriel français Machine Learning, Python Special Machine Learning

13- Mark Saroufim ( Content about: Machine Learning Engineering, Practical videos, Books review )
ویژگی پلی لیست:
Machine Learning Systems, GNN ,...

14- sentdex ( Content about: Python for AI and Finance )
ویژگی پلی لیست:
Python Programming for Finance, Machine Learning with Python, Neural Networks from Scratch in Python

#منابع #مبتدی #مقدماتی #پیشرفته #پایتون #الگوریتمها #هوش_هوصنوعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اگر مدل‌هایی مثل :

Llama2, Mixtral, Gemma

کار شما و شرکت شمارو راه میندازه حتما یک سری به
https://wow.groq.com/

بزنید و از LPU طراحی شده توسط این شرکت لذت ببرید؛
LPU: Language Processing Unit

واحد پردازشی این شرکت هست که برای inference طراحی شده و از TPU, GPU برای این کاربرد خاص بسیار بسیار سریعتر و بهینه‌تر هست بعنوان مثال برای مدل
Llama2 70B parameter
در زمان inference چیزی معادل 325T/s سرعتش هست؛ این عدد برای Nvidia A100 طبق گذارشات موجود بصورت میانگین 5T/s هست؛
T/s: token per seconds

نخوندم جایی اشاره بشه؛ ولی طراحی و ایده نسخه اول از TPU های گوگل هم توسط مدیر همین شرکت بود.