یک ویدیو بامزه و در عین حال آموزنده :)

https://www.youtube.com/watch?v=jGCvY4gNnA8

لایو تجربه‌ی زندگی، تحصیل و کار در چهار کشور اروپایی با حسین فیروز - مهندس یادگیری ماشین

در این لایو، میزبان حسین فیروز، مهندس یادگیری ماشین با تجربه زندگی، تحصیل و کار در چهار کشور اروپایی:
فنلاند، سوئد، سوئیس و فرانسه خواهیم بود.
در این لایو، شما فرصت خواهید داشت تا درباره مزایا و چالش‌های زندگی در هر یک از این کشورها اطلاعات کسب کنید و سوالات خود را مستقیماً از حسین بپرسید.
اگردر حال برنامه‌ریزی برای مهاجرت یا تغییر کشور در اروپا هستید و می‌خواید که بهترین تصمیم ممکن رو بگیرید، این لایو رو از دست ندید.

📅 تاریخ: دوشنبه ۱ مرداد
🕔ساعت: ۷ شب ایران
🎙 میزبان: سحر

برای شرکت در لایو روی لینک زیر کلیک کنید.
https://www.youtube.com/watch?v=IimHm3UcxV4

افزودن به کلندر:
برای اضافه کردن این لایو به کلندر خود، روی این لینک کلیک کنید.

تمام کورس‌های 365datascience به مدت سه روز رایگان شده
اگر به دنبال این هستین که داخل رزومتون و لینکدین مدرکی بزارین فرصت خوبیه.
https://365datascience.com/

حواستون باشه به اسم و فامیلی ایمیلی که رجیستر میکنید ثبت میشه من مجبور شدم ایمیل بزنم اصلاح کنند فامیلیم رو .

منبع : توییت برنامه نویسی

حقِ صبگاهی

All you need is diffusion :)
https://deeplearning.neuromatch.io/tutorials/W2D4_GenerativeModels/student/W2D4_Tutorial2.html

مقاله زیر از طریق رویکردی بصری و شفاف، به مفهوم کوانتیزاسیون پرداخته. کوانتیزاسیون به عنوان یک تکنیک در حوزه یادگیری ماشین، به ویژه در مدل‌های بزرگ زبانی، نقش بسزایی در کاهش حجم محاسبات، حافظه و در نتیجه افزایش کارایی مدل‌ها ایفا می‌کند. این مقاله با ارائه مثال‌های گرافیکی، مفاهیم و انواع روشهای کوانتیزاسیون را به صورت ساده و قابل درک بیان کرده است.

فرایند تبدیل اعداد با دقت بالا (مانند اعداد اعشاری) به اعداد با دقت کمتر (مانند اعداد صحیح) را کوانتیزاسیون می‌گویند. این فرایند با کاهش تعداد بیت‌های مورد نیاز برای نمایش هر عدد، منجر به کاهش حجم محاسبات و حافظه مورد نیاز می‌شود.

https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization

به عنوان مثال مدل Llama 405b دارای 405 میلیارد پارامتر می‌باشد که هر پارامتر یک عدد متغیر از نوع float 16 می‌باشد. حجم مدل از طریق این رابطه به شرح ذیل می‌باشد:
405,000,000,000*16bit/1.25 × 10-10(تبدیل به گیگا بایت)=810GB
اگر دقت پارامتر ها را با استفاده از کوانتیزاسیون کاهش دهیم این مقدار در Q4 به مقدار زیر کاهش می یابد.
405,000,000,000*4bit/1.25 × 10-10(تبدیل به گیگا بایت)=202.5GB

مدل‌های بزرگ‌تر (مثلاً Llama 70B, Llama 405B) دارای افزونگی ( redundancy ) بیشتری هستند. این به این معنی است که مدل مسیرهای زیادی برای نمایش و پردازش اطلاعات مشابه دارد. در نتیجه، حتی زمانی که مدل را کوانتیزه می‌کنید، هنوز افزونگی کافی برای حفظ بیشتر قابلیت‌های اصلی آن وجود دارد.

اما در مورد مدل های کوچکتر الزاما کارایی زیادی ندارد.
متا مدل‌های جدید ۳.۱ را روی ۲۵ تریلیون توکن آموزش داده است، بنابراین مدل ۸ میلیارد پارامتری برای هر پارامتر بیشترین آموزش را دریافت کرده است و کوانتیزه کردن آن آسیب بیشتری می‌زند.

مدل‌های بزرگ‌تر با همان مقدار آموزش هوشمندتر هستند، اما یک مدل کوچک که روی توکن‌های بیشتری آموزش دیده است، اجرای ارزان‌تری دارد.

اگر Llama 3 با ۴۰۵ میلیارد پارامتر را ۵۰ برابر بیشتر از مدل ۸ میلیارد پارامتری روی توکن‌ها آموزش می‌دادید، بسیار هوشمندتر می‌شد و از کوانتیزاسیون بیشتر آسیب می‌دید.

🔊 فرصتی برای دانشجویان هوش مصنوعی

🔸رویداد رونمایی از دادماتولز، جامع‌ترین ابزار پردازش زبان طبیعی در فارسی

با گردهمایی بزرگ متخصصان NLP کشور همراه باشید

🔹زمان:
دوشنبه ۱۵ مرداد ساعت ۱۰ الی ۱۲

🔹مکان:
صندوق نوآوری و شکوفایی، سالن آمفی تئاتر

📎لینک ثبت نام:
https://evand.com/events/dadmatools

Convex Optimization Course Lectures

https://www.youtube.com/playlist?list=PLXsmhnDvpjORzPelSDs0LSDrfJcqyLlZc

پیشنهادهای اهل فن ریسرچ توییتر برای color pallets حرفه‌ای و زیبایی‌شناسانه‌تر کتابخونه پرکاربرد matplotlib

https://x.com/MilesCranmer/status/1821965705929281604?t=lbCRqoCFzuX26joOSwuLKA&s=35

https://www.youtube.com/live/SyNMlILuwvw
13th August
Interpretable Natural Language Processing, Fundamental and Applicable Results
Hosted by: Anton Kolonin, Aigents/SingularityNET

Abstract
While general conversational intelligence (GCI) can be considered one of the core aspects of AGI, the fields of AGI and NLP currently have little overlap, with few existing AGI architectures capable of comprehending natural language and nearly all NLP systems founded upon specialized, hardcoded rules and language-specific frameworks. This workshop is centered around the idea of INLP, an extension of the interpretable AI (IAI) concept to NLP; INLP allows for acquisition of natural language, comprehension of textual communications, and production of textual messages in a reasonable and transparent way. The proposed presentations regarding Link Grammar (LG), unsupervised LG learning, interpretable NLG/NLS, and sentiment mining/topic matching cover various INLP methods that may bring a greater degree of GCI to proto-AGI pipelines.

During the workshop

Anton Kolonin will present “Interpretable Natural Language Processing Fundamental Studies and Applied Results” overview for this area, extending the line of INLP workshops over past years.

Ivan Bondarenko will present his latest work on “Hierarchical Multitask Learning as Framework for Knowledge Transfer from Domain to Neural Network”.

Victor Nosko will present his latest work on “Hallucination detector in RAG systems”.

#مقاله یا کتابچه بگم برای مدلها دیفیوژن از #منابع های مناسب برای یادگیری قدم به قدم این مدل هست.

◾️ Step-by-Step Diffusion: An Elementary Tutorial

#الگوریتمها

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

‏اگه واقعا می‌خواید یاد بگیرید که مدل GPT چطور کار می‌کنه،این بلاگ آموزش می‌ده چطور تو ۶۰ خط و فقط با numpy، بدون استفاده از pytorch پیاده‌سازی می‌شه. خودتون انجام می‌دید و بعدهم تستش می‌کنید.
این خودش یک جلسه درس ماشین لرنینگ هست. بهتر از این هم می‌شه؟!

🔗 لینک بلاگ
🔗 لینک توئیت

#blog
#ML
#learning
#LLM

@lifeAsAService

سلام به همگی،
آگهی استخدام یک متخصص در زمینه پردازش سیگنال (سیگنال گفتار) و یک متخصص در حوزه پردازش زبان طبیعی به خصوص LLM ها.

اگر تمایل داشتید یا سوالی داشتید می‌تونید با ایمیلی که در فایل هست در ارتباط باشید.

تو گروه خیلی سوال راجب #یادگیری_تقویتی میپرسن یک مدرسه تابستونی برگزار شده اگه میتونین شرکت کنین

https://euramas.github.io/easss2024/

#منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

ساده‌ترین و روون‌ترین توضیحی که برای احتمال، آنتروپی، کراس-آنتروپی و KL Divergence تا به الان دیدم. این ویدیو رو به هیچ وجه از دست ندین :)

https://youtu.be/KHVR587oW8I?si=obrewoyVvZbalj_Z

سخنرانی های #کنفرانس CVPR 2024

https://m.youtube.com/playlist?list=PL682UO4IMem8oJGT4s-3f86BSLzUVvLQD

لینک زیر لیست tutorial های cvpr 2024 هست، اکثرا فایل slide و فیلم ارائه هم دارند.

https://cvpr.thecvf.com/Conferences/2024/tutorial-list

#منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مشکلی نیست دوباره قرار می‌دم؛
دوستانی که علاقه‌مند به دنبال کردن دوره یادگیری ماشین آقای دکتر شریفی هستند می‌توانند ویدئوهای دوره رو در این لینک مشاهده کنند.
تا کنون جلسه اول دوره منتشر شده‌است.
برای آرامش خاطر دوستان علاقه‌مند به این دوره😬