به درخواست دانشجویان دوره، یک گروه برای مباحثه ایجاد گردید:

@llm_group

ضبط مبحث VLM در مکتب خونه

بخشی از ضبط امروز مبحث VLM ...

گوگل مدلی تازه به نام EmbeddingGemma معرفی کرده که با وجود حجم بسیار کم (۳۰۸ میلیون پارامتر)، عملکردی فوق‌العاده داره. نکته جالب اینه که با کمتر از ۲۰۰ مگابایت رم روی دستگاه اجرا میشه و حتی روی EdgeTPU می‌تونه در حدود ۱۵ میلی‌ثانیه امبدینگ تولید کنه! 🚀
این مدل از بیش از ۱۰۰ زبان پشتیبانی می‌کنه و خروجی اون رو میشه بین ۱۲۸ تا ۷۶۸ بُعد تنظیم کرد. کاملاً آفلاین کار می‌کنه، بنابراین حریم خصوصی به‌طور کامل حفظ میشه.
برای کاربردهایی مثل RAG روی دستگاه، جستجوی معنایی و پردازش داده‌های شخصی گزینه‌ای عالیه. همین حالا هم میشه راحت روی Hugging Face، Kaggle یا Vertex AI بهش دسترسی داشت.

https://developers.googleblog.com/en/introducing-embeddinggemma/

چرا مدل‌های زبانی دچار توهم (Hallucination) می‌شوند؟

بر اساس گزارشی از OpenAI، پدیده توهم‌زایی (Hallucination) در مدل‌های زبانی بزرگ (LLMs) یک نقص ناشناخته و black-box نیست، بلکه نتیجه‌ای کاملاً قابل پیش‌بینی از نحوه آموزش و ارزیابی این مدلهاست. این مشکل به دو بخش اصلی تقسیم می‌شود:

1️⃣ پیش‌آموزش (pretraining)
2️⃣ پس‌آموزش (post-training)

1️⃣بخش اول: مشکلات به دلیل فاز Pretraining

توهم‌زایی از نظر آماری یک خطای طبیعی است. حتی اگر داده‌های آموزشی کاملاً بدون خطا باشند، مدل‌ها برای تخمین توزیع زبان بهینه می‌شوند و در این فرآیند، خطاهایی تولید می‌کنند. این پدیده شباهت دارد به مشکل "طبقه‌بندی دودویی" (آیا یک خروجی معتبر است؟)، اما مدل‌های زبانی باید پاسخ‌های کامل و معتبر تولید کنند که کار بسیار دشوارتری است.

یک عامل کلیدی در این مرحله، "نرخ تک‌نمونه" (Singleton Rate) است. این نرخ نشان می‌دهد چه تعداد از حقایق در داده‌های آموزشی فقط یک بار تکرار شده‌اند. برای مثال، اگر 20% از تاریخ‌های تولد تنها یک بار در مجموعه داده‌ها وجود داشته باشند، انتظار می‌رود مدل در حداقل 20% موارد درباره این حقایق توهم کند!

2️⃣بخش دوم: تشدید در Post-training

علیرغم تکنیک‌هایی مانند RLHF (یادگیری تقویتی از بازخورد انسانی) که برای کاهش توهم طراحی شده‌اند، این پدیده همچنان ادامه دارد. چرا؟ چون معیارهای ارزیابی رایج، مانند بنچمارک‌های باینری (صفر و یک)، به حدس زدن پاداش می‌دهند.

در یک سیستم نمره‌دهی باینری، پاسخ صحیح 1 امتیاز می‌گیرد، اما پاسخ‌های مبهم یا "نمی‌دانم" (I Don't Know) صفر امتیاز دارند. این ساختار مدل را به «حالت امتحان‌دهی» سوق می‌دهد و آن را تشویق می‌کند تا به جای اعتراف به عدم قطعیت، یک پاسخ نادرست اما قابل‌باور تولید کند. این "اپیدمی" جریمه‌کردن عدم قطعیت، باعث می‌شود مدل‌ها همیشه حدس بزنند تا امتیاز بیشتری کسب کنند، حتی اگر از پاسخشان مطمئن نباشند.

✅راه‌حل پیشنهادی: اصلاح ساختار ارزیابی

این گزارش پیشنهاد می‌کند به جای ساخت بنچمارک‌های جدید، نحوه نمره‌دهی بنچمارک‌های موجود اصلاح شود. برای حل این مشکل، باید:

⏺️ امتیازدهی به "نمی‌دانم": به مدل‌ها اجازه داده شود بدون جریمه‌شدن، عدم قطعیت خود را ابراز کنند و حتی برای آن امتیازی در نظر گرفته شود.

⏺️تعریف آستانه‌های اطمینان: دستورالعمل‌های ارزیابی باید صراحتاً مشخص کنند که مدل تنها در صورت اطمینان بالای یک آستانه مشخص (مثلاً 75%) پاسخ دهد.

این تغییرات "جامعه‌فنی" می‌تواند به مدل‌ها انگیزه دهد تا صادقانه‌تر و قابل‌اعتمادتر باشند و زمینه را برای توسعه سیستم‌های هوش مصنوعی قابل اطمینان‌تر فراهم کند.

How to Choose the Best Open Source LLM for Your Project in 2025

https://huggingface.co/blog/dvilasuero/choosing-best-open-source-ai-models

🎉 به مناسبت روز برنامه‌نویس 🎉

برنامه‌نویسی یعنی ساختن، حل مسئله و تبدیل ایده به واقعیت. هر مهارت جدیدی که یاد می‌گیری، یه قدم به آینده روشن‌تر نزدیک‌تر می‌شی.

📌 مکتب‌خونه ۵۰ دوره پرمخاطب برنامه‌نویسی رو رایگان کرده!
کافیه دوره دلخواهت رو انتخاب کنی، تیک «دسترسی کامل» رو برداری و کد تخفیف:
👉 HELLOWORLD
رو وارد کنی تا دوره برات رایگان بشه.

⏰ این کد فقط تا یکشنبه ۲۳ شهریور فعاله و می‌تونی باهاش یه دوره رو رایگان برداری.

🔗 دوره پیشنهادی: آموزش جامع یادگیری عمیق (Deep Learning) با Tensorflow و Keras

📚 بقیه دوره‌های رایگان رو هم اینجا ببینید:
https://mktb.me/tuj6/

👌30 درصد افزایش سرعت GRPO با به روزرسانی جدید Unsloth

Memory Efficient RL
https://docs.unsloth.ai/new/memory-efficient-rl

معرفی Min P: روش جدید نمونه‌برداری توکن برای LLMها
https://class.vision/blog/min_p/

مقاله اصلی:
https://arxiv.org/abs/2407.01082

ضبط VLM تمام شد🎉

🔔 اطلاعیه مهم برای دانشجویان دوره LLM

همان‌طور که پیش‌تر اطلاع داده بودم، قرار بود دوره LLM با اضافه شدن فصل VLM به‌روزرسانی شود و این بخش به‌صورت رایگان در اختیار شما قرار گیرد.
اما با توجه به اینکه فصل VLM در عمل به اندازه‌ی یک مینی‌کورس مستقل گسترش پیدا کرد (به‌حدی که به اندازه نیمی از دوره‌ی اصلی نوت‌بوک و کد دارد)، تیم مکتب‌خونه تصمیم گرفت آن را به‌صورت یک دوره‌ی جداگانه ارائه کند. این تصمیم با موافقت بنده نیز همراه بوده است.
با این حال، به دلیل قولی که به شما عزیزان داده بودم، این دوره برای تمام دوستانی که قبلاً در دوره‌ی LLM من ثبت‌نام کرده‌اند کاملاً رایگان خواهد بود. برای این منظور یک کد تخفیف ۱۰۰٪ ویژه در نظر گرفته می‌شود.

📌 به‌زودی فرمی جهت دریافت اطلاعات ثبت‌نامی شما در مکتب‌خونه منتشر خواهد شد تا امکان بررسی ثبت‌نام قبلی فراهم شود.
پس از تکمیل فرم، کد ۱۰۰٪ تخفیف برای شما ارسال خواهد شد.

✅ لطفاً در صورت صلاح‌دید، کانال را از حالت سایلنت خارج کنید تا اطلاعیه و فرم را در زمان مقرر دریافت فرمایید.

❌ بسته به محدودیت‌های موجود فرم فقط به مدت چند روز محدود برای ثبت اطلاعات باز خواهد بود لطفاً کانال را پیگیری فرمایید

🚀 نوت‌بوک‌های جدید دوره Vision-Language Models (VLM) روی گیت‌هاب قرار گرفت!

👈از شماره 20 تا 35

https://github.com/Alireza-Akhavan/LLM

📢[این دوره به عنوان کورس ادامه LLM به زودی منتشر میگردد]

مباحث کلیدی که پوشش داده شده:

✨ بررسی CLIP و SigLIP

👁 درک تصویر و ویدیو با VLM‌ها

🔧 فاین‌تیون با روش SFT

⚡️ بهینه‌سازی ترجیحات با DPO / GRPO / MPO

🐇 استفاده از Unsloth برای آموزش سریع‌تر و بهینه‌تر

📌 اگر به مباحث مولتی‌مدال و فاین‌تیون مدل‌های Vision-Language علاقه‌مندید، این بخش رو از دست ندید!

یک بلاگ زیبا از کمپانی HuggingFace که توضیح میده چطور مدلهای encoder بسیار سبک، بین ۱۷ تا ۶۸ میلیون پارامتر ترین کنید که بتونه hallucination را بادقت بالا ( بالاتر از مدلهای خیلی بزرگتر و حتی gpt-5-mini ) پیش بینی کنه. که میشه در لحظه/realtime توی اپلیکیشن های مختلف از جمله RAG تشخیص داد.
تمام کد با توضیحات، موجوده توی گیتهابشون.
تشخیص hallucination یکی از مهمترین مباحث الان.
Link: https://huggingface.co/blog/adaamko/tinylettuce

🙏Thanks to: @DevTwitter | <Mehdi Allahyari/>

شمارش معکوس انتشار دوره " آموزش مدل‌های زبانی-تصویری (VLM): از درک تصویر و ویدیو تا فاین‌تیون پیشرفته " ...

سرفصلهای دوره ی VLM

معرفی دوره VLM

دوره vlm منتشر شد...
پیرو اطلاعیه، کسانی که دوره llm و خریداری کرده بودند، امروز فرم در همین کانال قرار میگیرد.

با عرض پوزش، برای بررسی خودکار اطلاعات و ارسال خودکار کد تخفیف، امروز به مشکل خوردیم، احتمالا فردا مشکل برطرف و تو کانال اطلاع رسانی شود

اگر تا قبل امروز دوره LLM را از مکتب خونه خریداری کردید، از فاکتور خود در صفحه ی

دوره های من -> لیست تراکنش ها -> مشاهده رسید (دوره LLM)
https://maktabkhooneh.org/dashboard/transactions/?tab=courses

فقط از ناحیه فاکتور اسکرین شات گرفته و با اطلاعات صحیح و درستی که در مکتب خونه ثبت نام کردید ربات زیر را پر کنید و کد تخفیف 100 درصدی دوره VLM را به مدت محدود دریافت کنید


@llm_vlm_bot