Forwarded from هشتگ تبلیغ تخصصی
💥 دانشکده اقتصاد دانشگاه تهران
🔸 به صورت حضوری و آنلاین
🎓 دوره MBA علوم داده در اقتصاد
🔹 با مدرک رسمی دانشگاه تهران
🔹 ویژه علاقهمندان به تحلیل داده، کارشناسان اقتصادی، تحلیلگران مالی، فعالان حوزه فناوری و بانکداری دادهمحور
💯 ویژگیهای متمایز دوره
🧠 سرفصلهای کلیدی دوره:
📆 شروع دوره: ۲۷ شهریور
📞 جهت مشاوره و ثبتنام:
📱 +98 910 335 1042
☎️ 021-88004278
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Large models (LLMs, diffusion models, etc.) are impressive, but also compute-hungry, memory-intensive, and often hard to deploy on real-world devices.
That’s why this MIT course on Efficient ML is a must for anyone serious about scalable, accessible AI.
🎯 Learn the core techniques to make AI fast, light, and deployable:
• Compression & Pruning
• Quantization
• Neural Architecture Search
• Distributed & Parallel Training
• On-device Fine-tuning
• Gradient Compression
• Acceleration for LLMs, diffusion, video, point cloud
• Even Quantum ML
✔️ Hands-on project: Deploy LLaMA 2 on your laptop.
🔗 Take the course:
https://youtube.com/playlist?list=PL80kAHvQbh-pT4lCkDT53zT8DKmhE0idB
That’s why this MIT course on Efficient ML is a must for anyone serious about scalable, accessible AI.
🎯 Learn the core techniques to make AI fast, light, and deployable:
• Compression & Pruning
• Quantization
• Neural Architecture Search
• Distributed & Parallel Training
• On-device Fine-tuning
• Gradient Compression
• Acceleration for LLMs, diffusion, video, point cloud
• Even Quantum ML
✔️ Hands-on project: Deploy LLaMA 2 on your laptop.
🔗 Take the course:
https://youtube.com/playlist?list=PL80kAHvQbh-pT4lCkDT53zT8DKmhE0idB
❤9👍2
EfficientLoFTR
The Efficient LoFTR model was proposed in "Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed" by Yifan Wang, Xingyi He, Sida Peng, Dongli Tan, and Xiaowei Zhou from Zhejiang University.
https://huggingface.co/zju-community/efficientloftr
The Efficient LoFTR model was proposed in "Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed" by Yifan Wang, Xingyi He, Sida Peng, Dongli Tan, and Xiaowei Zhou from Zhejiang University.
https://huggingface.co/zju-community/efficientloftr
❤5
🙌 ۷ جایگزین Drop-in برای Python جهت افزایش چشمگیر سرعت روی GPU — بدون نیاز به بازنویسی کد:
📝 Full blog with example demos + Colab notebooks
pandas → %load_ext cudf.pandas
polars → .collect(engine="gpu")
scikit-learn → %load_ext cuml.accel
xgboost → device="cuda"
umap → %load_ext cuml.accel
hdbscan → %load_ext cuml.accel
networkx → %env NX_CUGRAPH_AUTOCONFIG=True
📝 Full blog with example demos + Colab notebooks
👍14❤2
مدلهای متنباز OpenAI که برای استدلال، انجام وظایف عاملی (Agentic tasks) و کاربردهای متنوع توسعه دهندگان منتشر شدن
gpt-oss-120
مناسب برای کاربردهای عمومی و سناریوهای استدلال پیشرفته که روی یک کارت گرافیک H100 اجرا میشه
(با ۱۱۷ میلیارد پارامتر و ۵٫۱ میلیارد پارامتر فعال)
gpt-oss-20b
مناسب برای کاربردهای محلی یا تخصصی (با ۲۱ میلیارد پارامتر و ۳٫۶ میلیارد پارامتر فعال)
https://openai.com/open-models/
gpt-oss-120
مناسب برای کاربردهای عمومی و سناریوهای استدلال پیشرفته که روی یک کارت گرافیک H100 اجرا میشه
(با ۱۱۷ میلیارد پارامتر و ۵٫۱ میلیارد پارامتر فعال)
gpt-oss-20b
مناسب برای کاربردهای محلی یا تخصصی (با ۲۱ میلیارد پارامتر و ۳٫۶ میلیارد پارامتر فعال)
https://openai.com/open-models/
Openai
Open models by OpenAI
Advanced open-weight reasoning models to customize for any use case and run anywhere.
👍16❤3
🎉 کمپین همدلی در مسیر یادگیری | با مکتبخونه
مکتبخونه بیش از ۱۰۰ دوره پرفروش و کاربردی رو در حوزههای مختلف مثل:
💻 برنامهنویسی
🌐 شبکه
🧠 هوش مصنوعی
🗣 زبانهای خارجی
🤝 مهارتهای نرم و کلی حوزه دیگه
رو برای مدت محدود کاملاً رایگان کرده! چرا؟
چون یادگیری، امید میده، حال خوب میده، حس پیشرفت میده... 🌱
📚 همه دورههای رایگان اینجان:
🔗 https://mktb.me/txvk/
💥 خبر خوب دیگه:
دورهی محبوب و کاربردی "آموزش پردازش تصویر و بینایی ماشین با OpenCV" هم الان رایگانه!
🔗 mktb.me/yifi
📌 برای فعالسازی رایگان دورهها از کد زیر استفاده کن:
یادگیری رو عقب ننداز — حالا بهترین زمانشه! 🙌
#هوش_مصنوعی #آموزش #کلاس_ویژن #opencv
مکتبخونه بیش از ۱۰۰ دوره پرفروش و کاربردی رو در حوزههای مختلف مثل:
💻 برنامهنویسی
🌐 شبکه
🧠 هوش مصنوعی
🗣 زبانهای خارجی
🤝 مهارتهای نرم و کلی حوزه دیگه
رو برای مدت محدود کاملاً رایگان کرده! چرا؟
چون یادگیری، امید میده، حال خوب میده، حس پیشرفت میده... 🌱
📚 همه دورههای رایگان اینجان:
🔗 https://mktb.me/txvk/
💥 خبر خوب دیگه:
دورهی محبوب و کاربردی "آموزش پردازش تصویر و بینایی ماشین با OpenCV" هم الان رایگانه!
🔗 mktb.me/yifi
📌 برای فعالسازی رایگان دورهها از کد زیر استفاده کن:
HAMDELI
یادگیری رو عقب ننداز — حالا بهترین زمانشه! 🙌
#هوش_مصنوعی #آموزش #کلاس_ویژن #opencv
❤14👍2😱1👌1
با افزایش استفاده از وایبکدینگ، توسعهدهندگان ارشد با چالشهای تازهای روبهرو شدهاند:
🔹 افزایش حجم بازبینی کد
توسعهدهندگان ارشد مجبور به بازبینی حجم زیادی از کدهای تولید شده توسط هوش مصنوعی هستند که ممکن است کیفیت پایینتری داشته باشند.
🔹 نیاز به تخصص بیشتر
با توجه به پیچیدگیهای کدهای تولید شده، نیاز به تخصص در زمینههای معماری سیستم، امنیت و مقیاسپذیری بیش از پیش احساس میشود.
🔹 خطاهایی با جنس متفاوت!
هوش مصنوعی میتواند نتایجی غیربهینه تولید کند، با اشتباهاتی که با اشتباهات یک انسان متفاوت است، و گاهی اوقات تشخیص خطاها را برای انسانها دشوارتر میکند.
🔹 مشکل انسجام و ساختار کد
وقتی کد انسجام و ساختار ندارد - وقتی "کار میکند" اما دلیل آن مشخص نیست و تیمها آن را به دلیل اینکه وظیفه آنها در نظر گرفتن عواقب بلندمدت نیست، فقط برای رفع مشکل، به تصویب میرسانند - آن زمان است که مشکلات شروع به مشاهده میکنند.
🔹 عدم آمادگی ساختار تیمها
بسیاری از تیمها به درستی ساختار نیافتهاند تا به مجموعه جدیدی از مشکلات که با کد تولید شده توسط هوش مصنوعی ایجاد میشود، رسیدگی کنند.
🔹 تفاوت مهارتهای تولید و بازبینی
علاوه بر این، بررسی کد و تولید کد، مجموعه مهارتهای متفاوتی هستند و تیمهای مهندسی ممکن است به اندازه کافی نیرو نداشته باشند تا بتوانند به این موضوع بپردازند که چگونه هوش مصنوعی نیازهای تیم آنها را تغییر داده است.
https://thenewstack.io/ai-and-vibe-coding-are-radically-impacting-senior-devs-in-code-review
🔹 افزایش حجم بازبینی کد
توسعهدهندگان ارشد مجبور به بازبینی حجم زیادی از کدهای تولید شده توسط هوش مصنوعی هستند که ممکن است کیفیت پایینتری داشته باشند.
🔹 نیاز به تخصص بیشتر
با توجه به پیچیدگیهای کدهای تولید شده، نیاز به تخصص در زمینههای معماری سیستم، امنیت و مقیاسپذیری بیش از پیش احساس میشود.
🔹 خطاهایی با جنس متفاوت!
هوش مصنوعی میتواند نتایجی غیربهینه تولید کند، با اشتباهاتی که با اشتباهات یک انسان متفاوت است، و گاهی اوقات تشخیص خطاها را برای انسانها دشوارتر میکند.
🔹 مشکل انسجام و ساختار کد
وقتی کد انسجام و ساختار ندارد - وقتی "کار میکند" اما دلیل آن مشخص نیست و تیمها آن را به دلیل اینکه وظیفه آنها در نظر گرفتن عواقب بلندمدت نیست، فقط برای رفع مشکل، به تصویب میرسانند - آن زمان است که مشکلات شروع به مشاهده میکنند.
🔹 عدم آمادگی ساختار تیمها
بسیاری از تیمها به درستی ساختار نیافتهاند تا به مجموعه جدیدی از مشکلات که با کد تولید شده توسط هوش مصنوعی ایجاد میشود، رسیدگی کنند.
🔹 تفاوت مهارتهای تولید و بازبینی
علاوه بر این، بررسی کد و تولید کد، مجموعه مهارتهای متفاوتی هستند و تیمهای مهندسی ممکن است به اندازه کافی نیرو نداشته باشند تا بتوانند به این موضوع بپردازند که چگونه هوش مصنوعی نیازهای تیم آنها را تغییر داده است.
https://thenewstack.io/ai-and-vibe-coding-are-radically-impacting-senior-devs-in-code-review
The New Stack
AI and Vibe Coding Are Radically Impacting Senior Devs in Code Review
AI is enabling senior developers to focus on strategic management by automating redundant tasks, thereby boosting overall team productivity.
2👍10❤7🤔5😱1🙏1
بالاخره صدای زبان فارسی هم شنیده شد!😳
مدل Whisper رو خیلیها میشناسن؛ یکی از قویترین مدلها برای تبدیل صدا به متنه.
اما یه مشکلی که داشت این بود که وقتی نوبت زبان فارسی میشد، دقتش پایین میومد و خیلی از کلمات رو درست نمتونست بنویسه.
اما حالا یه نسخه جدید به اسم Whisper-large-fa-v1 منتشر کرده که میتونه زبان فارسی رو به متن تبدیل کنه.
یه فرقی که این نسخه داره اینکه این نسخه روی یه دیتاست تازه به اسم Persian-Voice-v1 دوباره آموزش داده شده. دیتاستی که لهجههای مختلف فارسی و اصطلاحات خاص فارسی رو شامل میشه.
نتیجه چیشده؟
تشخیص و رونویسی گفتار فارسی خیلی دقیقتر شده.
این یعنی توی کاربردهایی مثل:
✅زیرنویسگذاری خودکار
✅ساخت دستیارهای صوتی
✅ابزارهای NLP فارسی
و مهم از همه اینکه این همهچی متنباز منتشر شده؛ یعنی هر پژوهشگر یا تیمی میتونه راحت استفاده کنه، تغییر بده و پروژههای جدید بسازه.
لینک مدل: https://huggingface.co/vhdm/whisper-large-fa-v1
لینک دیتاست: https://huggingface.co/datasets/vhdm/persian-voice-v1
منبع: https://www.linkedin.com/feed/update/urn:li:activity:7364194597717073925/
مدل Whisper رو خیلیها میشناسن؛ یکی از قویترین مدلها برای تبدیل صدا به متنه.
اما یه مشکلی که داشت این بود که وقتی نوبت زبان فارسی میشد، دقتش پایین میومد و خیلی از کلمات رو درست نمتونست بنویسه.
اما حالا یه نسخه جدید به اسم Whisper-large-fa-v1 منتشر کرده که میتونه زبان فارسی رو به متن تبدیل کنه.
یه فرقی که این نسخه داره اینکه این نسخه روی یه دیتاست تازه به اسم Persian-Voice-v1 دوباره آموزش داده شده. دیتاستی که لهجههای مختلف فارسی و اصطلاحات خاص فارسی رو شامل میشه.
نتیجه چیشده؟
تشخیص و رونویسی گفتار فارسی خیلی دقیقتر شده.
این یعنی توی کاربردهایی مثل:
✅زیرنویسگذاری خودکار
✅ساخت دستیارهای صوتی
✅ابزارهای NLP فارسی
و مهم از همه اینکه این همهچی متنباز منتشر شده؛ یعنی هر پژوهشگر یا تیمی میتونه راحت استفاده کنه، تغییر بده و پروژههای جدید بسازه.
لینک مدل: https://huggingface.co/vhdm/whisper-large-fa-v1
لینک دیتاست: https://huggingface.co/datasets/vhdm/persian-voice-v1
منبع: https://www.linkedin.com/feed/update/urn:li:activity:7364194597717073925/
❤59👌11👍6
Forwarded from آموزش LLM
📢 فقط 2 روز باقی مونده!
با کد زیر، #دوره_LLM رو با ۵۰٪ تخفیف تهیه کنید:
🔗 همین حالا ثبتنام کنید و فرصت رو از دست ندید! 🚀
🔥 برای اطلاع از کدهای تخفیف، همین حالا عضو کانال تلگرام ما بشید:
👇👇👇
@llm_huggingface
👆👆👆
با کد زیر، #دوره_LLM رو با ۵۰٪ تخفیف تهیه کنید:
COUPON-bdfd8
🔗 همین حالا ثبتنام کنید و فرصت رو از دست ندید! 🚀
🔥 برای اطلاع از کدهای تخفیف، همین حالا عضو کانال تلگرام ما بشید:
👇👇👇
@llm_huggingface
👆👆👆
مکتبخونه
آموزش هوش مصنوعی مولد با مدلهای زبانی بزرگ (LLM)
در این دوره ابتدا ساختار مدلهای زبانی و مفاهیم پایهای مانند زبان طبیعی، توکنسازی، ترنسفورمر و attention آموزش داده میشود. سپس مسیر آموزش این مدلها از مرحله پیشتمرین (pretraining) تا ریزتنظیم (fine-tuning) بررسی میشود.
🔥2
🔥 پشتیبانی از زبان فارسی در خلاصه ویدئو NotebookLM فعال شد.
شرکت گوگل در بهروزرسانی جدید ابزار هوش مصنوعی خود، NotebookLM، امکان استفاده دقیق تر بیش از ۸۰ زبان از جمله فارسی را فراهم کرده است.
🎥 تولید خلاصههای ویدئویی به زبان فارسی
کاربران از این پس میتوانند یادداشتها، اسناد PDF و حتی تصاویر خود را به ویدئوهای آموزشی کوتاه به زبان فارسی تبدیل کنند.
🎧 ارتقاء قابلیت پادکستهای صوتی
قابلیت تولید پادکست در NotebookLM نیز برای زبانهای غیرانگلیسی، از جمله فارسی، توسعه یافته و اکنون امکان ایجاد محتوای صوتی طولانیتر و با جزئیات بیشتر فراهم است.
📅 این قابلیتها به تازگی فعال شده و در طول هفته آینده برای تمامی کاربران قابل استفاده خواهند بود.
🌀 @cvision 🌀
شرکت گوگل در بهروزرسانی جدید ابزار هوش مصنوعی خود، NotebookLM، امکان استفاده دقیق تر بیش از ۸۰ زبان از جمله فارسی را فراهم کرده است.
🎥 تولید خلاصههای ویدئویی به زبان فارسی
کاربران از این پس میتوانند یادداشتها، اسناد PDF و حتی تصاویر خود را به ویدئوهای آموزشی کوتاه به زبان فارسی تبدیل کنند.
🎧 ارتقاء قابلیت پادکستهای صوتی
قابلیت تولید پادکست در NotebookLM نیز برای زبانهای غیرانگلیسی، از جمله فارسی، توسعه یافته و اکنون امکان ایجاد محتوای صوتی طولانیتر و با جزئیات بیشتر فراهم است.
📅 این قابلیتها به تازگی فعال شده و در طول هفته آینده برای تمامی کاربران قابل استفاده خواهند بود.
🌀 @cvision 🌀
👍7🔥5❤4
Tensorflow(@CVision)
🔥 پشتیبانی از زبان فارسی در خلاصه ویدئو NotebookLM فعال شد. شرکت گوگل در بهروزرسانی جدید ابزار هوش مصنوعی خود، NotebookLM، امکان استفاده دقیق تر بیش از ۸۰ زبان از جمله فارسی را فراهم کرده است. 🎥 تولید خلاصههای ویدئویی به زبان فارسی کاربران از این پس میتوانند…
This media is not supported in your browser
VIEW IN TELEGRAM
نمونه ویدئو ساخته شده درباره بلاگ پست "PPO به زبان ساده: چگونه هوش مصنوعی یاد میگیرد مثل ما فکر کند؟" منتشر شده در سایت class.vision با قابلیت خلاصه ویدئویی NotebookLM
🌀 @cvision 🌀
🌀 @cvision 🌀
❤16🤯4
Forwarded from School of AI (Hamidreza Hosseinkhani)
شرکت OpenAI یه پروموشن خوب گذاشته که پیشنهاد میکنم همین الان ازش استفاده کنید.
با پرداخت فقط یک دلار میتونید یک ماه از پلن تیمی (معادل Plus) برای ۵ نفر استفاده کنید.
یعنی شما با پرداخت ۱ دلار آمریکا بهجای ۱۵۰ دلار، پلن تیمی چتجیپیتی رو برای ۵ نفر میخرید که معادل ChatGPT Plus است.
فقط باید دقت کنید که بعد از یک ماه استفاده، قیمت به ۱۵۰ دلار برمیگرده و اگه بخواید برای ماه دوم هم استفاده کنید باید ۱۵۰ دلار پول بدید. اما قبل از سررسید ماه بهراحتی میتونید از بخش Settings گزینهی Plans & Billing رو انتخاب کنید و عضویتتون رو برای ماه دوم کنسل کنید.
برای فعالسازی، از لینک زیر استفاده کنید:
chatgpt.com/?numSeats=5&selectedPlan=month
توجه: مراقب لینکهای جعلی باشید و اگر لینک رو از جایی کپی میکنید با دقت بررسی کنید!
توجه: چتهای هر فرد عضو تیم خصوصیاند و بهصورت پیشفرض به دیگری نشون داده نمیشن.
توجه: برای پرداخت، از کارتهای مجازی Prepaid (مثل کارتهایی که سایتهایی مثل ایرانیکارت میفروشن) استفاده نکنید، کار نمیکنه.
توجه: اگه فقط قصد استفادهی موقت دارید، فراموش نکنید قبل از یک ماه کنسل کنید چون سر ماه ۱۵۰ دلار بهصورت خودکار برداشت میشه.
توجه: ترجیها برای پرداخت، نام کاربری و گذرواژهی چتجیپیتیتون رو به کسی ندید.
با پرداخت فقط یک دلار میتونید یک ماه از پلن تیمی (معادل Plus) برای ۵ نفر استفاده کنید.
یعنی شما با پرداخت ۱ دلار آمریکا بهجای ۱۵۰ دلار، پلن تیمی چتجیپیتی رو برای ۵ نفر میخرید که معادل ChatGPT Plus است.
فقط باید دقت کنید که بعد از یک ماه استفاده، قیمت به ۱۵۰ دلار برمیگرده و اگه بخواید برای ماه دوم هم استفاده کنید باید ۱۵۰ دلار پول بدید. اما قبل از سررسید ماه بهراحتی میتونید از بخش Settings گزینهی Plans & Billing رو انتخاب کنید و عضویتتون رو برای ماه دوم کنسل کنید.
برای فعالسازی، از لینک زیر استفاده کنید:
chatgpt.com/?numSeats=5&selectedPlan=month
توجه: مراقب لینکهای جعلی باشید و اگر لینک رو از جایی کپی میکنید با دقت بررسی کنید!
توجه: چتهای هر فرد عضو تیم خصوصیاند و بهصورت پیشفرض به دیگری نشون داده نمیشن.
توجه: برای پرداخت، از کارتهای مجازی Prepaid (مثل کارتهایی که سایتهایی مثل ایرانیکارت میفروشن) استفاده نکنید، کار نمیکنه.
توجه: اگه فقط قصد استفادهی موقت دارید، فراموش نکنید قبل از یک ماه کنسل کنید چون سر ماه ۱۵۰ دلار بهصورت خودکار برداشت میشه.
توجه: ترجیها برای پرداخت، نام کاربری و گذرواژهی چتجیپیتیتون رو به کسی ندید.
ChatGPT
A conversational AI system that listens, learns, and challenges
❤3👍3
اگر افسردگی ندارید و این حالتونو بدتر نمیکنه، برید تو ChatGPT بنویسید:
و آماده ی یه نقد بیرحمانه، صادقانه و رک و پوستکنده باشید.
منو که شُست ؛)
No mercy, no filter, roast me
و آماده ی یه نقد بیرحمانه، صادقانه و رک و پوستکنده باشید.
منو که شُست ؛)
😱15👀5❤3👌3🤯1
آخرین و دهمین ورژن کورس معروف CS231n دانشگاه استنفورد برای بهار ۲۰۲۵ در یوتوب منتشر شد:
https://m.youtube.com/playlist?list=PLoROMvodv4rOmsNzYBMe0gJY2XS8AQg16
https://m.youtube.com/playlist?list=PLoROMvodv4rOmsNzYBMe0gJY2XS8AQg16
YouTube
Stanford CS231N Deep Learning for Computer Vision I 2025
Computer Vision has become ubiquitous in our society, with applications in search, image understanding, apps, mapping, medicine, drones, and self-driving car...
❤25🙏2
چرا مدلهای زبانی دچار توهم (Hallucination) میشوند؟
بر اساس گزارشی از OpenAI، پدیده توهمزایی (Hallucination) در مدلهای زبانی بزرگ (LLMs) یک نقص ناشناخته و black-box نیست، بلکه نتیجهای کاملاً قابل پیشبینی از نحوه آموزش و ارزیابی این مدلهاست. این مشکل به دو بخش اصلی تقسیم میشود:
1️⃣ پیشآموزش (pretraining)
2️⃣ پسآموزش (post-training)
1️⃣بخش اول: مشکلات به دلیل فاز Pretraining
توهمزایی از نظر آماری یک خطای طبیعی است. حتی اگر دادههای آموزشی کاملاً بدون خطا باشند، مدلها برای تخمین توزیع زبان بهینه میشوند و در این فرآیند، خطاهایی تولید میکنند. این پدیده شباهت دارد به مشکل "طبقهبندی دودویی" (آیا یک خروجی معتبر است؟)، اما مدلهای زبانی باید پاسخهای کامل و معتبر تولید کنند که کار بسیار دشوارتری است.
یک عامل کلیدی در این مرحله، "نرخ تکنمونه" (Singleton Rate) است. این نرخ نشان میدهد چه تعداد از حقایق در دادههای آموزشی فقط یک بار تکرار شدهاند. برای مثال، اگر 20% از تاریخهای تولد تنها یک بار در مجموعه دادهها وجود داشته باشند، انتظار میرود مدل در حداقل 20% موارد درباره این حقایق توهم کند!
2️⃣بخش دوم: تشدید در Post-training
علیرغم تکنیکهایی مانند RLHF (یادگیری تقویتی از بازخورد انسانی) که برای کاهش توهم طراحی شدهاند، این پدیده همچنان ادامه دارد. چرا؟ چون معیارهای ارزیابی رایج، مانند بنچمارکهای باینری (صفر و یک)، به حدس زدن پاداش میدهند.
در یک سیستم نمرهدهی باینری، پاسخ صحیح 1 امتیاز میگیرد، اما پاسخهای مبهم یا "نمیدانم" (I Don't Know) صفر امتیاز دارند. این ساختار مدل را به «حالت امتحاندهی» سوق میدهد و آن را تشویق میکند تا به جای اعتراف به عدم قطعیت، یک پاسخ نادرست اما قابلباور تولید کند. این "اپیدمی" جریمهکردن عدم قطعیت، باعث میشود مدلها همیشه حدس بزنند تا امتیاز بیشتری کسب کنند، حتی اگر از پاسخشان مطمئن نباشند.
✅راهحل پیشنهادی: اصلاح ساختار ارزیابی
این گزارش پیشنهاد میکند به جای ساخت بنچمارکهای جدید، نحوه نمرهدهی بنچمارکهای موجود اصلاح شود. برای حل این مشکل، باید:
⏺️ امتیازدهی به "نمیدانم": به مدلها اجازه داده شود بدون جریمهشدن، عدم قطعیت خود را ابراز کنند و حتی برای آن امتیازی در نظر گرفته شود.
⏺️تعریف آستانههای اطمینان: دستورالعملهای ارزیابی باید صراحتاً مشخص کنند که مدل تنها در صورت اطمینان بالای یک آستانه مشخص (مثلاً 75%) پاسخ دهد.
این تغییرات "جامعهفنی" میتواند به مدلها انگیزه دهد تا صادقانهتر و قابلاعتمادتر باشند و زمینه را برای توسعه سیستمهای هوش مصنوعی قابل اطمینانتر فراهم کند.
بر اساس گزارشی از OpenAI، پدیده توهمزایی (Hallucination) در مدلهای زبانی بزرگ (LLMs) یک نقص ناشناخته و black-box نیست، بلکه نتیجهای کاملاً قابل پیشبینی از نحوه آموزش و ارزیابی این مدلهاست. این مشکل به دو بخش اصلی تقسیم میشود:
1️⃣ پیشآموزش (pretraining)
2️⃣ پسآموزش (post-training)
1️⃣بخش اول: مشکلات به دلیل فاز Pretraining
توهمزایی از نظر آماری یک خطای طبیعی است. حتی اگر دادههای آموزشی کاملاً بدون خطا باشند، مدلها برای تخمین توزیع زبان بهینه میشوند و در این فرآیند، خطاهایی تولید میکنند. این پدیده شباهت دارد به مشکل "طبقهبندی دودویی" (آیا یک خروجی معتبر است؟)، اما مدلهای زبانی باید پاسخهای کامل و معتبر تولید کنند که کار بسیار دشوارتری است.
یک عامل کلیدی در این مرحله، "نرخ تکنمونه" (Singleton Rate) است. این نرخ نشان میدهد چه تعداد از حقایق در دادههای آموزشی فقط یک بار تکرار شدهاند. برای مثال، اگر 20% از تاریخهای تولد تنها یک بار در مجموعه دادهها وجود داشته باشند، انتظار میرود مدل در حداقل 20% موارد درباره این حقایق توهم کند!
2️⃣بخش دوم: تشدید در Post-training
علیرغم تکنیکهایی مانند RLHF (یادگیری تقویتی از بازخورد انسانی) که برای کاهش توهم طراحی شدهاند، این پدیده همچنان ادامه دارد. چرا؟ چون معیارهای ارزیابی رایج، مانند بنچمارکهای باینری (صفر و یک)، به حدس زدن پاداش میدهند.
در یک سیستم نمرهدهی باینری، پاسخ صحیح 1 امتیاز میگیرد، اما پاسخهای مبهم یا "نمیدانم" (I Don't Know) صفر امتیاز دارند. این ساختار مدل را به «حالت امتحاندهی» سوق میدهد و آن را تشویق میکند تا به جای اعتراف به عدم قطعیت، یک پاسخ نادرست اما قابلباور تولید کند. این "اپیدمی" جریمهکردن عدم قطعیت، باعث میشود مدلها همیشه حدس بزنند تا امتیاز بیشتری کسب کنند، حتی اگر از پاسخشان مطمئن نباشند.
✅راهحل پیشنهادی: اصلاح ساختار ارزیابی
این گزارش پیشنهاد میکند به جای ساخت بنچمارکهای جدید، نحوه نمرهدهی بنچمارکهای موجود اصلاح شود. برای حل این مشکل، باید:
⏺️ امتیازدهی به "نمیدانم": به مدلها اجازه داده شود بدون جریمهشدن، عدم قطعیت خود را ابراز کنند و حتی برای آن امتیازی در نظر گرفته شود.
⏺️تعریف آستانههای اطمینان: دستورالعملهای ارزیابی باید صراحتاً مشخص کنند که مدل تنها در صورت اطمینان بالای یک آستانه مشخص (مثلاً 75%) پاسخ دهد.
این تغییرات "جامعهفنی" میتواند به مدلها انگیزه دهد تا صادقانهتر و قابلاعتمادتر باشند و زمینه را برای توسعه سیستمهای هوش مصنوعی قابل اطمینانتر فراهم کند.
👍23❤4