🔵 عنوان مقاله
Determinism is Overrated
🟢 خلاصه مقاله:
Determinism is Overrated یادآور می‌شود که توسعه و آزمون اپلیکیشن‌های AI با نرم‌افزارهای سنتی فرق دارد، چون خروجی‌ها ذاتاً غیردترمینستیک‌اند. به‌جای تکیه بر تطابق دقیق رشته‌ای، باید کیفیت را در سطح توزیع نتایج سنجید: تعریف بازه‌های پذیرش، روبریک‌ها و امتیازدهی سازگار با هدف کاربر، و آزمون‌های سناریومحور. Jarad DeLorenzo پیشنهاد می‌کند در کنار تست‌های کاملاً دترمینستیک برای منطق اطراف مدل، از ابزارهای بازتولیدپذیری (نسخه‌بندی داده/پرومپت/مدل، ثبت seed و پارامترها) و ارزیابی احتمالاتی (آستانه‌های شباهت، top-k، چند seed) استفاده شود. در استقرار نیز A/B testing، canary، گاردریل‌ها، fallback و observability برای هزینه، تأخیر، درستی و ایمنی لازم است. پیام اصلی: به‌جای اجبار به خروجی‌های یکسان، برای نتایج قابل اتکا در دل تغییرپذیری طراحی کنید.
#AI #LLM #NonDeterminism #Testing #Evaluation #MLOps #AIBestPractices #SoftwareEngineering
🟣لینک مقاله:
https://cur.at/sfc6P6g?m=web
➖➖➖➖➖➖➖➖
👑 @software_Labdon
Determinism is Overrated
🟢 خلاصه مقاله:
Determinism is Overrated یادآور می‌شود که توسعه و آزمون اپلیکیشن‌های AI با نرم‌افزارهای سنتی فرق دارد، چون خروجی‌ها ذاتاً غیردترمینستیک‌اند. به‌جای تکیه بر تطابق دقیق رشته‌ای، باید کیفیت را در سطح توزیع نتایج سنجید: تعریف بازه‌های پذیرش، روبریک‌ها و امتیازدهی سازگار با هدف کاربر، و آزمون‌های سناریومحور. Jarad DeLorenzo پیشنهاد می‌کند در کنار تست‌های کاملاً دترمینستیک برای منطق اطراف مدل، از ابزارهای بازتولیدپذیری (نسخه‌بندی داده/پرومپت/مدل، ثبت seed و پارامترها) و ارزیابی احتمالاتی (آستانه‌های شباهت، top-k، چند seed) استفاده شود. در استقرار نیز A/B testing، canary، گاردریل‌ها، fallback و observability برای هزینه، تأخیر، درستی و ایمنی لازم است. پیام اصلی: به‌جای اجبار به خروجی‌های یکسان، برای نتایج قابل اتکا در دل تغییرپذیری طراحی کنید.
#AI #LLM #NonDeterminism #Testing #Evaluation #MLOps #AIBestPractices #SoftwareEngineering
🟣لینک مقاله:
https://cur.at/sfc6P6g?m=web
➖➖➖➖➖➖➖➖
👑 @software_Labdon
Medium
Determinism is Overrated
Why Your Best Engineers Can’t Build AI Systems