🔵 عنوان مقاله
Determinism is Overrated
🟢 خلاصه مقاله:
Determinism is Overrated یادآور می‌شود که توسعه و آزمون اپلیکیشن‌های AI با نرم‌افزارهای سنتی فرق دارد، چون خروجی‌ها ذاتاً غیردترمینستیک‌اند. به‌جای تکیه بر تطابق دقیق رشته‌ای، باید کیفیت را در سطح توزیع نتایج سنجید: تعریف بازه‌های پذیرش، روبریک‌ها و امتیازدهی سازگار با هدف کاربر، و آزمون‌های سناریومحور. Jarad DeLorenzo پیشنهاد می‌کند در کنار تست‌های کاملاً دترمینستیک برای منطق اطراف مدل، از ابزارهای بازتولیدپذیری (نسخه‌بندی داده/پرومپت/مدل، ثبت seed و پارامترها) و ارزیابی احتمالاتی (آستانه‌های شباهت، top-k، چند seed) استفاده شود. در استقرار نیز A/B testing، canary، گاردریل‌ها، fallback و observability برای هزینه، تأخیر، درستی و ایمنی لازم است. پیام اصلی: به‌جای اجبار به خروجی‌های یکسان، برای نتایج قابل اتکا در دل تغییرپذیری طراحی کنید.
#AI #LLM #NonDeterminism #Testing #Evaluation #MLOps #AIBestPractices #SoftwareEngineering
🟣لینک مقاله:
https://cur.at/sfc6P6g?m=web
➖➖➖➖➖➖➖➖
👑 @software_Labdon
Determinism is Overrated
🟢 خلاصه مقاله:
Determinism is Overrated یادآور می‌شود که توسعه و آزمون اپلیکیشن‌های AI با نرم‌افزارهای سنتی فرق دارد، چون خروجی‌ها ذاتاً غیردترمینستیک‌اند. به‌جای تکیه بر تطابق دقیق رشته‌ای، باید کیفیت را در سطح توزیع نتایج سنجید: تعریف بازه‌های پذیرش، روبریک‌ها و امتیازدهی سازگار با هدف کاربر، و آزمون‌های سناریومحور. Jarad DeLorenzo پیشنهاد می‌کند در کنار تست‌های کاملاً دترمینستیک برای منطق اطراف مدل، از ابزارهای بازتولیدپذیری (نسخه‌بندی داده/پرومپت/مدل، ثبت seed و پارامترها) و ارزیابی احتمالاتی (آستانه‌های شباهت، top-k، چند seed) استفاده شود. در استقرار نیز A/B testing، canary، گاردریل‌ها، fallback و observability برای هزینه، تأخیر، درستی و ایمنی لازم است. پیام اصلی: به‌جای اجبار به خروجی‌های یکسان، برای نتایج قابل اتکا در دل تغییرپذیری طراحی کنید.
#AI #LLM #NonDeterminism #Testing #Evaluation #MLOps #AIBestPractices #SoftwareEngineering
🟣لینک مقاله:
https://cur.at/sfc6P6g?m=web
➖➖➖➖➖➖➖➖
👑 @software_Labdon
Medium
Determinism is Overrated
Why Your Best Engineers Can’t Build AI Systems
🔵 عنوان مقاله
Selenium tests breaking constantly after every UI change. Is test maintenance really supposed to take this much time?
🟢 خلاصه مقاله:
این مسئله مطرح شد که چرا تست‌های Selenium با هر تغییر در UI می‌شکنند و آیا این حجم از نگه‌داری طبیعی است یا نشانه‌ی مشکل در رویکرد. جامعه‌ی کاربری توصیه کرد وابستگی تست‌ها به جزئیات شکننده‌ی رابط را کم کنند (استفاده از data-test-id)، از الگوهایی مثل Page Object Model برای متمرکزکردن انتخاب‌گرها کمک بگیرند، و طبق Test Pyramid بیشتر پوشش را به لایه‌های Unit/API بدهند و فقط سناریوهای کاربرمحور کلیدی را با end‑to‑end اجرا کنند. برای کاهش test flakiness نیز بر waits مبتنی بر شرایط تجاری، کنترل وضعیت داده و محیط، اجتناب از تاخیرهای ثابت و انیمیشن‌ها، ایزوله‌سازی در CI، mock/stub کردن فراخوانی‌های ناپایدار، و قرنطینه و triage خودکار تست‌های flaky تأکید شد. جمع‌بندی این بود که نگه‌داری سنگین اغلب نتیجه‌ی استفاده‌ی بیش‌ازحد یا کوپلینگ شدید به UI است؛ با راهبردهای درست می‌توان automated tests پایدارتر و کم‌هزینه‌تر داشت.
#Selenium #TestAutomation #FlakyTests #UITesting #SoftwareTesting #QA #CICD #E2E
🟣لینک مقاله:
https://cur.at/Scyp8xS?m=web
➖➖➖➖➖➖➖➖
👑 @software_Labdon
Selenium tests breaking constantly after every UI change. Is test maintenance really supposed to take this much time?
🟢 خلاصه مقاله:
این مسئله مطرح شد که چرا تست‌های Selenium با هر تغییر در UI می‌شکنند و آیا این حجم از نگه‌داری طبیعی است یا نشانه‌ی مشکل در رویکرد. جامعه‌ی کاربری توصیه کرد وابستگی تست‌ها به جزئیات شکننده‌ی رابط را کم کنند (استفاده از data-test-id)، از الگوهایی مثل Page Object Model برای متمرکزکردن انتخاب‌گرها کمک بگیرند، و طبق Test Pyramid بیشتر پوشش را به لایه‌های Unit/API بدهند و فقط سناریوهای کاربرمحور کلیدی را با end‑to‑end اجرا کنند. برای کاهش test flakiness نیز بر waits مبتنی بر شرایط تجاری، کنترل وضعیت داده و محیط، اجتناب از تاخیرهای ثابت و انیمیشن‌ها، ایزوله‌سازی در CI، mock/stub کردن فراخوانی‌های ناپایدار، و قرنطینه و triage خودکار تست‌های flaky تأکید شد. جمع‌بندی این بود که نگه‌داری سنگین اغلب نتیجه‌ی استفاده‌ی بیش‌ازحد یا کوپلینگ شدید به UI است؛ با راهبردهای درست می‌توان automated tests پایدارتر و کم‌هزینه‌تر داشت.
#Selenium #TestAutomation #FlakyTests #UITesting #SoftwareTesting #QA #CICD #E2E
🟣لینک مقاله:
https://cur.at/Scyp8xS?m=web
➖➖➖➖➖➖➖➖
👑 @software_Labdon
Reddit
From the QualityAssurance community on Reddit
Explore this post and more from the QualityAssurance community
🔵 عنوان مقاله
Every Bug Deserves a Test Case
🟢 خلاصه مقاله:
ایده اصلی این است که هر باگ پس از برطرف‌شدن باید با یک تست اختصاصی پوشش داده شود. به‌گفته‌ی Kevin Konda، برای هر باگ ابتدا یک تست بازتولیدکننده بنویسید، شکست آن را ببینید، مشکل را رفع کنید و سپس همان تستِ سبز را در مجموعه‌ی رگرسیون نگه دارید. این کار از بازگشت خطاها جلوگیری می‌کند، دانشِ لبه‌های پنهان را حفظ می‌کند، ریسکی‌بودن تغییرات را کاهش می‌دهد و به بهبود طراحی کمک می‌کند. با نام‌گذاری شفاف، پیوند به شناسه‌ی Issue، کوچک‌وساده نگه‌داشتن تست‌ها و تفکیک اجرای سریع و شبانه، می‌توان هزینه‌ی زمان و ناپایداری را کنترل کرد. در نهایت، «هر باگ یک تست» یک انضباط فرهنگی است: اشتباهات گذشته را به ریل‌های محافظ آینده تبدیل کنید.
#SoftwareTesting #RegressionTesting #QualityEngineering #TDD #BugFixing #TestCoverage #CI #EngineeringCulture
🟣لینک مقاله:
https://cur.at/Kvqi6KW?m=web
➖➖➖➖➖➖➖➖
👑 @software_Labdon
Every Bug Deserves a Test Case
🟢 خلاصه مقاله:
ایده اصلی این است که هر باگ پس از برطرف‌شدن باید با یک تست اختصاصی پوشش داده شود. به‌گفته‌ی Kevin Konda، برای هر باگ ابتدا یک تست بازتولیدکننده بنویسید، شکست آن را ببینید، مشکل را رفع کنید و سپس همان تستِ سبز را در مجموعه‌ی رگرسیون نگه دارید. این کار از بازگشت خطاها جلوگیری می‌کند، دانشِ لبه‌های پنهان را حفظ می‌کند، ریسکی‌بودن تغییرات را کاهش می‌دهد و به بهبود طراحی کمک می‌کند. با نام‌گذاری شفاف، پیوند به شناسه‌ی Issue، کوچک‌وساده نگه‌داشتن تست‌ها و تفکیک اجرای سریع و شبانه، می‌توان هزینه‌ی زمان و ناپایداری را کنترل کرد. در نهایت، «هر باگ یک تست» یک انضباط فرهنگی است: اشتباهات گذشته را به ریل‌های محافظ آینده تبدیل کنید.
#SoftwareTesting #RegressionTesting #QualityEngineering #TDD #BugFixing #TestCoverage #CI #EngineeringCulture
🟣لینک مقاله:
https://cur.at/Kvqi6KW?m=web
➖➖➖➖➖➖➖➖
👑 @software_Labdon
Medium
Every Bug Deserves a Test Case
Why adding bug-based test cases to your master suite makes your QA smarter, stronger, and future-ready.
🔵 عنوان مقاله
If It's Not Written Down, Did You Really Test It?
🟢 خلاصه مقاله:
اگر چیزی ثبت نشود، اثبات‌پذیری و تکرارپذیری تست زیر سوال می‌رود. Marina Jordão هشدار می‌دهد حذف «مدیریت تست» شاید کار را سریع‌تر نشان دهد، اما در عمل به افزایش ریسک، خطاهای تکراری، پوشش ناقص سناریوها و کاهش اعتماد ذی‌نفعان به QA منجر می‌شود. راه‌حل او، افزودن ساختارِ سبک و مؤثر است: یک استراتژی حداقلی برای محدوده و ریسک‌ها، ردیابی تست‌ها به نیازمندی‌ها، چک‌لیست یا چارتر برای تست اکتشافی همراه با یادداشت‌های خلاصه و شواهد، استانداردسازی شدت/اولویت، و استفاده از ابزارهای یکپارچه با CI/CD. با قرار دادن مستندسازی در Definition of Done و بهبود مستمر مبتنی بر داده، تیم‌ها بدون بروکراسی سنگین، کیفیت شفاف و پایدار را حفظ می‌کنند.
#QA
#TestManagement
#مستندسازی
#آزمایش_نرم‌افزار
#کیفیت_نرم‌افزار
#توسعه_چابک
#DevOps
🟣لینک مقاله:
https://cur.at/QQmdklz?m=web
➖➖➖➖➖➖➖➖
👑 @software_Labdon
If It's Not Written Down, Did You Really Test It?
🟢 خلاصه مقاله:
اگر چیزی ثبت نشود، اثبات‌پذیری و تکرارپذیری تست زیر سوال می‌رود. Marina Jordão هشدار می‌دهد حذف «مدیریت تست» شاید کار را سریع‌تر نشان دهد، اما در عمل به افزایش ریسک، خطاهای تکراری، پوشش ناقص سناریوها و کاهش اعتماد ذی‌نفعان به QA منجر می‌شود. راه‌حل او، افزودن ساختارِ سبک و مؤثر است: یک استراتژی حداقلی برای محدوده و ریسک‌ها، ردیابی تست‌ها به نیازمندی‌ها، چک‌لیست یا چارتر برای تست اکتشافی همراه با یادداشت‌های خلاصه و شواهد، استانداردسازی شدت/اولویت، و استفاده از ابزارهای یکپارچه با CI/CD. با قرار دادن مستندسازی در Definition of Done و بهبود مستمر مبتنی بر داده، تیم‌ها بدون بروکراسی سنگین، کیفیت شفاف و پایدار را حفظ می‌کنند.
#QA
#TestManagement
#مستندسازی
#آزمایش_نرم‌افزار
#کیفیت_نرم‌افزار
#توسعه_چابک
#DevOps
🟣لینک مقاله:
https://cur.at/QQmdklz?m=web
➖➖➖➖➖➖➖➖
👑 @software_Labdon
Medium
If It’s Not Written Down, Did You Really Test It?
In the rush of agile development, I’ve seen many teams skip over what some might call “formal QA practices.” No test plans, no test…
🔵 عنوان مقاله
Building a Solid Foundation for Performance Testing
🟢 خلاصه مقاله:
این یادداشت توضیح می‌دهد که پیش از اجرای هر نوع تست کارایی، باید زیرساخت فکری و عملی درستی بسازیم تا نتایج قابل اتکا باشند. به گفته‌ی Yanming Zhai، گام‌های کلیدی مستقل از ابزارند: هدف‌ها و معیارهای موفقیت را مشخص کنید (مثل پرسن‌تایل‌های زمان پاسخ، توان عملیاتی، نرخ خطا، و SLA/SLO)، سناریوهای کاربری مهم و الگوهای بار واقعی را تعریف کنید، معماری و وابستگی‌ها را بشناسید و محیطی نزدیک به تولید بسازید. داده‌ی تست واقعی آماده کنید، وضعیت کش و گرم‌کردن را کنترل کنید، و پارامترهای اجرای تست مثل ramp-up، مدت پایدار و think time را دقیق تعیین کنید.
رصدپذیری را جدی بگیرید: متریک‌ها، لاگ‌ها و تِرِیس‌ها را انتهابه‌انتها جمع‌آوری کنید؛ منابع زیرساخت، سرویس‌های خارجی و شبکه را زیر نظر داشته باشید؛ نسخه‌ها و تنظیمات را ثبت کنید تا آزمون‌ها قابل تکرار باشند. اسکریپت‌های پایدار بنویسید: احراز هویت و نشست را درست مدیریت کنید، پارامتری‌سازی و correlation انجام دهید، رفتار کاربر را واقع‌نما کنید و مطمئن شوید گلوگاه سمت کلاینت یا شبکه نیست. پیش‌اجرای سبک و بازبینی همتایان خطاهای پنهان را کم می‌کند.
در نهایت، تست کارایی یک فعالیت تیمی است: با تیم‌های توسعه، SRE/ops و محصول هم‌راستا شوید، در صورت نیاز در CI/CD ادغام کنید، و گزارش‌دهی شفاف داشته باشید؛ نتایج را نسبت به baseline و SLO بسنجید و آن‌ها را به اقدام‌های مشخص برای بهینه‌سازی و ظرفیت تبدیل کنید. با رعایت این اصول، انتخاب هر ابزاری نتیجه‌های سریع‌تر و قابل اعتمادتر به‌همراه دارد.
#تست_کارایی #تست_بار #مهندسی_عملکرد #DevOps #Observability #SLA #کیفیت_نرم‌افزار #PerformanceTesting
🟣لینک مقاله:
https://cur.at/ybKggdo?m=web
➖➖➖➖➖➖➖➖
👑 @software_Labdon
Building a Solid Foundation for Performance Testing
🟢 خلاصه مقاله:
این یادداشت توضیح می‌دهد که پیش از اجرای هر نوع تست کارایی، باید زیرساخت فکری و عملی درستی بسازیم تا نتایج قابل اتکا باشند. به گفته‌ی Yanming Zhai، گام‌های کلیدی مستقل از ابزارند: هدف‌ها و معیارهای موفقیت را مشخص کنید (مثل پرسن‌تایل‌های زمان پاسخ، توان عملیاتی، نرخ خطا، و SLA/SLO)، سناریوهای کاربری مهم و الگوهای بار واقعی را تعریف کنید، معماری و وابستگی‌ها را بشناسید و محیطی نزدیک به تولید بسازید. داده‌ی تست واقعی آماده کنید، وضعیت کش و گرم‌کردن را کنترل کنید، و پارامترهای اجرای تست مثل ramp-up، مدت پایدار و think time را دقیق تعیین کنید.
رصدپذیری را جدی بگیرید: متریک‌ها، لاگ‌ها و تِرِیس‌ها را انتهابه‌انتها جمع‌آوری کنید؛ منابع زیرساخت، سرویس‌های خارجی و شبکه را زیر نظر داشته باشید؛ نسخه‌ها و تنظیمات را ثبت کنید تا آزمون‌ها قابل تکرار باشند. اسکریپت‌های پایدار بنویسید: احراز هویت و نشست را درست مدیریت کنید، پارامتری‌سازی و correlation انجام دهید، رفتار کاربر را واقع‌نما کنید و مطمئن شوید گلوگاه سمت کلاینت یا شبکه نیست. پیش‌اجرای سبک و بازبینی همتایان خطاهای پنهان را کم می‌کند.
در نهایت، تست کارایی یک فعالیت تیمی است: با تیم‌های توسعه، SRE/ops و محصول هم‌راستا شوید، در صورت نیاز در CI/CD ادغام کنید، و گزارش‌دهی شفاف داشته باشید؛ نتایج را نسبت به baseline و SLO بسنجید و آن‌ها را به اقدام‌های مشخص برای بهینه‌سازی و ظرفیت تبدیل کنید. با رعایت این اصول، انتخاب هر ابزاری نتیجه‌های سریع‌تر و قابل اعتمادتر به‌همراه دارد.
#تست_کارایی #تست_بار #مهندسی_عملکرد #DevOps #Observability #SLA #کیفیت_نرم‌افزار #PerformanceTesting
🟣لینک مقاله:
https://cur.at/ybKggdo?m=web
➖➖➖➖➖➖➖➖
👑 @software_Labdon
Medium
The Map Before the Battle: Building a Solid Foundation for Performance Testing
Part I · Theory