میخواستم بفهمم بدون bottleneck واقعی، سیستمم چند تا درخواست I/O در ثانیه (req/sec یا IOPS) میتونه هندل کنه.
خیلی وقت‌ها اعداد روی جعبه SSD یا وب‌سایت فقط تو شرایط آزمایشگاهی معنا دارن، ولی وقتی خودت با ابزارهایی مثل fio تست میگیری، تازه میفهمی تو دنیای واقعی چی می‌گذره.
تست‌هایی که گرفتم اینطوری بود
اول Sequential Read/Write با بلاک‌های 1MB برای سنجش throughput واقعی که حدود 2.3GB/s
دوم Random 4K Read/Write برای سنجش IOPS واقعی که چند ده‌ها هزار IOPS بدون bottleneck محسوس
سوم تست‌های Async I/O با io_uring و iodepth بالا برای دیدن تأثیر parallelism بود.
چیزایی که برام جالب بود در سطح فایل‌سیستم، NVMe تونست نزدیک به 2.3 گیگابایت بر ثانیه بنویسه.
وقتی از io_uring استفاده کردم، مصرف CPU تقریباً نصف شد اما IOPS افزایش پیدا کرد این یعنی async I/O فقط سریع‌تر نیست، هوشمندتر هم هست.
با iodepth=32، تونستم queue همیشه پر نگه دارم بدون افت محسوس در latency

متوسط Latency واقعا فریب‌دهنده‌ست Latency میانگین من حدود 0.2ms بود، اما در سطح %99 حدود 0.8ms همین اختلاف نشون میده چطور queue depth یا context switching می‌تونه tail latency رو خراب کنه.
در workload واقعی، %99 latency مهم‌تر از میانگینه.

یادمون باشه Bottleneck همیشه از دیسک نیست
خیلی وقت‌ها گلوگاه از دیسک نمیاد از CPU context switching یا sync I/O هم میاد.
حتی دیدم وقتی threadها روی NUMA node اشتباه بودن، latency تا %30 بالا رفت.
واقعاً Locality مهمه.

در رابطه با فایل سیستم تیونینگ روی EXT4 و XFS تست گرفتم
با noatime و discard=async در random I/O فایل سیستم EXT4 بهتر بود
در sequential write هم XFS پایدارتر عمل کرد
پس فقط دیسک مهم نیست فایل‌سیستم هم بخشی از performance story هستش.

ابزارها و سیستم من :)
Tools: fio, iostat, iotop, nvme-cli, perf
OS: Linux with 6.17.2-arch1-1 (I use Arch btw 👩‍💻)
Disk: PCIe NVMe SSD

اَحپِف‌اِیْسم 🍋