پیرو پست قبلی و اختلالی که دیروز نصف اینترنت رو فلج کرد، کلادفلر بالاخره گزارش فنی و کالبدشکافی (Post-mortem) ماجرا رو منتشر کرد. الان مشخص شده که برخلاف تصورات اولیه و حتی حدس خود مهندسای کلادفلر، پای هیچ حمله سایبری یا ترافیک مخرب خارجی در میون نبوده. اون «ترافیک غیرمعمولی» هم که اولش گفتن، در واقع نوسانات ناشی از کرش کردن سیستم‌های خودشون بوده.

اما دقیقاً چه اتفاقی افتاد؟ ریشه اصلی ماجرا یک تغییر به ظاهر ساده توی سطح دسترسی یکی از دیتابیس‌های داخلی (ClickHouse) بوده. این تغییر باعث شد کوئری‌هایی که وظیفه‌شون ساختن فایل تنظیمات سیستم مدیریت بات بود، قاطی کنن و رکوردهای تکراری تولید کنن. نتیجه این شد که حجم فایلی که باید به کل سرورهای لبه شبکه (Edge) ارسال می‌شد، یهو دو برابر حد مجاز شد.

از اونجایی که نرم‌افزار اصلی مسیریابی کلادفلر (که ظاهراً با Rust نوشته شده) برای بهینه‌سازی سرعت، حافظه محدودی رو برای این فایل‌ها پیش‌بینی کرده بود، با دیدن این فایل حجیم دچار خطای حافظه شد و اصطلاحاً "Panic" کرد. همین باعث شد هسته اصلی پردازش ترافیک در هزاران سرور در سراسر دنیا همزمان از کار بیفته.

چرا رفع مشکل طول کشید؟ چیزی که تیم فنی رو گیج کرده بود، نوسان عجیب شبکه بود. چون این فایل کانفیگ خراب هر ۵ دقیقه یک‌بار جنریت می‌شد، شبکه مدام بین حالت «سالم» و «خراب» نوسان داشت. همین رفتار باعث شد مهندسا اولش فکر کنن زیر یک حمله سنگین و پیچیده DDoS هستن. شدت اختلال انقدر بالا بود که حتی سیستم‌های داخلی مثل Workers KV، سیستم احراز هویت Access و سیستم Turnstile (همون جایگزین کپچا) هم از کار افتادن؛ برای همین بود که خیلی‌ها حتی نمی‌تونستن توی سایت‌ها لاگین کنن.

نهایتاً تیم مهندسی متوجه شد ایراد از کجاست و با متوقف کردن انتشار فایل جدید و برگردوندن دستیِ آخرین نسخه سالم، ترافیک رو استیبل کرد. متیو پرینس، مدیرعامل کلادفلر، ضمن عذرخواهی رسمی، این اتفاق رو «بدترین قطعی از سال ۲۰۱۹» دونسته و قول داده که معماری سیستم رو جوری تغییر بدن که یه فایل کانفیگ خراب نتونه کل اینترنت رو پایین بکشه./ تک توب

🔎 Cloudflare Blog

حرفه؛ #روابط_عمومی | @ePRNet