บริษัท คลาวด์แฟลร์ เครือข่ายการจัดส่งเนื้อหาสำหรับแหล่งข้อมูลอินเทอร์เน็ต 27 ล้านรายการ และให้บริการปริมาณการรับส่งข้อมูล 13% ของไซต์ที่ใหญ่ที่สุด 1000 แห่ง รายละเอียดของเหตุการณ์ดังกล่าวส่งผลให้การทำงานของหลายส่วนของเครือข่าย Cloudflare หยุดชะงักเป็นเวลา 27 นาที รวมถึงผู้ที่รับผิดชอบในการส่งการจราจรไปยังลอนดอน ชิคาโก ลอสแองเจลิส วอชิงตัน อัมสเตอร์ดัม ปารีส มอสโก และเซนต์ปีเตอร์สเบิร์ก . ปัญหาเกิดจากการเปลี่ยนแปลงการกำหนดค่าที่ไม่ถูกต้องบนเราเตอร์ Atlanta ในระหว่างเหตุการณ์ดังกล่าว ซึ่งเกิดขึ้นในวันที่ 17 กรกฎาคม เวลา 21:12 น. ถึง 21:39 น. (UTC) ปริมาณการรับส่งข้อมูลทั้งหมดบนเครือข่าย Cloudflare ลดลงประมาณ 50%
ในระหว่างการทำงานด้านเทคนิค ต้องการลบส่วนหนึ่งของการรับส่งข้อมูลออกจากแบ็คโบนตัวใดตัวหนึ่ง วิศวกรได้ลบหนึ่งบรรทัดในบล็อกการตั้งค่าที่กำหนดรายการเส้นทางที่ยอมรับผ่านแบ็คโบน ซึ่งกรองตามรายการคำนำหน้าที่ระบุ คงจะถูกต้องแล้วถ้าจะปิดการใช้งานบล็อกทั้งหมด แต่โดยไม่ได้ตั้งใจ มีเพียงบรรทัดที่มีรายการคำนำหน้าเท่านั้นที่ถูกลบ
{master}[edit]
atl01# แสดง | เปรียบเทียบ
[แก้ไขนโยบายตัวเลือกนโยบายข้อความ 6-BBONE-OUT เงื่อนไข 6-SITE-LOCAL จาก]
! ไม่ทำงาน: รายการคำนำหน้า 6-SITE-LOCAL { … }
บล็อกเนื้อหา:
จาก {
คำนำหน้ารายการ 6-SITE-LOCAL;
}
แล้ว {
การตั้งค่าท้องถิ่น 200;
ชุมชนเพิ่ม SITE-LOCAL-ROUTE;
ชุมชนเพิ่ม ATL01;
ชุมชนเพิ่ม NORTH-AMERICA;
ยอมรับ;
}
เนื่องจากการลบการเชื่อมโยงกับรายการคำนำหน้าออก ส่วนที่เหลือของบล็อกจึงเริ่มกระจายไปยังคำนำหน้าทั้งหมด และเราเตอร์เริ่มส่งเส้นทาง BGP ทั้งหมดไปยังเราเตอร์ของแบ็คโบนอื่น โดยบังเอิญ เส้นทางใหม่มีลำดับความสำคัญสูงกว่า (การตั้งค่าท้องถิ่น 200) เมื่อเทียบกับลำดับความสำคัญ (100) ที่กำหนดไว้สำหรับเส้นทางอื่นโดยระบบเพิ่มประสิทธิภาพการจราจรอัตโนมัติ ด้วยเหตุนี้ แทนที่จะลบการกำหนดเส้นทางออกจากแบ็คโบน เส้นทาง BGP ที่มีลำดับความสำคัญสูงกว่ากลับรั่วไหล ซึ่งส่งผลให้การรับส่งข้อมูลที่ส่งไปยังแบ็คโบนอื่นๆ ถูกส่งไปยังแอตแลนต้า ซึ่งนำไปสู่การโอเวอร์โหลดของเราเตอร์และการล่มสลายของส่วนหนึ่งของเครือข่าย
เพื่อป้องกันไม่ให้เหตุการณ์ที่คล้ายกันเกิดขึ้นในอนาคต จึงมีแผนที่จะเปลี่ยนแปลงการตั้งค่าแบ็คโบนของ Cloudflare หลายประการในวันจันทร์ ระบบจะเพิ่มขีดจำกัดจำนวนคำนำหน้าสูงสุด (คำนำหน้าสูงสุด) สำหรับเซสชัน BGP ซึ่งจะบล็อกแกนหลักที่มีปัญหาหากมีการกำหนดเส้นทางคำนำหน้ามากเกินไป หากมีการเพิ่มข้อจำกัดนี้ก่อนหน้านี้ ปัญหาดังกล่าวอาจนำไปสู่การปิดระบบแบ็คโบนในแอตแลนตา แต่จะไม่ส่งผลกระทบต่อการทำงานของเครือข่ายทั้งหมด เนื่องจากเครือข่าย Cloudflare ได้รับการออกแบบมาเพื่อให้แบ็คโบนแต่ละตัวทำงานล้มเหลว ท่ามกลางการเปลี่ยนแปลงที่นำมาใช้แล้ว การแก้ไขลำดับความสำคัญ (การตั้งค่าท้องถิ่น) สำหรับเส้นทางท้องถิ่นจะถูกบันทึกไว้ ซึ่งจะไม่อนุญาตให้เราเตอร์ตัวใดตัวหนึ่งมีอิทธิพลต่อการรับส่งข้อมูลในส่วนอื่น ๆ ของเครือข่าย
ที่มา: opennet.ru
