A Cloudflare cég, tartalomszolgáltató hálózatot működtet 27 millió internetes forráshoz, és a legnagyobb 1000 weboldal 13%-ának forgalmát kezeli, azt az incidenst, amely során 27 percen keresztül szünetelt a Cloudflare sok szegmense, beleértve a forgalom Londonba, Chicagóba, Los Angelesbe, Washingtonba, Amszterdamba, Párizsba, Moszkvába és Szentpétervárra szállító rendszereket. A problémát egy helytelen konfigurációs változtatás okozta egy atlanti routeren. Az incidens 2023. július 17-én, 21:12 és 21:39 (UTC) között zajlott, a Cloudflare hálózatában a forgalom összmennyisége körülbelül 50%-kal csökkent.
A technikai munkálatok során, hogy a forgalom egy részét eltávolítsák az egyik gerinchálóról, a mérnökök eltávolítottak egy sort az elfogadott útvonalak beállításait határozó blokkban, amely szűrt a megadott prefixek listája szerint. A helyes lépés az lett volna, ha az egész blokkot deaktiválják, de véletlenül csak a prefixek listájára vonatkozó sor került törlésre.
{master}[edit]
atl01# show | compare
[edit policy-options policy-statement 6-BBONE-OUT term 6-SITE-LOCAL from]
! inactive: prefix-list 6-SITE-LOCAL { … }
A blokk tartalma:
from {
prefix-list 6-SITE-LOCAL;
}
then {
local-preference 200;
community add SITE-LOCAL-ROUTE;
community add ATL01;
community add NORTH-AMERICA;
accept;
}
A prefix listhez való kötés eltávolítása miatt a blokk többi része minden prefixre vonatkozóan terjeszkedett, és a router elkezdte küldeni az összes BGP-route-ját más gerinchálók felé. A véletlen folytán az új útvonalak magasabb priorítást kaptak (local-preference 200) a többi útvonalhoz képest, amelynek priorítása (100) az automatikus forgalomoptimalizáló rendszer által volt beállítva. Ennek következében a gerinchálóról való eltávolítás helyett magasabb prioritású BGP-route-ok szivárogtak ki, aminek következtében a más gerinchálók felé irányított forgalom Atlantába került, ami a router túlterheléséhez és a hálózat egy részének összeomlásához vezetett.
A jövőbeni hasonló incidensek elkerülése érdekében hétfőn több módosítást terveznek a Cloudflare hátterek beállításaiban. A BGP-sessionokhoz maximális prefixszám (maximum-prefix) korlátozást fognak bevezetni, amely blokkolja a problémás hátteret, ha túl sok prefixet irányítanak rajta. Ha ezt a korlátozást korábban bevezették volna, a szóban forgó probléma egy Atlanta-i háttérleállást okozott volna, de nem befolyásolta volna az egész hálózat működését, mivel a Cloudflare hálózatának úgy van kialakítva, hogy a különböző hátterek leállása ne okozzon problémát. A már bevezetett módosítások között szerepel a helyi útvonalak prioritásának (local-preference) átnézése, ami megakadályozza, hogy egy router befolyásolja a forgalmat a hálózat más részein.
Forrás: opennet.ru
