Cloudflare ettevõte, sisuhalduse võrk, mis teenindab 27 miljonit veebilehte ja haldab 13% 1000 suurimast veebisaidist, juhtumi detailid, mille käigus oli 27 minuti jooksul häiritud palju Cloudflare võrgu segmente, sealhulgas Londoni, Chicago, Los Angeles, Washingtoni, Amsterdam, Pariisi, Moskva ja Peterburi liikluse edastamine. Probleem tekkis vale konfiguratsiooni muutmise tõttu marsruuteris Atlantasse. Juhtum leidis aset 17. juulil kella 21:12 kuni 21:39 (UTC), mille käigus vähenes Cloudflare võrgu üldine liiklus umbes 50%.
Tehniliste tööde käigus, soovides suunata osa liiklusest ühelt selgroolt, eemaldasid insenerid ühe rea konfiguratsioonibloki seadmest, mis määratleb selgroo kaudu vastuvõetavate marsruutide loendi, filtreerituna vastavalt määratud prefiksiloendile. Õige oleks olnud kogu blokk deaktiveerida, kuid ekslikult eemaldati lihtsalt rida prefiksiloendist.
{master}[edit]
atl01# show | compare
[edit policy-options policy-statement 6-BBONE-OUT term 6-SITE-LOCAL from]
! inactive: prefix-list 6-SITE-LOCAL { … }
Bloki sisu:
from {
prefix-list 6-SITE-LOCAL;
}
then {
local-preference 200;
community add SITE-LOCAL-ROUTE;
community add ATL01;
community add NORTH-AMERICA;
accept;
}
Prefiksiloendi seose eemaldamise tõttu hakkas ülejäänud blokk levima kõikidele prefiksitele ning marsruuter hakkas saatma kõik oma BGP marsruudid teiste selgroo marsruuteritele. Juhtumisi olid uued marsruudid kõrgema prioriteediga (local-preference 200) võrreldes teiste marsruutidega automaatse liikluse optimeerimise süsteemi määratud prioriteediga (100). Tulemuseks oli see, et selgroolt liikluse eemaldamise asemel toimus kõrgema prioriteediga BGP marsruutide leke, mistõttu liiklus, mis oli suunatud teistele selgroogadele, suundus Atlantasse, mis tõi kaasa marsruuteri ülekoormuse ja osa võrgu kokkuvarisemise.
Kuna probleemide vältimiseks on esmaspäeval planeeritud mitmeid muudatusi Cloudflare'i backbonide seadistustes. BGP-seanssidele lisatakse piirang maksimaalsetele prefiksitele (maximum-prefix), mis blokeerib probleemsest backbonest suunamise juhul, kui selle kaudu suunatakse liiga palju prefikse. Kui see piirang oleks varem lisatud, oleks käsitletud probleem põhjustanud backbone'i välja langemise Atlantas, kuid see ei oleks mõjutanud kogu võrgu tööd, kuna Cloudflare'i võrk on kavandatud selliste eraldiseisvate backbonide töökatkestuste talumiseks. Juba rakendatud muudatustest on märkimisväärne kohalike marsruutide prioriteetide (local-preference) ülevaatamine, mis ei lase ühel marsruuteril mõjutada liiklust võrgu teistes osades.
Allikas: opennet.ru
