Cloudflare, et indholdsleveringsnetværk for 27 millioner internetsider, der håndterer trafik til 13% af de 1000 største websteder, detaljerne om hændelsen, som førte til, at mange segmenter af Cloudflares netværk var nede i 27 minutter, herunder dem, der håndterer trafik til London, Chicago, Los Angeles, Washington, Amsterdam, Paris, Moskva og Sankt Petersborg. Problemet blev forårsaget af en forkert ændring i en routerkonfiguration i Atlanta. Under hændelsen, som fandt sted den 17. juli fra 21:12 til 21:39 (UTC), faldt den samlede trafik i Cloudflares netværk med ca. 50%.
Under teknisk vedligeholdelse, i et forsøg på at reducere noget af trafikken fra en af backbone-forbindelserne, fjernede ingeniørerne en linje i indstillingsblokken, der definerede listen over ruter, der accepteres gennem backbone og filtreres i henhold til den angivne præfiksliste. Den korrekte handling ville have været at deaktivere hele blokken, men der blev forkert kun fjernet en linje fra præfiksliste.
{master}[rediger]
atl01# vis | sammenlign
[rediger policy-options policy-statement 6-BBONE-OUT betingelse 6-SITE-LOCAL fra]
! inaktiv: præfiksliste 6-SITE-LOCAL { … }
Indholdet af blokken:
fra {
præfiksliste 6-SITE-LOCAL;
}
så {
lokal-præference 200;
community tilføj SITE-LOCAL-ROUTE;
community tilføj ATL01;
community tilføj NORD-AMERIKA;
accepter;
}
På grund af fjernelsen af bindingen til præfiksliste begyndte resten af blokken at blive distribueret til alle præfikser, og routeren begyndte at sende alle sine BGP-ruter til routerne på andre backbone-forbindelser. Ved et eneste tilfælde havde de nye ruter en højere prioritet (lokal-præference 200) sammenlignet med prioriteten (100), der var tildelt til andre ruter af det automatiserede trafikoptimeringssystem. I stedet for at fjerne routing fra backbone, opstod der en lækage af de mere prioriterede BGP-ruter, hvilket førte til, at trafikken rettet mod andre backbone-forbindelser gik til Atlanta, hvilket resulterede i overbelastning af routeren og sammenbrud af dele af netværket.
For at undgå lignende hændelser i fremtiden, planlægges der mandag flere ændringer i opsætningen af Cloudflare-bagbundene. Der vil blive tilføjet en grænse for det maksimale antal præfikser (maximum-prefix) for BGP-sessioner, som vil blokere det problematiske bagbånd, hvis der sendes for mange præfikser gennem det. Hvis denne grænse var blevet tilføjet tidligere, ville den omhandlede problematik have ført til nedlukning af bagbåndet i Atlanta, men ikke påvirket hele netværkets drift, da Cloudflare-netværket er designet til at kunne tåle, at enkelte bagbånd fejler. Blandt de allerede vedtagne ændringer kan nævnes en revurdering af prioriteter (local-preference) for lokale ruter, som forhindrer en router i at påvirke trafikken andre steder i netværket.
Kilde: opennet.ru
