Cloudflare, een content delivery network voor 27 miljoen internetbronnen en verantwoordelijk voor 13% van het verkeer van de 1000 grootste websites, details van het incident waarbij gedurende 27 minuten de werking van veel segmenten van het Cloudflare-netwerk werd verstoord, waaronder die verantwoordelijk voor het leveren van verkeer naar Londen, Chicago, Los Angeles, Washington, Amsterdam, Parijs, Moskou en Sint-Petersburg. Het probleem werd veroorzaakt door een onjuiste wijziging van de configuratie op de router in Atlanta. Tijdens het incident dat plaatsvond op 17 juli van 21:12 tot 21:39 (UTC), daalde het totale verkeersvolume in het Cloudflare-netwerk met ongeveer 50%.
Tijdens technische werkzaamheden, en met de bedoeling om een deel van het verkeer van een van de backbones te verwijderen, verwijderden ingenieurs één regel in het configuratieblok dat de lijst met via de backbone geaccepteerde routes definieert, gefilterd op basis van de opgegeven lijst met prefixen. Het juiste zou zijn geweest om het hele blok te deactiveren, maar per ongeluk werd slechts de regel met de prefixlijst verwijderd.
{master}[bewerken]
atl01# show | vergelijken
[bewerken beleidsopties beleidsverklaring 6-BBONE-OUT term 6-SITE-LOCAL van]
! inactief: prefix-lijst 6-SITE-LOCAL { … }
Inhoud van het blok:
van {
prefix-lijst 6-SITE-LOCAL;
}
dan {
lokale-voorkeur 200;
gemeenschap voeg SITE-LOCAL-ROUTE toe;
gemeenschap voeg ATL01 toe;
gemeenschap voeg NOORD-AMERIKA toe;
accepteer;
}
Door het verwijderen van de binding aan de prefixlijst begon de resterende inhoud van het blok zich uit te breiden naar alle prefixen en ging de router al zijn BGP-routes naar de routers van andere backbones verzenden. Toevallig hadden de nieuwe routes een hogere prioriteit (lokale voorkeur 200) in vergelijking met de prioriteit (100) die was ingesteld voor andere routes door het automatische systeem voor verkeersoptimalisatie. Hierdoor vond er in plaats van een verwijdering van de routing van de backbone een lek plaats van de hogere prioritaire BGP-routes, waardoor verkeer dat bestemd was voor andere backbones naar Atlanta werd geleid, wat leidde tot een overbelasting van de router en de ineenstorting van een deel van het netwerk.
Om toekomstige incidenten te voorkomen, zijn er voor maandag enkele wijzigingen gepland in de instellingen van de Cloudflare-backbones. Voor BGP-sessies zal er een beperking worden toegevoegd aan het maximale aantal prefixen (maximum-prefix), dat de problematische backbone zal blokkeren als er te veel prefixen via deze route worden doorgestuurd. Als deze beperking eerder was toegevoegd, zou het besproken probleem hebben geleid tot een storing van de backbone in Atlanta, maar zou het geen invloed op het functioneren van het hele netwerk hebben gehad, omdat het Cloudflare-netwerk is ontworpen om enkele backbones uit bedrijf te laten gaan. Van de reeds doorgevoerde wijzigingen is er een herziening van de local-preference voor lokale routes, die zal voorkomen dat één router invloed heeft op het verkeer in andere delen van het netwerk.
Bron: opennet.ru
