BGP stillingarvilla veldur því að Cloudflare hrynur í 27 mínútur

Cloudflare fyrirtæki, veita efnisafhendingarnet fyrir 27 milljónir internetauðlinda og þjónar umferð um 13% af 1000 stærstu vefsvæðum, afhjúpaður upplýsingar um atvikið, sem leiddi til þess að starfsemi margra hluta Cloudflare netkerfisins raskaðist í 27 mínútur, þar á meðal þeirra sem bera ábyrgð á að senda umferð til London, Chicago, Los Angeles, Washington, Amsterdam, París, Moskvu og St. . Vandamálið stafaði af rangri stillingarbreytingu á Atlanta beininum. Á meðan atvikið átti sér stað þann 17. júlí frá 21:12 til 21:39 (UTC), minnkaði heildarumferð á Cloudflare netinu um það bil 50%.

Meðan á tæknivinnunni stóð, þar sem þeir vildu fjarlægja hluta af umferð frá einum af burðarásunum, eyddu verkfræðingar einni línu í stillingablokkinni sem skilgreinir listann yfir leiðir sem samþykktar eru í gegnum burðarrásina, síaðar í samræmi við tilgreindan lista yfir forskeyti. Rétt hefði verið að gera kubbinn óvirkan, en fyrir mistök var aðeins línan með forskeytislistanum eytt.

{master}[breyta] atl01# sýning | bera saman
[breyta stefnu-valkostum stefnuyfirlýsingu 6-BBONE-OUT tíma 6-SITE-LOCAL frá] ! óvirkt: forskeyti-listi 6-SITE-LOCAL { … }

Lokaðu fyrir efni:

frá {
forskeyti-listi 6-SITE-LOCAL;
}
Þá {
staðbundin-val 200;
samfélag bæta við SITE-LOCAL-ROUTE;
samfélag bæta við ATL01;
samfélag bæta við NORÐUR-AMERÍKA;
samþykkja;
}

Vegna þess að bindingin við forskeytilistann var fjarlægð, byrjaði að dreifa afganginum af blokkinni á öll forskeyti og leiðin byrjaði að senda allar BGP leiðir sínar til beina annarra burðarása. Fyrir tilviljun fengu nýju leiðirnar hærri forgang (staðbundið val 200) samanborið við forganginn (100) sem settur var fyrir aðrar leiðir með sjálfvirka umferðarhagræðingarkerfinu. Afleiðingin var sú, að í stað þess að fjarlægja beina frá grunnnetinu, var BGP-leiðum með hærri forgang lekið, sem leiddi til þess að umferð sem beint var til annarra grunnneta var send til Atlanta, sem leiddi til ofhleðslu á beini og hruns hluta netkerfisins.

Til þess að koma í veg fyrir að svipuð atvik eigi sér stað í framtíðinni, er fyrirhugað að gera nokkrar breytingar á grunnstillingum Cloudflare á mánudaginn. Takmörkun á hámarksfjölda forskeyti (hámarks-forskeyti) verður bætt við fyrir BGP lotur, sem mun loka fyrir vandræðalegt burðarlið ef of mörg forskeyti eru flutt í gegnum það. Ef þessari takmörkun hefði verið bætt við fyrr hefði umrætt vandamál leitt til lokunar á burðarrásinni í Atlanta, en hefði ekki haft áhrif á rekstur alls netsins þar sem Cloudflare netið er hannað til að leyfa einstökum burðarrásum að bila. Meðal breytinga sem þegar hafa verið samþykktar er endurskoðun á forgangsröðun (staðbundin val) fyrir staðbundnar leiðir, sem mun ekki leyfa einum beini að hafa áhrif á umferð á öðrum hlutum netsins.

Heimild: opennet.ru