Kompania Cloudflare, rrjetin e shpërndarjes së përmbajtjes për 27 milion vende në internet dhe shërben trafikun e 13% të 1000 faqeve më të mëdha, detajet e incidentit, gjatë së cilës për 27 minuta u dëmtua funksionimi i shumë segmenteve të rrjetit Cloudflare, përfshirë ato që përgjigjen për dërgimin e trafikut në Londër, Çikago, Los Anxhelos, Uashington, Amsterdam, Paris, Moskë dhe Shën Petersburg. Problemi u shkaktua nga një ndryshim të gabuar të konfigurimit në një router në Atlantë. Gjatë incidentit, i cili ndodhi më 17 korrik nga 21:12 deri në 21:39 (UTC), sasia totale e trafikut në rrjetin Cloudflare ra afërsisht me 50%.
Gjatë realizimit të punëve teknike, duke dëshiruar të hiqte një pjesë të trafikut nga një nga bërthamë, inxhinierët fshinë një rresht në bllokun e konfigurimeve që përcaktonte listën e rrugëve që pranoheshin përmes bërthamës, të filtruar sipas listës së prefikseve të caktuara. E saktë do të kishte qenë të deaktivizohej i gjithë blloku, por për fat të keq u fshi vetëm rreshti me listën e prefikseve.
{master}[edit]
atl01# show | compare
[edit policy-options policy-statement 6-BBONE-OUT term 6-SITE-LOCAL from]
! inactive: prefix-list 6-SITE-LOCAL { … }
Përmbajtja e bllokut:
from {
prefix-list 6-SITE-LOCAL;
}
then {
local-preference 200;
community add SITE-LOCAL-ROUTE;
community add ATL01;
community add NORTH-AMERICA;
accept;
}
Mung për shkak të eliminimit të lidhjes me listën e prefikseve, pjesa tjetër e blokut filloi të përhapet në të gjitha prefikset dhe rrugëzuesi filloi të dërgonte të gjitha BGP-rrugët e tij te rrugëzuesit e backbonëve të tjerë. Për fat të keq, rrugët e reja kishin një përparësi më të lartë (local-preference 200) në krahasim me përparësinë (100) të vendosur për rrugët e tjera nga sistemi automatizues i optimizimit të trafikut. Si rezultat, në vend që të hiqej rrugëtimi nga backbone, ndodhi një rrjedhje e BGP-rrugëve me përparësi më të lartë, duke bërë që trafiku i drejtuar ndaj backbone-ve të tjera të shkonte në Atlanta, çka shkaktoi mbingarkesë në rrugëzues dhe kolapsin e një pjese të rrjetit.
Për të shmangur ngjarje të tilla në të ardhmen, një sërë ndryshimesh në konfigurimet e backbonëve të Cloudflare është planifikuar për të hënën. Do të shtohet një kufizim për seancat BGP për numrin maksimal të prefikseve (maximum-prefix), i cili do të bllokojë backbonin problematik në rast se kalojnë shumë prefikse përmes tij. Po të ishte shtuar ky kufizim më herët, problemi i konsideruar do të kishte çuar në ndalimin e backbonit në Atlanta, por nuk do të kishte pasur ndikim në funksionimin e gjithë rrjetit, pasi rrjeti i Cloudflare është ndërtuar për të lejuar dështimin e backbonëve të veçantë. Ndër ndryshimet e pranuara tashmë është rishikimi i prioriteteve (local-preference) për rrugët lokale, i cili nuk do të lejojë që një router të ndikojë në trafikun në pjesë të tjera të rrjetit.
Burimi: opennet.ru
