Cloudflare'i ettevõte, sisu edastamise võrku 27 miljonile veebilehele ja teenindab 13% liiklusest 1000 suurimast saidist, juhtumi üksikasjad, mille tõttu oli Cloudflare'i võrgu töö katkestatud 27 minutit, sealhulgas liikluse edastamine Londonisse, Chicagosse, Los Angelesesse, Washingtonisse, Amsterdamisse, Pariisi, Moskvasse ja Peterburi. Probleem tekkis Atlanta marsruuteris vale konfiguratsiooni muutmise tõttu. Juhtum toimus 17. juulil kella 21:12–21:39 (UTC) ja Cloudflare'i võrgu liiklus vähenes umbes 50%.
Tehniliste tööde käigus, soovides vähendada liiklust ühe marsruutimise kaudu, eemaldasid insenerid ühe rea seadistuste blokkis, mis määrab nimekirja marsruutide vastuvõtmisel, filtreeritud vastavalt etteantud prefikside nimekirjale. Õige oleks olnud kogu blokk deaktiveerida, kuid vale tõttu eemaldati üksnes prefikside nimekirja rida.
{master}[edit]
atl01# show | compare
[edit policy-options policy-statement 6-BBONE-OUT term 6-SITE-LOCAL from]
! inactive: prefix-list 6-SITE-LOCAL { … }
Bloki sisu:
from {
prefix-list 6-SITE-LOCAL;
}
then {
local-preference 200;
community add SITE-LOCAL-ROUTE;
community add ATL01;
community add NORTH-AMERICA;
accept;
}
Kuna eelmiste loetelu sidumise eemaldamisest, hakkas jääkplokk levima kõikidele prefiksitele ning ruuter hakkas saatma oma BGP marsruute teiste backbonede ruuterkitele. Juhuslikult olid uued marsruudid kõrgema prioriteediga (local-preference 200) võrreldes prioriteediga (100), mis oli määratud teistele marsruutidele automaatse liikluse optimeerimise süsteemi kaudu. Lõppkokkuvõttes, selle asemel, et eemaldada marsruutimist backbonest, toimus kõrgema prioriteediga BGP marsruutide leke, mille tulemuseks oli, et liiklus, mis oli suunatud teistele backbonedele, suunati Atlantasse, mis viis ruuteri ülekoormuseni ja osa võrgu kokkuvarisemiseni.
Ette vältida sarnaste olukordade kordumist, plaanitakse esmaspäeval teha mitmeid muudatusi Cloudflare'i selgroogade seadistustes. BGP-seanssidele lisatakse maksimaalsete prefiksite piirang (maximum-prefix), mis blokeerib probleemse selgroo juhtudel, kui selle kaudu suunatakse liiga palju prefikseid. Kui see piirang oleks varem rakendatud, oleks kaalutlev probleem põhjustanud Atlanta selgroo väljalülitamise, kuid see ei oleks mõjutanud kogu võrgu tööd, kuna Cloudflare'i infrastruktuur on kavandatud võimalusega individuaalsete selgroogade rikkeid taluda. Juba vastu võetud muudatuste seas on märgitud kohalike marsruutide prioriteetide (local-preference) ülevaatamine, mis ei luba ühel marsruuteril mõjutada liiklust võrgu teistes osades.
Allikas: opennet.ru
