Sveiki, mani sauc Aleksandrs Azimovs. Yandex es izstrÄdÄju dažÄdas uzraudzÄ«bas sistÄmas, kÄ arÄ« transporta tÄ«klu arhitektÅ«ru. Bet Å”odien mÄs runÄsim par BGP protokolu.
Pirms nedÄļas Yandex iespÄjoja ROV (Route Origin Validation) visu peering partneru saskarnÄs, kÄ arÄ« satiksmes apmaiÅas punktos. Par to, kÄpÄc tas tika darÄ«ts un kÄ tas ietekmÄs mijiedarbÄ«bu ar telekomunikÄciju operatoriem, lasiet tÄlÄk.
BGP un kas ar to slikts
JÅ«s droÅ”i vien zinÄt, ka BGP tika izstrÄdÄts kÄ starpdomÄnu marÅ”rutÄÅ”anas protokols. TomÄr pa ceļam lietoÅ”anas gadÄ«jumu skaitam izdevÄs pieaugt: Å”odien BGP, pateicoties daudziem paplaÅ”inÄjumiem, ir pÄrtapis par ziÅojumu kopni, kas aptver uzdevumus no operatora VPN lÄ«dz tagad modÄ«gajam SD-WAN, un ir pat atradis pielietojumu kÄ transports SDN lÄ«dzÄ«gam kontrollerim, pÄrvÄrÅ”ot attÄluma vektoru BGP par kaut ko lÄ«dzÄ«gu saiÅ”u sat protokolam.
KÄpÄc BGP ir saÅÄmis (un turpina saÅemt) tik daudz lietojumu? Ir divi galvenie iemesli:
BGP ir vienÄ«gais protokols, kas darbojas starp autonomÄm sistÄmÄm (AS);
BGP atbalsta atribÅ«tus TLV (tipa-garuma-vÄrtÄ«bas) formÄtÄ. JÄ, protokols Å”ajÄ ziÅÄ nav vienÄ«gais, taÄu, tÄ kÄ telekomunikÄciju operatoru krustojumos to nav ar ko aizstÄt, vienmÄr izrÄdÄs izdevÄ«gÄk tam pievienot citu funkcionÄlu elementu, nevis atbalstÄ«t papildu marÅ”rutÄÅ”anas protokolu.
Kas viÅam kaiÅ”? ÄŖsÄk sakot, protokolÄ nav iebÅ«vÄtu mehÄnismu saÅemtÄs informÄcijas pareizÄ«bas pÄrbaudei. Tas ir, BGP ir a priori uzticÄ«bas protokols: ja vÄlaties pateikt pasaulei, ka jums tagad pieder Rostelecom, MTS vai Yandex tÄ«kls, lÅ«dzu!
IRRDB filtrs - labÄkais no sliktÄkajiem
Rodas jautÄjums: kÄpÄc internets joprojÄm darbojas Å”ÄdÄ situÄcijÄ? JÄ, tas darbojas lielÄko daļu laika, bet tajÄ paÅ”Ä laikÄ tas periodiski eksplodÄ, padarot veselus valsts segmentus nepieejamus. Lai gan arÄ« BGP hakeru aktivitÄte pieaug, lielÄko daļu anomÄliju joprojÄm izraisa kļūdas. Å Ä« gada piemÄrs ir neliela operatora kļūda BaltkrievijÄ, kas uz pusstundu padarÄ«ja MegaFon lietotÄjiem nepieejamu ievÄrojamu interneta daļu. VÄl viens piemÄrs - traks BGP optimizÄtÄjs salauza vienu no lielÄkajiem CDN tÄ«kliem pasaulÄ.
RÄ«si. 2. Cloudflare satiksmes pÄrtverÅ”ana
Bet tomÄr, kÄpÄc Å”Ädas anomÄlijas rodas reizi seÅ”os mÄneÅ”os, nevis katru dienu? TÄ kÄ pÄrvadÄtÄji izmanto ÄrÄjÄs marÅ”rutÄÅ”anas informÄcijas datu bÄzes, lai pÄrbaudÄ«tu, ko viÅi saÅem no BGP kaimiÅiem. Å Ädu datu bÄzu ir daudz, dažas no tÄm pÄrvalda reÄ£istratori (RIPE, APNIC, ARIN, AFRINIC), dažas ir neatkarÄ«gi spÄlÄtÄji (slavenÄkÄ ir RADB), un ir arÄ« vesels reÄ£istratoru komplekts, kas pieder lieliem uzÅÄmumiem (3. lÄ«menis). , NTT utt.). Pateicoties Ŕīm datu bÄzÄm, starpdomÄnu marÅ”rutÄÅ”ana saglabÄ tÄs darbÄ«bas relatÄ«vo stabilitÄti.
TomÄr ir nianses. MarÅ”ruta informÄcija tiek pÄrbaudÄ«ta, pamatojoties uz ROUTE-OBJECTS un AS-SET objektiem. Un, ja pirmÄ nozÄ«mÄ autorizÄciju daļai no IRRDB, tad otrajai klasei nav autorizÄcijas kÄ klasei. Tas nozÄ«mÄ, ka ikviens var pievienot ikvienu savÄm kopÄm un tÄdÄjÄdi apiet augÅ”upÄjo pakalpojumu sniedzÄju filtrus. TurklÄt netiek garantÄta AS-SET nosaukumu unikalitÄte starp dažÄdÄm IRR bÄzÄm, kas var radÄ«t pÄrsteidzoÅ”us efektus ar pÄkÅ”Åu savienojamÄ«bas zudumu telekomunikÄciju operatoram, kurÅ” no savas puses neko nemainÄ«ja.
Papildu izaicinÄjums ir AS-SET lietoÅ”anas veids. Å eit ir divi punkti:
Kad operators iegÅ«st jaunu klientu, tas pievieno to savam AS-SET, bet gandrÄ«z nekad to nenoÅem;
PaÅ”i filtri tiek konfigurÄti tikai saskarnÄs ar klientiem.
RezultÄtÄ mÅ«sdienu BGP filtru formÄts sastÄv no pakÄpeniski degradÄjoÅ”iem filtriem saskarnÄs ar klientiem un a priori uzticÄÅ”anÄs tam, kas nÄk no peering partneriem un IP tranzÄ«ta nodroÅ”inÄtÄjiem.
Ar ko tiek aizstÄti prefiksu filtri, kuru pamatÄ ir AS-SET? InteresantÄkais ir tas, ka Ä«stermiÅÄ ā nekÄ. Bet parÄdÄs papildu mehÄnismi, kas papildina IRRDB balstÄ«to filtru darbu, un, pirmkÄrt, tas, protams, ir RPKI.
RPKI
VienkÄrÅ”otÄ veidÄ RPKI arhitektÅ«ru var uzskatÄ«t par izplatÄ«tu datu bÄzi, kuras ierakstus var kriptogrÄfiski pÄrbaudÄ«t. ROA (Route Object Authorization) gadÄ«jumÄ parakstÄ«tÄjs ir adreses telpas Ä«paÅ”nieks, un pats ieraksts ir trÄ«skÄrÅ”s (prefikss, asn, max_length). BÅ«tÄ«bÄ Å”is ieraksts postulÄ sekojoÅ”o: $prefix adreÅ”u telpas Ä«paÅ”nieks ir atļÄvis AS numuru $asn reklamÄt prefiksus, kuru garums nepÄrsniedz $max_length. Un marÅ”rutÄtÄji, izmantojot RPKI keÅ”atmiÅu, var pÄrbaudÄ«t pÄra atbilstÄ«bu prefikss - pirmais runÄtÄjs ceļÄ.
3. attÄls. RPKI arhitektÅ«ra
ROA objekti ir standartizÄti diezgan ilgu laiku, taÄu vÄl nesen tie faktiski palika tikai uz papÄ«ra IETF žurnÄlÄ. ManuprÄt, iemesls tam izklausÄs biedÄjoÅ”i ā slikts mÄrketings. PÄc standartizÄcijas pabeigÅ”anas stimuls bija tas, ka ROA aizsargÄja pret BGP nolaupÄ«Å”anu, kas nebija taisnÄ«ba. UzbrucÄji var viegli apiet filtrus, kuru pamatÄ ir ROA, ievadot pareizo maiÅstrÄvas numuru ceļa sÄkumÄ. Un, tiklÄ«dz Ŕī atziÅa nÄca, nÄkamais loÄ£iskais solis bija atteikÅ”anÄs no ROA izmantoÅ”anas. Un tieÅ”Äm, kÄpÄc mums vajadzÄ«ga tehnoloÄ£ija, ja tÄ nedarbojas?
KÄpÄc ir pienÄcis laiks mainÄ«t savas domas? Jo tÄ nav visa patiesÄ«ba. ROA neaizsargÄ pret hakeru darbÄ«bu BGP, bet aizsargÄ pret nejauÅ”u satiksmes nolaupÄ«Å”anu, piemÄram, no statiskÄm noplÅ«dÄm BGP, kas kļūst arvien izplatÄ«tÄka. TurklÄt atŔķirÄ«bÄ no IRR balstÄ«tiem filtriem ROV var izmantot ne tikai saskarnÄs ar klientiem, bet arÄ« saskarnÄs ar vienaudžiem un augÅ”upÄjiem pakalpojumu sniedzÄjiem. Tas ir, lÄ«dz ar RPKI ievieÅ”anu no BGP pamazÄm izzÅ«d a priori uzticÄÅ”anÄs.
Tagad galvenie spÄlÄtÄji pakÄpeniski ievieÅ” marÅ”rutu pÄrbaudi, pamatojoties uz ROA: lielÄkais Eiropas IX jau izmet nepareizos marÅ”rutus; starp Tier-1 operatoriem ir vÄrts izcelt AT&T, kas ir iespÄjojis filtrus saskarnÄs ar saviem peering partneriem. Projektam tuvojas arÄ« lielÄkie satura nodroÅ”inÄtÄji. Un desmitiem vidÄja lieluma tranzÄ«ta operatoru to jau klusi ieviesuÅ”i, nevienam par to nestÄstot. KÄpÄc visi Å”ie operatori ievieÅ” RPKI? Atbilde ir vienkÄrÅ”a: lai aizsargÄtu savu izejoÅ”o trafiku no citu cilvÄku kļūdÄm. TÄpÄc Yandex ir viens no pirmajiem Krievijas FederÄcijÄ, kas savÄ tÄ«kla malÄ iekļÄvis ROV.
Kas notiks tÄlÄk?
Tagad esam iespÄjojuÅ”i marÅ”rutÄÅ”anas informÄcijas pÄrbaudi saskarnÄs ar trafika apmaiÅas punktiem un privÄtajiem peings. TuvÄkajÄ nÄkotnÄ verifikÄcija tiks iespÄjota arÄ« ar augÅ”puses trafika nodroÅ”inÄtÄjiem.
KÄda tev ir atŔķirÄ«ba? Ja vÄlaties palielinÄt trafika marÅ”rutÄÅ”anas droŔību starp tÄ«klu un Yandex, mÄs iesakÄm:
Parakstiet savu adreses vietu portÄlÄ RIPE - tas ir vienkÄrÅ”i, aizÅem vidÄji 5-10 minÅ«tes. Tas pasargÄs mÅ«su savienojumu gadÄ«jumÄ, ja kÄds netÄ«Å”Äm nozags jÅ«su adreÅ”u vietu (un tas noteikti notiks agrÄk vai vÄlÄk);
InstalÄjiet vienu no atvÄrtÄ koda RPKI keÅ”atmiÅÄm (nogatavojies-validators, rutinÄtÄjs) un iespÄjojiet marÅ”ruta pÄrbaudi uz tÄ«kla robežas - tas prasÄ«s vairÄk laika, taÄu tas atkal neradÄ«s nekÄdas tehniskas grÅ«tÄ«bas.
Yandex atbalsta arÄ« filtrÄÅ”anas sistÄmas izstrÄdi, kuras pamatÄ ir jaunais RPKI objekts - ASPA (AutonomÄs sistÄmas nodroÅ”inÄtÄja autorizÄcija). Filtri, kuru pamatÄ ir ASPA un ROA objekti, var ne tikai aizstÄt ānoplÅ«duÅ”osā AS-SET, bet arÄ« novÄrst MiTM uzbrukumu problÄmas, izmantojot BGP.
Par ASPA sÄ«kÄk runÄÅ”u pÄc mÄneÅ”a Next Hop konferencÄ. TajÄ uzstÄsies arÄ« kolÄÄ£i no Netflix, Facebook, Dropbox, Juniper, Mellanox un Yandex. Ja interesÄ tÄ«kla steks un tÄ attÄ«stÄ«ba nÄkotnÄ, nÄc reÄ£istrÄcija ir atvÄrta.