PamudinÄja mani uz Å”o ziÅu .
Es to citÄju Å”eit:
Ŕodien 18:53
Es Å”odien biju apmierinÄts ar pakalpojumu sniedzÄju. LÄ«dz ar vietÅu bloÄ·ÄÅ”anas sistÄmas atjauninÄÅ”anu tika aizliegts viÅa pastnieks mail.ru KopÅ” rÄ«ta zvanÄ«ju tehniskajam atbalstam, bet viÅi neko nevar darÄ«t. Pakalpojumu sniedzÄjs ir mazs, un acÄ«mredzot augstÄka ranga pakalpojumu sniedzÄji to bloÄ·Ä. Es arÄ« pamanÄ«ju visu saitu atvÄrÅ”anas palÄninÄÅ”anos, varbÅ«t viÅi uzstÄdÄ«ja kaut kÄdu greizu DLP? IepriekÅ” nebija nekÄdu problÄmu ar piekļuvi. RuNet iznÄ«cinÄÅ”ana notiek tieÅ”i manu acu priekÅ”Ä...
Fakts ir tÄds, ka Ŕķiet, ka mÄs esam viens un tas pats pakalpojumu sniedzÄjs :)
Un tieÅ”Äm, Es gandrÄ«z uzminÄju problÄmu cÄloni ar mail.ru (lai gan mÄs ilgu laiku atteicÄmies ticÄt Å”Ädai lietai).
TÄlÄk norÄdÄ«tais tiks sadalÄ«ts divÄs daļÄs:
- iemeslus mÅ«su paÅ”reizÄjÄm problÄmÄm ar mail.ru un aizraujoÅ”ajiem meklÄjumiem tos atrast
- ISP esamÄ«ba mÅ«sdienu realitÄtÄ, suverÄnÄ RuNet stabilitÄte.
PieejamÄ«bas problÄmas ar mail.ru
Ak, tas ir diezgan garÅ” stÄsts.
Fakts ir tÄds, ka, lai Ä«stenotu valsts prasÄ«bas (sÄ«kÄk otrajÄ daļÄ), mÄs iegÄdÄjÄmies, konfigurÄjÄm un uzstÄdÄ«jÄm dažas iekÄrtas - gan aizliegto resursu filtrÄÅ”anai, gan ievieÅ”anai. abonenti.
Pirms kÄda laika mÄs beidzot pÄrbÅ«vÄjÄm tÄ«kla kodolu tÄ, lai visa abonentu plÅ«sma caur Å”o aprÄ«kojumu gÄja stingri pareizajÄ virzienÄ.
Pirms dažÄm dienÄm ieslÄdzÄm tai aizliegto filtrÄÅ”anu (atstÄjot veco sistÄmu darboties) - viss it kÄ gÄja labi.
PÄc tam viÅi pakÄpeniski sÄka iespÄjot NAT Å”ajÄ iekÄrtÄ dažÄdÄm abonentu daļÄm. ArÄ« pÄc izskata viss Ŕķita labi.
Bet Å”odien, iespÄjojot NAT aprÄ«kojumÄ nÄkamajai abonentu daļai, jau no paÅ”a rÄ«ta mÄs saskÄrÄmies ar pienÄcÄ«gu skaitu sÅ«dzÄ«bu par nepieejamÄ«bu vai daļÄju pieejamÄ«bu. un citi Mail Ru Group resursi.
ViÅi sÄka pÄrbaudÄ«t: kaut kas kaut kur dažreiz, reizÄm sÅ«ta atbildot uz pieprasÄ«jumiem tikai mail.ru tÄ«kliem. TurklÄt tas nosÅ«ta nepareizi Ä£enerÄtu (bez ACK), acÄ«mredzami mÄkslÄ«gu TCP RST. Tas izskatÄ«jÄs Å”Ädi:
Protams, pirmÄs domas bija par jauno aprÄ«kojumu: drausmÄ«gs DPI, nav uzticÄ«bas, jÅ«s nekad nezinÄt, ko tas var darÄ«t - galu galÄ TCP RST ir diezgan izplatÄ«ta lieta starp bloÄ·ÄÅ”anas rÄ«kiem.
PieÅÄmums MÄs arÄ« izvirzÄ«jÄm domu, ka kÄds āpriekÅ”nieksā filtrÄ, taÄu nekavÄjoties to atmetÄm.
PirmkÄrt, mums ir pietiekami saprÄtÄ«gi augÅ”upsaites, lai mums nebÅ«tu Å”Ädi jÄcieÅ” :)
OtrkÄrt, mÄs esam saistÄ«ti ar vairÄkiem MaskavÄ, un caur tiem iet trafiks uz mail.ru - un viÅiem nav ne pienÄkumu, ne citu motÄ«vu filtrÄt trafiku.
NÄkamÄ dienas puse tika veltÄ«ta tam, ko parasti sauc par Å”amanismu - kopÄ ar ekipÄjuma pÄrdevÄju, par ko viÅiem paldies, viÅi nepadevÄs :)
- filtrÄÅ”ana tika pilnÄ«bÄ atspÄjota
- NAT tika atspÄjots, izmantojot jauno shÄmu
- testa dators tika ievietots atseviÅ”Ä·Ä izolÄtÄ baseinÄ
- IP adrese mainīta
PÄcpusdienÄ tika pieŔķirta virtuÄlÄ maŔīna, kas pieslÄdzÄs tÄ«klam pÄc parastÄ lietotÄja shÄmas, un pÄrdevÄja pÄrstÄvjiem tika dota piekļuve tai un aprÄ«kojumam. Å amanisms turpinÄjÄs :)
BeigÄs pÄrdevÄja pÄrstÄvis pÄrliecinoÅ”i paziÅoja, ka aparatÅ«rai ar to nav nekÄda sakara: pirmie nÄk no kaut kur augstÄk.
PiezÄ«meÅ ajÄ brÄ«dÄ« kÄds var teikt: bet daudz vieglÄk bija Åemt izgÄztuvi nevis no testa datora, bet gan no Å”osejas virs DPI?
NÄ, diemžÄl izmest (un pat tikai spoguļattÄlu) 40+gb/s nebÅ«t nav triviÄli.
PÄc Ŕī, vakarÄ, nekas cits neatlika, kÄ atgriezties pie dÄ«vainas filtrÄcijas pieÅÄmuma kaut kur augÅ”Ä.
PaskatÄ«jos caur kuru IX tagad iet trafika uz MRG tÄ«kliem un vienkÄrÅ”i atcÄlu tam bgp sesijas. Un - lÅ«k, lÅ«k! - viss uzreiz atgriezÄs normÄlÄ stÄvoklÄ« š
No vienas puses, žÄl, ka visa diena tika pavadÄ«ta, meklÄjot problÄmu, lai gan tÄ tika atrisinÄta piecÄs minÅ«tÄs.
No otras puses:
ā manÄ atmiÅÄ tas ir bezprecedenta lieta. KÄ jau rakstÄ«ju augstÄk ā IX tieÅ”Äm nav jÄgas filtrÄt tranzÄ«ta satiksmi. ViÅiem parasti ir simtiem gigabitu/terabitu sekundÄ. Es vienkÄrÅ”i nevarÄju kaut ko tÄdu nopietni iedomÄties vÄl nesen.
ā neticami laimÄ«ga apstÄkļu sakritÄ«ba: jauna sarežģīta aparatÅ«ra, kurai nav Ä«paÅ”i uzticama un no kuras nav skaidrs, ko var sagaidÄ«t ā Ä«paÅ”i pielÄgota resursu, tostarp TCP RST, bloÄ·ÄÅ”anai.
Å Ä«s interneta biržas NOC paÅ”laik meklÄ problÄmu. PÄc viÅu domÄm (un es viÅiem ticu), viÅiem nav nekÄdas Ä«paÅ”i izvietotas filtrÄÅ”anas sistÄmas. Bet, paldies debesÄ«m, tÄlÄkie meklÄjumi vairs nav mÅ«su problÄma :)
Å is bija neliels mÄÄ£inÄjums sevi attaisnot, lÅ«dzu saproti un piedod :)
PS: es apzinÄti nenosaucu DPI/NAT vai IX ražotÄju (patiesÄ«bÄ man pat nav Ä«paÅ”u sÅ«dzÄ«bu par tiem, galvenais ir saprast, kas tas bija)
Å odienas (kÄ arÄ« vakardienas un aizvakardienas) realitÄte interneta pakalpojumu sniedzÄja skatÄ«jumÄ
PÄdÄjÄs nedÄļas esmu pavadÄ«jis bÅ«tiski pÄrbÅ«vÄjot tÄ«kla kodolu, veicot virkni manipulÄciju āpeļÅas nolÅ«kosā, riskÄjot bÅ«tiski ietekmÄt reÄllaika lietotÄju trafiku. Å emot vÄrÄ Å”Ä« visa mÄrÄ·us, rezultÄtus un sekas, morÄli tas viss ir diezgan grÅ«ti. ÄŖpaÅ”i - kÄrtÄjo reizi klausoties skaistas runas par Runetes stabilitÄtes sargÄÅ”anu, suverenitÄti utt. un tÄ tÄlÄk.
Å ajÄ sadaÄ¼Ä es mÄÄ£inÄÅ”u aprakstÄ«t tipiska ISP tÄ«kla kodola āevolÅ«cijuā pÄdÄjo desmit gadu laikÄ.
Pirms desmit gadiem.
Tajos svÄtÄ«gajos laikos pakalpojumu sniedzÄja tÄ«kla kodols varÄtu bÅ«t tikpat vienkÄrÅ”s un uzticams kÄ satiksmes sastrÄgums:
Å ajÄ Ä¼oti, ļoti vienkÄrÅ”otajÄ attÄlÄ nav stumbru, gredzenu, ip/mpls marÅ”rutÄÅ”anas.
TÄs bÅ«tÄ«ba ir tÄda, ka lietotÄju datplÅ«sma galu galÄ nonÄca kodola lÄ«meÅa pÄrslÄgÅ”anÄs vietÄ ā no kurienes tÄ nonÄca , no kurienes, kÄ likums, atpakaļ uz galveno pÄrslÄgÅ”anu un pÄc tam āÄrÄā - caur vienu vai vairÄkiem robežas vÄrtejiem uz internetu.
Å Ädu shÄmu ir ļoti, ļoti viegli rezervÄt gan L3 (dinamiskÄ marÅ”rutÄÅ”ana), gan L2 (MPLS).
Varat instalÄt N+1 jebko: piekļūt serveriem, slÄdžiem, robežÄm un vienÄ vai otrÄ veidÄ rezervÄt tos automÄtiskai kļūmjpÄrlÄcei.
PÄc dažiem gadiem Ikvienam KrievijÄ kļuva skaidrs, ka tÄ dzÄ«vot vairs nav iespÄjams: bija steidzami jÄpasargÄ bÄrni no interneta kaitÄ«gÄs ietekmes.
Steidzami bija jÄatrod veidi, kÄ filtrÄt lietotÄju trafiku.
Å eit ir dažÄdas pieejas.
Ne pÄrÄk labÄ gadÄ«jumÄ kaut kas tiek ievietots āplaisÄā: starp lietotÄju trafiku un internetu. Tiek analizÄta trafika, kas iet caur Å”o ākaut koā, un, piemÄram, uz abonentu tiek nosÅ«tÄ«ta viltota pakete ar novirzÄ«Å”anu.
Nedaudz labÄkÄ gadÄ«jumÄ - ja trafika apjoms atļauj - ar ausÄ«m var izdarÄ«t nelielu triku: nosÅ«tÄ«t filtrÄÅ”anai tikai trafiku, kas nÄk no lietotÄjiem tikai uz tÄm adresÄm, kuras ir jÄfiltrÄ (lai to izdarÄ«tu, varat Åemt IP adreses no reÄ£istra vai papildus atrisiniet esoÅ”os domÄnus reÄ£istrÄ).
Savulaik Å”iem nolÅ«kiem es uzrakstÄ«ju vienkÄrÅ”u - lai gan es pat neuzdroÅ”inos viÅu tÄ saukt. Tas ir ļoti vienkÄrÅ”s un ne pÄrÄk produktÄ«vs - tomÄr tas ļÄva mums un desmitiem (ja ne simtiem) citu pakalpojumu sniedzÄju nekavÄjoties neiztÄrÄt miljonus par rÅ«pnieciskajÄm DPI sistÄmÄm, bet deva vairÄkus papildu gadus.
Starp citu, par toreizÄjo un paÅ”reizÄjo DPIStarp citu, daudzi, kas tolaik iegÄdÄjÄs tirgÅ« pieejamÄs DPI sistÄmas, tÄs jau bija izmetuÅ”i. Nu, tie nav paredzÄti Å”im nolÅ«kam: simtiem tÅ«kstoÅ”u adreÅ”u, desmitiem tÅ«kstoÅ”u URL.
Un tajÄ paÅ”Ä laikÄ vietÄjie ražotÄji ir ļoti spÄcÄ«gi pacÄluÅ”ies uz Å”o tirgu. Es nerunÄju par aparatÅ«ras komponentu - Å”eit visiem viss ir skaidrs, bet programmatÅ«ra - galvenais, kas ir DPI - Å”odien, iespÄjams, ir ja ne vismodernÄkÄ pasaulÄ, tad noteikti a) attÄ«stÄs lÄcieniem un robežÄm, un b) par iepakotas preces cenu - vienkÄrÅ”i nesalÄ«dzinÄma ar Ärvalstu konkurentiem.
GribÄtos lepoties, bet mazliet skumji =)
Tagad viss izskatÄ«jÄs Å”Ädi:
VÄl pÄc pÄris gadiem visiem jau bija auditori; ReÄ£istrÄ bija arvien vairÄk resursu. DažÄm vecÄkÄm iekÄrtÄm (piemÄram, Cisco 7600) āsÄnu filtrÄÅ”anasā shÄma vienkÄrÅ”i kļuva nepiemÄrota: marÅ”rutu skaits uz 76 platformÄm ir ierobežots lÄ«dz aptuveni deviÅsimt tÅ«kstoÅ”iem, savukÄrt IPv4 marÅ”rutu skaits vien Å”odien tuvojas 800. tÅ«kst. Un ja tas ir arÄ« ipv6... Un arÄ«... cik tur ir? 900000 XNUMX individuÄlu adreÅ”u RKN aizliegumÄ? =)
KÄds pÄrgÄja uz shÄmu ar visas mugurkaula trafika atspoguļoÅ”anu uz filtrÄÅ”anas serveri, kam jÄanalizÄ visa plÅ«sma un, ja tiek atrasts kaut kas slikts, jÄnosÅ«ta RST abos virzienos (sÅ«tÄ«tÄjs un saÅÄmÄjs).
TomÄr, jo vairÄk satiksmes, jo mazÄk piemÄrojama Ŕī shÄma. Ja apstrÄde tiek aizkavÄta, spoguļattÄls vienkÄrÅ”i nepamanÄ«ti lidos garÄm, un pakalpojumu sniedzÄjs saÅems smalku ziÅojumu.
Arvien vairÄk pakalpojumu sniedzÄju uz lielceļiem ir spiesti instalÄt dažÄdas uzticamÄ«bas pakÄpes DPI sistÄmas.
Pirms gada vai diviem saskaÅÄ ar baumÄm gandrÄ«z visa FSB sÄka pieprasÄ«t faktisku aprÄ«kojuma uzstÄdÄ«Å”anu (iepriekÅ” lielÄkÄ daļa pakalpojumu sniedzÄju tika pÄrvaldÄ«ti ar iestÄžu apstiprinÄjumu SORM plÄns - operatÄ«vo pasÄkumu plÄns, ja nepiecieÅ”ams kaut kur kaut ko atrast)
Papildus naudai (ne gluži pÄrmÄrÄ«gi, bet tomÄr miljoniem), SORM prasÄ«ja vÄl daudzas manipulÄcijas ar tÄ«klu.
- Pirms nat tulkoÅ”anas SORM ir jÄredz āpelÄkÄsā lietotÄju adreses
- SORM ir ierobežots tÄ«kla saskarÅu skaits
TÄpÄc jo Ä«paÅ”i mums bija ļoti jÄpÄrbÅ«vÄ daļa no kodola - vienkÄrÅ”i, lai savÄktu lietotÄju trafiku uz piekļuves serveriem kaut kur vienuviet. Lai to atspoguļotu SORM ar vairÄkÄm saitÄm.
Tas ir, ļoti vienkÄrÅ”oti, tas bija (pa kreisi) pret kļuva (pa labi):
Tagad LielÄkÄ daļa pakalpojumu sniedzÄju pieprasa arÄ« SORM-3 ievieÅ”anu, kas cita starpÄ ietver nat apraides reÄ£istrÄÅ”anu.
Å iem nolÅ«kiem mums bija arÄ« jÄpievieno atseviŔķs NAT aprÄ«kojums iepriekÅ” redzamajai diagrammai (tieÅ”i tas, kas ir apspriests pirmajÄ daļÄ). TurklÄt pievienojiet noteiktÄ secÄ«bÄ: tÄ kÄ SORM ir ājÄredzā trafiks pirms adreÅ”u tulkoÅ”anas, trafikam ir jÄnotiek stingri Å”Ädi: lietotÄji -> pÄrslÄgÅ”ana, kodols -> piekļuves serveri -> SORM -> NAT -> pÄrslÄgÅ”ana, kodols - > Internets. Lai to izdarÄ«tu, peļÅas nolÅ«kos bija burtiski ājÄpagriežā satiksmes plÅ«smas otrÄ virzienÄ, kas arÄ« bija diezgan grÅ«ti.
RezumÄjot: pÄdÄjo desmit gadu laikÄ vidusmÄra pakalpojumu sniedzÄja galvenais dizains ir kļuvis daudzkÄrt sarežģītÄks, un ievÄrojami palielinÄjuÅ”ies papildu atteices punkti (gan aprÄ«kojuma, gan atseviŔķu komutÄcijas lÄ«niju veidÄ). PatiesÄ«bÄ pati prasÄ«ba āredzÄt visuā nozÄ«mÄ Å”Ä« āvisaā samazinÄÅ”anu lÄ«dz vienam punktam.
Es domÄju, ka to var diezgan pÄrredzami ekstrapolÄt uz paÅ”reizÄjÄm iniciatÄ«vÄm, lai padarÄ«tu Runet suverenu, aizsargÄtu, stabilizÄtu un uzlabotu to :)
Un Yarovaya joprojÄm ir priekÅ”Ä.
Avots: www.habr.com