Kveikti mig á þessari færslu .
Ég vitna í það hér:
í dag klukkan 18:53
Ég var ánægður með þjónustuveituna í dag. Samhliða uppfærslu lokunarkerfisins var mail.ru bannaður hjá honum. Ég hef hringt í tækniaðstoð síðan í morgun, en þeir geta ekki gert neitt. Þjónustuveitan er lítil og virðist hærra settir veitendur loka á það. Ég tók líka eftir því að það hægði á opnun allra vefsvæða, kannski settu þeir upp einhverskonar skakkt DLP? Áður voru engin vandamál með aðgang. Eyðileggingin á RuNet er að gerast rétt fyrir augum mínum...
Staðreyndin er sú að það virðist sem við séum sama veitandinn :)
Og svo sannarlega, Ég giskaði næstum á orsök vandamálanna með mail.ru (þótt við neituðum að trúa á slíkt í langan tíma).
Eftirfarandi verður skipt í tvo hluta:
- ástæðurnar fyrir núverandi vandamálum okkar með mail.ru og spennandi leit að því að finna þau
- tilvist ISP í veruleika nútímans, stöðugleika fullvalda RuNet.
Aðgengisvandamál með mail.ru
Ó, það er frekar löng saga.
Staðreyndin er sú að til að framkvæma kröfur ríkisins (nánari upplýsingar í seinni hluta), keyptum við, stilltum og settum upp búnað - bæði til að sía bönnuð auðlind og til að útfæra áskrifendur.
Fyrir nokkru síðan endurbyggðum við loks netkjarna á þann hátt að öll áskrifendaumferð fór í gegnum þennan búnað stranglega í rétta átt.
Fyrir nokkrum dögum kveiktum við á bönnuðu síun á því (á meðan gamla kerfið var látið virka) - allt virtist ganga vel.
Næst fóru þeir smám saman að virkja NAT á þessum búnaði fyrir mismunandi hluta áskrifenda. Útlitið virtist líka ganga vel.
En í dag, eftir að hafa virkjað NAT á búnaðinum fyrir næsta hluta áskrifenda, stóðum við frammi fyrir ágætis fjölda kvartana um óaðgengi eða að hluta til. og önnur Mail Ru Group tilföng.
Þeir fóru að athuga: eitthvað einhvers staðar stundum, einstaka sinnum sendir sem svar við beiðnum eingöngu til mail.ru netkerfa. Þar að auki sendir það rangt myndað (án ACK), augljóslega gervi TCP RST. Svona leit þetta út:
Auðvitað voru fyrstu hugsanir um nýja búnaðinn: hræðilegt DPI, ekkert traust á honum, þú veist aldrei hvað það getur gert - þegar allt kemur til alls er TCP RST nokkuð algengur hlutur meðal blokkunartækja.
Forsenda Við settum líka fram þá hugmynd að einhver „æðri“ væri að sía, en hentum henni strax.
Í fyrsta lagi erum við með nægilega skynsama upptengla til að við þurfum ekki að þjást svona :)
Í öðru lagi erum við tengd nokkrum í Moskvu, og umferð til mail.ru fer í gegnum þá - og þeir hafa hvorki skyldur né aðrar ástæður til að sía umferð.
Næsta hluta dagsins fór í það sem venjulega er kallað sjamanismi - ásamt tækjasölunni, sem við þökkum þeim fyrir, gáfust þeir ekki upp :)
- síun var algjörlega óvirk
- NAT var óvirkt með því að nota nýja kerfið
- prófunartölvan var sett í aðskilda einangraða laug
- IP vistfangi breytt
Síðdegis var úthlutað sýndarvél sem tengdist netinu samkvæmt fyrirkomulagi venjulegs notanda og fengu fulltrúar söluaðila aðgang að henni og búnaðinum. Shamanisminn hélt áfram :)
Að lokum sagði fulltrúi söluaðilans fullviss að vélbúnaðurinn hefði nákvæmlega ekkert með það að gera: fyrstu komu einhvers staðar ofar.
AthugiðÁ þessum tímapunkti gæti einhver sagt: en það var miklu auðveldara að taka sorp ekki frá prófunartölvunni, heldur frá þjóðveginum fyrir ofan DPI?
Nei, því miður, að taka dump (og jafnvel bara spegla) 40+gbps er alls ekki léttvægt.
Eftir þetta, um kvöldið, var ekkert annað að gera en að snúa aftur til forsendna um undarlega síun einhvers staðar fyrir ofan.
Ég skoðaði í gegnum hvaða IX umferðin til MRG-netanna fer nú í gegnum og hætti einfaldlega við bgp-loturnar til þess. Og - sjá! - allt fór strax í eðlilegt horf 🙁
Annars vegar er synd að allur dagurinn hafi farið í að leita að vandamálinu, þó það hafi verið leyst á fimm mínútum.
Á hinn bóginn:
— Í minningunni er þetta fordæmalaus hlutur. Eins og ég skrifaði þegar hér að ofan - IX virkilega það þýðir ekkert að sía flutningaumferð. Þeir hafa venjulega hundruð gígabita/terabita á sekúndu. Ég gat bara ekki í alvöru ímyndað mér eitthvað svona fyrr en nýlega.
— ótrúlega heppileg tilviljun aðstæðna: Nýr flókinn vélbúnaður sem er ekki sérstaklega treystandi og sem ekki er ljóst við hverju má búast — sérsniðinn sérstaklega til að loka á auðlindir, þar á meðal TCP RSTs
NOC þessarar internetskipta er að leita að vandamáli. Samkvæmt þeim (og ég trúi þeim), eru þeir ekki með neitt sérstakt síunarkerfi. En guði sé lof, frekari leit er ekki lengur vandamál okkar :)
Þetta var lítil tilraun til að réttlæta mig, vinsamlegast skilið og fyrirgefið :)
PS: Ég nefni vísvitandi ekki framleiðanda DPI/NAT eða IX (reyndar hef ég ekki einu sinni neinar sérstakar kvartanir vegna þeirra, aðalatriðið er að skilja hvað það var)
Veruleiki dagsins (sem og gærdagsins og fyrradagsins) frá sjónarhóli netveitu
Ég hef eytt síðustu vikum í að endurbyggja kjarna netkerfisins umtalsvert, framkvæmt fullt af aðgerðum „í hagnaðarskyni“ með hættu á að hafa veruleg áhrif á umferð notenda í beinni. Miðað við markmið, niðurstöður og afleiðingar alls þessa, siðferðilega er þetta allt frekar erfitt. Sérstaklega - enn og aftur að hlusta á fallegar ræður um að vernda stöðugleika Runet, fullveldi o.s.frv. og svo framvegis.
Í þessum hluta mun ég reyna að lýsa „þróun“ netkjarna venjulegs ISP undanfarin tíu ár.
Fyrir tíu árum.
Á þessum blessuðu tímum gæti kjarninn í þjónustuneti verið eins einfaldur og áreiðanlegur og umferðarteppa:
Í þessari mjög, mjög einfölduðu mynd eru engir ferðakoffort, hringir, ip/mpls leið.
Kjarni þess er að notendaumferð kom á endanum til að skipta um kjarnastig - þaðan sem hún fór til , þaðan, að jafnaði, aftur til kjarnaskipta og síðan „út“ - í gegnum eina eða fleiri landamæragáttir á internetið.
Slíkt kerfi er mjög, mjög auðvelt að panta bæði á L3 (dynamic routing) og á L2 (MPLS).
Þú getur sett upp N+1 af hverju sem er: aðgang að netþjónum, rofa, landamærum - og á einn eða annan hátt pantað þá fyrir sjálfvirka bilun.
Eftir nokkur ár Það varð öllum ljóst í Rússlandi að það var ómögulegt að lifa svona lengur: það var brýnt að vernda börn fyrir skaðlegum áhrifum internetsins.
Það var brýn þörf á að finna leiðir til að sía notendaumferð.
Hér eru mismunandi aðferðir.
Í ekki mjög góðu tilfelli er eitthvað sett „í bilið“: milli notendaumferðar og internetsins. Umferðin sem fer í gegnum þetta „eitthvað“ er greind og til dæmis er falsaður pakki með tilvísun sendur í átt að áskrifandanum.
Í aðeins betra tilfelli - ef umferðarmagn leyfir - geturðu gert smá brellu með eyrunum: senda til síunar eingöngu umferð sem kemur frá notendum eingöngu til þeirra netföng sem þarf að sía (til að gera þetta geturðu annað hvort tekið IP tölurnar tilgreint þar úr skránni, eða leysa til viðbótar núverandi lén í skránni).
Einhvern tíma, í þessum tilgangi, skrifaði ég einfalt - þó ég þori ekki einu sinni að kalla hann það. Það er mjög einfalt og ekki mjög afkastamikið - hins vegar gerði það okkur og tugum (ef ekki hundruðum) annarra veitenda kleift að leggja ekki strax út milljónir á iðnaðar DPI kerfi, en gaf nokkur ár til viðbótar.
Við the vegur, um þáverandi og núverandi DPIVið the vegur, margir sem keyptu DPI kerfi sem voru til á markaðnum á þeim tíma höfðu þegar hent þeim. Jæja, þau eru ekki hönnuð fyrir þetta: hundruð þúsunda heimilisfönga, tugþúsundir vefslóða.
Og á sama tíma hafa innlendir framleiðendur hækkað mjög mikið á þessum markaði. Ég er ekki að tala um vélbúnaðarhlutann - hér er allt á hreinu, en hugbúnaður - aðalatriðið sem DPI hefur - er kannski í dag, ef ekki sá fullkomnasta í heiminum, þá vissulega a) að þróast hröðum skrefum, og b) á verði vöru í kassa - einfaldlega ósambærilegt við erlenda keppinauta.
Ég myndi vilja vera stolt, en svolítið sorgleg =)
Nú leit allt svona út:
Eftir nokkur ár í viðbót allir höfðu þegar endurskoðendur; Það voru fleiri og fleiri úrræði í skránni. Fyrir suma eldri búnað (til dæmis Cisco 7600) varð „hliðarsíun“ einfaldlega ónothæft: fjöldi leiða á 76 kerfum er takmarkaður við eitthvað eins og níu hundruð þúsund, en fjöldi IPv4 leiða einn í dag er að nálgast 800 þúsund. Og ef það er líka ipv6 ... Og líka ... hversu mikið er það? 900000 einstök heimilisföng í RKN banninu? =)
Einhver skipti yfir í kerfi með speglun á allri burðarrásarumferð yfir á síunarþjón, sem ætti að greina allt flæðið og, ef eitthvað slæmt finnst, senda RST í báðar áttir (sendandi og viðtakandi).
Hins vegar, því meiri umferð, því minna á þetta kerfi við. Ef minnstu töf verður á vinnslu mun speglaða umferðin einfaldlega fljúga óséður framhjá og veitandinn fær sektarskýrslu.
Fleiri og fleiri veitendur neyðast til að setja upp DPI kerfi af mismunandi áreiðanleika á þjóðvegum.
Fyrir ári eða tveimur Samkvæmt sögusögnum fóru nánast allir FSB að krefjast raunverulegrar uppsetningar búnaðar (áður stjórnuðu flestir veitendur með samþykki yfirvalda SORM áætlun - áætlun um rekstrarráðstafanir ef þú þarft að finna eitthvað einhvers staðar)
Til viðbótar við peninga (ekki beinlínis óhófleg, en samt milljónir), krafðist SORM miklu fleiri aðgerða við netið.
- SORM þarf að sjá „grá“ netföng notenda áður en hún er þýðing
- SORM hefur takmarkaðan fjölda netviðmóta
Þess vegna þurftum við sérstaklega að endurbyggja hluta af kjarnanum - einfaldlega til að safna notendaumferð á aðgangsþjónana einhvers staðar á einum stað. Til þess að spegla það í SORM með nokkrum tenglum.
Það er, mjög einfaldað, það var (vinstri) vs varð (hægri):
Nú Flestir veitendur þurfa einnig innleiðingu á SORM-3 - sem felur meðal annars í sér skráningu á nat-útsendingum.
Í þessum tilgangi þurftum við líka að bæta sérstökum búnaði fyrir NAT við skýringarmyndina hér að ofan (nákvæmlega það sem fjallað er um í fyrsta hlutanum). Þar að auki, bættu við í ákveðinni röð: þar sem SORM verður að „sjá“ umferðina áður en þú þýðir heimilisföng, verður umferðin að fara nákvæmlega fram sem hér segir: notendur -> skipta, kjarna -> aðgangsþjónar -> SORM -> NAT -> skipta, kjarna - > internetið. Til þess þurftum við bókstaflega að „beygja“ umferðarflæði í hina áttina í hagnaðarskyni, sem var líka frekar erfitt.
Í stuttu máli: Undanfarin tíu ár hefur kjarnahönnun meðalþjónustuaðila orðið margfalt flóknari og fleiri bilunarpunktum (bæði í formi búnaðar og í formi stakra skiptilína) hefur fjölgað verulega. Reyndar þýðir krafan um að „sjá allt“ að minnka þetta „allt“ í einn punkt.
Ég held að hægt sé að framreikna þetta á nokkuð gagnsættan hátt yfir á núverandi frumkvæði til að fullvelda Runetinn, vernda hann, koma á stöðugleika og bæta hann :)
Og Yarovaya er enn á undan.
Heimild: www.habr.com