Umfang Amazon Web Services netsins er 69 svæði um allan heim á 22 svæðum: Bandaríkjunum, Evrópu, Asíu, Afríku og Ástralíu. Hvert svæði inniheldur allt að 8 gagnaver - Gagnavinnslustöðvar. Hvert gagnaver hefur þúsundir eða hundruð þúsunda netþjóna. Netið er hannað á þann hátt að tekið er tillit til allra ólíklegra atburðarása. Til dæmis eru öll svæði einangruð hvert frá öðru og aðgengissvæði eru aðskilin yfir nokkra kílómetra vegalengd. Jafnvel ef þú klippir á kapalinn mun kerfið skipta yfir í vararásir og tap á upplýsingum mun nema nokkrum gagnapökkum. Vasily Pantyukhin mun tala um hvaða önnur lögmál netið er byggt á og hvernig það er byggt upp.
Vasily Pantyukhin byrjaði sem Unix stjórnandi í .ru fyrirtækjum, vann við stóran Sun Microsystem vélbúnað í 6 ár, boðaði gagnamiðaðan heim hjá EMC í 11 ár. Það þróaðist náttúrulega í einkaský og færðist síðan yfir í opinber. Nú, sem Amazon Web Services arkitekt, veitir hann tæknilega ráðgjöf til að hjálpa til við að lifa og þróast í AWS skýinu.
Í fyrri hluta AWS þríleiksins kafaði Vasily í hönnun líkamlegra netþjóna og gagnagrunnsstærð. Nítrókort, sérsniðin KVM-undirstaða hypervisor, Amazon Aurora gagnagrunnur - um allt þetta í efninu "" Lestu fyrir samhengi eða horfðu ræður.
Þessi hluti mun leggja áherslu á netstærð, eitt flóknasta kerfi AWS. Þróunin frá flötu neti yfir í sýndar einkaský og hönnun þess, innri þjónusta Blackfoot og HyperPlane, vandamál hávaðasams nágranna, og í lokin - umfang netsins, burðarás og líkamlegir snúrur. Um allt þetta undir skurðinum.
Fyrirvari: allt hér að neðan er persónuleg skoðun Vasily og gæti ekki verið í samræmi við stöðu Amazon Web Services.
Stærð netkerfis
AWS skýið var sett á markað árið 2006. Netið hans var frekar frumstætt - með flatri uppbyggingu. Úrval einkaheimilisfanga var sameiginlegt fyrir alla skýleigjendur. Þegar þú byrjar nýja sýndarvél fékkstu óvart tiltækt IP-tölu frá þessu sviði.
Þessi aðferð var auðveld í framkvæmd en takmarkaði í grundvallaratriðum notkun skýsins. Sérstaklega var frekar erfitt að þróa blendingalausnir sem sameinuðu einkanet á jörðu niðri og í AWS. Algengasta vandamálið var að skarast IP-tölusvið.
Sýndar einkaský
Skýið reyndist eftirsótt. Það er kominn tími til að huga að sveigjanleika og möguleika tugmilljóna leigjenda á notkun þess. Flata netið er orðið mikil hindrun. Þess vegna hugsuðum við um hvernig ætti að einangra notendur hver frá öðrum á netkerfi svo þeir gætu sjálfstætt valið IP svið.
Hvað er það fyrsta sem kemur upp í hugann þegar þú hugsar um neteinangrun? Svo sannarlega VLAN и VRF - Sýndarleið og áframsending.
Því miður tókst það ekki. VLAN ID er aðeins 12 bita, sem gefur okkur aðeins 4096 einangraða hluti. Jafnvel stærstu rofar geta notað að hámarki 1-2 þúsund VRF. Notkun VRF og VLAN saman gefur okkur aðeins nokkrar milljónir undirneta. Þetta er örugglega ekki nóg fyrir tugi milljóna leigjenda, sem hver um sig verður að geta notað mörg undirnet.
Við höfum einfaldlega ekki efni á að kaupa nauðsynlegan fjölda stórra kassa, til dæmis frá Cisco eða Juniper. Það eru tvær ástæður: það er brjálæðislega dýrt og við viljum ekki vera upp á náð og miskunn þróunarstefnu þeirra og plástra stefnu.
Það er aðeins ein niðurstaða - gerðu þína eigin lausn.
Árið 2009 tilkynntum við VPC - Sýndar einkaský. Nafnið festist og nú nota margir skýjafyrirtæki það líka.
VPC er sýndarnet SDN (Software Defined Network). Við ákváðum að finna ekki upp sérstakar samskiptareglur á L2 og L3 stigum. Netið keyrir á venjulegu Ethernet og IP. Fyrir sendingu yfir netið er sýndarvélaumferð hjúpuð inn í okkar eigin samskiptareglur. Það gefur til kynna auðkenni sem tilheyrir VPC leigjanda.
Hljómar einfalt. Hins vegar eru nokkrar alvarlegar tæknilegar áskoranir sem þarf að sigrast á. Til dæmis, hvar og hvernig á að geyma gögn um kortlagningu sýndar MAC/IP vistföng, VPC auðkenni og samsvarandi líkamlegt MAC/IP. Á AWS mælikvarða er þetta risastórt borð sem ætti að virka með lágmarks töfum á aðgangi. Ber ábyrgð á þessu kortaþjónustu, sem er dreift í þunnu lagi um netið.
Í nýrri kynslóð véla er hjúpun framkvæmd með Nitro kortum á vélbúnaðarstigi. Í eldri tilfellum eru hjúpun og afhjúpun byggð á hugbúnaði.
Við skulum reikna út hvernig það virkar almennt. Byrjum á L2 stiginu. Gerum ráð fyrir að við séum með sýndarvél með IP 10.0.0.2 á líkamlegum netþjóni 192.168.0.3. Það sendir gögn í sýndarvél 10.0.0.3, sem lifir á 192.168.1.4. ARP beiðni er búin til og send á netið Nitro kortið. Til einföldunar gerum við ráð fyrir að báðar sýndarvélarnar búi í sama „bláa“ VPC.
Kortið kemur í stað upprunavistfangsins fyrir sitt eigið og sendir ARP rammann til kortaþjónustunnar.
Kortaþjónustan skilar upplýsingum sem eru nauðsynlegar fyrir sendingu yfir L2 efnisnetið.
Nítrókortið í ARP svarinu kemur í stað MAC á líkamlega netinu fyrir heimilisfang í VPC.
Við flutning á gögnum vefjum við rökréttum MAC og IP inn í VPC umbúðir. Við sendum allt þetta yfir líkamlega netið með því að nota viðeigandi uppruna- og áfangastað IP Nitro kort.
Líkamlega vélin sem pakkinn er ætlaður til framkvæmir eftirlitið. Þetta er nauðsynlegt til að koma í veg fyrir möguleikann á skopstælingum. Vélin sendir sérstaka beiðni til kortaþjónustunnar og spyr: „Frá líkamlegri vél 192.168.0.3 fékk ég pakka sem er ætlaður fyrir 10.0.0.3 í bláa VPC. Er hann lögmætur?
Kortaþjónustan athugar úthlutunartöfluna sína og leyfir eða neitar að pakkinn fari í gegnum. Í öllum nýjum tilfellum er viðbótarstaðfesting felld inn í nítrókort. Það er ómögulegt að komast framhjá því jafnvel fræðilega. Þess vegna mun skopstæling við auðlindir í öðrum VPC ekki virka.
Næst eru gögnin send í sýndarvélina sem þau eru ætluð fyrir.
Kortaþjónustan virkar einnig sem rökréttur leið til að flytja gögn á milli sýndarvéla í mismunandi undirnetum. Allt er hugmyndalega einfalt, ég mun ekki fara í smáatriði.
Það kemur í ljós að við sendingu hvers pakka snúa netþjónarnir sér til kortaþjónustunnar. Hvernig á að takast á við óumflýjanlegar tafir? Skyndiminni, auðvitað.
Fegurðin er sú að þú þarft ekki að vista allt risastórt borð. Líkamlegur netþjónn hýsir sýndarvélar frá tiltölulega litlum fjölda VPC. Þú þarft aðeins að vista upplýsingar um þessa VPC. Flutningur gagna til annarra VPCs í „sjálfgefnu“ uppsetningu er enn ekki lögmætur. Ef virkni eins og VPC-peering er notuð, þá eru upplýsingar um samsvarandi VPCs einnig hlaðnar inn í skyndiminni.
Við redduðum flutningi gagna til VPC.
Svartfótur
Hvað á að gera í þeim tilvikum þar sem umferð þarf að berast utan, til dæmis á internetið eða í gegnum VPN til jarðar? Hjálpar okkur hérna Svartfótur — Innri þjónusta AWS. Það er þróað af suður-afríska teyminu okkar. Þess vegna er þjónustan nefnd eftir mörgæs sem býr í Suður-Afríku.
Blackfoot decapsules umferð og gerir það sem þarf með það. Gögn eru send á internetið eins og þau eru.
Gögnin eru afhylkuð og aftur vafin inn í IPsec þegar VPN er notað.
Þegar Direct Connect er notað er umferð merkt og send á viðeigandi VLAN.
HyperPlane
Þetta er innra flæðiseftirlitsþjónusta. Margar netþjónustur þurfa eftirlit ástand gagnaflæðis. Til dæmis, þegar NAT er notað, verður flæðisstýring að tryggja að hvert IP:áfangagáttarpar hafi einstaka útgangsport. Ef um jafnvægistæki er að ræða NLB - Netálagsjafnari, gagnaflæði ætti alltaf að vera beint á sömu sýndarvélina. Öryggishópar er staðbundinn eldveggur. Það fylgist með komandi umferð og opnar óbeint höfn fyrir pakkaflæði á útleið.
Í AWS skýinu eru kröfur um sendingartíma afar miklar. Þess vegna HyperPlane mikilvægt fyrir frammistöðu alls netkerfisins.
Hyperplane er byggt á EC2 sýndarvélum. Hér er enginn galdur, aðeins slægð. Galdurinn er sá að þetta eru sýndarvélar með miklu vinnsluminni. Aðgerðir eru viðskiptalegar og eingöngu gerðar í minni. Þetta gerir þér kleift að ná töfum sem nema tugum míkrósekúndna. Vinna með diskinn myndi drepa alla framleiðni.
Hyperplane er dreift kerfi af miklum fjölda slíkra EC2 véla. Hver sýndarvél hefur 5 GB/s bandbreidd. Yfir allt svæðisnetið veitir þetta ótrúlega terabita af bandbreidd og gerir vinnslu kleift milljónir tenginga á sekúndu.
HyperPlane virkar aðeins með straumum. VPC pakkahjúpun er algjörlega gagnsæ fyrir það. Hugsanleg varnarleysi í þessari innri þjónustu myndi samt koma í veg fyrir að VPC einangrunin verði rofin. Stigin hér að neðan bera ábyrgð á öryggi.
Hávær nágranni
Það er enn vandamál hávær nágranni - hávær nágranni. Gerum ráð fyrir að við höfum 8 hnúta. Þessir hnútar vinna úr flæði allra skýnotenda. Allt virðist vera í lagi og álagið ætti að vera jafnt dreift yfir alla hnúta. Hnútar eru mjög öflugir og það er erfitt að ofhlaða þá.
En við byggjum arkitektúr okkar út frá jafnvel ólíklegum atburðarásum.
Litlar líkur þýðir ekki ómögulegt.
Við getum ímyndað okkur aðstæður þar sem einn eða fleiri notendur myndu búa til of mikið álag. Allir HyperPlane hnútar taka þátt í að vinna úr þessu álagi og aðrir notendur gætu hugsanlega upplifað einhvers konar árangursáfall. Þetta brýtur hugmyndina um skýið, þar sem leigjendur hafa enga getu til að hafa áhrif hver á annan.
Hvernig á að leysa vandamál háværs nágranna? Það fyrsta sem kemur upp í hugann er klipping. 8 hnúðunum okkar er rökrétt skipt í 4 brot með 2 hnútum hver. Nú mun hávær nágranni trufla aðeins fjórðung allra notenda, en það mun trufla þá mjög.
Gerum hlutina öðruvísi. Við munum úthluta aðeins 3 hnútum á hvern notanda.
Galdurinn er að úthluta hnútum af handahófi til mismunandi notenda. Á myndinni hér að neðan sker blái notandinn hnúta með einum af hinum notendunum tveimur - grænn og appelsínugulur.
Með 8 hnúta og 3 notendur eru líkurnar á því að hávær nágranni skerist einn af notendum 54%. Það er með þessum líkum að blár notandi hafi áhrif á aðra leigjendur. Á sama tíma, aðeins hluti af álagi þess. Í okkar dæmi verða þessi áhrif að minnsta kosti á einhvern hátt áberandi ekki fyrir alla, heldur aðeins þriðjungi allra notenda. Þetta er nú þegar góður árangur.
Fjöldi notenda sem munu skerast
Líkur í prósentum
0
18%
1
54%
2
26%
3
2%
Færum ástandið nær raunveruleikanum - tökum 100 hnúta og 5 notendur á 5 hnúta. Í þessu tilviki mun enginn hnútanna skerast með 77% líkum.
Fjöldi notenda sem munu skerast
Líkur í prósentum
0
77%
1
21%
2
1,8%
3
0,06%
4
0,0006%
5
0,00000013%
Í raunverulegum aðstæðum, með miklum fjölda HyperPlane hnúta og notenda, eru hugsanleg áhrif hávaðasams nágranna á aðra notendur í lágmarki. Þessi aðferð er kölluð blanda klippingu - stokka klippingu. Það lágmarkar neikvæð áhrif hnútabilunar.
Margar þjónustur eru byggðar á grundvelli HyperPlane: Network Load Balancer, NAT Gateway, Amazon EFS, AWS PrivateLink, AWS Transit Gateway.
Net mælikvarði
Nú skulum við tala um umfang netsins sjálfs. Fyrir október 2019 býður AWS þjónustu sína í 22 svæði, og 9 í viðbót eru fyrirhuguð.
- Hvert svæði inniheldur nokkur framboðssvæði. Þeir eru 69 talsins um allan heim.
- Hver AZ samanstendur af gagnavinnslustöðvum. Þeir eru ekki fleiri en 8 alls.
- Gagnaverið hýsir gríðarlegan fjölda netþjóna, sumir með allt að 300.
Nú skulum við meðaltal allt þetta, margfalda og fá glæsilega tölu sem endurspeglar Amazon skýjakvarði.
Það eru mörg sjóntengsl á milli Availability Zones og gagnaversins. Í einu af stærstu svæðum okkar hafa 388 rásir verið lagðar eingöngu fyrir AZ samskipti sín á milli og samskiptamiðstöðvar við önnur svæði (Transit Centers). Samtals gefur þetta brjálæði 5000 Tbit.
Backbone AWS er smíðað sérstaklega fyrir og fínstillt fyrir skýið. Við byggjum það á rásunum 100 GB / s. Við stjórnum þeim algjörlega, að undanskildum svæðum í Kína. Umferð er ekki deilt með álagi annarra fyrirtækja.
Auðvitað erum við ekki eini skýjaveitandinn með einkanetkerfi. Sífellt fleiri stór fyrirtæki feta þessa braut. Þetta er staðfest af óháðum rannsakendum, til dæmis frá .
Línuritið sýnir að hlutur efnisveitna og skýjaveitna fer vaxandi. Vegna þessa minnkar hlutur netumferðar netveitenda stöðugt.
Ég skal útskýra hvers vegna þetta gerist. Áður fyrr var flest vefþjónusta aðgengileg og neytt beint af netinu. Nú á dögum eru fleiri og fleiri netþjónar staðsettir í skýinu og eru aðgengilegir í gegnum CDN - Efnisdreifingarnet. Til að fá aðgang að auðlind fer notandinn aðeins í gegnum internetið til næsta CDN PoP - Viðverustaður. Oftast er það einhvers staðar í nágrenninu. Síðan yfirgefur það almenna internetið og flýgur í gegnum einkarekið hryggjarstykki yfir Atlantshafið, til dæmis, og kemst beint að auðlindinni.
Ég velti því fyrir mér hvernig internetið muni breytast eftir 10 ár ef þessi þróun heldur áfram?
Líkamlegar rásir
Vísindamenn hafa ekki enn fundið út hvernig hægt er að auka ljóshraða í alheiminum, en þeir hafa náð miklum framförum í aðferðum við að senda það í gegnum ljósleiðara. Við notum nú 6912 ljósleiðara. Þetta hjálpar til við að hámarka verulega kostnað við uppsetningu þeirra.
Á sumum svæðum verðum við að nota sérstaka kapla. Til dæmis, á Sydney svæðinu notum við kapla með sérstakri húðun gegn termítum.
Enginn er ónæmur fyrir vandræðum og stundum skemmast rásir okkar. Myndin til hægri sýnir ljósleiðara í einu af Ameríkusvæðum sem voru rifnir af byggingarstarfsmönnum. Við slysið töpuðust aðeins 13 gagnapakkar sem kemur á óvart. Enn og aftur - aðeins 13! Kerfið skipti bókstaflega yfir í vararásir samstundis - mælikvarðinn virkar.
Við hlupum í gegnum nokkrar af skýjaþjónustum og tækni Amazon. Ég vona að þú hafir að minnsta kosti einhverja hugmynd um umfang þeirra verkefna sem verkfræðingar okkar þurfa að leysa. Persónulega finnst mér þetta mjög spennandi.
Þetta er síðasti hluti þríleiksins frá Vasily Pantyukhin um AWS tækið. IN hlutar lýsa hagræðingu netþjóns og gagnagrunnsstærð, og inn — netþjónalausar aðgerðir og eldflaug.
Á í nóvember mun Vasily Pantyukhin deila nýjum upplýsingum um Amazon tækið. Hann um orsakir bilana og hönnun dreifðra kerfa hjá Amazon. 24. október er enn hægt miða á góðu verði og borga síðar. Við bíðum eftir þér á HighLoad++, komdu og við skulum spjalla!
Heimild: www.habr.com