Amazon Web Services tÄ«kla mÄrogums aptver 69 zonas visÄ pasaulÄ 22 reÄ£ionos: ASV, Eiropa, Äzija, Afrika un AustrÄlija. KatrÄ zonÄ atrodas lÄ«dz 8 datu centriem. Katram datu centram ir tÅ«kstoÅ”iem vai simtiem tÅ«kstoÅ”u serveru. TÄ«kls ir veidots tÄ, lai Åemtu vÄrÄ visus maz ticamos pÄrtraukumu scenÄrijus. PiemÄram, visi reÄ£ioni ir izolÄti viens no otra, un pieejamÄ«bas zonas ir novietotas vairÄkus kilometrus tÄlu. Pat ja tiek pÄrgriezts kabelis, sistÄma pÄries uz rezerves kanÄliem, un datu zudums bÅ«s vienÄds ar dažiem datu pakotnÄm. Par citiem tÄ«kla principiem un tÄ struktÅ«ru pastÄstÄ«s VasÄ«lijs Pantiuhins.

VasÄ«lijs Pantiuhins sÄka kÄ Unix administrators .ru uzÅÄmumos, 6 gadus strÄdÄja ar lielÄm Sun Microsystem iekÄrtÄm, 11 gadus sludinÄja datu centra centriskumu EMC. Dabiski attÄ«stÄ«jÄs uz privÄtajiem mÄkoÅiem, pÄc tam pÄrgÄja uz publiskajiem. Tagad, kÄ Amazon Web Services arhitekts, ar tehniskiem ieteikumiem palÄ«dz dzÄ«vot un attÄ«stÄ«ties AWS mÄkoÅos.
IepriekÅ”ÄjÄ AWS struktÅ«ras triloÄ£ijas daÄ¼Ä VasÄ«lijs padziļinÄti izpÄtÄ«ja fizisko serveru uzbÅ«vi un datu bÄzu mÄrogoÅ”anu. Nitro kartes, pielÄgots hipervizors, kas balstÄ«ts uz KVM, Amazon Aurora datu bÄze ā par visu Å”o runÄ rakstÄ āā. Izlasiet, lai iedziļinÄtos kontekstÄ, vai noskatieties uzstÄÅ”anÄs.
Å ajÄ daÄ¼Ä tiks runÄts par tÄ«kla mÄrogoÅ”anu ā vienu no sarežģītÄkajÄm sistÄmÄm AWS. EvolÅ«cija no plaknes tÄ«kla uz Virtual Private Cloud un tÄ struktÅ«ru, iekÅ”Äjie pakalpojumi Blackfoot un HyperPlane, trokÅ”ÅainÄ kaimiÅa problÄma, un beigÄs ā tÄ«kla mÄrogs, backbone un fiziskie kabeļi. Par visu Å”o sÄ«kÄk.
Disleimeris: viss, kas zemÄk, ir VasÄ«lija personÄ«gÄ viedokļa atspoguļojums, un tas var nesakrist ar Amazon Web Services nostÄju.
TÄ«kla mÄrogoÅ”ana
AWS mÄkonis tika palaists 2006. gadÄ. TÄ tÄ«kls bija salÄ«dzinoÅ”i primitÄ«vs ā ar plakanu struktÅ«ru. PrivÄto adresÄciju diapazons bija kopÄ«gs visiem mÄkoÅa klientiem. Jaunu virtuÄlo maŔīnu palaiÅ”anas brÄ«dÄ« netīŔu saÅÄmÄt pieejamo IP adresi no Ŕī diapazona.

Å Äds piegÄjiens bija viegli Ä«stenojams, taÄu bÅ«tiski ierobežoja mÄkoÅa izmantoÅ”anu. PiemÄram, bija diezgan grÅ«ti izstrÄdÄt hibrÄ«drisinÄjumus, kuros tika apvienotas privÄtÄs tÄ«kla uz zemes un AWS. VisizplatÄ«tÄkÄ problÄma bija IP adresu diapazonu krustojumÄ.

VirtuÄlais privÄtais mÄkonis
MÄkoÅa risinÄjums ir kļuvis pieprasÄ«ts. Ir pienÄcis laiks domÄt par scalabilitÄti un iespÄju to izmantot desmitiem miljonu nomnieku. Plakanais tÄ«kls ir kļuvis par galveno ŔķÄrsli. TÄdÄļ mÄs domÄjÄm, kÄ izolÄt lietotÄjus vienam no otra tÄ«kla lÄ«menÄ«, lai viÅi varÄtu patstÄvÄ«gi izvÄlÄties IP diapazonus.

Kas pirmais ienÄk prÄtÄ, kad domÄjat par tÄ«kla izolÄciju? Protams VLAN un VRF ā VirtuÄlÄ marÅ”rutÄÅ”ana un pÄrsÅ«tīŔana.
DiemžÄl tas neizdevÄs. VLAN ID ir tikai 12 biti, kas mums dod tikai 4096 izolÄtus segmentus. Pat vislielÄkajos slÄdžos var izmantot maksimums 1-2 tÅ«kstoÅ”us VRF. VRF un VLAN koplietoÅ”ana dod mums tikai dažus miljonus apakÅ”tÄ«klu. Tas noteikti nav pietiekami desmitiem miljonu nomnieku, katram no kuriem jÄbÅ«t iespÄjai izmantot vairÄkus apakÅ”tÄ«klus.
MÄs vienkÄrÅ”i nevaram atļauties iegÄdÄties nepiecieÅ”amo lielo iekÄrtu daudzumu, piemÄram, no Cisco vai Juniper. Ir divi iemesli: tas ir ļoti dÄrgi, un mÄs nevÄlamies bÅ«t atkarÄ«gi no viÅu izstrÄdes un labojumu politikas.
SecinÄjums ir viens ā jÄizstrÄdÄ mÅ«su paÅ”u risinÄjums.
2009. gadÄ mÄs paziÅojÄm par VPC ā VirtuÄlais privÄtais mÄkonis. Nosaukums ir iesakÅojies, un tagad daudzi mÄkoÅu pakalpojumu sniedzÄji to arÄ« izmanto.
VPC ir virtuÄls tÄ«kls SDN (ProgrammatÅ«ras definÄtais tÄ«kls). MÄs nolÄmÄm neizdomÄt speciÄlus protokolus L2 un L3 lÄ«meÅos. TÄ«kls darbojas uz standarta Ethernet un IP. Lai pÄrraidÄ«tu datu plÅ«smu pa tÄ«klu, virtuÄlo maŔīnu saturs tiek iepakots mÅ«su paÅ”u protokola ietvarÄ. TajÄ ir norÄdÄ«ts ID, kas pieder VPC nomniekam.

IzskatÄs vienkÄrÅ”i. TomÄr ir jÄnokÄrto vairÄki nopietni tehniskie uzdevumi. PiemÄram, kur un kÄ uzglabÄt datus par virtuÄlo MAC/IP adresu, VPC ID un atbilstoÅ”o fizisko MAC/IP savienojumu korelÄciju. AWS lÄ«menÄ« tÄ ir milzÄ«ga tabula, kas jÄdarbojas ar minimÄlÄm aizkavÄÅ”anÄs reizÄm. Par to atbild marÄ·ÄÅ”anas pakalpojums, kas ir izplatÄ«ts pa visu tÄ«klu.
Jauno paaudžu maŔīnÄs iepakoÅ”ana tiek veikta, izmantojot Nitro kartes dzelzs lÄ«menÄ«. VecÄkÄs instancÄs iepakoÅ”ana un dekapsulÄcija ir programmatiskas.Ā

ApspriedÄ«sim, kÄ tas darbojas vispÄrÄ«gi. SÄksim ar L2 lÄ«meni. PieÅemsim, ka mums ir virtuÄlÄ maŔīna ar IP 10.0.0.2 fiziskajÄ serverÄ« 192.168.0.3. TÄ sÅ«ta datus virtuÄlajai maŔīnai 10.0.0.3, kas atrodas uz 192.168.1.4. Tiek izveidots ARP pieprasÄ«jums, kas nonÄk tÄ«kla Nitro kartÄ. Lai bÅ«tu vienkÄrÅ”Äk, pieÅemam, ka abas virtuÄlÄs maŔīnas atrodas vienÄ "zilajÄ" VPC.

KarÅ”u karta aizvieto avota adresi ar savu paÅ”u un pÄrsÅ«ta ARP ietvaru mappÄÅ”anas pakalpojumam.

MappÄÅ”anas pakalpojums atgriež informÄciju, kas nepiecieÅ”ama datu pÄrsÅ«tīŔanai pa fizisko L2 tÄ«klu.

Nitro karte ARP atbildÄ nomaina MAC fiziskajÄ tÄ«klÄ uz adresi VPC.

Datu pÄrsÅ«tīŔanas laikÄ mÄs iekļaujam loÄ£iskos MAC un IP VPC apvalkÄ. To visu nodoÅ”ana tiek veikta fiziskajÄ tÄ«klÄ, izmantojot atbilstoÅ”Äs IP Nitro kartes avotÄ un galamÄrÄ·Ä«.

FiziskÄ maŔīna, kurai pakets ir paredzÄts, veic pÄrbaudi. Tas ir nepiecieÅ”ams, lai novÄrstu adreses izmaiÅu iespÄjamÄ«bu. MaŔīna nosÅ«ta Ä«paÅ”u pieprasÄ«jumu mappÄÅ”anas pakalpojumam un jautÄ: "No fiziskÄs maŔīnas 192.168.0.3 es saÅÄmu paku, kas paredzÄta 10.0.0.3 'zilajÄ' VPC. Vai tÄ ir legÄli?"Ā

MappÄÅ”anas pakalpojums salÄ«dzina ar savu resursu izvietojuma tabulu un ļauj vai aizliedz paketes pÄreju. VisÄs jaunajÄs instancÄs papildus validÄcija ir iebÅ«vÄta Nitro kartÄs. To nevar apiet pat teorÄtiski. TÄpÄc spoofing uz resursiem citÄ VPC nedarbosies.

TÄlÄk dati tiek nosÅ«tÄ«ti virtuÄlajai maŔīnai, kurai tie ir paredzÄti.Ā

MappÄÅ”anas pakalpojums darbojas arÄ« kÄ loÄ£iskais marÅ”rutÄtÄjs datu pÄrsÅ«tīŔanai starp virtuÄlajÄm maŔīnÄm dažÄdÄs apakÅ”netos. Tur konceptuÄli viss ir vienkÄrÅ”i, nevÄlos detalizÄti izskaidrot.

IzrÄdÄs, ka katra paketa pÄrsÅ«tīŔanas laikÄ serveri vÄrÅ”as pie mappÄÅ”anas pakalpojuma. KÄ cÄ«nÄ«ties ar neizbÄgamajÄm aizkavÄm? Ar keÅ”atmiÅu, protams.
Visa burvÄ«ba ir tÄda, ka nav jÄkeÅ”Ä visa milzÄ«gÄ tabula. FiziskajÄ serverÄ« dzÄ«vo virtuÄlÄs maŔīnas no salÄ«dzinoÅ”i neliela VPC skaita. Ir jÄkeÅ”Ä informÄcija tikai par Å”iem VPC. Datu pÄrsÅ«tīŔana uz citiem VPC 'noklusÄjuma' konfigurÄcijÄ joprojÄm nav legÄla. Ja tiek izmantota tÄda funkcionalitÄte kÄ VPC-peering, tad keÅ”Ä papildus tiek ielÄdÄta informÄcija par atbilstoÅ”ajiem VPC.Ā

Esam sapratuÅ”i par datu pÄrsÅ«tīŔanu VPC.
Blackfoot
KÄ rÄ«koties gadÄ«jumos, kad trafiku nepiecieÅ”ams pÄrsÅ«tÄ«t ÄrÄjÄ vidÄ, piemÄram, InternetÄ vai caur VPN uz zemi? Å eit mÅ«s izglÄbj Blackfoot ā iekÅ”Äjais pakalpojums AWS. To izstrÄdÄjusi mÅ«su DienvidÄfrikas komanda. TÄpÄc pakalpojums nosaukts tÄdÄ vÄrdÄ, kas ir saistÄ«ts ar pingvÄ«nu, kurÅ” dzÄ«vo DienvidÄfrikÄ.

Blackfoot dekapsulÄ trafiku un dara ar to to, kas nepiecieÅ”ams. Dati InternetÄ tiek nosÅ«tÄ«ti tÄdi, kÄdi tie ir.

Dati dekapsulÄjas un atkal tiek ietÄ«ti IPsec apvalkÄ, izmantojot VPN.

Izmantojot Direct Connect, trafiks tiek marÄ·Äts un sÅ«tÄ«ts atbilstoÅ”ajÄ VLAN.

HyperPlane
Tas ir iekÅ”Äjais plÅ«smas kontroles pakalpojums. Daudzi tÄ«kla pakalpojumi prasa kontroles datu plÅ«smas stÄvokļa. PiemÄram, izmantojot NAT, plÅ«smas kontrolei jÄgarantÄ, ka katrai āIP: galamÄrÄ·a portsā pÄrim atbilst unikÄls izejoÅ”ais ports. BalansÄtÄjÄ NLB ā TÄ«kla slodzes balansÄtÄjs, datu plÅ«sma vienmÄr jÄnosÅ«ta uz to paÅ”u mÄrÄ·a virtuÄlo maŔīnu. DroŔības grupas ā tas ir ugunsmÅ«ris ar stÄvokļa saglabÄÅ”anu. Tas uzrauga ienÄkoÅ”o trafiku un neizslÄdz portus izejoÅ”o paketu plÅ«smai.

AWS mÄkoÅos prasÄ«bas attiecÄ«bÄ uz pÄrsÅ«tīŔanas aizturi ir ļoti augstas. TÄpÄc HyperPlane tas ir kritiski svarÄ«gs visu tÄ«klu darbÄ«bai.

Hyperplane ir balstÄ«ts uz EC2 virtuÄlajÄm maŔīnÄm. Å eit nav nekÄdas maÄ£ijas, tikai viltÄ«ba. ViltÄ«ba ir tÄ, ka tÄs ir virtuÄlÄs maŔīnas ar lielu RAM. DarÄ«jumdarÄ«jumi tiek veikti tikai atmiÅÄ. Tas ļauj sasniegt pÄrsÅ«tīŔanas aizturi tikai desmitos mikrosekundÄs. Darbs ar disku iznÄ«cinÄtu visu veiktspÄju.Ā
Hyperplane ir izplatÄ«ta sistÄma, kas sastÄv no milzÄ«ga skaita Å”Ädu EC2 maŔīnu. Katra virtuÄlÄ maŔīna ir ar 5 GB/s caurlaidspÄju. VisÄ reÄ£ionÄlajÄ tÄ«kla mÄrogÄ tas nodroÅ”ina neticamus terabitus caurlaidspÄjas un ļauj apstrÄdÄt miljoniem savienojumu sekundÄ..
HyperPlane darbojas tikai ar plÅ«smÄm. VPC iepakojumu inkapsulÄcija tam ir pilnÄ«gi caurspÄ«dÄ«ga. PotenciÄlÄ ievainojamÄ«ba Å”ajÄ iekÅ”ÄjÄ pakalpojumÄ tomÄr neļaus pÄrkÄpt VPC izolÄciju. Par droŔību atbild zemÄk esoÅ”Äs pakÄpes.
Noise neighbor
Ir arÄ« cita problÄma skaÄ¼Ä kaimiÅa ā skaļŔ kaimiÅÅ”. PieÅemsim, ka mums ir 8 mezglu. Å ie mezgli apstrÄdÄ visu mÄkoÅa lietotÄju plÅ«smas. Viss Ŕķiet labi, un slodze jÄizdala vienmÄrÄ«gi visiem mezgliem. Mezgli ir ļoti jaudÄ«gi un tos ir grÅ«ti pÄrslogot.
TaÄu mÄs projektÄjam savu arhitektÅ«ru, Åemot vÄrÄ pat maz iespÄjamo scenÄriju.Ā
Zema varbÅ«tÄ«ba nenozÄ«mÄ neiespÄjamÄ«bu.
MÄs varam iedomÄties situÄciju, kurÄ viens vai vairÄki lietotÄji Ä£enerÄ pÄrÄk lielu slodzi. Å Ä«s slodzes apstrÄdÄ ir iesaistÄ«ti visi HyperPlane mezgli, un citi lietotÄji potenciÄli var just kÄdu veiktspÄjas kritumu. Tas izjauc mÄkoÅa koncepciju, kurÄ Ä«rniekiem nav iespÄjas ietekmÄt viens otru.

KÄ atrisinÄt troksni radÄ«juÅ”Ä kaimiÅa problÄmu? Pirmais, kas nÄk prÄtÄ, ir shardÄÅ”ana. MÅ«su 8 mezgli loÄ£iski tiek sadalÄ«ti 4 shardos ar 2 mezgliem katrÄ. Tagad troksni radÄ«juÅ”ais kaimiÅÅ” traucÄs tikai ceturtdaļu no visiem lietotÄjiem, taÄu bÅ«tiski.

DarÄ«sim citÄdi. Katram lietotÄjam pieŔķirsim tikai 3 mezglus.Ā

Triks ir pieŔķirt mezglus dažÄdiem lietotÄjiem nejauÅ”i. ZemÄk redzamajÄ attÄlÄ zils lietotÄjs krustojas ar citiem diviem lietotÄjiem - zaļo un oranžo.

Pie 8 mezgliem un 3 lietotÄjiem troksni radÄ«juÅ”Ä kaimiÅa krustoÅ”anÄs ar vienu no lietotÄjiem ir 54%. TieÅ”i ar tÄdu varbÅ«tÄ«bu zils lietotÄjs ietekmÄs citus Ä«rniekus. TurklÄt tikai ar daļu savas slodzes. MÅ«su piemÄrÄ Å”Ä« ietekme bÅ«s pamanÄma tikai vienai treÅ”daļai visiem lietotÄjiem. Tas jau ir labs rezultÄts.
LietotÄju skaits, kuri krustosies
Varbūtība procentos
0
18%
1
54%
2
26%
3
2%
Tuvojoties reÄlai situÄcijai - Åemsim 100 mezglus un 5 lietotÄjus uz 5 mezgliem. Å ajÄ gadÄ«jumÄ neviens no mezgliem nesakrÄ«t ar varbÅ«tÄ«bu 77%.Ā
LietotÄju skaits, kuri krustosies
Varbūtība procentos
0
77%
1
21%
2
1,8%
3
0,06%
4
0,0006%
5
0,00000013%
ReÄlajÄ situÄcijÄ ar lielu HyperPlane mezglu un lietotÄju skaitu troksni radÄ«juÅ”Ä kaimiÅa potenciÄlÄ ietekme uz citiem lietotÄjiem ir minimÄla. Å Ä« metode tiek saukta par jauktÄ shardÄÅ”ana ā shuffle sharding. TÄ minimizÄ negatÄ«vo efektu no mezglu kļūmÄm.
Uz HyperPlane bÄzes ir izveidoti daudzi pakalpojumi: Network Load Balancer, NAT Gateway, Amazon EFS, AWS PrivateLink, AWS Transit Gateway.
Tīkla apjoms
Tagad runÄsim par tÄ«kla apmÄriem. 2019. gada oktobrÄ« AWS piedÄvÄ savus pakalpojumus 22 reÄ£ionos, un plÄnoti vÄl 9.
- Katrs reÄ£ions satur vairÄkas pieejamÄ«bas zonas ā Availability Zone. VisÄ pasaulÄ to ir 69.
- Katrs AZ sastÄv no datu centriem. To skaits nepÄrsniedz 8.
- Datu centros atrodas milzÄ«gs skaits serveru, dažÄs lÄ«dz pat 300 000.
Tagad to visu apkoposim, reizinÄsim un iegÅ«sim iespaidÄ«gu skaitli, kas atspoguļo Amazon mÄkoÅa apmÄrus.
Starp pieejamÄ«bas zonÄm un datu centriem ir izveidoti daudzi optiskie kanÄli. VienÄ no mÅ«su lielÄkajÄm reÄ£ioniem tikai saziÅai starp AZ un saziÅas centriem ar citiem reÄ£ioniem (Transit Centers) ir izveidoti 388 kanÄli. KopumÄ tas dod neticamus 5000 Tbit.

AWS backbone ir izveidota tieÅ”i mÄkoÅiem un optimizÄta, lai ar to strÄdÄtu. MÄs to bÅ«vÄjam uz kanÄliem 100 Gb/s. MÄs tos pilnÄ«bÄ kontrolÄjam, izÅemot reÄ£ionus ĶīnÄ. Satiksme netiek dalÄ«ta ar citu kompÄniju slodzÄm.

Protams, mÄs neesam vienÄ«gais mÄkoÅu pakalpojumu sniedzÄjs ar privÄtu backbone tÄ«klu. Aizvien vairÄk lielu uzÅÄmumu iet pa Å”o ceļu. To apliecina neatkarÄ«gi pÄtnieki, piemÄram, no .

GrafikÄ redzams, ka saturu nodroÅ”inÄtÄju un mÄkoÅu pakalpojumu sniedzÄju Ä«patsvars pieaug. TÄpÄc backbone pakalpojumu sniedzÄju interneta datu plÅ«smas daļa pastÄvÄ«gi samazinÄs.
IzskaidroÅ”u, kÄpÄc tas tÄ notiek. AgrÄk lielÄkÄ daļa tÄ«mekļa pakalpojumu bija pieejami un tos patÄrÄja tieÅ”i no interneta. Tagad aizvien vairÄk serveru ir izvietoti mÄkoÅos un pieejami caur CDN ā Content Distribution Network. Lai piekļūtu resursam, lietotÄjs dodas caur internetu tikai lÄ«dz tuvÄkajai CDN PoP ā Point of Presence. Bieži vien tas ir kaut kur tuvumÄ. TÄlÄk viÅÅ” pamet publisko internetu un pa privÄto backbone lido pÄri Atlantijai, piemÄram, un tieÅ”i nokļūst pie resursa.
Interesanti, kÄ internets izskatÄ«sies pÄc 10 gadiem, ja Ŕī tendence saglabÄsies?
Fiziskie kanÄli
ZinÄtnieki vÄl nav izdomÄjuÅ”i, kÄ palielinÄt gaismas Ätrumu VisumÄ, bet ir ievÄrojami progresÄjuÅ”i optiskÄs Ŕķiedras pÄrvades metodÄs. Å obrÄ«d mÄs izmantojam kabelus ar 6912 ŔķiedrÄm. Tas ievÄrojami optimizÄ to ieklÄÅ”anas izmaksas.
Dažos reÄ£ionos mums jÄizmanto Ä«paÅ”i kabeli. PiemÄram, Sidnejas reÄ£ionÄ mÄs pielietojam kabelus ar speciÄlu pÄrklÄjumu pret termÄ«tiem.Ā

Neviens nav pasargÄts no nepatikÅ”anÄm, un dažreiz mÅ«su kanÄli tiek bojÄti. AttÄlÄ pa labi ir optiskie kabeļi vienÄ no Amerikas reÄ£ioniem, kurus pÄrgrieza bÅ«vnieki. NegadÄ«jumÄ tika zaudÄti tikai 13 datu paketes, kas ir pÄrsteidzoÅ”i. VÄlreiz ā tikai 13! SistÄma burtiski acumirklÄ« pÄrgÄja uz rezerves kanÄliem ā mÄrogot.
MÄs Ätri iepazinÄmies ar dažiem Amazon mÄkoÅu pakalpojumiem un tehnoloÄ£ijÄm. Ceru, ka jums ir radusies vismaz daži priekÅ”stats par tÄm milzÄ«gajÄm problÄmÄm, ar kurÄm saskaras mÅ«su inženieri. PersonÄ«gi mani tas ļoti aizrauj.Ā
Å is ir noslÄdzoÅ”ais daļas triloÄ£ijas no Vasilija Pantjuhina par AWS ierÄ«ci. V daÄ¼Ä ir aprakstÄ«ta serveru optimizÄcija un datubÄzu mÄrogoÅ”ana, bet V ā serverless funkcijas un Firecracker.
Uz NovembrÄ« Vasilijs Pantjuhins dalÄ«sies ar jaunÄm detaļÄm par Amazon ierÄ«ci. ViÅÅ” par atteikumu cÄloÅiem un izplatÄ«tu sistÄmu projektÄÅ”anu Amazon. 24. oktobrÄ« vÄl ir iespÄjams biļeti par labu cenu, un vÄlÄk veikt maksÄjumu. GaidÄm jÅ«s uz HighLoad++, nÄciet ā parunÄsim!
Avots: habr.com
