L-iskala tan-netwerk Amazon Web Services hija 69 żona madwar id-dinja fi 22 reġjun: l-Istati Uniti, l-Ewropa, l-Asja, l-Afrika u l-Awstralja. Kull żona fiha sa 8 ċentri tad-dejta - Ċentri tal-Ipproċessar tad-Data. Kull ċentru tad-dejta għandu eluf jew mijiet ta 'eluf ta' servers. In-netwerk huwa ddisinjat b'tali mod li x-xenarji ta' qtugħ improbabbli kollha jitqiesu. Pereżempju, ir-reġjuni kollha huma iżolati minn xulxin, u ż-żoni ta 'aċċessibilità huma separati fuq distanzi ta' diversi kilometri. Anke jekk taqta 'l-kejbil, is-sistema taqleb għal kanali ta' backup, u t-telf ta 'informazzjoni se jammonta għal ftit pakketti tad-dejta. Vasily Pantyukhin se jitkellem dwar liema prinċipji oħra huwa mibni fuq in-netwerk u kif huwa strutturat.
Vasily Pantyukhin beda bħala amministratur Unix f'kumpaniji .ru, ħadem fuq ħardwer kbir Sun Microsystem għal 6 snin, u ppriedka dinja ċċentrata fuq id-data għal 11-il sena f'EMC. Naturalment evolviet fi sħab privati, imbagħad imċaqlaq għal dawk pubbliċi. Issa, bħala perit Amazon Web Services, huwa jipprovdi pariri tekniċi biex jgħin jgħix u jiżviluppa fil-sħab tal-AWS.
Fil-parti preċedenti tat-triloġija AWS, Vasily approfondit fid-disinn ta 'servers fiżiċi u l-iskala tad-database. Kards Nitro, hypervisor personalizzat ibbażat fuq KVM, database Amazon Aurora - dwar dan kollu fil-materjal "" Aqra għall-kuntest jew għassa diskorsi.
Din il-parti se tiffoka fuq l-iskala tan-netwerk, waħda mill-aktar sistemi kumplessi fl-AWS. L-evoluzzjoni minn netwerk ċatt għal Cloud Privat Virtwali u d-disinn tiegħu, is-servizzi interni ta 'Blackfoot u HyperPlane, il-problema ta' ġar storbjuż, u fl-aħħar - l-iskala tan-netwerk, sinsla u kejbils fiżiċi. Dwar dan kollu taħt il-qatgħa.
Ċaħda ta 'responsabbiltà: kollox hawn taħt huwa l-opinjoni personali ta' Vasily u jista 'ma jikkoinċidix mal-pożizzjoni ta' Amazon Web Services.
Skala tan-netwerk
L-AWS cloud tnediet fl-2006. In-netwerk tiegħu kien pjuttost primittiv - bi struttura ċatta. Il-firxa ta 'indirizzi privati kienet komuni għall-kerrejja kollha tal-cloud. Meta tibda magna virtwali ġdida, aċċidentalment irċevejt indirizz IP disponibbli minn din il-firxa.
Dan l-approċċ kien faċli biex jiġi implimentat, iżda llimita fundamentalment l-użu tal-cloud. B'mod partikolari, kien pjuttost diffiċli li jiġu żviluppati soluzzjonijiet ibridi li jgħaqqdu netwerks privati fuq il-post u fl-AWS. L-aktar problema komuni kienet is-superpożizzjoni tal-firxiet tal-indirizzi IP.
Cloud Privat Virtwali
Is-sħab irriżulta li kien hemm domanda. Wasal iż-żmien li wieħed jaħseb dwar l-iskalabbiltà u l-possibbiltà tal-użu tagħha minn għexieren ta 'miljuni ta' kerrejja. In-netwerk ċatt sar ostaklu ewlieni. Għalhekk, ħsibna dwar kif niżolaw lill-utenti minn xulxin fil-livell tan-netwerk sabiex ikunu jistgħu jagħżlu b'mod indipendenti l-firxiet tal-IP.
X'inhi l-ewwel ħaġa li tiġi f'moħħna meta taħseb dwar l-iżolament tan-netwerk? Żgur VLAN и VRF - Rotot u Trażmissjoni Virtwali.
Sfortunatament, ma ħadmitx. VLAN ID hija biss 12-il bit, li tagħtina biss 4096 segment iżolat. Anke l-akbar swiċċijiet jistgħu jużaw massimu ta '1-2 elf VRFs. L-użu ta 'VRF u VLAN flimkien jagħtina biss ftit miljuni ta' subnets. Dan żgur mhuwiex biżżejjed għal għexieren ta 'miljuni ta' kerrejja, li kull wieħed minnhom għandu jkun jista 'juża subnets multipli.
Aħna wkoll sempliċement ma naffordjawx nixtru n-numru meħtieġ ta 'kaxxi kbar, pereżempju, minn Cisco jew Juniper. Hemm żewġ raġunijiet: huwa miġnun għali, u ma rridux inkunu fil-ħniena tal-politiki ta 'żvilupp u patching tagħhom.
Hemm konklużjoni waħda biss - agħmel is-soluzzjoni tiegħek.
Fl-2009 ħabbru VPC - Cloud Privat Virtwali. L-isem weħel u issa ħafna fornituri tas-sħab jużawh ukoll.
VPC huwa netwerk virtwali SDN (Netwerk Definit tas-Software). Iddeċidejna li ma nivvintawx protokolli speċjali fil-livelli L2 u L3. In-netwerk jaħdem fuq Ethernet u IP standard. Għat-trasmissjoni fuq in-netwerk, it-traffiku tal-magni virtwali huwa inkapsulat fit-tgeżwir tal-protokoll tagħna stess. Tindika l-ID li tappartjeni għall-VPC tal-kerrej.
Ħsejjes sempliċi. Madankollu, hemm diversi sfidi tekniċi serji li jeħtieġ li jingħelbu. Pereżempju, fejn u kif taħżen id-dejta dwar l-immappjar ta 'indirizzi MAC/IP virtwali, ID VPC u MAC/IP fiżiku korrispondenti. Fuq skala AWS, din hija tabella enormi li għandha taħdem b'dewmien minimu ta 'aċċess. Responsabbli għal dan servizz ta' mapping, li huwa mifrux f'saff irqiq fin-netwerk kollu.
F'magni tal-ġenerazzjoni l-ġdida, l-inkapsulament isir minn karti Nitro fil-livell tal-ħardwer. F'każijiet anzjani, l-inkapsulament u d-dekapsulazzjoni huma bbażati fuq softwer.
Ejja nsemmu kif taħdem f'termini ġenerali. Nibdew bil-livell L2. Ejja nassumu li għandna magna virtwali bl-IP 10.0.0.2 fuq server fiżiku 192.168.0.3. Jibgħat data lill-magna virtwali 10.0.0.3, li tgħix fuq 192.168.1.4. Talba ARP tiġi ġġenerata u mibgħuta lill-karta Nitro tan-netwerk. Għal sempliċità, nassumu li ż-żewġ magni virtwali jgħixu fl-istess VPC "blu".
Il-mappa tissostitwixxi l-indirizz tas-sors ma tagħha stess u tibgħat il-qafas ARP lis-servizz tal-mapping.
Is-servizz tal-mapping jirritorna informazzjoni li hija meħtieġa għat-trażmissjoni fuq in-netwerk fiżiku L2.
Il-karta Nitro fir-rispons ARP tissostitwixxi l-MAC fuq in-netwerk fiżiku b'indirizz fil-VPC.
Meta tittrasferixxi d-dejta, aħna nagħżlu MAC u IP loġiku f'tgeżwir VPC. Aħna nittrasmettu dan kollu fuq in-netwerk fiżiku billi tuża s-sors u d-destinazzjoni xierqa IP Nitro cards.
Il-magna fiżika li għaliha huwa destinat il-pakkett twettaq il-kontroll. Dan huwa meħtieġ biex tiġi evitata l-possibbiltà ta 'spoofing tal-indirizz. Il-magna tibgħat talba speċjali lis-servizz tal-mapping u tistaqsi: “Mill-magna fiżika 192.168.0.3 irċevejt pakkett li huwa maħsub għal 10.0.0.3 fil-VPC blu. Huwa leġittimu?
Is-servizz tal-mapping jiċċekkja t-tabella tal-allokazzjoni tar-riżorsi tiegħu u jippermetti jew jiċħad il-pakkett jgħaddi. Fl-istanzi l-ġodda kollha, validazzjoni addizzjonali hija inkorporata fil-karti Nitro. Huwa impossibbli li tevitah anki teoretikament. Għalhekk, spoofing għal riżorsi f'VPC ieħor mhux se jaħdem.
Sussegwentement, id-dejta tintbagħat lill-magna virtwali li għaliha hija maħsuba.
Is-servizz tal-mapping jaħdem ukoll bħala router loġiku għat-trasferiment tad-dejta bejn magni virtwali f'subnets differenti. Kollox huwa kunċettwalment sempliċi, mhux se nidħol fid-dettall.
Jirriżulta li meta jittrasmettu kull pakkett, is-servers jirrikorru għas-servizz tal-mapping. Kif tittratta dewmien inevitabbli? Caching, Dażgur.
Is-sbuħija hija li m'għandekx bżonn toqgħod fil-cache-mejda enormi kollha. Server fiżiku jospita magni virtwali minn numru relattivament żgħir ta' VPCs. Għandek bżonn biss li taħke l-informazzjoni dwar dawn il-VPCs. It-trasferiment tad-dejta għal VPCs oħra fil-konfigurazzjoni "default" għadu mhux leġittimu. Jekk tintuża funzjonalità bħal VPC-peering, allura informazzjoni dwar il-VPCs korrispondenti titgħabba wkoll fil-cache.
Irranġajna t-trasferiment tad-dejta lill-VPC.
Blackfoot
X'għandek tagħmel f'każijiet fejn it-traffiku jeħtieġ li jiġi trażmess barra, pereżempju għall-Internet jew permezz ta' VPN lejn l-art? Jgħinna hawn Blackfoot — Servizz intern tal-AWS. Huwa żviluppat mit-tim tagħna tal-Afrika t'Isfel. Huwa għalhekk li s-servizz huwa msemmi għal pingwin li jgħix fl-Afrika t'Isfel.
Blackfoot decapsules it-traffiku u jagħmel dak li huwa meħtieġ miegħu. Id-dejta tintbagħat lill-Internet kif inhi.
Id-dejta tiġi dekapsulata u mgeżwra mill-ġdid f'IPsec meta tuża VPN.
Meta tuża Direct Connect, it-traffiku jiġi mmarkat u mibgħut lill-VLAN xieraq.
HyperPlane
Dan huwa servizz ta' kontroll intern tal-fluss. Ħafna servizzi tan-netwerk jeħtieġu monitoraġġ stati tal-fluss tad-data. Pereżempju, meta tuża NAT, il-kontroll tal-fluss għandu jiżgura li kull par IP: port tad-destinazzjoni jkollu port uniku li joħroġ. Fil-każ ta’ balancer NLB - Netwerk Load Balancer, il-fluss tad-dejta għandu dejjem ikun dirett lejn l-istess magna virtwali fil-mira. Gruppi ta 'Sigurtà huwa firewall stateful. Jissorvelja t-traffiku li jkun dieħel u jiftaħ impliċitament portijiet għall-fluss tal-pakketti ħerġin.
Fil-sħab tal-AWS, ir-rekwiżiti tal-latenza tat-trażmissjoni huma estremament għoljin. Għalhekk HyperPlane kritika għall-prestazzjoni tan-netwerk kollu.
Hyperplane huwa mibni fuq magni virtwali EC2. M'hemm l-ebda maġija hawn, biss cunning. Il-trick huwa li dawn huma magni virtwali b'RAM kbar. L-operazzjonijiet huma transazzjonali u mwettqa esklussivament fil-memorja. Dan jippermettilek tikseb dewmien ta 'għexieren ta' mikrosekondi biss. Ħidma mad-disk joqtol il-produttività kollha.
Hyperplane hija sistema distribwita ta 'numru kbir ta' magni EC2 bħal dawn. Kull magna virtwali għandha bandwidth ta '5 GB/s. Madwar in-netwerk reġjonali kollu, dan jipprovdi terabits inkredibbli ta 'bandwidth u jippermetti l-ipproċessar miljuni ta’ konnessjonijiet kull sekonda.
HyperPlane jaħdem biss bi flussi. L-inkapsulament tal-pakketti VPC huwa kompletament trasparenti għaliha. Vulnerabilità potenzjali f'dan is-servizz intern xorta tevita li l-iżolament tal-VPC jitkisser. Il-livelli hawn taħt huma responsabbli għas-sigurtà.
Ġar storbjuż
Għad hemm problema ġar storbjuż - ġar storbjuż. Ejja nassumu li għandna 8 nodi. Dawn in-nodi jipproċessaw il-flussi tal-utenti kollha tas-sħab. Kollox jidher li huwa tajjeb u t-tagħbija għandha tkun imqassma b'mod uniformi fin-nodi kollha. In-nodi huma b'saħħithom ħafna u huwa diffiċli li tgħabbihom żżejjed.
Iżda aħna nibnu l-arkitettura tagħna bbażata fuq xenarji saħansitra improbabbli.
Probabbiltà baxxa ma tfissirx impossibbli.
Nistgħu nimmaġinaw sitwazzjoni li fiha utent wieħed jew aktar jiġġeneraw tagħbija wisq. In-nodi kollha ta 'HyperPlane huma involuti fl-ipproċessar ta' din it-tagħbija u utenti oħra jistgħu potenzjalment jesperjenzaw xi tip ta 'hit ta' prestazzjoni. Dan ikisser il-kunċett tas-sħaba, li fih il-kerrejja m'għandhom l-ebda ħila li jinfluwenzaw lil xulxin.
Kif issolvi l-problema ta 'proxxmu storbjuż? L-ewwel ħaġa li tiġi f'moħħna hija sharding. It-8 nodi tagħna huma loġikament maqsuma f'4 shards ta '2 nodi kull wieħed. Issa ġar storbjuż se jiddisturba biss kwart tal-utenti kollha, iżda se jiddisturbahom ħafna.
Ejja nagħmlu l-affarijiet differenti. Se nallokaw biss 3 nodi għal kull utent.
Il-trick huwa li tassenja b'mod każwali nodi lil utenti differenti. Fl-istampa hawn taħt, l-utent blu qed jaqsam nodi ma 'wieħed miż-żewġ utenti l-oħra - aħdar u oranġjo.
Bi 8 nodi u 3 utenti, il-probabbiltà li ġar storbjuż jaqsam ma 'wieħed mill-utenti hija ta' 54%. Huwa b'din il-probabbiltà li utent blu jinfluwenza kerrejja oħra. Fl-istess ħin, parti biss mit-tagħbija tagħha. Fl-eżempju tagħna, din l-influwenza se tkun tal-inqas b'xi mod notevoli mhux għal kulħadd, iżda għal terz biss tal-utenti kollha. Dan diġà huwa riżultat tajjeb.
Numru ta' utenti li se jaqsmu
Probabbiltà fil-mija
0
18%
1
54%
2
26%
3
2%
Ejja nġibu s-sitwazzjoni eqreb lejn ir-realtà - ejja nieħdu 100 node u 5 utenti fuq 5 nodi. F'dan il-każ, l-ebda nodi mhu se jaqsam bi probabbiltà ta '77%.
Numru ta' utenti li se jaqsmu
Probabbiltà fil-mija
0
77%
1
21%
2
1,8%
3
0,06%
4
0,0006%
5
0,00000013%
F'sitwazzjoni reali, b'numru kbir ta 'nodi u utenti HyperPlane, l-impatt potenzjali ta' ġar storbjuż fuq utenti oħra huwa minimu. Dan il-metodu jissejjaħ taħlit sharding - shuffle sharding. Jimminimizza l-effett negattiv tal-falliment tan-node.
Ħafna servizzi huma mibnija fuq il-bażi ta 'HyperPlane: Network Load Balancer, NAT Gateway, Amazon EFS, AWS PrivateLink, AWS Transit Gateway.
Skala tan-netwerk
Issa ejja nitkellmu dwar l-iskala tan-netwerk innifsu. Għal Ottubru 2019 AWS toffri s-servizzi tagħha fi 22 reġjun, u 9 oħra huma ppjanati.
- Kull reġjun fih diversi Żoni ta’ Disponibbiltà. Hemm 69 minnhom madwar id-dinja.
- Kull AZ jikkonsisti f'Ċentri għall-Ipproċessar tad-Data. M'hemmx aktar minn 8 minnhom b'kollox.
- Iċ-ċentru tad-dejta fih numru kbir ta’ servers, uħud b’sa 300.
Issa ejja nagħmel medja ta 'dan kollu, immultiplika u nikseb figura impressjonanti li tirrifletti Skala tas-sħab tal-Amazon.
Hemm ħafna rabtiet ottiċi bejn iż-Żoni ta 'Disponibbiltà u ċ-ċentru tad-dejta. F'wieħed mill-akbar reġjuni tagħna, tqiegħdu 388 kanal biss għall-komunikazzjoni AZ bejn xulxin u ċentri ta 'komunikazzjoni ma' reġjuni oħra (Ċentri ta 'Transitu). B'kollox dan jagħti miġnun 5000 Tbit.
Backbone AWS huwa mibni speċifikament għal u ottimizzat għall-cloud. Nibnuha fuq il-kanali 100 GB / s. Aħna nikkontrollawhom kompletament, bl-eċċezzjoni tar-reġjuni fiċ-Ċina. It-traffiku mhuwiex kondiviż mat-tagħbijiet ta' kumpaniji oħra.
Naturalment, aħna mhux l-uniku fornitur tas-sħab b'netwerk tas-sinsla privata. Aktar u aktar kumpaniji kbar qed isegwu din it-triq. Dan huwa kkonfermat minn riċerkaturi indipendenti, pereżempju minn .
Il-grafika turi li s-sehem tal-fornituri tal-kontenut u l-fornituri tal-cloud qed jikber. Minħabba dan, is-sehem tat-traffiku tal-Internet tal-fornituri tas-sinsla qiegħed dejjem jonqos.
Nispjega għaliex jiġri dan. Preċedentement, il-biċċa l-kbira tas-servizzi tal-web kienu aċċessibbli u kkunsmati direttament mill-Internet. Illum il-ġurnata, aktar u aktar servers jinsabu fil-cloud u huma aċċessibbli permezz CDN - Netwerk ta 'Distribuzzjoni tal-Kontenut. Biex taċċessa riżorsa, l-utent jgħaddi mill-Internet biss għall-eqreb CDN PoP - Punt ta' Preżenza. Ħafna drabi huwa x'imkien fil-qrib. Imbagħad iħalli l-Internet pubbliku u jtir permezz ta 'sinsla privata madwar l-Atlantiku, pereżempju, u jasal direttament għar-riżorsa.
Nistaqsi kif l-Internet se jinbidel f'10 snin jekk din it-tendenza tkompli?
Kanali fiżiċi
Ix-xjentisti għadhom ma dehrux kif iżidu l-veloċità tad-dawl fl-Univers, iżda għamlu progress kbir fil-metodi ta 'trażmissjoni permezz tal-fibra ottika. Bħalissa nużaw 6912 kejbil tal-fibra. Dan jgħin biex jottimizza b'mod sinifikanti l-ispiża tal-installazzjoni tagħhom.
F'xi reġjuni għandna nużaw kejbils speċjali. Pereżempju, fir-reġjun ta 'Sydney nużaw kejbils b'kisja speċjali kontra t-termites.
Ħadd ma huwa immuni mill-inkwiet u xi drabi l-kanali tagħna ssirilhom ħsara. Ir-ritratt fuq il-lemin juri kejbils ottiċi f’wieħed mir-reġjuni Amerikani li tqattgħu minn ħaddiema tal-kostruzzjoni. Bħala riżultat tal-inċident, intilfu biss 13-il pakkett tad-dejta, li hija sorprendenti. Għal darb'oħra - 13 biss! Is-sistema litteralment inbidlet istantanjament għal kanali ta 'backup - l-iskala qed taħdem.
Aħna galoppjaw permezz ta 'uħud mis-servizzi u teknoloġiji tal-cloud ta' Amazon. Nittama li jkollok mill-inqas xi idea tal-iskala tal-kompiti li l-inġiniera tagħna jridu jsolvu. Personalment, insib dan eċċitanti ħafna.
Din hija l-parti finali tat-triloġija minn Vasily Pantyukhin dwar l-apparat AWS. IN partijiet jiddeskrivu l-ottimizzazzjoni tas-server u l-iskala tad-database, u in — funzjonijiet bla server u Firecracker.
Fuq f'Novembru Vasily Pantyukhin se jaqsam dettalji ġodda tal-apparat tal-Amazon. Hu dwar il-kawżi ta 'fallimenti u d-disinn ta' sistemi distribwiti fl-Amazon. L-24 ta’ Ottubru għadu possibbli biljett bi prezz tajjeb, u tħallas aktar tard. Qed nistennewk fuq HighLoad++, ejja u ejja chat!
Sors: www.habr.com