Graddfa rhwydwaith Gwasanaethau Gwe Amazon yw 69 parth o amgylch y byd mewn 22 rhanbarth: UDA, Ewrop, Asia, Affrica ac Awstralia. Mae pob parth yn cynnwys hyd at 8 canolfan ddata - Canolfannau Prosesu Data. Mae gan bob canolfan ddata filoedd neu gannoedd o filoedd o weinyddion. Mae'r rhwydwaith wedi'i ddylunio yn y fath fodd fel bod pob sefyllfa anffafriol annhebygol yn cael ei hystyried. Er enghraifft, mae pob rhanbarth wedi'i ynysu oddi wrth ei gilydd, ac mae parthau hygyrchedd yn cael eu gwahanu dros bellteroedd o sawl cilomedr. Hyd yn oed os byddwch chi'n torri'r cebl, bydd y system yn newid i sianeli wrth gefn, a bydd colli gwybodaeth yn gyfystyr ag ychydig o becynnau data. Bydd Vasily Pantyukhin yn siarad am ba egwyddorion eraill y mae'r rhwydwaith wedi'i adeiladu a sut mae wedi'i strwythuro.
Vasily Pantyukhin dechrau fel gweinyddwr Unix mewn cwmnïau .ru, gweithio ar galedwedd Sun Microsystem mawr am 6 blynedd, a phregethu byd data-ganolog am 11 mlynedd yn EMC. Esblygodd yn naturiol yn gymylau preifat, yna symudodd i rai cyhoeddus. Nawr, fel pensaer Gwasanaethau Gwe Amazon, mae'n darparu cyngor technegol i helpu i fyw a datblygu yn y cwmwl AWS.
Yn rhan flaenorol y drioleg AWS, ymchwiliodd Vasily i ddyluniad gweinyddwyr ffisegol a graddio cronfeydd data. Cardiau Nitro, hypervisor arferol wedi'i seilio ar KVM, cronfa ddata Amazon Aurora - am hyn i gyd yn y deunydd "" Darllenwch am gyd-destun neu gwyliwch areithiau.
Bydd y rhan hon yn canolbwyntio ar raddio rhwydwaith, un o'r systemau mwyaf cymhleth yn AWS. Yr esblygiad o rwydwaith gwastad i Gwmwl Preifat Rhithwir a'i ddyluniad, gwasanaethau mewnol Blackfoot a HyperPlane, problem cymydog swnllyd, ac ar y diwedd - graddfa'r rhwydwaith, asgwrn cefn a cheblau ffisegol. Ynglŷn â hyn i gyd o dan y toriad.
Ymwadiad: barn bersonol Vasily yw popeth isod ac efallai na fydd yn cyd-fynd â sefyllfa Amazon Web Services.
Graddio rhwydwaith
Lansiwyd cwmwl AWS yn 2006. Roedd ei rwydwaith yn eithaf cyntefig - gyda strwythur gwastad. Roedd yr ystod o gyfeiriadau preifat yn gyffredin i bob tenant cwmwl. Wrth ddechrau peiriant rhithwir newydd, fe wnaethoch chi dderbyn cyfeiriad IP sydd ar gael o'r ystod hon ar ddamwain.
Roedd y dull hwn yn hawdd i'w weithredu, ond roedd yn cyfyngu'n sylfaenol ar y defnydd o'r cwmwl. Yn benodol, roedd yn eithaf anodd datblygu atebion hybrid a oedd yn cyfuno rhwydweithiau preifat ar lawr gwlad ac yn AWS. Y broblem fwyaf cyffredin oedd ystodau cyfeiriadau IP sy'n gorgyffwrdd.
Cwmwl Preifat Rhithwir
Roedd galw mawr am y cwmwl. Mae'r amser wedi dod i feddwl am scalability a'r posibilrwydd o'i ddefnyddio gan ddegau o filiynau o denantiaid. Mae'r rhwydwaith fflatiau wedi dod yn rhwystr mawr. Felly, buom yn meddwl sut i ynysu defnyddwyr oddi wrth ei gilydd ar lefel rhwydwaith fel y gallent ddewis ystodau IP yn annibynnol.
Beth yw'r peth cyntaf sy'n dod i'ch meddwl wrth feddwl am ynysu rhwydwaith? Yn sicr VLANs и VRF - Llwybro Rhithwir a Anfon Ymlaen.
Yn anffodus, ni weithiodd. Dim ond 12 did yw ID VLAN, sy'n rhoi dim ond 4096 o segmentau ynysig i ni. Gall hyd yn oed y switshis mwyaf ddefnyddio uchafswm o 1-2 mil o VRF. Mae defnyddio VRF a VLAN gyda'i gilydd yn rhoi dim ond ychydig filiwn o isrwydweithiau i ni. Yn bendant nid yw hyn yn ddigon i ddegau o filiynau o denantiaid, a rhaid i bob un ohonynt allu defnyddio is-rwydweithiau lluosog.
Hefyd, ni allwn fforddio prynu'r nifer ofynnol o flychau mawr, er enghraifft, gan Cisco neu Juniper. Mae dau reswm: mae'n wallgof o ddrud, ac nid ydym am fod ar drugaredd eu datblygu a'u polisïau clytio.
Dim ond un casgliad sydd - gwnewch eich datrysiad eich hun.
Yn 2009 fe wnaethom gyhoeddi VPC - Cwmwl Preifat Rhithwir. Mae'r enw yn sownd ac erbyn hyn mae llawer o ddarparwyr cwmwl hefyd yn ei ddefnyddio.
Rhwydwaith rhithwir yw VPC SDN (Rhwydwaith Diffiniedig Meddalwedd). Penderfynasom beidio â dyfeisio protocolau arbennig ar lefelau L2 a L3. Mae'r rhwydwaith yn rhedeg ar Ethernet ac IP safonol. I'w drosglwyddo dros y rhwydwaith, mae traffig peiriannau rhithwir wedi'i grynhoi yn ein papur lapio protocol ein hunain. Mae’n nodi’r ID sy’n perthyn i VPC y tenant.
Swnio'n syml. Fodd bynnag, mae nifer o heriau technegol difrifol y mae angen eu goresgyn. Er enghraifft, ble a sut i storio data ar fapio cyfeiriadau MAC/IP rhithwir, ID VPC a MAC/IP corfforol cyfatebol. Ar raddfa AWS, mae hwn yn dabl enfawr a ddylai weithio gyda chyn lleied o oedi â mynediad. Yn gyfrifol am hyn gwasanaeth mapio, sy'n cael ei wasgaru mewn haen denau ledled y rhwydwaith.
Mewn peiriannau cenhedlaeth newydd, mae amgapsiwleiddio yn cael ei berfformio gan gardiau Nitro ar lefel caledwedd. Mewn achosion hŷn, mae amgáu a dadgapsiwleiddio yn seiliedig ar feddalwedd.
Gadewch i ni ddarganfod sut mae'n gweithio mewn termau cyffredinol. Gadewch i ni ddechrau gyda'r lefel L2. Gadewch i ni dybio bod gennym beiriant rhithwir gydag IP 10.0.0.2 ar weinydd corfforol 192.168.0.3. Mae'n anfon data i beiriant rhithwir 10.0.0.3, sy'n byw ar 192.168.1.4. Cynhyrchir cais ARP a'i anfon at gerdyn rhwydwaith Nitro. Er mwyn symlrwydd, tybiwn fod y ddau beiriant rhithwir yn byw yn yr un VPC “glas”.
Mae'r map yn disodli'r cyfeiriad ffynhonnell gyda'i un ei hun ac yn anfon y ffrâm ARP ymlaen i'r gwasanaeth mapio.
Mae'r gwasanaeth mapio yn dychwelyd gwybodaeth sy'n angenrheidiol ar gyfer trosglwyddo dros rwydwaith ffisegol L2.
Mae'r cerdyn Nitro yn yr ymateb ARP yn disodli'r MAC ar y rhwydwaith ffisegol gyda chyfeiriad yn y VPC.
Wrth drosglwyddo data, rydym yn lapio MAC ac IP rhesymegol mewn deunydd lapio VPC. Rydym yn trosglwyddo hyn i gyd dros y rhwydwaith ffisegol gan ddefnyddio'r cardiau Nitro IP ffynhonnell a chyrchfan priodol.
Mae'r peiriant ffisegol y mae'r pecyn i fod i fynd iddo yn cyflawni'r gwiriad. Mae hyn yn angenrheidiol i atal y posibilrwydd o ffugio cyfeiriad. Mae'r peiriant yn anfon cais arbennig i'r gwasanaeth mapio ac yn gofyn: “O beiriant corfforol 192.168.0.3 derbyniais becyn sydd wedi'i fwriadu ar gyfer 10.0.0.3 yn y VPC glas. Ydy e'n gyfreithlon?
Mae'r gwasanaeth mapio yn gwirio ei dabl dyrannu adnoddau ac yn caniatáu neu'n gwadu i'r pecyn basio drwodd. Ym mhob achos newydd, mae dilysiad ychwanegol wedi'i ymgorffori mewn cardiau Nitro. Mae'n amhosibl ei osgoi hyd yn oed yn ddamcaniaethol. Felly, ni fydd twyllo adnoddau mewn VPC arall yn gweithio.
Nesaf, anfonir y data i'r peiriant rhithwir y mae wedi'i fwriadu ar ei gyfer.
Mae'r gwasanaeth mapio hefyd yn gweithio fel llwybrydd rhesymegol ar gyfer trosglwyddo data rhwng peiriannau rhithwir mewn gwahanol is-rwydweithiau. Mae popeth yn syml yn gysyniadol, nid af i fanylion.
Mae'n ymddangos bod gweinyddwyr yn troi at y gwasanaeth mapio wrth drosglwyddo pob pecyn. Sut i ddelio ag oedi anochel? Caching, wrth gwrs.
Y harddwch yw nad oes angen i chi storio'r bwrdd enfawr cyfan. Mae gweinydd ffisegol yn cynnal peiriannau rhithwir o nifer gymharol fach o VPCs. Dim ond gwybodaeth am y VPCs hyn sydd angen i chi ei chadw. Nid yw trosglwyddo data i VPCs eraill yn y ffurfweddiad “diofyn” yn gyfreithlon o hyd. Os defnyddir ymarferoldeb fel VPC-speering, yna caiff gwybodaeth am y VPCs cyfatebol ei llwytho i'r storfa hefyd.
Fe wnaethom drefnu'r broses o drosglwyddo data i'r VPC.
Blackfoot
Beth i'w wneud mewn achosion lle mae angen trosglwyddo traffig y tu allan, er enghraifft i'r Rhyngrwyd neu drwy VPN i'r ddaear? Yn ein helpu ni allan yma Blackfoot — Gwasanaeth mewnol AWS. Fe'i datblygir gan ein tîm De Affrica. Dyna pam mae'r gwasanaeth wedi'i enwi ar ôl pengwin sy'n byw yn Ne Affrica.
Mae Blackfoot yn dadgapsiwleiddio traffig ac yn gwneud yr hyn sydd ei angen ag ef. Anfonir data i'r Rhyngrwyd fel y mae.
Mae'r data'n cael ei ddadgapsiwleiddio a'i ail-lapio yn IPsec wrth ddefnyddio VPN.
Wrth ddefnyddio Direct Connect, caiff traffig ei dagio a'i anfon i'r VLAN priodol.
HyperPlane
Gwasanaeth rheoli llif mewnol yw hwn. Mae angen monitro llawer o wasanaethau rhwydwaith cyflyrau llif data. Er enghraifft, wrth ddefnyddio NAT, rhaid i reolaeth llif sicrhau bod gan bob pâr porthladd IP:cyrchfan borthladd allan unigryw. Yn achos balancer NLB - Cydbwysydd Llwyth Rhwydwaith, dylai'r llif data bob amser gael ei gyfeirio at yr un peiriant rhithwir targed. Mae Grwpiau Diogelwch yn wal dân urddasol. Mae'n monitro traffig sy'n dod i mewn ac yn ymhlyg yn agor porthladdoedd ar gyfer llif pecynnau sy'n mynd allan.
Yn y cwmwl AWS, mae gofynion hwyrni trosglwyddo yn hynod o uchel. Dyna pam HyperPlane hanfodol i berfformiad y rhwydwaith cyfan.
Mae hyperplane wedi'i adeiladu ar beiriannau rhithwir EC2. Does dim hud yma, dim ond cyfrwys. Y tric yw bod y rhain yn beiriannau rhithwir gyda RAM mawr. Mae gweithrediadau yn drafodol ac yn cael eu perfformio yn y cof yn unig. Mae hyn yn caniatáu ichi gyflawni oedi o ddegau o ficroeiliadau yn unig. Byddai gweithio gyda'r ddisg yn lladd yr holl gynhyrchiant.
Mae hyperplane yn system ddosbarthedig o nifer enfawr o beiriannau EC2 o'r fath. Mae gan bob peiriant rhithwir lled band o 5 GB/s. Ar draws y rhwydwaith rhanbarthol cyfan, mae hyn yn darparu terabitau anhygoel o led band ac yn caniatáu prosesu miliynau o gysylltiadau yr eiliad.
Dim ond gyda ffrydiau y mae HyperPlane yn gweithio. Mae amgįu pecyn VPC yn gwbl dryloyw ar ei gyfer. Byddai gwendid posibl yn y gwasanaeth mewnol hwn yn dal i atal ynysu VPC rhag cael ei dorri. Mae'r lefelau isod yn gyfrifol am ddiogelwch.
Cymydog swnllyd
Mae problem o hyd cymydog swnllyd - cymydog swnllyd. Gadewch i ni dybio bod gennym ni 8 nod. Mae'r nodau hyn yn prosesu llif holl ddefnyddwyr y cwmwl. Mae'n ymddangos bod popeth yn iawn a dylai'r llwyth gael ei ddosbarthu'n gyfartal ar draws pob nod. Mae nodau yn bwerus iawn ac mae'n anodd eu gorlwytho.
Ond rydym yn adeiladu ein pensaernïaeth yn seiliedig ar senarios annhebygol hyd yn oed.
Nid yw tebygolrwydd isel yn golygu amhosibl.
Gallwn ddychmygu sefyllfa lle byddai un neu fwy o ddefnyddwyr yn cynhyrchu gormod o lwyth. Mae pob nod HyperPlane yn ymwneud â phrosesu'r llwyth hwn a gallai defnyddwyr eraill brofi rhyw fath o ergyd perfformiad. Mae hyn yn torri'r cysyniad o'r cwmwl, lle nad oes gan denantiaid y gallu i ddylanwadu ar ei gilydd.
Sut i ddatrys problem cymydog swnllyd? Y peth cyntaf sy'n dod i'r meddwl yw darnio. Rhennir ein 8 nod yn rhesymegol yn 4 darn o 2 nod yr un. Nawr bydd cymydog swnllyd yn tarfu ar chwarter yr holl ddefnyddwyr yn unig, ond bydd yn tarfu arnynt yn fawr.
Gadewch i ni wneud pethau'n wahanol. Dim ond 3 nod y byddwn yn eu dyrannu i bob defnyddiwr.
Y tric yw neilltuo nodau ar hap i wahanol ddefnyddwyr. Yn y llun isod, mae'r defnyddiwr glas yn croestorri nodau ag un o'r ddau ddefnyddiwr arall - gwyrdd ac oren.
Gydag 8 nod a 3 defnyddiwr, mae'r tebygolrwydd y bydd cymydog swnllyd yn croestorri ag un o'r defnyddwyr yn 54%. Gyda'r tebygolrwydd hwn y bydd defnyddiwr glas yn dylanwadu ar denantiaid eraill. Ar yr un pryd, dim ond rhan o'i lwyth. Yn ein hesiampl, bydd y dylanwad hwn o leiaf rywsut yn amlwg nid i bawb, ond dim ond i draean o'r holl ddefnyddwyr. Mae hwn eisoes yn ganlyniad da.
Nifer y defnyddwyr a fydd yn croestorri
Tebygolrwydd yn y cant
0
18%
1
54%
2
26%
3
2%
Dewch i ni ddod â'r sefyllfa yn nes at realiti - gadewch i ni gymryd 100 nod a 5 defnyddiwr ar 5 nod. Yn yr achos hwn, ni fydd unrhyw un o'r nodau yn croestorri gyda thebygolrwydd o 77%.
Nifer y defnyddwyr a fydd yn croestorri
Tebygolrwydd yn y cant
0
77%
1
21%
2
1,8%
3
0,06%
4
0,0006%
5
0,00000013%
Mewn sefyllfa wirioneddol, gyda nifer enfawr o nodau a defnyddwyr HyperPlane, mae effaith bosibl cymydog swnllyd ar ddefnyddwyr eraill yn fach iawn. Gelwir y dull hwn cymysgu sharding - siffrwd sharding. Mae'n lleihau effaith negyddol methiant nodau.
Mae llawer o wasanaethau'n cael eu hadeiladu ar sail HyperPlane: Network Load Balancer, NAT Gateway, Amazon EFS, AWS PrivateLink, AWS Transit Gateway.
Graddfa rhwydwaith
Nawr, gadewch i ni siarad am raddfa'r rhwydwaith ei hun. Ar gyfer Hydref 2019 mae AWS yn cynnig ei wasanaethau yn 22 rhanbarth, ac mae 9 arall yn yr arfaeth.
- Mae pob rhanbarth yn cynnwys sawl Parth Argaeledd. Mae 69 ohonyn nhw ledled y byd.
- Mae pob AY yn cynnwys Canolfannau Prosesu Data. Nid oes mwy nag 8 ohonynt i gyd.
- Mae'r ganolfan ddata yn gartref i nifer enfawr o weinyddion, rhai gyda hyd at 300.
Nawr, gadewch i ni gyfartaleddu hyn i gyd, lluosi a chael ffigwr trawiadol sy'n adlewyrchu Graddfa cwmwl Amazon.
Mae yna lawer o gysylltiadau optegol rhwng Parthau Argaeledd a'r ganolfan ddata. Yn un o'n rhanbarthau mwyaf, mae 388 o sianeli wedi'u gosod yn unig ar gyfer cyfathrebu AY rhwng ei gilydd a chanolfannau cyfathrebu â rhanbarthau eraill (Canolfannau Trafnidiaeth). Yn gyfan gwbl mae hyn yn rhoi crazy 5000 Tbit.
Mae AWS asgwrn cefn wedi'i adeiladu'n benodol ar gyfer y cwmwl ac wedi'i optimeiddio ar ei gyfer. Rydym yn ei adeiladu ar y sianeli 100 GB / s. Rydym yn eu rheoli'n llwyr, ac eithrio rhanbarthau yn Tsieina. Nid yw traffig yn cael ei rannu â llwythi o gwmnïau eraill.
Wrth gwrs, nid ni yw'r unig ddarparwr cwmwl sydd â rhwydwaith asgwrn cefn preifat. Mae mwy a mwy o gwmnïau mawr yn dilyn y llwybr hwn. Cadarnheir hyn gan ymchwilwyr annibynnol, er enghraifft o .
Mae'r graff yn dangos bod cyfran y darparwyr cynnwys a darparwyr cwmwl yn tyfu. Oherwydd hyn, mae cyfran traffig Rhyngrwyd darparwyr asgwrn cefn yn gostwng yn gyson.
Byddaf yn egluro pam mae hyn yn digwydd. Yn flaenorol, roedd y rhan fwyaf o wasanaethau gwe yn hygyrch ac yn cael eu defnyddio'n uniongyrchol o'r Rhyngrwyd. Y dyddiau hyn, mae mwy a mwy o weinyddion wedi'u lleoli yn y cwmwl ac yn hygyrch trwy CDN - Rhwydwaith Dosbarthu Cynnwys. I gael mynediad at adnodd, mae'r defnyddiwr yn mynd trwy'r Rhyngrwyd yn unig i'r CDN PoP agosaf - Pwynt Presenoldeb. Gan amlaf mae rhywle gerllaw. Yna mae'n gadael y Rhyngrwyd cyhoeddus ac yn hedfan trwy asgwrn cefn preifat ar draws yr Iwerydd, er enghraifft, ac yn cyrraedd yr adnodd yn uniongyrchol.
Tybed sut y bydd y Rhyngrwyd yn newid mewn 10 mlynedd os bydd y duedd hon yn parhau?
Sianeli ffisegol
Nid yw gwyddonwyr wedi darganfod eto sut i gynyddu cyflymder golau yn y Bydysawd, ond maent wedi gwneud cynnydd mawr mewn dulliau o'i drosglwyddo trwy ffibr optegol. Ar hyn o bryd rydym yn defnyddio 6912 o geblau ffibr. Mae hyn yn helpu i wneud y gorau o gost eu gosod yn sylweddol.
Mewn rhai rhanbarthau mae'n rhaid i ni ddefnyddio ceblau arbennig. Er enghraifft, yn rhanbarth Sydney rydym yn defnyddio ceblau gyda gorchudd arbennig yn erbyn termites.
Nid oes unrhyw un yn imiwn rhag trafferthion ac weithiau mae ein sianeli'n cael eu difrodi. Mae'r llun ar y dde yn dangos ceblau optegol yn un o ranbarthau America a gafodd eu rhwygo gan weithwyr adeiladu. O ganlyniad i'r ddamwain, dim ond 13 o becynnau data a gollwyd, sy'n syndod. Unwaith eto - dim ond 13! Newidiodd y system yn syth i sianeli wrth gefn - mae'r raddfa'n gweithio.
Fe wnaethon ni garlamu trwy rai o wasanaethau a thechnolegau cwmwl Amazon. Gobeithiaf fod gennych o leiaf ryw syniad o raddfa’r tasgau y mae’n rhaid i’n peirianwyr eu datrys. Yn bersonol, mae hyn yn gyffrous iawn.
Dyma ran olaf y drioleg gan Vasily Pantyukhin am ddyfais AWS. YN mae rhannau'n disgrifio optimeiddio gweinyddwyr a graddio cronfeydd data, ac yn — swyddogaethau di-weinydd a Firecracker.
Ar ym mis Tachwedd bydd Vasily Pantyukhin yn rhannu manylion newydd am ddyfais Amazon. Ef am achosion methiannau a dyluniad systemau gwasgaredig Amazon. Mae Hydref 24 yn dal yn bosibl tocyn am bris da, a thalu yn ddiweddarach. Rydyn ni'n aros amdanoch chi yn HighLoad++, dewch i ni sgwrsio!
Ffynhonnell: hab.com