Echèl rezo Amazon Web Services se 69 zòn atravè mond lan nan 22 rejyon: USA, Ewòp, Azi, Lafrik ak Ostrali. Chak zòn gen jiska 8 sant done - Sant Pwosesis Done. Chak sant done gen dè milye oswa dè santèn de milye de serveurs. Rezo a fèt nan yon fason ke tout senaryo pann fasil yo pran an kont. Pa egzanp, tout rejyon yo izole youn ak lòt, epi zòn aksè yo separe sou distans plizyè kilomèt. Menm si ou koupe kab la, sistèm lan pral chanje nan chanèl backup, ak pèt enfòmasyon an ap monte nan kèk pake done. Vasily Pantyukhin pral pale sou ki lòt prensip rezo a bati sou ak ki jan li estriktire.
Vasily Pantyukhin te kòmanse kòm yon administratè Unix nan konpayi .ru, te travay sou gwo pyès ki nan konpitè Sun Microsystem pou 6 ane, preche yon mond ki santre done nan EMC pou 11 ane. Li natirèlman evolye nan nwaj prive, Lè sa a, demenaje ale rete nan nwaj piblik yo. Kounye a, kòm yon achitèk Amazon Web Services, li bay konsèy teknik pou ede viv ak devlope nan nwaj AWS la.
Nan pati anvan an nan triloji AWS la, Vasily te fouye nan desen an nan sèvè fizik ak dechèl baz done. Kat Nitro, ipèrvizeur ki baze sou KVM koutim, baz done Amazon Aurora - sou tout bagay sa yo nan materyèl la "" Li pou kontèks oswa gade diskou.
Pati sa a pral konsantre sou echèl rezo a, youn nan sistèm ki pi konplèks nan AWS. Evolisyon an soti nan yon rezo plat nan yon Cloud Prive Virtual ak konsepsyon li yo, sèvis entèn nan Blackfoot ak HyperPlane, pwoblèm nan nan yon vwazen fè bwi, ak nan fen - echèl la nan rezo a, zo rèl do ak câbles fizik. Sou tout bagay sa yo anba koupe a.
Limit responsabilite nou: tout bagay ki anba a se opinyon pèsonèl Vasily epi yo pa ka kowenside ak pozisyon Amazon Web Services.
Echèl rezo a
AWS nwaj la te lanse an 2006. Rezo l 'te byen primitif - ak yon estrikti plat. Ranje adrès prive yo te komen pou tout lokatè nwaj yo. Lè w kòmanse yon nouvo machin vityèl, ou aksidantèlman te resevwa yon adrès IP ki disponib nan seri sa a.
Apwòch sa a te fasil pou aplike, men fondamantalman limite itilizasyon nwaj la. An patikilye, li te byen difisil yo devlope solisyon ibrid ki konbine rezo prive sou tè a ak nan AWS. Pwoblèm ki pi komen an te sipèpoze chenn adrès IP yo.
Virtual Prive Cloud
Nwaj la te tounen nan demann. Lè a rive pou w reflechi sou évolutivité ak posiblite pou plizyè dizèn milyon lokatè itilize li. Rezo plat la vin tounen yon gwo obstak. Se poutèt sa, nou te panse sou ki jan yo izole itilizatè yo youn ak lòt nan nivo rezo a pou yo ka poukont yo chwazi chenn IP.
Ki sa ki premye bagay ki vin nan tèt ou lè ou panse sou izolasyon rezo a? Sètènman VLAN и VRF la vle di Virtuel routage ak voye.
Malerezman, li pa t travay. VLAN ID se sèlman 12 bits, ki ban nou sèlman 4096 segman izole. Menm pi gwo switch yo ka itilize yon maksimòm de 1-2 mil VRFs. Sèvi ak VRF ak VLAN ansanm ba nou sèlman kèk milyon subnets. Sa a se definitivman pa ase pou dè dizèn de milyon lokatè, chak nan yo ki dwe kapab sèvi ak plizyè subnet.
Nou tou senpleman pa gen mwayen pou achte kantite mande gwo bwat yo, pa egzanp, de Cisco ou Juniper. Gen de rezon: li fou chè, epi nou pa vle yo dwe nan gen pitye nan devlopman yo ak politik patching.
Gen yon sèl konklizyon - fè pwòp solisyon ou.
An 2009 nou te anonse VPC - Virtual Prive Cloud. Non an kole epi kounye a anpil founisè nwaj yo itilize li tou.
VPC se yon rezo vityèl SDN (Rezo defini lojisyèl). Nou deside pa envante pwotokòl espesyal nan nivo L2 ak L3. Rezo a kouri sou Ethernet estanda ak IP. Pou transmisyon sou rezo a, trafik machin vityèl enkapsule nan pwòp pakè pwotokòl nou an. Li endike ID ki fè pati VPC lokatè a.
Son senp. Sepandan, gen plizyè defi teknik grav ki bezwen simonte. Pou egzanp, ki kote ak ki jan yo estoke done sou kat adrès vityèl MAC / IP, ID VPC ak korespondan MAC / IP fizik. Sou echèl AWS, sa a se yon tab gwo ki ta dwe travay ak reta aksè minimòm. Responsab pou sa sèvis kat, ki gaye nan yon kouch mens nan tout rezo a.
Nan machin nouvo jenerasyon, enkapsulasyon fèt pa kat Nitro nan nivo pyès ki nan konpitè. Nan ka ki pi gran yo, enkapsulasyon ak dekapsulasyon yo baze sou lojisyèl.
Ann kalkile kijan li fonksyone an tèm jeneral. Ann kòmanse ak nivo L2. Ann sipoze ke nou gen yon machin vityèl ak IP 10.0.0.2 sou yon sèvè fizik 192.168.0.3. Li voye done nan machin vityèl 10.0.0.3, ki ap viv sou 192.168.1.4. Yo pwodwi yon demann ARP epi yo voye l nan kat Nitro rezo a. Pou senplisite, nou sipoze ke tou de machin vityèl ap viv nan menm "ble" VPC la.
Kat la ranplase adrès sous la ak pwòp li yo epi voye ankadreman ARP nan sèvis kat la.
Sèvis kat la retounen enfòmasyon ki nesesè pou transmisyon sou rezo fizik L2 la.
Kat Nitro nan repons ARP a ranplase MAC sou rezo fizik la ak yon adrès nan VPC a.
Lè transfere done, nou vlope MAC lojik ak IP nan yon anbalaj VPC. Nou transmèt tout bagay sa yo sou rezo fizik la lè l sèvi avèk sous apwopriye ak destinasyon IP Nitro kat yo.
Machin fizik kote pake a destine fè chèk la. Sa nesesè pou anpeche posiblite pou adrès spoofing. Machin nan voye yon demann espesyal bay sèvis kat la epi li mande: "Soti nan machin fizik 192.168.0.3 mwen te resevwa yon pake ki fèt pou 10.0.0.3 nan VPC ble a. Èske li lejitim?
Sèvis kat la tcheke tab alokasyon resous li yo epi li pèmèt oswa refize pake a pase. Nan tout nouvo ka, validation adisyonèl entegre nan kat Nitro. Li enposib kontoune li menm teyorikman. Se poutèt sa, spoofing nan resous nan yon lòt VPC pa pral travay.
Apre sa, done yo voye nan machin vityèl pou ki li gen entansyon.
Sèvis kat la ap travay tou kòm yon routeur ki lojik pou transfere done ant machin vityèl nan diferan subnet. Tout bagay konseptyèlman senp, mwen pa pral antre nan detay.
Li sanble ke lè transmèt chak pake, sèvè yo vire nan sèvis la kat. Ki jan fè fas ak reta inevitab? Cache, nan kou.
Bote a se ke ou pa bezwen kache tab la tout antye. Yon sèvè fizik gen tout pouvwa a machin vityèl ki soti nan yon kantite relativman ti VPC. Ou bezwen sèlman kache enfòmasyon sou VPC sa yo. Transfere done nan lòt VPC nan konfigirasyon "default" la toujou pa lejitim. Si yo itilize fonksyonalite tankou VPC-peering, Lè sa a, enfòmasyon sou VPC korespondan yo anplis chaje nan kachèt la.
Nou regle transfè done nan VPC a.
Blackfoot
Ki sa ki fè nan ka kote trafik bezwen transmèt deyò, pou egzanp sou entènèt la oswa atravè VPN nan tè a? Ede nou soti isit la Blackfoot — Sèvis entèn AWS. Li devlope pa ekip Sid Afriken nou an. Se poutèt sa yo rele sèvis la apre yon pengwen ki abite nan Lafrik di sid.
Blackfoot dekapsule trafik epi fè sa ki nesesè avèk li. Done yo voye sou entènèt la jan yo ye.
Done yo dekapsule ak re-vlope nan IPsec lè w ap itilize yon VPN.
Lè w ap itilize Direct Connect, trafik yo make epi voye l nan VLAN ki apwopriye a.
HyperPlane
Sa a se yon sèvis kontwòl entèn koule. Anpil sèvis rezo mande siveyans eta koule done yo. Pou egzanp, lè w ap itilize NAT, kontwòl koule dwe asire ke chak pè IP: pò destinasyon gen yon pò sòtan inik. Nan ka yon balanse NLB - Rezo chaj balanse, koule done yo ta dwe toujou dirije nan menm machin vityèl sib la. Gwoup Sekirite se yon firewall eta. Li kontwole trafik fèk ap rantre epi li louvri pò pou koule pake sortan.
Nan nwaj AWS la, kondisyon latansi transmisyon yo trè wo. Se poutèt sa HyperPlane kritik nan pèfòmans nan tout rezo a.
Hyperplane bati sou machin vityèl EC2. Pa gen okenn maji isit la, sèlman atizan konn fè. Trick a se ke sa yo se machin vityèl ak gwo RAM. Operasyon yo se tranzaksyon ak fèt sèlman nan memwa. Sa a pèmèt ou reyalize reta nan sèlman dè dizèn de mikrosgond. Travay ak disk la ta touye tout pwodiktivite.
Hyperplane se yon sistèm distribiye yon gwo kantite machin EC2 sa yo. Chak machin vityèl gen yon Pleasant 5 GB / s. Nan tout rezo rejyonal la, sa a bay terabit enkwayab nan Pleasant ak pèmèt pwosesis dè milyon de koneksyon pa segonn.
HyperPlane travay sèlman ak kouran. Enkapsulasyon pake VPC se konplètman transparan pou li. Yon vilnerabilite potansyèl nan sèvis entèn sa a ta toujou anpeche izolasyon VPC a kase. Nivo ki anba yo responsab pou sekirite.
Vwazen fè bwi
Gen yon pwoblèm toujou vwazen fè bwi - vwazen fè bwi. Ann sipoze nou gen 8 nœuds. Nœuds sa yo trete koule tout itilizatè nwaj yo. Tout bagay sanble ap byen epi chay la ta dwe respire distribye atravè tout nœuds. Nœuds yo trè pwisan e li difisil pou twò chaje yo.
Men, nou bati achitekti nou an ki baze sou menm senaryo fasil.
Ba pwobabilite pa vle di enposib.
Nou ka imajine yon sitiyasyon kote youn oswa plis itilizatè ta jenere twòp chaj. Tout nœuds HyperPlane yo patisipe nan pwosesis chaj sa a ak lòt itilizatè yo ka potansyèlman fè eksperyans kèk kalite frape pèfòmans. Sa a kraze konsèp nan nwaj la, nan ki lokatè pa gen okenn kapasite enfliyanse youn ak lòt.
Ki jan yo rezoud pwoblèm nan nan yon vwazen fè bwi? Premye bagay ki vin nan tèt ou se sharding. 8 nœuds nou yo lojikman divize an 4 shards de 2 nœuds chak. Koulye a, yon vwazen fè bwi pral deranje sèlman yon ka nan tout itilizatè, men li pral deranje yo anpil.
Ann fè bagay yon lòt jan. Nou pral asiyen sèlman 3 nœuds nan chak itilizatè.
Trick a se owaza bay nœuds itilizatè diferan. Nan foto ki anba a, itilizatè ble a kwaze nœuds ak youn nan de lòt itilizatè yo - vèt ak zoranj.
Avèk 8 nœuds ak 3 itilizatè, pwobabilite pou yon vwazen ki fè bwi kwaze ak youn nan itilizatè yo se 54%. Se ak pwobabilite sa a ke yon itilizatè ble pral enfliyanse lòt lokatè. An menm tan an, sèlman yon pati nan chaj li yo. Nan egzanp nou an, enfliyans sa a pral omwen yon jan kanmenm aparan pa tout moun, men nan sèlman yon tyè nan tout itilizatè yo. Sa a se deja yon bon rezilta.
Kantite itilizatè ki pral kwaze
Pwobabilite an pousan
0
18%
1
54%
2
26%
3
2%
Ann pote sitiyasyon an pi pre reyalite - ann pran 100 nœuds ak 5 itilizatè sou 5 nœuds. Nan ka sa a, pa youn nan nœuds yo pral kwaze ak yon pwobabilite 77%.
Kantite itilizatè ki pral kwaze
Pwobabilite an pousan
0
77%
1
21%
2
1,8%
3
0,06%
4
0,0006%
5
0,00000013%
Nan yon sitiyasyon reyèl, ak yon gwo kantite nœuds HyperPlane ak itilizatè yo, enpak potansyèl yon vwazen ki fè bwi sou lòt itilizatè yo minim. Metòd sa a rele melanje sharding - mélanger sharding. Li minimize efè negatif nan echèk ne.
Anpil sèvis yo bati sou baz HyperPlane: Network Load Balancer, NAT Gateway, Amazon EFS, AWS PrivateLink, AWS Transit Gateway.
Echèl rezo a
Koulye a, kite a pale sou echèl la nan rezo a tèt li. Pou mwa Oktòb 2019 AWS ofri sèvis li yo nan 22 rejyon yo, ak 9 plis yo planifye.
- Chak rejyon gen plizyè Zòn Disponibilite. Gen 69 nan yo atravè mond lan.
- Chak AZ konsiste de Sant Pwosesis Done. Pa gen plis pase 8 nan yo nan total.
- Sant done a gen yon gwo kantite sèvè, kèk ki gen jiska 300.
Koulye a, kite a mwayèn tout sa a, miltipliye epi jwenn yon figi enpresyonan ki reflete Amazon echèl nwaj.
Gen anpil lyen optik ant Zòn Disponibilite yo ak sant done yo. Nan youn nan pi gwo rejyon nou yo, 388 chanèl yo te mete jis pou kominikasyon AZ ant youn ak lòt ak sant kominikasyon ak lòt rejyon yo (Sant Transpò). An total sa bay fou 5000 Tbit.
Backbone AWS bati espesyalman pou ak optimize pou nwaj la. Nou bati li sou chanèl yo 100 GB / s. Nou kontwole yo nèt, eksepsyon de rejyon yo nan peyi Lachin. Trafik pa pataje ak charj lòt konpayi yo.
Natirèlman, nou pa sèlman founisè nwaj la ki gen yon rezo kolòn vètebral prive. Plis ak plis gwo konpayi yo ap swiv chemen sa a. Sa a se konfime pa chèchè endepandan, pou egzanp soti nan .
Graf la montre ke pati nan founisè kontni ak founisè nwaj yo ap grandi. Poutèt sa, pati nan trafik entènèt nan founisè sipò yo toujou ap diminye.
Mwen pral eksplike poukisa sa rive. Précédemment, pifò sèvis entènèt yo te aksesib ak konsome dirèkteman nan entènèt la. Sèjousi, pi plis ak plis serveurs yo sitiye nan nwaj la epi yo aksesib atravè CDN - Rezo distribisyon kontni. Pou jwenn aksè nan yon resous, itilizatè a ale nan entènèt la sèlman nan CDN PoP ki pi pre a - Pwen Prezans. Pi souvan li se yon kote ki tou pre. Lè sa a, li kite Entènèt piblik la epi li vole atravè yon kolòn vètebral prive atravè Atlantik la, pou egzanp, epi li vin dirèkteman nan resous la.
Mwen mande ki jan Entènèt la pral chanje nan 10 ane si tandans sa a kontinye?
Chanèl fizik yo
Syantis yo poko kalkile ki jan yo ogmante vitès limyè a nan Linivè, men yo te fè gwo pwogrè nan metòd transmèt li nan fib optik. Kounye a nou itilize 6912 câbles fibre. Sa a ede siyifikativman optimize pri a nan enstalasyon yo.
Nan kèk rejyon nou gen pou itilize câbles espesyal. Pou egzanp, nan rejyon Sydney nou itilize câbles ak yon kouch espesyal anti-termite.
Pa gen moun ki iminize kont pwoblèm epi pafwa chanèl nou yo vin domaje. Foto adwat la montre kab optik nan youn nan rejyon Ameriken yo ke travayè konstriksyon te chire. Kòm yon rezilta nan aksidan an, sèlman 13 pake done yo te pèdi, ki se etone. Yon fwa ankò - sèlman 13! Sistèm nan literalman imedyatman chanje nan chanèl backup - echèl la ap travay.
Nou galope atravè kèk nan sèvis ak teknoloji nwaj Amazon yo. Mwen espere ke ou gen omwen kèk lide sou echèl travay yo ke enjenyè nou yo dwe rezoud. Pèsonèlman, mwen jwenn sa a trè enteresan.
Sa a se pati final la nan triloji a soti nan Vasily Pantyukhin sou aparèy la AWS. NAN pati dekri optimize sèvè ak echèl baz done, ak nan — fonksyon san sèvè ak peta.
Sou an Novanm Vasily Pantyukhin pral pataje nouvo detay sou aparèy Amazon an. Li sou sa ki lakòz echèk ak konsepsyon sistèm distribiye nan Amazon. 24 oktòb toujou posib tikè a bon pri, epi peye pita. Nou ap tann ou nan HighLoad++, vini epi ann chat!
Sous: www.habr.com