ʻO ka nui o ka pūnaewele Amazon Web Services he 69 mau ʻāpana a puni ka honua ma 22 mau ʻāpana: USA, ʻEulopa, ʻAsia, ʻApelika a me Australia. Loaʻa i kēlā me kēia ʻāpana a hiki i 8 mau kikowaena ʻikepili - Nā Pūnaewele Hoʻoponopono ʻIkepili. Loaʻa i kēlā me kēia kikowaena ʻikepili nā kaukani a i ʻole haneli haneli o nā kikowaena. Hoʻolālā ʻia ka pūnaewele ma ke ʻano e noʻonoʻo ʻia nā hiʻohiʻona outage āpau. No ka laʻana, hoʻokaʻawale ʻia nā ʻāpana āpau mai kekahi i kekahi, a ua hoʻokaʻawale ʻia nā wahi hiki ke komo ma kahi mamao o kekahi mau kilomita. ʻOiai inā ʻoki ʻoe i ke kaula, e hoʻololi ka ʻōnaehana i nā ala hoʻihoʻi, a ʻo ka nalowale o ka ʻike e lilo i kekahi mau ʻeke ʻikepili. E kamaʻilio ʻo Vasily Pantyukhin e pili ana i nā kumukānāwai ʻē aʻe i kūkulu ʻia ai ka pūnaewele a pehea i hoʻonohonoho ʻia ai.
ʻO Vasily Pantyukhin hoʻomaka ma ke ʻano he Unix luna hoʻomalu ma .ru hui, hana ma luna nui Sun Microsystem lako no 6 makahiki, a hai aku i ka ikepili-centric honua no 11 makahiki ma EMC. Ua ulu maoli i loko o nā ao pilikino, a laila neʻe i nā ao lehulehu. I kēia manawa, ma ke ʻano he mea kākau ʻo Amazon Web Services, hāʻawi ʻo ia i nā ʻōlelo aʻoaʻo ʻenehana e kōkua i ke ola a hoʻomohala i ke ao AWS.
Ma ka ʻaoʻao mua o ka trilogy AWS, ua komo ʻo Vasily i ka hoʻolālā ʻana o nā kikowaena kino a me ka scaling database. Nā kāleka Nitro, hypervisor-hoʻokumu KVM maʻamau, waihona waihona Amazon Aurora - e pili ana i kēia mau mea āpau "" E heluhelu no ka pōʻaiapili a nānā paha haiolelo.
E kālele ana kēia ʻāpana i ka scaling network, kekahi o nā ʻōnaehana paʻakikī ma AWS. ʻO ka hoʻomohala ʻana mai kahi pūnaewele paʻa i kahi Virtual Private Cloud a me kāna hoʻolālā, nā lawelawe kūloko o Blackfoot a me HyperPlane, ka pilikia o kahi hoalauna walaʻau, a ma ka hopena - ka pālākiō o ka pūnaewele, iwi kuamoʻo a me nā kaula kino. E pili ana i kēia mau mea ma lalo o ka ʻoki.
Hoʻokuʻu: ʻo nā mea āpau ma lalo nei ka manaʻo pilikino o Vasily a ʻaʻole paha i kūlike me ke kūlana o Amazon Web Services.
Ka hoʻonui ʻana i ka pūnaewele
Ua hoʻokumu ʻia ke ao AWS i ka makahiki 2006. He mea kahiko loa kāna pūnaewele - me kahi papa palahalaha. He mea maʻamau ka laulā o nā ʻōlelo huna i nā mea hoʻolimalima kapua. I ka hoʻomaka ʻana i kahi mīkini virtual hou, ua loaʻa iā ʻoe kahi leka uila IP i loaʻa mai kēia pae.
He mea maʻalahi kēia ala e hoʻokō ai, akā i kaupalena ʻia ka hoʻohana ʻana i ke ao. ʻO ka mea kūikawā, he mea paʻakikī loa ka hoʻomohala ʻana i nā hoʻonā hybrid i hui pū i nā pūnaewele pilikino ma ka honua a ma AWS. ʻO ka pilikia maʻamau, ʻo ke kau ʻana i nā pae helu IP.
Kapua Pilikino Pilikino
Ua lilo ke ao i ka makemake. Ua hiki mai ka manawa e noʻonoʻo ai e pili ana i ka scalability a me ka hiki ke hoʻohana ʻia e nā ʻumi miliona o nā mea hoʻolimalima. Ua lilo ka pūnaewele palahalaha i mea keakea nui. No laila, ua noʻonoʻo mākou pehea e hoʻokaʻawale ai i nā mea hoʻohana mai kekahi i kekahi ma ka pae pūnaewele i hiki iā lākou ke koho kūʻokoʻa i nā pae IP.
He aha ka mea mua e hiki mai ana i kou noʻonoʻo ʻana e pili ana i ka hoʻokaʻawale pūnaewele? ʻOiaʻiʻo Nā VLAN и VRF - ʻO ke ala ʻana a me ka hoʻouna ʻana.
ʻO ka mea pōʻino, ʻaʻole i hana. ʻO ka VLAN ID he 12 mau ʻāpana wale nō, e hāʻawi iā mākou i 4096 mau ʻāpana kaʻawale. Hiki i nā hoʻololi nui ke hoʻohana i ka nui o 1-2 tausani VRF. ʻO ka hoʻohana pū ʻana iā VRF a me VLAN e hāʻawi iā mākou i mau miliona mau subnets. ʻAʻole lawa kēia no nā ʻumi miliona o nā mea hoʻolimalima, pono e hiki i kēlā me kēia mea ke hoʻohana i nā subnets he nui.
ʻAʻole hiki iā mākou ke kūʻai i ka helu i koi ʻia o nā pahu nui, no ka laʻana, mai Cisco a Juniper. ʻElua kumu: he mea kūʻai nui, a ʻaʻole mākou makemake e lilo i ke aloha o kā lākou hoʻomohala ʻana a me nā kulekele patching.
Hoʻokahi wale nō hopena - e hana i kāu hoʻonā ponoʻī.
Ma 2009 ua hoʻolaha mākou VPC - Kapua Pilikino Pilikino. Ua paʻa ka inoa a i kēia manawa ua hoʻohana nā mea hoʻolako kapua.
ʻO VPC kahi pūnaewele puni honua SDN (Software Defined Network). Ua hoʻoholo mākou ʻaʻole e hana i nā protocol kūikawā ma nā pae L2 a me L3. Holo ka pūnaewele ma ka Ethernet maʻamau a me ka IP. No ka hoʻouna ʻana ma luna o ka pūnaewele, ua hoʻopili ʻia nā kaʻa mīkini virtual i loko o kā mākou kāwele protocol. Hōʻike ia i ka ID no ka VPC o ka mea hoʻolimalima.
He kani maʻalahi. Eia nō naʻe, aia kekahi mau pilikia ʻenehana koʻikoʻi e pono e lanakila. No ka laʻana, ma hea a pehea e mālama ai i ka ʻikepili ma ka palapala ʻana i nā leka uila MAC/IP, VPC ID a me MAC/IP kino. Ma ka pālākiō AWS, he papaʻaina nui kēia e pono e hana me ka liʻiliʻi o ke komo ʻana. kuleana no keia lawelawe palapala palapala, i hohola ʻia ma kahi ʻāpana lahilahi ma ka pūnaewele.
I nā mīkini hana hou, hana ʻia ka encapsulation e nā kāleka Nitro ma ka pae ʻenehana. I nā manawa kahiko, hoʻokumu ʻia ka encapsulation a me ka decapsulation.
E noʻonoʻo kākou pehea e hana ai ma nā ʻōlelo maʻamau. E hoʻomaka kākou me ka pae L2. E noʻonoʻo mākou he mīkini uila me IP 10.0.0.2 ma kahi kikowaena kino 192.168.0.3. Hoʻouna ia i ka ʻikepili i ka mīkini virtual 10.0.0.3, e ola ana ma 192.168.1.4. Hana ʻia kahi noi ARP a hoʻouna ʻia i ka kāleka Nitro pūnaewele. No ka maʻalahi, manaʻo mākou e noho ana nā mīkini virtual ʻelua i ka VPC "uliuli".
Hoʻololi ka palapala ʻāina i ka helu kumu me kāna iho a hoʻouna i ke kiʻi ARP i ka lawelawe palapala ʻāina.
Hoʻihoʻi ka lawelawe palapala palapala i ka ʻike e pono ai no ka hoʻouna ʻana ma luna o ka pūnaewele kino L2.
ʻO ka kāleka Nitro i ka pane ARP e pani i ka MAC ma ka pūnaewele kino me kahi helu i ka VPC.
I ka hoʻoili ʻana i ka ʻikepili, kāʻei mākou i ka MAC a me ka IP i loko o kahi kāwili VPC. Hoʻouna mākou i kēia mau mea āpau ma ka pūnaewele kino me ka hoʻohana ʻana i ke kumu kūpono a me nā kāleka IP Nitro e hele ai.
ʻO ka mīkini kino kahi i koho ʻia ai ka pūʻolo e hana i ka nānā. Pono kēia i mea e pale ai i ka hiki ke hoʻopunipuni ʻia. Hoʻouna ka mīkini i kahi noi kūikawā i ka lawelawe palapala palapala a nīnau: "Mai ka mīkini kino 192.168.0.3 Ua loaʻa iaʻu kahi ʻeke i manaʻo ʻia no 10.0.0.3 i ka VPC polū. He pono anei ia?
Nānā ka lawelawe palapala ʻāina i kāna papa hoʻokaʻawale waiwai a ʻae a hōʻole paha i ka ʻeke e hele. I nā manawa hou a pau, ua hoʻokomo ʻia ka hōʻoia hou i nā kāleka Nitro. ʻAʻole hiki ke kāpae ʻia ma ke ʻano maʻamau. No laila, ʻaʻole e holo ka hoʻopunipuni ʻana i nā kumuwaiwai i kekahi VPC.
A laila, hoʻouna ʻia ka ʻikepili i ka mīkini virtual i manaʻo ʻia.
Hana pū ka lawelawe palapala ʻāina ma ke ʻano he ala ala no ka hoʻoili ʻana i ka ʻikepili ma waena o nā mīkini virtual ma nā subnets like ʻole. He mea maʻalahi nā mea a pau, ʻaʻole wau e hele i nā kikoʻī.
Ke hoʻololi nei i ka wā e hoʻouna ai i kēlā me kēia ʻeke, huli nā kikowaena i ka lawelawe palapala. Pehea e hana ai me nā lohi hiki ʻole? Ke kāʻei ʻana, ʻae nō hoʻi.
ʻO ka nani, ʻaʻole pono ʻoe e hūnā i ka papaʻaina nui. Hoʻokipa kahi kikowaena kino i nā mīkini virtual mai kahi helu liʻiliʻi o nā VPC. Pono ʻoe e hūnā i ka ʻike e pili ana i kēia mau VPC. ʻAʻole kūpono ka hoʻololi ʻana i ka ʻikepili i nā VPC ʻē aʻe ma ka hoʻonohonoho "paʻamau". Inā hoʻohana ʻia ka hana e like me VPC-peering, a laila hoʻouka ʻia ka ʻike e pili ana i nā VPC pili i loko o ka cache.
Hoʻokaʻawale mākou i ka hoʻoili ʻana o ka ʻikepili i ka VPC.
'Okaʻele
He aha ka mea e hana ai i nā hihia kahi e pono ai ke hoʻouna ʻia i waho, no ka laʻana i ka Pūnaewele a i ʻole ma o VPN i ka honua? Kōkua iā mākou ma waho 'Okaʻele — AWS lawelawe kūloko. Hoʻokumu ʻia e kā mākou hui ʻApelika Hema. ʻO ia ke kumu i kapa ʻia ai ka lawelawe ma muli o kahi penguin e noho ana ma ʻApelika Hema.
Hoʻopau ʻo Blackfoot i nā kaʻa a hana i nā mea e pono ai me ia. Hoʻouna ʻia ka ʻikepili i ka Pūnaewele e like me ia.
Hoʻopau ʻia ka ʻikepili a hoʻopili hou ʻia i IPsec i ka wā e hoʻohana ai i kahi VPN.
Ke hoʻohana nei ʻo Direct Connect, ua kau inoa ʻia nā kaʻa a hoʻouna ʻia i ka VLAN kūpono.
Pākuʻi Kūʻai
He lawelawe hoʻomalu kahe kūloko kēia. Pono nā lawelawe pūnaewele he nui ka nānā ʻana mokuʻāina kahe ʻikepili. No ka laʻana, i ka hoʻohana ʻana i ka NAT, pono e hōʻoia ka mana kahe e loaʻa i kēlā me kēia IP: wahi hoʻohālikelike i kahi awa puka kū hoʻokahi. I ka hihia o kahi mea kaulike NLB - Pūnaehana Haawe Kaulike, e kuhikuhi mau ʻia ke kahe o ka ʻikepili i ka mīkini virtual pahu hopu hoʻokahi. ʻO nā Pūʻulu Palekana kahi pā ahi kūlana. Mālama ʻo ia i nā kaʻa e komo mai ana a wehe pono i nā awa no ka holo ʻana o ka ʻeke.
Ma ke ao AWS, kiʻekiʻe loa nā koi latency hoʻouna. ʻo ia ke kumu Pākuʻi Kūʻai koʻikoʻi i ka hana o ka pūnaewele holoʻokoʻa.
Kūkulu ʻia ʻo Hyperplane ma nā mīkini virtual EC2. ʻAʻohe kupua ma ʻaneʻi, maalea wale nō. ʻO ka hoʻopunipuni ʻo ia nā mīkini virtual me RAM nui. He transactional nā hana a hana wale ʻia ma ka hoʻomanaʻo. Hiki iā ʻoe ke hoʻokō i nā lohi o nā ʻumi microseconds wale nō. ʻO ka hana ʻana me ka disk e hoʻopau i nā huahana āpau.
ʻO Hyperplane kahi ʻōnaehana puʻupuʻu o ka nui o nā mīkini EC2. Loaʻa i kēlā me kēia mīkini virtual ka bandwidth o 5 GB / s. Ma waena o ka pūnaewele puni honua holoʻokoʻa, hāʻawi kēia i nā terabits nui o ka bandwidth a hiki i ka hana ʻana mau miliona pili i kekona.
Hana wale ʻo HyperPlane me nā kahawai. Akaka loa ka encapsulation packet VPC no ia. ʻO kahi haʻahaʻa hiki i kēia lawelawe kūloko ke pale aku i ka haʻihaʻi ʻana o ka VPC. ʻO nā pae ma lalo ke kuleana no ka palekana.
Hoapili walaʻau
Aia nō ka pilikia hoapili walaʻau - hoapili walaʻau. E noʻonoʻo kākou he 8 nodes. Hoʻoponopono kēia mau node i nā kahe o nā mea hoʻohana kapua. Me he mea lā ua maikaʻi nā mea a pau a pono e puʻunaue like ʻia ka ukana ma nā node a pau. He ikaika loa nā nodes a paʻakikī ke hoʻonui iā lākou.
Akā, kūkulu mākou i kā mākou hoʻolālā e pili ana i nā hiʻohiʻona like ʻole.
ʻAʻole hiki ke manaʻo ʻia ka haʻahaʻa haʻahaʻa.
Hiki iā mākou ke noʻonoʻo i kahi kūlana e hoʻohua nui ai kekahi mea hoʻohana. Hoʻopili ʻia nā node HyperPlane āpau i ka hoʻoili ʻana i kēia ukana a hiki i nā mea hoʻohana ʻē aʻe ke ʻike i kekahi ʻano o ka hoʻokō. Hoʻopau kēia i ka manaʻo o ke ao, kahi i hiki ʻole ai i nā mea hoʻolimalima ke hoʻoikaika i kekahi i kekahi.
Pehea e hoʻoponopono ai i ka pilikia o kahi hoalauna walaʻau? ʻO ka mea mua i hiki i ka naʻau ke sharding. Hoʻokaʻawale ʻia kā mākou 8 nodes i 4 shards o 2 nodes i kēlā me kēia. I kēia manawa, e hoʻopilikia wale ka hoalauna walaʻau i ka hapahā o nā mea hoʻohana a pau, akā e hoʻopilikia nui iā lākou.
E hana like kāua. E hoʻokaʻawale wale mākou i 3 nodes i kēlā me kēia mea hoʻohana.
ʻO ka hoʻopunipuni ka hāʻawi wale ʻana i nā nodes i nā mea hoʻohana like ʻole. Ma ke kiʻi ma lalo nei, hoʻopili ka mea hoʻohana polū i nā node me kekahi o nā mea hoʻohana ʻelua - ʻōmaʻomaʻo a ʻalani.
Me 8 mau nodes a me 3 mea hoʻohana, ʻo 54% ka manaʻo o kahi hoalauna walaʻau e hui pū me kekahi o nā mea hoʻohana. ʻO ia ka mea hiki i ka mea hoʻohana uliuli ke hoʻohuli i nā mea hoʻolimalima ʻē aʻe. I ka manawa like, he hapa wale nō o kāna ukana. I kā mākou hiʻohiʻona, e ʻike ʻia kēia mana i nā mea a pau, akā i ka hapakolu wale nō o nā mea hoʻohana. He hopena maikaʻi kēia.
Ka helu o nā mea hoʻohana e hui
Hiki i ka pakeneka
0
18%
1
54%
2
26%
3
2%
E hoʻokokoke kākou i ke kūlana i ka ʻoiaʻiʻo - e lawe kākou i 100 nodes a me 5 mea hoʻohana ma 5 nodes. I kēia hihia, ʻaʻohe o nā nodes e hui pū me ka 77%.
Ka helu o nā mea hoʻohana e hui
Hiki i ka pakeneka
0
77%
1
21%
2
1,8%
3
0,06%
4
0,0006%
5
0,00000013%
Ma kahi kūlana maoli, me ka nui o nā node HyperPlane a me nā mea hoʻohana, ʻoi aku ka liʻiliʻi o ka hopena o kahi hoa noho walaʻau i nā mea hoʻohana ʻē aʻe. Kapa ʻia kēia ʻano hana hui ʻana i ka sharding - ʻāwili sharding. Hoʻemi ia i ka hopena maikaʻi ʻole o ka hemahema o ka node.
Nui nā lawelawe i kūkulu ʻia ma ke kumu o HyperPlane: Network Load Balancer, NAT Gateway, Amazon EFS, AWS PrivateLink, AWS Transit Gateway.
ʻAha pūnaewele
I kēia manawa e kamaʻilio e pili ana i ka nui o ka pūnaewele ponoʻī. No ʻOkakopa 2019 hāʻawi ʻo AWS i kāna mau lawelawe ma 22 mau ʻāina, a ua hoʻolālā ʻia he 9 hou aku.
- Loaʻa i kēlā me kēia māhele nā ʻāpana ʻokoʻa. Aia he 69 o lākou a puni ka honua.
- Loaʻa i kēlā me kēia AZ nā Center Processing Data. ʻAʻole i ʻoi aku ma mua o 8 o lākou i ka huina.
- ʻO ka hale kikowaena ʻikepili kahi helu nui o nā kikowaena, ʻo kekahi a hiki i 300.
I kēia manawa, e hoʻohālikelike kākou i kēia mau mea a pau, e hoʻonui a loaʻa i kahi kiʻi kupaianaha e hōʻike ana ʻO ke ao kapuaʻi Amazon.
Nui nā loulou optical ma waena o Availability Zones a me ke kikowaena ʻikepili. Ma kekahi o kā mākou mau ʻāina nui loa, ua waiho ʻia nā kaha 388 no ke kamaʻilio AZ ma waena o kekahi a me nā kikowaena kamaʻilio me nā wahi ʻē aʻe (Transit Centers). I ka huina pau keia haawi pupule 5000 Tbit.
Kūkulu ʻia ʻo Backbone AWS no ke ao. Kūkulu mākou iā ia ma nā kahawai 100 GB / s. Mālama mākou iā lākou, koe wale nā wahi ma Kina. ʻAʻole kaʻana like ʻia ke kaʻa me nā ukana o nā hui ʻē aʻe.
ʻOiaʻiʻo, ʻaʻole mākou wale nō ka mea hoʻolako kapua me kahi pūnaewele iwi kuamoʻo pilikino. ʻOi aku ka nui o nā ʻoihana nui e hahai nei i kēia ala. Ua hōʻoia kēia e nā mea noiʻi kūʻokoʻa, no ka laʻana mai .
Hōʻike ka pakuhi i ka ulu ʻana o ka māhele o nā mea hāʻawi ʻike a me nā mea hāʻawi ao. Ma muli o kēia, ke emi mau nei ka māhele o ka hele ʻana o ka pūnaewele o nā mea hoʻolako iwi kuamoʻo.
E wehewehe au i ke kumu o kēia. Ma mua, hiki ke loaʻa ka hapa nui o nā lawelawe pūnaewele a hoʻopau pololei ʻia mai ka Pūnaewele. I kēia mau lā, ʻoi aku ka nui o nā kikowaena i ke ao a hiki ke loaʻa ma o CDN - Pūnaehana hoʻolaha maʻiʻo. No ke komo ʻana i kahi kumuwaiwai, hele ka mea hoʻohana ma ka Pūnaewele i kahi CDN PoP kokoke loa - Kaulana. ʻO ka pinepine ma kahi kokoke. A laila, haʻalele ia i ka pūnaewele puni honua a lele i loko o kahi iwi kuamoʻo ma waena o ka ʻAkelanika, no ka laʻana, a hele pololei i ka punawai.
Manaʻo wau pehea e loli ai ka Pūnaewele i nā makahiki 10 inā hoʻomau kēia ʻano?
Kaila kino
ʻAʻole i noʻonoʻo ka poʻe ʻepekema pehea e hoʻonui ai i ka māmā o ka mālamalama i ke ao holoʻokoʻa, akā ua holomua nui lākou i nā ʻano o ka hoʻouna ʻana ma o ka fiber optical. Hoʻohana mākou i kēia manawa i nā uwea fiber 6912. Kōkua kēia i ka hoʻonui nui ʻana i ke kumukūʻai o kā lākou kau ʻana.
Ma kekahi mau ʻāina pono mākou e hoʻohana i nā kaula kūikawā. No ka laʻana, ma ka ʻāina ʻo Sydney ke hoʻohana nei mākou i nā kaula me kahi uhi kūikawā e kūʻē i nā termite.
ʻAʻohe mea i pale ʻole i nā pilikia a i kekahi manawa e pōʻino kā mākou kahawai. Hōʻike ke kiʻi ma ka ʻaoʻao i nā uwea optical ma kekahi o nā ʻāina ʻAmelika i haehae ʻia e nā limahana hana. ʻO ka hopena o ka pōʻino, he 13 mau pūʻulu data wale nō i nalowale, he mea kupanaha. Eia hou - 13 wale nō! Ua hoʻololi koke ka ʻōnaehana i nā ala hoʻihoʻi - ke hana nei ka paona.
Ua holo mākou ma o kekahi o nā lawelawe kapuaʻi a me nā ʻenehana Amazon. Manaʻo wau e loaʻa iā ʻoe ka liʻiliʻi o ka manaʻo o ka nui o nā hana a kā mākou poʻe loea e hoʻoponopono ai. ʻO wau iho, ʻike wau i kēia mea hoihoi loa.
ʻO kēia ka ʻāpana hope loa o ka trilogy mai Vasily Pantyukhin e pili ana i ka polokalamu AWS. IN wehewehe nā ʻāpana i ka loiloi kikowaena a me ka scaling database, a ma - nā hana serverless a me Firecracker.
maluna o i Nowemapa e kaʻana like ʻo Vasily Pantyukhin i nā kikoʻī hou o ka polokalamu Amazon. He e pili ana i nā kumu o ka hāʻule ʻole a me ka hoʻolālā ʻana o nā ʻōnaehana puʻupuʻu ma Amazon. Hiki nō ka lā 24 ʻOkakopa tiketi ma ke kumukuai maikai, a e uku mahope. Ke kali nei mākou iā ʻoe ma HighLoad++, e hele mai e kamaʻilio kāua!
Source: www.habr.com