Ma'aunin cibiyar sadarwar Sabis na Yanar Gizo ta Amazon shine yankuna 69 a duniya a cikin yankuna 22: Amurka, Turai, Asiya, Afirka da Ostiraliya. Kowane yanki ya ƙunshi har zuwa cibiyoyin bayanai guda 8 - Cibiyoyin sarrafa bayanai. Kowace cibiyar bayanai tana da dubbai ko ɗaruruwan dubbai. An tsara hanyar sadarwar ta hanyar da za a yi la'akari da duk yanayin da ba za a iya fita ba. Misali, duk yankuna sun keɓance da juna, kuma an raba yankunan isa ga nisan kilomita da yawa. Ko da ka yanke kebul ɗin, tsarin zai canza zuwa tashoshi na ajiya, kuma asarar bayanai zai kai 'yan fakitin bayanai. Vasily Pantyukhin zai yi magana game da abin da wasu ka'idojin da aka gina cibiyar sadarwa da kuma yadda aka tsara ta.
Vasily Pantyukhin ya fara ne a matsayin mai gudanarwa na Unix a cikin kamfanonin .ru, ya yi aiki a kan manyan kayan aikin Sun Microsystem na shekaru 6, kuma ya yi wa'azin duniya mai mahimmanci na shekaru 11 a EMC. A dabi'a ya samo asali zuwa gajimare masu zaman kansu, sannan ya koma na jama'a. Yanzu, a matsayin mawallafin Sabis na Yanar Gizo na Amazon, yana ba da shawarwarin fasaha don taimakawa rayuwa da haɓakawa a cikin girgijen AWS.
A cikin ɓangaren da ya gabata na AWS trilogy, Vasily ya zurfafa cikin ƙira na sabar jiki da sikelin bayanai. Katin Nitro, hypervisor na tushen KVM na al'ada, bayanan Amazon Aurora - game da duk wannan a cikin kayan "" Karanta don mahallin ko kallo jawabai.
Wannan bangare zai mayar da hankali kan sikelin cibiyar sadarwa, ɗayan mafi rikitarwa tsarin a AWS. Juyin Halitta daga cibiyar sadarwa mai lebur zuwa Virtual Private Cloud da ƙirarsa, sabis na ciki na Blackfoot da HyperPlane, matsalar maƙwabta mai hayaniya, kuma a ƙarshen - ma'aunin hanyar sadarwa, kashin baya da igiyoyi na zahiri. Game da duk wannan a ƙarƙashin yanke.
Disclaimer: duk abin da ke ƙasa ra'ayin Vasily ne na sirri kuma maiyuwa bazai dace da matsayin Sabis na Yanar Gizo na Amazon ba.
Sikelin hanyar sadarwa
An ƙaddamar da girgijen AWS a cikin 2006. Cibiyar sadarwarsa ta kasance tsohuwar tsohuwar - tare da tsarin lebur. Kewayon adiresoshin masu zaman kansu ya kasance gama gari ga duk masu haya ga girgije. Lokacin fara sabon injin kama-da-wane, ba zato ba tsammani ka karɓi adireshin IP da ke samuwa daga wannan kewayon.
Wannan hanya ta kasance mai sauƙin aiwatarwa, amma tana da iyakacin amfani da gajimare. Musamman ma, yana da wahala sosai don haɓaka hanyoyin haɗin gwiwa waɗanda suka haɗu da cibiyoyin sadarwa masu zaman kansu a ƙasa da AWS. Matsala ta gama gari ita ce jeri jeri na adireshin IP.
Gajimare Mai Zaman Kanta
Gajimaren ya juya ya zama mai buƙata. Lokaci ya yi da za a yi tunani game da haɓakawa da yuwuwar amfani da shi ta dubun-dubatar masu haya. Cibiyar sadarwa mai lebur ta zama babban cikas. Don haka, mun yi tunanin yadda za a ware masu amfani da juna a matakin hanyar sadarwa ta yadda za su iya zaɓar kewayon IP da kansu.
Menene farkon abin da ke zuwa hankali lokacin da kake tunanin keɓewar hanyar sadarwa? Tabbas VLANs и VRF - Gudanarwa na Farko da Gabatarwa.
Abin takaici, bai yi aiki ba. ID na VLAN shine kawai rago 12, wanda ke bamu keɓance yanki 4096 kawai. Ko da mafi girma masu sauyawa na iya amfani da iyakar 1-2 dubu VRFs. Amfani da VRF da VLAN tare yana ba mu ƴan subnets miliyan kaɗan kawai. Wannan ko shakka babu bai isa ga dubun-dubatar masu haya ba, wanda kowannensu dole ne ya iya amfani da na'urori masu yawa.
Hakanan ba za mu iya samun damar siyan adadin da ake buƙata na manyan akwatuna ba, misali, daga Cisco ko Juniper. Akwai dalilai guda biyu: hauka yana da tsada, kuma ba ma so mu kasance cikin jinƙai ga manufofin ci gaban su da faci.
Ƙarshe ɗaya ce kawai - yi naku mafita.
A 2009 mun sanar Farashin VPC - Gajimare Mai Zaman Kanta. Sunan ya makale kuma yanzu yawancin masu samar da girgije ma suna amfani da shi.
VPC cibiyar sadarwa ce ta kama-da-wane SDN (Software Defined Network). Mun yanke shawarar kada mu ƙirƙira ƙa'idodi na musamman a matakan L2 da L3. Cibiyar sadarwa tana gudana akan daidaitaccen Ethernet da IP. Don watsawa akan hanyar sadarwa, zirga-zirgar injunan kama-da-wane an lullube shi a cikin naɗin tsarin mu. Yana nuna ID ɗin da ke na VPC na mai haya.
Sauti mai sauƙi. Koyaya, akwai manyan ƙalubalen fasaha da yawa waɗanda ke buƙatar shawo kan su. Misali, inda da kuma yadda ake adana bayanai akan taswirar adireshin MAC/IP na kama-da-wane, ID na VPC da MAC/IP na zahiri. A kan sikelin AWS, wannan babban tebur ne wanda yakamata yayi aiki tare da ƙarancin jinkirin samun dama. Alhakin wannan sabis na taswira, wanda aka yada a cikin wani bakin ciki Layer ko'ina cikin hanyar sadarwa.
A cikin sababbin injuna, katunan Nitro ana yin su a matakin kayan aiki. A cikin tsofaffin lokuta, encapsulation da decapsulation na tushen software ne.
Bari mu gano yadda yake aiki gabaɗaya. Bari mu fara da matakin L2. Bari mu ɗauka cewa muna da injin kama-da-wane tare da IP 10.0.0.2 akan uwar garken jiki 192.168.0.3. Yana aika bayanai zuwa injin kama-da-wane 10.0.0.3, wanda ke rayuwa akan 192.168.1.4. Ana samar da buƙatar ARP kuma a aika zuwa katin Nitro na cibiyar sadarwa. Don sauƙi, muna ɗauka cewa duka injunan kama-da-wane suna rayuwa a cikin “blue” VPC iri ɗaya.
Taswirar tana maye gurbin adireshin tushen da nasa kuma ya tura firam ɗin ARP zuwa sabis ɗin taswira.
Sabis ɗin taswira yana dawo da bayanan da suka wajaba don watsawa akan hanyar sadarwar L2 ta zahiri.
Katin Nitro a cikin amsawar ARP ya maye gurbin MAC akan hanyar sadarwa ta jiki tare da adireshi a cikin VPC.
Lokacin canja wurin bayanai, muna kunsa MAC mai ma'ana da IP a cikin kundi na VPC. Muna watsa duk wannan akan hanyar sadarwa ta jiki ta amfani da tushen da ya dace da kuma maƙasudin IP Nitro katunan.
Na'ura ta zahiri wacce kunshin aka nufa yana yin rajistan. Wannan wajibi ne don hana yuwuwar zubar da adireshi. Na'urar ta aika buƙatu ta musamman ga sabis ɗin taswira kuma ta yi tambaya: “Daga na'ura ta zahiri 192.168.0.3 Na karɓi fakitin da aka yi niyya don 10.0.0.3 a cikin blue VPC. Shin halas ne?
Sabis ɗin taswira yana bincika teburin rarraba albarkatun sa kuma yana ba da izini ko hana fakitin wucewa. A duk sabbin lokuta, ƙarin tabbatarwa yana kunshe a cikin katunan Nitro. Ba shi yiwuwa a ketare shi ko da bisa ka'ida. Don haka, yin zuzzurfan tunani zuwa albarkatu a cikin wani VPC ba zai yi aiki ba.
Bayan haka, ana aika bayanan zuwa injin kama-da-wane wanda aka yi nufinsa.
Sabis ɗin taswira kuma yana aiki azaman mai amfani da hanyar sadarwa mai ma'ana don canja wurin bayanai tsakanin injuna masu kama-da-wane a cikin rukunin gidajen yanar gizo daban-daban. Komai yana da sauƙi a fahimta, ba zan shiga daki-daki ba.
Ya bayyana cewa lokacin aikawa da kowane fakiti, sabobin suna juya zuwa sabis na taswira. Yadda za a magance jinkirin da ba makawa? Caching, i mana.
Kyakkyawan shine cewa ba kwa buƙatar cache gaba ɗaya babban tebur ɗin. Sabar ta zahiri tana ɗaukar injunan kama-da-wane daga ƙaramin adadin VPCs. Kuna buƙatar cache bayanai game da waɗannan VPCs kawai. Canja wurin bayanai zuwa wasu VPCs a cikin tsarin "tsoho" har yanzu bai halatta ba. Idan ana amfani da ayyuka kamar VPC-peering, sannan ana ɗora bayanai game da VPC masu dacewa a cikin cache.
Mun tsara canja wurin bayanai zuwa VPC.
Blackfoot
Me za a yi a lokuta inda ake buƙatar watsa zirga-zirga a waje, misali zuwa Intanet ko ta hanyar VPN zuwa ƙasa? Taimaka mana a nan Blackfoot - AWS na ciki sabis. Tawagar mu ta Afirka ta Kudu ce ta inganta shi. Shi ya sa ake kiran sabis ɗin da sunan penguin da ke zaune a Afirka ta Kudu.
Blackfoot yana kawar da zirga-zirgar zirga-zirga kuma yana yin abin da ake buƙata dashi. Ana aika bayanai zuwa Intanet kamar yadda yake.
Ana cire bayanan kuma an sake nannade su a cikin IPsec lokacin amfani da VPN.
Lokacin amfani da Haɗin kai tsaye, ana yiwa zirga-zirga alama kuma ana aika zuwa VLAN da ta dace.
HyperPlane
Wannan sabis ne na sarrafa kwararar ruwa na ciki. Yawancin sabis na cibiyar sadarwa suna buƙatar sa ido bayanai kwarara jihohi. Misali, lokacin amfani da NAT, sarrafa kwararar ruwa dole ne a tabbatar da cewa kowane IP: madaidaicin tashar tashar jiragen ruwa yana da tashar jiragen ruwa mai fita na musamman. A wajen ma'auni NLB - Ma'aunin Load na hanyar sadarwa, ya kamata a ko da yaushe a karkatar da kwararar bayanai zuwa na'ura mai kama da manufa iri ɗaya. Ƙungiyoyin Tsaro wani shinge ne na jiha. Yana lura da zirga-zirga masu shigowa kuma a fakaice yana buɗe tashoshin jiragen ruwa don kwararar fakiti masu fita.
A cikin girgijen AWS, buƙatun jinkirin watsawa suna da girma sosai. Shi ya sa HyperPlane mai mahimmanci ga aikin gabaɗayan hanyar sadarwa.
An gina jirgin sama akan injina na EC2. Babu sihiri a nan, sai wayo. Dabarar ita ce waɗannan injuna ne masu kama da manyan RAM. Ayyuka na ma'amala ne kuma ana yin su ne kawai a cikin ƙwaƙwalwar ajiya. Wannan yana ba ku damar samun jinkiri na dubun micro seconds kawai. Yin aiki tare da faifai zai kashe duk yawan aiki.
Hyperplane tsarin rarrabawa ne na adadi mai yawa na irin waɗannan injunan EC2. Kowane injin kama-da-wane yana da bandwidth na 5 GB/s. A duk faɗin hanyar sadarwa na yanki, wannan yana ba da terabits mai ban mamaki na bandwidth kuma yana ba da damar sarrafawa miliyoyin hanyoyin sadarwa a sakan daya.
HyperPlane yana aiki tare da rafuka kawai. VPC fakitin encapsulation gaba ɗaya bayyananne a gare shi. Wata yuwuwar lahani a cikin wannan sabis na cikin gida zai iya hana warewa VPC karye. Matakan da ke ƙasa suna da alhakin tsaro.
Makwabcin hayaniya
Har yanzu akwai matsala m makwabci - m makwabci. Bari mu ɗauka muna da nodes 8. Waɗannan nodes suna aiwatar da kwararar duk masu amfani da girgije. Komai yana da kyau kuma ya kamata a rarraba nauyin a ko'ina cikin duk nodes. Nodes suna da ƙarfi sosai kuma yana da wahala a cika su.
Amma muna gina gine-ginenmu bisa ko da yanayin da ba zai yuwu ba.
Ƙananan yuwuwar ba yana nufin ba zai yiwu ba.
Za mu iya tunanin yanayin da ɗaya ko fiye masu amfani za su haifar da kaya mai yawa. Duk nodes na HyperPlane suna da hannu wajen sarrafa wannan nauyin kuma sauran masu amfani na iya fuskantar wani nau'in wasan kwaikwayo. Wannan ya karya ra'ayi na girgije, wanda masu haya ba su da ikon yin tasiri ga juna.
Yadda za a magance matsalar maƙwabcin surutu? Abu na farko da ya zo a hankali shine sharding. An raba nodes ɗin mu 8 a hankali zuwa shards 4 na nodes 2 kowanne. Yanzu maƙwabci mai hayaniya zai dame kashi ɗaya bisa huɗu na duk masu amfani, amma zai dame su sosai.
Mu yi abubuwa daban. Za mu kasafta nodes 3 kawai ga kowane mai amfani.
Dabarar ita ce sanya nodes ga masu amfani daban-daban ba da gangan ba. A cikin hoton da ke ƙasa, mai amfani da shuɗi ya haɗu da nodes tare da ɗaya daga cikin sauran masu amfani biyu - kore da orange.
Tare da nodes 8 da masu amfani 3, yuwuwar maƙwabcin maƙwabci mai hayaniya yana haɗuwa tare da ɗaya daga cikin masu amfani shine 54%. Tare da wannan yuwuwar mai amfani da shuɗi zai rinjayi sauran masu haya. A lokaci guda, kawai ɓangaren kayan sa. A cikin misalinmu, wannan tasirin zai zama aƙalla ko ta yaya ba za a iya gani ga kowa ba, amma ga kashi ɗaya bisa uku na duk masu amfani. Wannan tuni sakamako ne mai kyau.
Adadin masu amfani da zasu shiga tsakani
Yiwuwar kashi
0
18%
1
54%
2
26%
3
2%
Bari mu kawo yanayin kusa da gaskiya - bari mu ɗauki nodes 100 da masu amfani 5 akan nodes 5. A wannan yanayin, babu ɗayan nodes ɗin da zai haɗu tare da yuwuwar 77%.
Adadin masu amfani da zasu shiga tsakani
Yiwuwar kashi
0
77%
1
21%
2
1,8%
3
0,06%
4
0,0006%
5
0,00000013%
A cikin ainihin halin da ake ciki, tare da adadi mai yawa na HyperPlane nodes da masu amfani, yuwuwar tasirin maƙwabci mai hayaniya akan sauran masu amfani yana da kaɗan. Ana kiran wannan hanyar hadawa sharding - shuffle sharding. Yana rage mummunan tasirin gazawar kumburi.
Yawancin ayyuka an gina su akan HyperPlane: Network Load Balancer, NAT Gateway, Amazon EFS, AWS PrivateLink, AWS Transit Gateway.
Ma'aunin hanyar sadarwa
Yanzu bari muyi magana game da sikelin cibiyar sadarwar kanta. Domin Oktoba 2019 AWS yana ba da ayyukan sa a ciki Yankuna 22, kuma an shirya wasu 9.
- Kowane yanki ya ƙunshi Wuraren Samarwa da yawa. Akwai 69 daga cikinsu a duniya.
- Kowace AZ ta ƙunshi Cibiyoyin sarrafa bayanai. Babu fiye da 8 daga cikinsu gabaɗaya.
- Cibiyar bayanan tana dauke da adadin sabobin, wasu masu har zuwa 300.
Yanzu bari mu matsakaita duk wannan, ninka kuma mu sami adadi mai ban sha'awa wanda ke nunawa Amazon girgije sikelin.
Akwai hanyoyin haɗin kai da yawa tsakanin Wuraren Samfura da cibiyar bayanai. A cikin ɗayan manyan yankuna namu, an shimfida tashoshi 388 don sadarwar AZ tsakanin juna da cibiyoyin sadarwa tare da wasu yankuna (Cibiyoyin Canja wurin). A cikin duka wannan yana ba da hauka 5000 Tbit.
An gina AWS na baya musamman don kuma an inganta shi don gajimare. Muna gina shi akan tashoshi 100 GB / s. Muna sarrafa su gaba daya, ban da yankuna a kasar Sin. Ba a raba zirga-zirga tare da lodin wasu kamfanoni.
Tabbas, ba mu kaɗai ne mai samar da girgije ba tare da hanyar sadarwar kashin baya mai zaman kansa. Da yawa manyan kamfanoni suna bin wannan tafarki. Masu bincike masu zaman kansu sun tabbatar da hakan, misali daga .
Jadawalin ya nuna cewa rabon masu samar da abun ciki da masu samar da girgije yana girma. Saboda haka, rabon zirga-zirgar Intanet na masu samar da kashin baya yana raguwa koyaushe.
Zan bayyana dalilin da yasa hakan ke faruwa. A baya can, yawancin ayyukan gidan yanar gizo ana samun dama kuma ana cinye su kai tsaye daga Intanet. A zamanin yau, ana samun ƙarin sabobin a cikin gajimare kuma ana samun dama ta hanyar CDN - Cibiyar Rarraba Abun ciki. Don samun dama ga albarkatu, mai amfani yana wucewa ta Intanet kawai zuwa CDN PoP mafi kusa - Wurin Kasancewa. Yawancin lokaci yana wani wuri kusa. Sannan yana barin Intanet na jama'a ya tashi ta hanyar kashin baya mai zaman kansa a cikin Tekun Atlantika, alal misali, ya isa ga albarkatun.
Ina mamakin yadda Intanet za ta canza a cikin shekaru 10 idan wannan yanayin ya ci gaba?
Tashoshi na jiki
Masana kimiyya har yanzu ba su gano yadda za a kara saurin haske a sararin samaniya ba, amma sun sami babban ci gaba a hanyoyin yada shi ta hanyar fiber na gani. A halin yanzu muna amfani da igiyoyin fiber 6912. Wannan yana taimakawa sosai don inganta farashin shigarwar su.
A wasu yankuna dole ne mu yi amfani da igiyoyi na musamman. Alal misali, a yankin Sydney muna amfani da igiyoyi tare da sutura ta musamman a kan tururuwa.
Babu wanda ya tsira daga matsaloli kuma wani lokacin tashoshin mu suna lalacewa. Hoton da ke hannun dama yana nuna igiyoyin gani a daya daga cikin yankunan Amurka da ma'aikatan gine-gine suka tsaga. Sakamakon hatsarin, fakitin bayanai 13 ne kawai aka yi asarar, abin mamaki. Har yanzu - kawai 13! Tsarin a zahiri ya canza zuwa tashoshi madadin - ma'aunin yana aiki.
Mun zazzage ta cikin wasu hidimomin girgije da fasahar Amazon. Ina fatan kuna da aƙalla wasu ra'ayi game da sikelin ayyukan da injiniyoyinmu za su warware. Da kaina, na sami wannan abin farin ciki sosai.
Wannan shine ɓangaren ƙarshe na trilogy daga Vasily Pantyukhin game da na'urar AWS. IN sassa suna bayyana haɓakawar uwar garken da ƙimanta bayanai, da kuma cikin - ayyuka mara amfani da Firecracker.
a kan a watan Nuwamba Vasily Pantyukhin zai raba sabbin bayanai na na'urar Amazon. Shi game da abubuwan da ke haifar da gazawa da kuma tsara tsarin rarrabawa a Amazon. 24 ga Oktoba har yanzu yana yiwuwa tikiti a farashi mai kyau, kuma ku biya daga baya. Muna jiran ku a HighLoad++, zo mu yi taɗi!
source: www.habr.com