Daruuruhu waa sida sanduuqa sixirka - waxaad waydiisaa waxaad u baahan tahay, agabkuna wuxuu u muuqdaa meel aan jirin. Mashiinnada Virtual, database-yada, shabakada - waxaas oo dhan adigaa iska leh. Waxaa jira kiraysteyaal daruuro kale ah, laakiin Caalamkaaga waxaad tahay kali taliye. Waxaad hubtaa inaad had iyo jeer heli doonto agabka loo baahan yahay, qofna kuma xisaabtami doontid oo waxaad si madaxbanaan u go'aaminaysaa sida shabakadu noqon doonto. Sidee buu sixirkan u shaqeeyaa ka dhigaya in daruurtu si baladhan u qoondayso agabka oo si buuxda uga soocdo midba midka kale?
Daruuraha AWS waa nidaam adag oo mega-super ah kaas oo si horumarsan u korayay ilaa 2006. Qayb ka mid ah horumarkan ayaa dhacay Vasily Pantyukhin - Amazon Web Services Architect. Naqshadeeye ahaan, wuxuu helayaa gudaha gudaha ma aha oo kaliya natiijada dhamaadka, laakiin sidoo kale caqabadaha AWS ka gudubto. Fahamka weyn ee sida nidaamku u shaqeeyo, waa sii weynaataa kalsoonida. Sidaa darteed, Vasily wuxuu wadaagi doonaa sirta adeegyada daruuraha AWS. Hoos waxaa ku yaal naqshadeynta server-yada AWS ee jireed, scalability database elastik, kaydka kaydka Amazon ee caadiga ah iyo hababka kordhinta waxqabadka mashiinnada farsamada iyadoo isla mar ahaantaana la dhimayo qiimahooda. Aqoonta hababka qaab dhismeedka Amazon waxay kaa caawin doontaa inaad si hufan u isticmaasho adeegyada AWS waxaana laga yaabaa inay ku siiso fikrado cusub oo aad ku dhisto xalalkaaga.
Ku saabsan afhayeenka: Vasily Pantyukhin (Wuxuu ka bilaabay maamule Unix ee shirkadaha .ru, wuxuu ka shaqeeyay qalab weyn oo Sun Microsystem ah muddo 6 sano ah, wuxuuna ku wacdiyey adduun xog-ururin ah EMC sannado 11 ah. Waxay si dabiici ah u rogmatay daruuro gaar ah, 2017-kiina waxay u guurtay kuwa guud. Hadda wuxuu bixiyaa talo farsamo si uu u caawiyo ku noolaanshaha iyo horumarinta daruuraha AWS.
Afeef: wax kasta oo hoos ku qoran waa ra'yiga shakhsi ahaaneed ee Vasily waxaana laga yaabaa inaanay ku habboonayn booska Adeegyada Shabakadda Amazon. Warbixinta uu maqaalku ku saleysan yahay ayaa laga heli karaa kanaalkayaga YouTube.
Waa maxay sababta aan uga hadlayo qalabka Amazon?
Baabuurkaygii ugu horreeyay wuxuu lahaa gudbinta gacanta. Waxay ahayd mid aad u wanaagsan sababtoo ah dareenka ah inaan kaxayn karo baabuurka oo aan si buuxda u xakameyn karo. Waxaan sidoo kale jeclaystay in aan ugu yaraan si qoto dheer u fahmay mabda'a hawlgalkeeda. Dabiici ahaan, waxaan u malaynayay in qaab-dhismeedka sanduuqu uu yahay mid hore-u-yaal ah sida sanduuqa gear-ka ee baaskiilka.
Wax walba way fiicnaayeen, marka laga reebo hal shay - oo ku xayiran saxmadda baabuurta. Waxay u muuqataa inaad fadhido oo aanad waxba qabanayn, laakiin waxaad si joogto ah u beddeshaa qalabka, adigoo riixaya xajinta, gaaska, biriiga - runtii waxay kaa dhigaysaa daal. Dhibaatada saxmada waddooyinka ayaa qayb ahaan la xalliyey markii qoysku ay heleen baabuur otomaatig ah. Markii aan baabuur wadey, waxaan helay waqti aan ku fekero wax oo aan dhegeysto buug maqal ah.
Nolosheyda waxaa ka soo muuqday qarsoodi kale, sababtoo ah waxaan gabi ahaanba joojiyay fahamka sida gaarigaygu u shaqeeyo. Baabuurka casriga ah waa qalab adag. Baabuurka ayaa isku mar la qabsanaya daraasiin cabirro kala duwan: riixida gaaska, biriiga, qaabka wadista, tayada wadada. Ma fahmin sida ay u shaqeyso hadda.
Markii aan bilaabay in aan ka shaqeeyo daruurta Amazon, waxa ay sidoo kale ii ahayd qarsoodi. Kaliya qarsoodigan ayaa ah amar ka weyn, sababtoo ah waxaa jira hal darawal oo baabuurka, iyo AWS waxaa jira malaayiin iyaga ka mid ah. Dhammaan isticmaalayaasha ayaa isku mar isteejinaya, riix gaaska iyo biriiga. Waa yaab in ay aadaan halka ay rabaan- waa aniga mucjiso! Nidaamku si toos ah ayuu ula qabsanayaa, u miisaamayaa oo si laxaad leh ula qabsanayaa isticmaale kasta si ay ugu muuqato in uu kaligiis ku yahay Caalamkan.
Sixirku wuu yara dhammaaday markii aan markii dambe imid inaan ka shaqeeyo sidii naqshadeeyaha Amazon. Waxaan arkay dhibaatooyinka aan la kulanno, sida aan u xalinno, iyo sida aan u horumarino adeegyada. Iyada oo la kordhinayo fahamka sida nidaamku u shaqeeyo, kalsooni badan oo adeega ayaa muuqata. Markaa waxaan rabaa inaan wadaago sawirka waxa ku hoos jira daruurta AWS.
Maxaan ka hadlaynaa
Waxaan doortay hab kala duwan - Waxaan doortay 4 adeeg oo xiiso leh oo mudan in laga hadlo.
Hagaajinta adeegaha. Daruuraha Ephemeral oo leh qaab jireed: xarumaha xogta jireed halkaas oo ay jiraan adeegayaal jireed kuwaas oo huursada, kululeeya oo ku libiqsada nalal.
Shaqooyin aan server lahayn (Lambda) waxay u badan tahay inay tahay adeegga ugu miisaanka culus ee daruuraha.
Kaydinta database-ka. Waxaan kaaga sheegi doonaa sida aan u dhisno xog uruurinteena oo la miisaami karo.
Isku-dheellitirka shabakada. Qeybta ugu dambeysa ee aan ku furi doono qalabka shabakadayada. Tani waa shay cajiib ah - qof kasta oo isticmaala daruuraha wuxuu aaminsan yahay in uu keligiis ku yahay daruuraha oo uusan arkin kiraystayaasha kaleba.
Ogow. Maqaalkani waxa uu ka hadli doonaa tayaynta server-ka iyo cabbirida xogta. Waxaan ku eegi doonaa cabirida shabakada maqaalka soo socda. Aaway hawshii server-la'aanta? Qoraal gaar ah ayaa laga daabacay iyaga" Waxay ka hadlaysaa dhowr siyaabood oo kala duwan oo ismiidaamin ah, waxayna si faahfaahsan uga hadlaysaa xalka Firecracker - calaamad muujinaysa tayada ugu wanaagsan ee mashiinka farsamada iyo weelasha.
Adeegayaal
Daruurtu waa ephemeral. Laakin fiirsashadani wali waxay leedahay qaab jireed - servers. Markii hore, dhismahoodu waxa uu ahaa mid qadiimi ah. Jaangooyada x86 chipset, kaararka shabakada, Linux, Xen hypervisor kaas oo mashiinada farsamada lagu shaqeynayo.
Sannadkii 2012, nashqadani waxay si fiican ula qabsatay hawlaheeda. Xen waa hypervisor weyn, laakiin waxay leedahay hal cillad oo weyn. wuu ku filan yahay sare sare ee ku dayashada qalabka. Markay cusub yihiin, kaadhadhka shabakadu dhakhsiyaha badan yihiin ama darawallada SSD-du ay noqdaan, dulka sare wuxuu noqonayaa mid aad u sarreeya. Sidee wax looga qabtaa dhibaatadan? Waxaanu go’aansanay in aanu hal mar ka wada shaqayno laba waji- Hagaaji labada hardware iyo hypervisor. Hawshu waa mid aad u culus.
Hagaajinta hardware iyo hypervisor
In wax walba hal mar la sameeyo oo si wanaagsan loo sameeyo ma shaqeyn doonto. Waxa "wanaagsan" ahaa sidoo kale ma cadda markii hore.
Waxaan go'aansanay inaan qaadno hab horumar leh - waxaan bedelnaa hal shay oo muhiim ah oo ka mid ah dhismaha oo ku tuur wax soo saarka.
Waxaan ku talaabsanay qaad kasta, waxaan dhageysanaa cabashooyinka iyo soo jeedinta. Kadibna waxaan bedelnaa qayb kale. Markaa, koror yar, waxaan si weyn u bedelnaa dhammaan qaab-dhismeedka iyadoo ku saleysan jawaab celinta isticmaaleyaasha iyo taageerada.
Isbeddelku wuxuu bilaabmay 2013-kii oo leh waxa ugu adag - shabakadda. IN C3 tusaale ahaan, kaarka dardargelinta Shabakadda gaarka ah ayaa lagu daray kaadhka caadiga ah. Waxa ay si dhab ah ugu xidhnayd xadhig gaaban oo loopback ah oo ku yaala dhinaca hore. Ma qurux badna, laakiin daruuraha lagama dhex arki karo. Laakin is dhexgalka tooska ah ee qalabku waxa uu hagaajiyay jitter-ka iyo soo saarista shabakada.
Marka xigta waxaanu go'aansanay inaanu horumarino marin u helka xogta kaydinta EBS - Elastic Block Storage. Waa isku darka shabakad iyo kaydinta. Dhibka jira ayaa ah in iyadoo kaararka Shabakadu ay ka jireen suuqa, ma jirin wax ikhtiyaar ah oo si fudud loogu iibsan karo qalabka Dardargelinta Kaydinta. Markaa waxaan u jeesannay bilow Annapurna Labs, oo noo soo saaray chips ASIC gaar ah. Waxay ogolaadeen mugga fog ee EBS in lagu rakibo sidii aaladaha NVMe.
Tusaale ahaan C4 waxaan xalinay laba dhibaato. Midda koowaad waa in aan hirgelinay aasaaska mustaqbalka rajooyinka, laakiin waqtigaas cusub, tignoolajiyada NVMe. Marka labaad, waxaanu si weyn u dejinay processor-ka dhexe annagoo ku wareejinayna habaynta codsiyada EBS kaar cusub. Si fiican ayey u soo baxday, markaa hadda Annapurna Labs waa qayb ka mid ah Amazon.
Noofambar 2017, waxaan ogaanay in la joogo waqtigii la bedeli lahaa hypervisor laftiisa.
Hypervisor-ka cusub ayaa la sameeyay iyadoo lagu salaynayo cutubyada kernel-ka ee KVM oo la beddelay.
Waxay suurtogalisay in aasaas ahaan la yareeyo dusha sare ee ku dayashada qalabka oo si toos ah ula shaqeyso ASIC-yada cusub. Tusaalooyinka C5 waxay ahaayeen mishiinadii ugu horreeyay ee farsamaysan oo leh hypervisor cusub oo ka hoos shaqeeya daboolka. Waxaan u magacaabay Nitro.
Kobcinta tusaalooyinka waqtiga.
Dhammaan noocyada cusub ee mashiinnada farsamada gacanta ee soo muuqday ilaa Noofambar 2017 waxay ku shaqeeyaan hypervisor-kan. Tusaalooyinka birta qaawan ma laha hypervisor, laakiin sidoo kale waxaa loogu yeeraa Nitro, maadaama ay isticmaalaan kaararka Nitro ee gaarka ah.
Labada sano ee soo socota, tirada noocyada xaaladaha Nitro waxay dhaaftay dhowr darsin: A1, C5, M5, T3 iyo kuwa kale.
Noocyada tusaalaha.
Sida mashiinnada Nitro casriga ah u shaqeeyaan
Waxay leeyihiin saddex qaybood oo waaweyn: Nitro hypervisor (kor lagu falanqeeyay), chip security iyo kaararka Nitro.
Qalabka amniga si toos ah ugu dhex milmay Motherboard-ka. Waxay maamushaa hawlo badan oo muhiim ah, sida xakamaynta rarka OS-ga martida loo yahay.
Kaararka Nitro - Waxaa jira afar nooc oo iyaga ka mid ah. Dhammaantood waxaa sameeyay Annapurna Labs waxayna ku saleysan yihiin ASIC-yada caadiga ah. Qaar ka mid ah firmware-kooda sidoo kale waa caadi.
Afar nooc oo kaararka Nitro.
Mid ka mid ah kaararka waxaa loogu talagalay in lagu shaqeeyo shabakadVPC. Tani waa waxa ka muuqda mashiinnada farsamada gacanta sida kaarka shabakadda ENA - Adapter Network Elastic. Waxa kale oo ay koobeysaa taraafikada marka lagu gudbinayo shabakad jireed (waxaan uga hadli doonaa tan qaybta labaad ee maqaalka), waxay xakameysaa dab-damiska Kooxaha Ammaanka, waxayna mas'uul ka tahay marin-u-socodka iyo waxyaabaha kale ee shabakadda.
Dooro kaadhadhku waxay ku shaqeeyaan kaydinta xannibaadda EBS iyo saxannada ku dhex jira server-ka. Waxay u muuqdaan in ay mashiinka dalwaddii martida sida Adabiyeyaasha NVMe. Waxay kaloo mas'uul ka yihiin sirta xogta iyo la socodka diskka.
Nidaamka kaararka Nitro, hypervisor iyo chip security ayaa lagu dhex daray shabakad SDN ama Shabakadda Qeexay Software. Ka masuulka ah maaraynta shabakadan (Control Plane) kaadhka xakamaynta.
Dabcan, waxaan sii wadeynaa horumarinta ASICs cusub. Tusaale ahaan, dhammaadka 2018 waxay sii daayeen Chip Inferentia, kaas oo kuu ogolaanaya inaad si hufan ugu shaqeyso hawlaha barashada mashiinka.
Chip Processor Barashada Mashiinka Inferentia.
Xogta la qiyaasi karo
Keydka dhaqameedku wuxuu leeyahay qaab-dhismeed lakabaysan. Si loo fududeeyo si weyn, heerarka soo socda ayaa la kala saaraa.
- SQL - macmiilka iyo codso dirayaasha inay ka shaqeeyaan.
- Qodobbada wax kala iibsiga - wax walba waa ku cad yihiin halkan, ACID iyo waxaas oo dhan.
- kaydinta, kaas oo ay bixiyaan barkadaha kaydinta.
- Goynta - waxay ku siinaysaa shaqo dib u habeyn. MySQL dhexdeeda waxaa loogu yeeraa Bin Logs, gudaha PosgreSQL - Write Ahead Logs (WAL).
- Kaydinta - duubista tooska ah ee diskka.
Qaab dhismeedka xogta lakabka ah.
Waxaa jira habab kala duwan oo lagu cabbiro xogta macluumaadka: shaandheynta, naqshadaynta wax la wadaago, saxannada la wadaago.
Si kastaba ha ahaatee, dhammaan hababkani waxay ilaalinayaan qaab-dhismeedka xogta monolitic ee isku midka ah. Tani waxay si weyn u xaddidaysaa miisaanka. Si loo xaliyo dhibaatadan, waxaanu samaynay xog-ururintayada - Amazon Aurora. Waxay la jaan qaadaysaa MySQL iyo PostgreSQL.
Amazon Aurora
Fikradda ugu weyn ee qaab-dhismeedka waa in la kala saaro kaydinta iyo heerarka gooynta iyo kaydinta muhiimka ah.
Markaan horay u fiirino, waxaan dhihi doonaa waxaan sidoo kale ka dhignay heerka kaydinta madax banaan. Dhismuhu wuxuu joogsadaa inuu ahaado monolith, waxaanan helnaa darajooyin dheeraad ah oo xoriyad ah marka la cabbiro baloogyada gaarka ah.
Heerarka jaridda iyo kaydinta way ka duwan yihiin kaydka xogta.
DBMS-dhaqameedku waxay xogta u qoraan nidaamka kaydinta qaab blocks. Amazon Aurora, waxaan ku abuurnay kaydin caqli badan oo ku hadli kara luqad dib-u-dhigid. Gudaha, kaydintu waxay u rogtaa diiwaannada xogta, waxay la socotaa daacadnimadooda oo si toos ah ayay u soo celisaa.
Habkani wuxuu kuu ogolaanayaa inaad hirgeliso waxyaabo xiiso leh sida cloning. Waxay u shaqeysaa asal ahaan dhakhso iyo dhaqaale badan sababtoo ah xaqiiqda ah inaysan u baahnayn abuurista nuqul dhamaystiran oo dhammaan xogta ah.
Lakabka kaydinta waxaa loo fuliyaa hab qaybsan. Waxay ka kooban tahay tiro aad u badan oo ah adeegayaal jireed. Diiwaan kasta oo dib-u-samaynta waa la habeeyey oo la kaydiyaa isku mar lix guntin. Tani waxay xaqiijinaysaa ilaalinta xogta iyo dheelitirka culeyska.
Isku-buufinta akhrinta waxaa lagu gaari karaa iyadoo la isticmaalayo nuqullo habboon. Kaydinta la qaybiyey waxa ay meesha ka saartaa baahida wada shaqayneed ee u dhaxaysa tusaalaha kaydka xogta ugu muhiimsan, kaas oo aynu ku qorno xogta, iyo nuqulada soo hadhay. Xogta cusub ayaa dammaanad qaaday inay diyaar u yihiin dhammaan nuqullada.
Dhibaatada kaliya ayaa ah kaydinta xogta hore ee nuqullada akhrinta. Laakin dhibkan waa la xaliyay wareejinta dhammaan redo logyada in lagu koobo shabakada gudaha. Haddii logu ku jiro khasnadda, waxa loo calaamadeeyay mid khaldan oo dib loo qoray. Haddii aysan ku jirin kaydka, si fudud ayaa loo tuuraa.
Waanu kala saarnay kaydinta
Sida loo cabbiro heerarka DBMS
Halkan, miisaan toosan ayaa aad uga dhib badan. Haddaba aynu marno wadadii la garaacay miisaan toosan classic.
Aynu ka soo qaadno in aanu haysano arji kula xidhiidha DBMS iyada oo loo marayo noodhka sare.
Marka si toos ah loo miiro, waxaan u qoondeyneynaa noode cusub oo yeelan doona processor-yo badan iyo xusuusta.
Marka xigta, waxaan codsiga ka beddelnaa noodhka hore ee sayidkiisa una beddelnaa mid cusub. Dhibaatooyin ayaa soo baxa.
- Tani waxay u baahan doontaa waqti hoos u dhac weyn oo codsi ah.
- Noodka master-ka cusub wuxuu yeelan doonaa kayd qabow. Waxqabadka xog-ururinta ayaa noqon doona ugu badnaan kaliya ka dib marka kaydku kululaado.
Sida loo hagaajiyo xaaladda? Samee wakiil u dhexeeya codsiga iyo noodhka sare.
Tani maxay na siin doontaa? Hadda dhammaan codsiyada looma baahna in gacanta lagu jiheeyo noodhka cusub. Dareemada waxaa lagu samayn karaa wakiil wakiil ah oo asal ahaan aad u dheereeya.
Waxay u muuqataa in dhibkii la xaliyay. Laakiin maya, weli waxaan la ildarannahay baahida loo qabo in aan kululeyno kaydka. Intaa waxaa dheer, dhibaato cusub ayaa soo baxday - hadda wakiilku waa barta suurtagalka ah ee fashilka.
Xalka kama dambaysta ah ee Amazon Aurora serverless
Sideen ku xalinay dhibaatooyinkan?
Ka tagay wakiil. Kani maaha tusaale gaar ah, laakiin waa koox wakiilo ah oo dhan oo la qaybiyay kuwaaso codsiyadu ku xidhmaan kaydka xogta. Haddii ay dhacdo guuldarro, mid kasta oo ka mid ah qanjidhada ayaa la bedeli karaa isla markiiba.
Lagu daray barkad qandho diirran oo cabbirro kala duwan leh. Sidaa darteed, haddii ay lagama maarmaan tahay in loo qoondeeyo noodh cusub oo ka weyn ama ka yar, isla markiiba waa la heli karaa. Looma baahna in la sugo inta uu ku soo shubanayo
Geedi socodka miisaanka oo dhan waxaa gacanta ku haya nidaam la socodka gaarka ah. Korjoogteynta waxay si joogto ah ula socotaa xaalada noodhka sare ee hadda jira. Haddii ay ogaato, tusaale ahaan, in culeyska processor-ku uu gaaray qiime muhiim ah, waxay ogeysiineysaa barkada dhacdooyinka diiran ee ku saabsan baahida loo qabo in loo qoondeeyo nood cusub.
Wakiilo qaybsan, tusaaleyaal diirran iyo kormeer.
Nood leh awooda loo baahan yahay ayaa diyaar ah. Barkadaha kaydinta waa la koobiyeeyay, nidaamkuna wuxuu bilaabay inuu sugo daqiiqad nabdoon si uu u beddelo.
Caadi ahaan wakhtiga beddelka ayaa si degdeg ah u yimaada. Kadibna xidhiidhka u dhexeeya wakiilka iyo noodhka hore ee sayidku waa la hakiyay, dhammaan fadhiyada waxa loo rogay noodhka cusub.
La shaqee kaydka xogta ayaa dib u bilaabmaya.
Garaafku wuxuu muujinayaa in ka joojinta runtii aad u gaaban tahay. Jaantuska buluuga ah wuxuu muujinayaa culeyska, iyo tillaabooyinka guduudan waxay muujinayaan daqiiqadaha is-miidaminta. Dheefta gaaban ee garaafka buluuga ah ayaa si sax ah u ah daahitaankaas gaaban.
By habka, Amazon Aurora waxay kuu ogolaaneysaa inaad si buuxda u badbaadiso lacag oo aad damiso xogta marka aan la isticmaalin, tusaale ahaan, maalmaha fasaxa ah. Kadib joojinta culeyska, DB ayaa si tartiib tartiib ah u yaraynaysaa awooddeeda oo damisa in muddo ah. Marka rarku soo noqdo, si habsami leh ayuu mar kale u kici doonaa.
Qaybta soo socota ee sheekada ku saabsan qalabka Amazon, waxaan ka hadli doonaa isku-dheellitirka shabakada. Subscribe dheh oo la soco si aadan maqaalka u dhaafin.
In Vasily Pantyukhin ayaa bixin doonta warbixin" Waa maxay qaababka naqshadeynta ee nidaamyada loo qaybiyey waxaa isticmaala Amazon horumariyayaal, maxay yihiin sababaha guuldarrada adeegga, waa maxay qaab-dhismeedka unugga, Shaqada Joogtada ah, Shuffle Sharding - waxay noqon doontaa mid xiiso leh. In ka yar hal bil ayaa ka harsan shirka - . Oktoobar 24-keedii ugu dambeeyay qiimaha korodhka.
Source: www.habr.com