Igwe ojii dị ka igbe anwansi - ị na-ajụ ihe ịchọrọ, akụrụngwa na-apụta n'enweghị ebe ọ bụla. Igwe igwe mebere, ọdụ data, netwọkụ - ihe a niile bụ nke gị. Enwere ndị nwe igwe ojii ndị ọzọ, mana na Eluigwe na Ala gị bụ naanị gị na-achị. Jide n'aka na ị ga-enweta ihe onwunwe achọrọ mgbe niile, ịkwesighi iburu onye ọ bụla n'uche na ị na-ekpebi ihe netwọk ga-adị. Kedu ka anwansi a si arụ ọrụ nke na-eme ka igwe ojii na-ekenye akụrụngwa na ikewapụ ndị nwe ụlọ kpamkpam n'ebe ibe ha nọ?
Igwe ojii AWS bụ sistemụ mgbagwoju anya mega-super nke na-etolite na mgbanwe kemgbe 2006. Akụkụ nke mmepe a mere Vasily Pantyukhin - Amazon Web Services Architect. Dị ka onye na-ese ụkpụrụ ụlọ, ọ na-enweta anya n'ime ọ bụghị nanị na njedebe njedebe, kamakwa na nsogbu ndị AWS meriri. Nghọta ka ukwuu nke ka usoro ahụ si arụ ọrụ, ntụkwasị obi ka ukwuu. Ya mere, Vasily ga-ekekọrịta ihe nzuzo nke ọrụ igwe ojii AWS. N'okpuru ebe a bụ imewe nke sava AWS anụ ahụ, nchekwa data na-agbanwe agbanwe, nchekwa data Amazon omenala na ụzọ maka ịbawanye arụmọrụ nke igwe mebere ma na-ebelata ọnụ ahịa ha n'otu oge. Ịmata ụzọ ụkpụrụ ụlọ Amazon ga-enyere gị aka iji ọrụ AWS rụọ ọrụ nke ọma ma nwee ike ịnye gị echiche ọhụrụ maka ịmepụta ihe ngwọta nke gị.
Banyere ọkà okwu: Vasily Pantyukhin () malitere dị ka onye nlekọta Unix na ụlọ ọrụ .ru, na-arụ ọrụ na nnukwu Sun Microsystem hardware maka afọ 6, ma kwusaa ụwa data-centric na EMC maka afọ 11. Ọ ghọrọ igwe ojii nkeonwe, na 2017 kwagara na nke ọha. Ugbu a ọ na-enye ndụmọdụ teknụzụ iji nyere aka ibi ndụ na ịzụlite na igwe ojii AWS.
Disclaimer: ihe niile dị n'okpuru bụ echiche nke Vasily na ọ nwere ike ọ gaghị adaba na ọnọdụ Amazon Web Services. Akụkọ nke akụkọ a gbadoro ụkwụ na ya dị na ọwa YouTube anyị.
Gịnị kpatara m ji ekwu maka ngwaọrụ Amazon?
Ụgbọ ala mbụ m nwere nnyefe aka. Ọ dị mma n'ihi mmetụta na m nwere ike ịnya ụgbọ ala ma nwee njikwa zuru oke na ya. Ọ masịrị m na ọ dịkarịa ala, aghọtara m ụkpụrụ nke ọrụ ya. Dị ka o kwesịrị ịdị, echere m na usoro igbe ahụ dị ka nke ochie - ihe dị ka igbe igbe n'elu igwe.
Ihe niile dị mma, ma e wezụga otu ihe - rapaara n'okporo ụzọ. Ọ dị ka ị na-anọdụ ala ma na-eme ihe ọ bụla, mana ị na-agbanwe ngwa ngwa mgbe niile, na-agbanye njide, gas, breeki - ọ na-eme ka ike gwụ gị. E doziri nsogbu nhịahụ okporo ụzọ mgbe ezinụlọ ahụ nwetara ụgbọ ala akpaaka. Mgbe m na-anya ụgbọ ala, enwere m oge iche echiche banyere ihe ma gee akwụkwọ ọdịyo.
Ihe omimi ọzọ pụtara na ndụ m, n'ihi na m kwụsịrị kpamkpam ịghọta otú ụgbọ ala m si arụ ọrụ. Ụgbọ ala ọgbara ọhụrụ bụ ngwaọrụ dị mgbagwoju anya. Ụgbọ ala ahụ na-emegharị n'otu oge na ọtụtụ paramita dị iche iche: ịpị gas, breeki, ụdị ịkwọ ụgbọala, àgwà okporo ụzọ. Aghọtaghị m ka o si arụ ọrụ ọzọ.
Mgbe m malitere ịrụ ọrụ na igwe ojii Amazon, ọ bụkwaụrụ m ihe omimi. Naanị ihe omimi a bụ usoro nke ịdị ukwuu, n'ihi na enwere otu onye ọkwọ ụgbọ ala, na AWS enwere ọtụtụ nde ha. Ndị ọrụ niile n'otu oge na-anyagharị, pịa gas na breeki. Ọ dị ịtụnanya na ha na-aga ebe ha chọrọ - ọ bụụrụ m ọrụ ebube! Usoro na-akpaghị aka na-emegharị, akpịrịkpa na elastically adjusts onye ọ bụla ọrụ nke mere na o yiri ya na ọ bụ naanị ya na mbara igwe a.
Ime anwansi ahụ kwụsịrị ntakịrị mgbe m mechara rụọ ọrụ dị ka onye na-ese ụkpụrụ ụlọ na Amazon. Ahụrụ m nsogbu ndị anyị na-eche ihu, otú anyị si edozi ha, na otú anyị si emepụta ọrụ. N'ịghọtawanye nghọta ka usoro ahụ si arụ ọrụ, ntụkwasị obi karịa na ọrụ ahụ na-apụta. Yabụ na achọrọ m ikesa foto nke ihe dị n'okpuru mkpuchi igwe ojii AWS.
Kedu ihe anyị ga-ekwu maka ya
M họọrọ ụzọ dịgasị iche iche - ahọpụtara m ọrụ 4 na-adọrọ mmasị nke bara uru ikwu maka ya.
Nkwalite nkesa. Igwe ojii nke Ephemeral nwere ọdịdị anụ ahụ: ebe data anụ ahụ ebe enwere sava anụ ahụ na-eme mkpọtụ, na-ekpo ọkụ ma na-enwu ọkụ.
Ọrụ enweghị sava (Lambda) bụ eleghị anya ọrụ kachasị ike na igwe ojii.
Ntụle nchekwa data. Aga m agwa gị maka otu anyị si arụ ọdụ data nke anyị nwere ike itolite.
Ntụle netwọkụ. Akụkụ ikpeazụ nke m ga-emeghe ngwaọrụ nke netwọk anyị. Nke a bụ ihe magburu onwe ya - onye ọrụ igwe ojii ọ bụla kwenyere na ọ nọ naanị ya n'igwe ojii ma ọ dịghị ahụ ndị nwe ụlọ ndị ọzọ ma ọlị.
Rịba ama. Edemede a ga-atụle njikarịcha ihe nkesa yana nyocha nchekwa data. Anyị ga-atụle nyocha netwọkụ n'isiokwu na-esote. Ebee ka ọrụ enweghị ihe nkesa dị? E bipụtara transcript dị iche gbasara ha “" Ọ na-ekwu maka ọtụtụ ụzọ scaling dị iche iche, ma na-atụle n'ụzọ zuru ezu ihe ngwọta Firecracker - symbiosis nke àgwà kacha mma nke igwe mebere na arịa.
Sava
Ígwé ojii ahụ bụ nke ephemeral. Mana nke a ka nwere ọdịdị anụ ahụ - sava. Na mbụ, ụkpụrụ ụlọ ha bụ oge gboo. Ọkọlọtọ x86 chipset, kaadị netwọkụ, Linux, Xen hypervisor nke a na-eji igwe mebere eme ihe.
N'afọ 2012, ụlọ ọrụ a na-arụ ọrụ ya nke ọma. Xen bụ nnukwu hypervisor, mana ọ nwere otu ndọghachi azụ. O zuru ezu elu elu maka iṅomi ngwaọrụ. Dị ka kaadị netwọkụ ọhụrụ, ngwa ngwa ma ọ bụ draịva SSD dị, nke a na-ebufe elu na-adị elu. Kedu ka esi edozi nsogbu a? Anyị kpebiri ịrụ ọrụ n'ihu abụọ n'otu oge - bulie ma ngwaike na hypervisor. Ọrụ ahụ dị oke njọ.
Na-ebuli ngwaike na hypervisor
Ime ihe niile n'otu oge na ime ya nke ọma agaghị arụ ọrụ. Ihe “dị mma” adịghịkwa edobe na mbụ.
Anyị kpebiri ime usoro evolushọn - anyị na-agbanwe otu ihe dị mkpa nke ihe owuwu ma tụba ya na mmepụta.
Anyị na-azọ ọkwa ọ bụla, na-ege ntị mkpesa na aro. Mgbe ahụ, anyị na-agbanwe akụkụ ọzọ. Yabụ, na obere ịrị elu, anyị na-agbanwe nnukwu ihe owuwu ụlọ dabere na nzaghachi sitere na ndị ọrụ na nkwado.
Mgbanwe ahụ malitere na 2013 na ihe kachasị mgbagwoju anya - netwọk. N'ime С3 ọmụmaatụ, agbakwunyere kaadị netwọk Accelerator pụrụ iche na kaadị netwọk ọkọlọtọ. Eji eriri loopback dị mkpụmkpụ jikọọ ya n'ụzọ nkịtị n'ihu panel. Ọ dịghị mma, mana ahụghị ya n'igwe ojii. Mana mmekọrịta ozugbo na ngwaike emelitere jitter na ntinye netwọkụ.
Ọzọ, anyị kpebiri imelite ohere igbochi nchekwa data EBS - Elastic Block Storage. Ọ bụ ngwakọta nke netwọk na nchekwa. Ihe isi ike bụ na ebe kaadị Network Accelerator dị n'ahịa, ọ nweghị nhọrọ ịzụta ngwa ngwa Nchekwa Accelerator. Ya mere, anyị tụgharịrị na mmalite Annapurna Labs, onye mepụtara ibe ASIC pụrụ iche maka anyị. Ha kwere ka etinyere mpịakọta EBS dịpụrụ adịpụ dị ka ngwaọrụ NVMe.
N'ihe atụ C4 anyị doziri nsogbu abụọ. Nke mbụ bụ na anyị mebere ntọala maka ọdịnihu nke nkwa, mana ọhụrụ n'oge ahụ, teknụzụ NVMe. Nke abụọ, anyị budata nke ọma Central processor site na-ebufe nhazi nke arịrịọ na EBS na kaadị ọhụrụ. Ọ tụgharịrị nke ọma, yabụ ugbu a Annapurna Labs bụ akụkụ nke Amazon.
Site na Nọvemba 2017, anyị ghọtara na oge eruola ịgbanwe hypervisor n'onwe ya.
Emepụtara hypervisor ọhụrụ ahụ dabere na modul kernel KVM gbanwetụrụ.
O mere ka o kwe omume ibelata oke ihe nṅomi ngwaọrụ ma jiri ASIC ọhụrụ rụọ ọrụ ozugbo. Ihe atụ С5 bụ igwe mebere mbụ nwere hypervisor ọhụrụ na-agba n'okpuru mkpuchi. Anyị kpọrọ ya aha Nitro.
Evolution nke ihe atụ na usoro iheomume.
Ụdị igwe mebere ọhụrụ niile pụtara kemgbe Nọvemba 2017 na-agba ọsọ na hypervisor a. Ihe ngosi igwe anaghị agba nchara enweghị hypervisor, ma a na-akpọkwa ha Nitro, ebe ọ bụ na ha na-eji kaadị Nitro pụrụ iche.
N'ime afọ abụọ sochirinụ, ọnụ ọgụgụ nke ụdị Nitro ikpe karịrị a di na nwunye nke iri na abuo: A1, C5, M5, T3 na ndị ọzọ.
Ụdị ihe atụ.
Ka igwe Nitro ọgbara ọhụrụ si arụ ọrụ
Ha nwere isi ihe atọ: Nitro hypervisor (a tụlere n'elu), mgbawa nchekwa na kaadị Nitro.
mgbawa nchekwa Integrated ozugbo na motherboard. Ọ na-achịkwa ọtụtụ ọrụ dị mkpa, dị ka ịchịkwa loading nke onye ọbịa OS.
Nitro kaadị - Enwere ụdị anọ n'ime ha. Ha niile bụ Annapurna Labs mepụtara ma dabere na ASIC nkịtị. Ụfọdụ n'ime firmware ha bụkwa ihe a na-ahụkarị.
Ụdị kaadị Nitro anọ.
Otu n'ime kaadị e mere ka ọ rụọ ọrụ netwọkVPC. Nke a bụ ihe a na-ahụ anya na igwe mebere dị ka kaadị netwọk ENA - ihe nkwụnye ihe ntanetị. Ọ na-echekwa okporo ụzọ mgbe ị na-ebufe ya site na netwọk anụ ahụ (anyị ga-ekwu maka nke a n'akụkụ nke abụọ nke isiokwu ahụ), na-achịkwa nchekwa nchekwa nchekwa nchekwa, ma na-ahụ maka ịkwagharị na ihe netwọk ndị ọzọ.
Họrọ kaadị na-arụ ọrụ na nchekwa ngọngọ EBS na diski arụnyere n'ime ihe nkesa ahụ. Ha na-egosi ndị ọbịa mebere igwe dị ka Ihe nkwụnye NVMe. Ha na-ahụ maka izo ya ezo data na nlekota disk.
Ejikọtara sistemụ kaadị Nitro, hypervisor na mgbawa nchekwa na netwọk SDN ma ọ bụ Netwọk akọwapụtara software. Ọ dịịrị maka ijikwa netwọkụ a (Control Plane) kaadị njikwa.
N'ezie, anyị na-aga n'ihu ịzụlite ASIC ọhụrụ. Dịka ọmụmaatụ, na njedebe nke 2018 ha wepụtara Inferentia chip, nke na-enye gị ohere ịrụ ọrụ nke ọma na ọrụ mmụta igwe.
mgbawa igwe mmụta igwe inferentia.
Ebe nchekwa data nwere ike ịgbatị
Ebe nchekwa data ọdịnala nwere usoro dị larịị. Ọ bụrụ na anyị na-eme ka ọ dị mfe, a na-ekewa ọkwa ndị a.
- SQL - onye ahịa na ịrịọ ndị na-ezipụ ọrụ na ya.
- Ndokwa azụmahịa - ihe niile doro anya ebe a, ACID na ihe niile.
- Na-echekwa, nke a na-enye site na ọdọ mmiri nchekwa.
- Ịbanye - na-enye ọrụ na redo ndekọ. Na MySQL a na-akpọ ha Bin Logs, na PosgreSQL - Write Ahead Logs (WAL).
- Nchekwa - ndekọ ozugbo na diski.
Ọdịdị nchekwa data Layered.
Enwere ụzọ dị iche iche iji tụọ ọdụ data: sharding, Shared Nothing architecture, disks ekekọrịta.
Agbanyeghị, usoro ndị a niile na-edobe otu usoro nchekwa data monolithic. Nke a na-egbochi oke nha. Iji dozie nsogbu a, anyị mepụtara nchekwa data nke anyị - Amazon Aurora. Ọ dakọtara na MySQL na PostgreSQL.
Amazon Aurora
Isi echiche ụkpụrụ ụlọ bụ ikewapụ ọkwa nchekwa na ịde osisi na isi nchekwa data.
N'ile anya n'ihu, a ga m asị na anyị mekwara ọkwa caching n'onwe ya. Ihe owuwu ahụ na-akwụsị ịbụ monolith, anyị na-enwetakwa ogo nnwere onwe n'ịkwalite ihe mgbochi onye ọ bụla.
Ọkwa ndekọ na nchekwa dị iche na nchekwa data.
DBMS ọdịnala na-ede data na sistemụ nchekwa n'ụdị ngọngọ. Na Amazon Aurora, anyị mepụtara smart smart nke nwere ike ịsụ asụsụ redo-logs. N'ime, nchekwa ahụ na-atụgharị ndekọ n'ime ngọngọ data, na-enyocha iguzosi ike n'ezi ihe ha ma na-akwado ya ozugbo.
Ụzọ a na-enye gị ohere imejuputa ihe ndị na-adọrọ mmasị dị ka cloning. Ọ na-arụ ọrụ fundamentally ngwa ngwa na ọzọ aku na uba n'ihi na eziokwu na ọ dịghị achọ na-eke a zuru ezu oyiri nke niile data.
A na-emejuputa akwa nchekwa nchekwa dị ka usoro kesara. Ọ nwere ọnụ ọgụgụ dị ukwuu nke sava anụ ahụ. A na-ahazi ma chekwaa ndekọ ọ bụla n'otu oge akpụ isii. Nke a na-eme ka nchekwa data na nhazi ibu.
Enwere ike nweta scaling agụ site na iji oyiri kwesịrị ekwesị. Nchekwa ekesa na-ewepụ mkpa mmekọrịta n'etiti isi ihe atụ nchekwa data, site na nke anyị na-ede data, na ihe ndị fọdụrụnụ. A na-ekwe nkwa na data ọhụrụ ga-adị maka oyiri niile.
Naanị nsogbu bụ caching data ochie na ihe odide agụ. Mana a na-edozi nsogbu a nyefe ndekọ redo niile ka oyiri n'elu netwọk nke ime. Ọ bụrụ na ndekọ ahụ dị na cache, a na-ede ya ka ezighi ezi ma degharịa ya. Ọ bụrụ na ọ bụghị na cache, a na-atụfu ya.
Anyị edozila ebe nchekwa ahụ.
Otu esi agbakọ ọkwa DBMS
N'ebe a, nchikota kehoraizin siri ike karị. Ya mere, ka anyị gbadaa n'ụzọ a kụrụ kpochapụwo vetikal scaling.
Ka anyị were na anyị nwere ngwa na-ekwurịta okwu na DBMS site na nna ukwu ọnụ.
Mgbe scaling kwụ ọtọ, anyị na-ekenye a ọhụrụ ọnụ nke ga-enwekwu processors na ebe nchekwa.
Ọzọ, anyị na-agbanwe ngwa ahụ site na ọnụ ụlọ ochie ochie gaa na nke ọhụrụ. Nsogbu na-ebilite.
- Nke a ga-achọ nkwụsị ngwa ngwa dị ukwuu.
- Ọnụ ụzọ nna ukwu ọhụrụ ahụ ga-enwe oghere oyi. Ọrụ nchekwa data ga-akacha karịa naanị mgbe cache gachara.
Kedu ka esi emeziwanye ọnọdụ ahụ? Tọọ proxy n'etiti ngwa na ọnụ ụlọ ukwu.
Gịnị ka nke a ga-enye anyị? Ugbu a ọ dịghị mkpa ka ejiri aka bugharịa ngwa niile gaa n'ọnụ ọhụrụ. Enwere ike ịme mgbanwe ahụ n'okpuru onye nnọchiteanya ma bụrụ ngwa ngwa ngwa ngwa.
Ọ dị ka edozila nsogbu ahụ. Ma mba, anyị ka na-ata ahụhụ site na mkpa ikpo ọkụ na cache. Na mgbakwunye, nsogbu ọhụrụ apụtala - ugbu a proxy bụ ihe nwere ike ịdaba.
Ngwọta ikpeazụ na Amazon Aurora enweghị nkesa
Olee otú anyị si dozie nsogbu ndị a?
Hapụ onye nnọchiteanya. Nke a abụghị ihe atụ dị iche, kama ọ bụ ụdị proxies zuru oke nke ngwa na-ejikọta na nchekwa data. N'ọnọdụ ọdịda, ọnụ ụzọ ọ bụla nwere ike dochie ihe fọrọ nke nta ka ọ bụrụ ozugbo.
Agbakwunyere ọdọ mmiri nke ọnụ ọkụ nke nha dị iche iche. Ya mere, ọ bụrụ na ọ dị mkpa ịkenye ọnụ ụzọ ọhụrụ nke nnukwu ma ọ bụ obere nha, ọ dị ozugbo. Ọ dịghị mkpa ichere ka ọ buo ya.
A na-achịkwa usoro nhazi ahụ dum site na usoro nleba anya pụrụ iche. Nleba anya mgbe niile na-enyocha ọnọdụ nke ọnụ ọnụ nna ukwu dị ugbu a. Ọ bụrụ na ọ chọpụta, dị ka ihe atụ, na processor ibu erutela oké egwu uru, ọ notifies ọdọ mmiri nke na-ekpo ọkụ okwu banyere mkpa ekenye a ọhụrụ ọnụ.
Proxies ekesara, ọnọdụ ọkụ na nleba anya.
Ọnụ ọnụ nwere ike achọrọ dị. A na-e depụtaghachi ọdọ mmiri nchekwa na ya, sistemụ ahụ na-amalite ichere maka oge dị mma iji gbanwee.
Na-emekarị oge ịgbanwee na-abịa ngwa ngwa. Mgbe ahụ, a kwụsịtụrụ nkwurịta okwu n'etiti proxy na ọnụ ụzọ nna ukwu ochie, a na-agbanye oge niile na oghere ọhụrụ.
Na-arụ ọrụ na nchekwa data malitegharịa.
Eserese ahụ na-egosi na nkwusioru ahụ dị mkpụmkpụ n'ezie. Eserese na-acha anụnụ anụnụ na-egosi ibu ahụ, nzọụkwụ na-acha uhie uhie na-egosikwa oge ncha. Ntinye obere oge na eserese na-acha anụnụ anụnụ bụ ogologo oge ahụ dị mkpụmkpụ.
Site n'ụzọ, Amazon Aurora na-enye gị ohere ịchekwa ego kpamkpam ma gbanyụọ nchekwa data mgbe ọ naghị eji ya, dịka ọmụmaatụ, na ngwụsị izu. Mgbe ịkwụsị ibu ahụ, DB jiri nwayọọ nwayọọ belata ike ya wee gbanyụọ ruo oge ụfọdụ. Mgbe ibu ahụ laghachiri, ọ ga-ebili nke ọma ọzọ.
N'akụkụ nke ọzọ nke akụkọ banyere ngwaọrụ Amazon, anyị ga-ekwu maka nhazi netwọk. Debanye aha ma nọrọ na nche ka ị ghara ileghara akụkọ ahụ anya.
Na Vasily Pantyukhin ga-enye akụkọ "" Kedu usoro nhazi maka usoro nkesa nke ndị na-emepụta Amazon na-eji, gịnị bụ ihe kpatara ọdịda ọrụ, gịnị bụ ụkpụrụ ụlọ nke dabeere na Cell, Constant Work, Shuffle Sharding - ọ ga-adọrọ mmasị. Ihe na-erughị otu ọnwa ruo ọgbakọ - . October 24 ikpeazụ ọnụahịa abawanye.
isi: www.habr.com