Edere edemede a iji nyere gị aka ịhọrọ ngwọta ziri ezi maka onwe gị wee ghọta ọdịiche dị n'etiti SDS dị ka Gluster, Ceph na Vstorage (Virtuozzo).
Ederede a na-eji njikọ nke akụkọ nwere nkwuwapụta zuru ezu nke ụfọdụ nsogbu, yabụ nkọwa ahụ ga-adị nkenke dị ka o kwere mee, na-eji isi ihe na-enweghị isi ihe na-enweghị isi na ozi mmeghe nke ị nwere ike, ọ bụrụ na ịchọrọ, nweta onwe gị na ịntanetị.
N'ezie, n'ezie, isiokwu ndị e welitere na-achọ ụda nke ederede, ma n'ụwa nke oge a, ọtụtụ ndị na-adịghị amasị ịgụ ọtụtụ))), n'ihi ya, ị nwere ike ịgụ ngwa ngwa ma mee nhọrọ, ma ọ bụrụ na ihe dị. ọ bụghị nke doro anya, soro njikọ ma ọ bụ okwu google na-edoghị anya))), na isiokwu a dị ka ihe mkpuchi na-ekpuchi anya maka isiokwu ndị a dị omimi, na-egosi njuputa - isi isi ihe nke mkpebi ọ bụla.
Ụyọkọ
Ka anyị bido na Gluster, nke ndị na-emepụta nyiwe hyperconverged na SDS na-arụsi ọrụ ike dabere na isi mmalite mepere emepe maka gburugburu mebere ma enwere ike ịchọta ya na webụsaịtị RedHat na ngalaba nchekwa, ebe ị nwere ike ịhọrọ site na nhọrọ SDS abụọ: Gluster ma ọ bụ Ceph.
Gluster nwere nchịkọta nke ndị ntụgharị - ọrụ na-arụ ọrụ niile nke ikesa faịlụ, wdg. Brick bụ ọrụ na-arụ otu diski, Mpịakọta bụ mpịakọta (ọdọ mmiri) na-ejikọta brik ndị a. Ọzọ na-abịa ọrụ maka ikesa faịlụ n'ime otu dị iche iche site na iji ọrụ DHT (ekesa hash table). Anyị agaghị etinye ọrụ Sharding na nkọwa ebe njikọ dị n'okpuru ga-akọwa nsogbu ndị metụtara ya.
Mgbe ị na-ede ihe, a na-echekwa faịlụ ahụ dum na brik na a na-edekwa ya n'otu oge na brik na nke abụọ nkesa. Na-esote, a ga-edere faịlụ nke abụọ na ìgwè nke abụọ nke brik abụọ (ma ọ bụ karịa) na sava dị iche iche.
Ọ bụrụ na faịlụ ndị dị ka otu nha na olu nwere naanị otu ìgwè, mgbe ahụ, ihe niile dị mma, ma n'okpuru ọnọdụ ndị ọzọ nsogbu ndị a ga-esi na nkọwa ndị a:
- A na-eji ohere dị n'otu n'otu eme ihe n'ụzọ na-ezighị ezi, ọ dabere na nha faịlụ ahụ ma ọ bụrụ na enweghị ohere zuru ezu n'ime otu iji dee faịlụ, ị ga-enweta njehie, agaghị ede faịlụ ahụ, agaghịkwa ekesa ya na otu ọzọ. ;
- mgbe ị na-ede otu faịlụ, IO na-aga naanị otu ìgwè, ndị ọzọ na-abaghị uru;
- ị nweghị ike ịnweta IO nke olu dum mgbe ị na-ede otu faịlụ;
- na n'ozuzu echiche anya obere na-arụpụta n'ihi enweghị data nkesa n'ime blocks, ebe ọ dị mfe itule na dozie nsogbu nke edo nkesa, na ọ bụghị dị ka ugbu a dum faịlụ na-aga n'ime a ngọngọ.
Site na nkọwa gọọmentị anyị na-abịakwa n'amaghị ama na gluster na-arụ ọrụ dị ka nchekwa faịlụ n'elu RAID ngwaike kpochapụwo. Enweela mbọ mmepe iji bee (Sharding) faịlụ n'ime ngọngọ, mana ihe a niile bụ mgbakwunye na-eweta mfu arụmọrụ na usoro ụlọ dị adị, gbakwunyere iji ngwa ndị a kesara n'efu na oke arụmọrụ dị ka Fuse. Enweghị ọrụ metadata, nke na-amachi arụmọrụ yana mmejọ ike nke nchekwa mgbe a na-ekesa faịlụ n'ime ngọngọ. Enwere ike ịhụ ihe ngosi arụmọrụ ka mma site na nhazi "Ekesa Replicated" na ọnụ ọgụgụ nke ọnụ ọgụgụ kwesịrị ịbụ ma ọ dịkarịa ala 6 iji hazie oyiri 3 a pụrụ ịdabere na ya na nkesa kacha mma.
Nchọpụta ndị a nwekwara metụtara nkọwa nke ahụmịhe onye ọrụ na ma e jiri ya tụnyere , na enwekwara nkọwa nke ahụmahụ na-eduga na nghọta nke nhazi a na-arụpụta ihe na nke a pụrụ ịdabere na ya
Foto a na-egosi nkesa ibu mgbe ị na-ede faịlụ abụọ, ebe a na-ekesa mbipụta nke faịlụ mbụ n'ofe atọ mbụ nke sava, nke jikọtara n'ime olu 0, na ntinye atọ nke faịlụ nke abụọ na-etinye n'otu nke abụọ volume1 nke atọ. sava. Ihe nkesa ọ bụla nwere otu diski.
Nkwubi okwu n'ozuzu bụ na ị nwere ike iji Gluster, mana n'ịghọta na a ga-enwe njedebe na arụmọrụ na ntachi obi nke na-emepụta ihe isi ike n'okpuru ọnọdụ ụfọdụ nke ngwọta hyperconverged, ebe a na-achọkwa akụrụngwa maka ịgbakọ ọtụtụ gburugburu mebere.
Enwekwara ụfọdụ ihe ngosi arụmọrụ Gluster enwere ike nweta n'okpuru ọnọdụ ụfọdụ, na-ejedebe na
Sif
Ugbu a, ka anyị leba anya na Ceph site na nkọwa ụlọ nke m nwere ike ime E nwekwara ntụnyere n'etiti , ebe ị nwere ike ịghọta ozugbo na ọ bụ ihe amamihe dị na ya itinye Ceph na sava dị iche iche, ebe ọ bụ na ọrụ ya chọrọ akụrụngwa ngwaike niile dị n'okpuru ibu.
ije dị mgbagwoju anya karịa Gluster na enwere ọrụ dị ka ọrụ metadata, mana nchịkọta akụrụngwa niile dị mgbagwoju anya na ọ naghị agbanwe nke ukwuu maka iji ya na ngwọta nke ọma. A na-echekwa data ahụ na ngọngọ, nke na-ele anya na-arụpụta ihe, ma na nhazi nke ọrụ niile (ihe ndị mejupụtara), enwere mfu na latency n'okpuru ụfọdụ ibu na ọnọdụ mberede, dịka ọmụmaatụ ndị na-esonụ.
Site na nkọwa nke ihe owuwu ahụ, obi bụ CRUSH, ekele nke a na-ahọrọ ebe maka ịchekwa data. Na-esote PG - nke a bụ abstraction kacha sie ike (otu ezi uche) ịghọta. Achọrọ PGs iji mee ka CRUSH dịkwuo irè. Ebumnuche bụ isi nke PG bụ ijikọ ihe iji belata oriri akụrụngwa, ịbawanye arụmọrụ na scalability. Ịgwa ihe ozugbo, n'otu n'otu, na-enweghị ijikọta ha na PG ga-adị oke ọnụ. OSD bụ ọrụ maka diski ọ bụla.
Otu ụyọkọ nwere ike ịnwe otu ma ọ bụ ọtụtụ ọdọ mmiri data maka ebumnuche dị iche iche yana nwee ntọala dị iche iche. A na-ekewa ọdọ mmiri n'ime otu ntinye. Otu ntinye na-echekwa ihe ndị ahịa na-enweta. Nke a bụ ebe ezi uche larịị agwụ, na anụ ahụ larịị amalite, n'ihi na onye ọ bụla pụrụ iche otu na-ekenye otu isi disk na ọtụtụ oyiri disks (ole kpọmkwem dabere na ọdọ mmiri replication ihe). N'ikwu ya n'ụzọ ọzọ, na ọkwa ezi uche dị na ya, a na-echekwa ihe ahụ n'otu ebe a na-edebe ihe, na n'ogo anụ ahụ - na diski ndị e kenyere ya. N'okwu a, diski nwere ike ịdị na-ahụ anya n'ụdị dị iche iche ma ọ bụ ọbụna na ebe data dị iche iche.
N'ime atụmatụ a, ndị otu ntinye na-ele anya dị ka ọkwa dị mkpa maka mgbanwe nke ngwọta dum, ma n'otu oge ahụ, dị ka njikọ ọzọ na agbụ a, nke na-atụ aro na-efunahụ arụpụtaghị ihe. Dịka ọmụmaatụ, mgbe ị na-ede data, usoro ahụ kwesịrị kewaa ya n'ime otu ndị a wee na ọkwa anụ ahụ n'ime isi diski na diski maka oyiri. Ya bụ, ọrụ Hash na-arụ ọrụ mgbe ị na-achọ na ịtinye ihe, ma enwere mmetụta dị n'akụkụ - ọ dị oke ọnụ ahịa na mgbochi na iwughachi hash (mgbe ị na-agbakwụnye ma ọ bụ wepụ diski). Nsogbu hash ọzọ bụ ebe a kpọgidere nke ọma nke data enweghị ike ịgbanwe. Ya bụ, ọ bụrụ na n'ụzọ ụfọdụ diski ahụ na-abawanye ibu, mgbe ahụ usoro ahụ enweghị ohere ịghara idegara ya akwụkwọ (site na ịhọrọ disk ọzọ), ọrụ hash na-amanye data ka ọ dị n'usoro iwu, n'agbanyeghị otú ọ dị njọ. diski ahụ bụ, ya mere Ceph na-eri ọtụtụ ebe nchekwa mgbe ị na-ewughachi PG ma ọ bụrụ na a na-agwọ onwe ya ma ọ bụ na-abawanye nchekwa. Nkwubi okwu bụ na Ceph na-arụ ọrụ nke ọma (ọ bụ ezie na ọ na-eji nwayọọ nwayọọ), ma ọ bụ naanị mgbe enweghị mkpali, ọnọdụ mberede, ma ọ bụ mmelite.
Enwere, n'ezie, nhọrọ maka ịba ụba arụmọrụ site na caching na cache sharing, ma nke a chọrọ ezigbo ngwaike na a ga-enwekwa mfu. Mana n'ozuzu, Ceph na-ele anya karịa Gluster maka nrụpụta. Ọzọkwa, mgbe ị na-eji ngwaahịa ndị a, ọ dị mkpa iburu n'uche ihe dị mkpa - nke a bụ ọkwa dị elu nke ikike, ahụmahụ na ọkachamara na-emesi ike na Linux, ebe ọ bụ na ọ dị ezigbo mkpa ịkwanye, hazie na ịkwado ihe niile n'ụzọ ziri ezi. nke na-etinye ọbụna ibu ọrụ na ibu karịa onye nchịkwa.
Nchekwa
Ihe owuwu ụlọ na-ele anya ọbụna na-adọrọ mmasị karị , nke enwere ike iji ya na hypervisor n'otu ọnụ ọnụ, na otu , ma ọ dị ezigbo mkpa ịhazi ihe niile n'ụzọ ziri ezi iji nweta arụmọrụ dị mma. Nke ahụ bụ, ibuga ngwaahịa dị otú ahụ site na igbe ahụ na nhazi ọ bụla n'ebughị n'uche ndụmọdụ ndị dị na ụkpụrụ ụlọ ga-adị nnọọ mfe, ma ọ bụghị na-arụpụta ihe.
Kedu ihe nwere ike ibikọ ọnụ maka nchekwa n'akụkụ ọrụ nke kvm-qemu hypervisor, na ndị a bụ naanị ọrụ ole na ole ebe a chọtara kọmpat ezigbo nhazi nke akụrụngwa: ọrụ ndị ahịa etinyere site na FUSE (gbanwere, ọ bụghị isi mmalite), ọrụ metadata MDS. (ọrụ metadata), ihe mgbochi data ọrụ Chunk, nke na ọkwa anụ ahụ hà nhata otu diski na nke ahụ bụ ihe niile. N'ihe gbasara ọsọ, n'ezie, ọ dị mma iji atụmatụ nnabata mmejọ nwere ụdị abụọ, mana ọ bụrụ na ị na-eji caching na logs na draịva SSD, mgbe ahụ, koodu nnabata njehie (nhichapụ ma ọ bụ raid6) nwere ike kpuchie ya nke ọma na a. ngwakọ atụmatụ ma ọ bụ ọbụna mma na niile flash. Enwere ụfọdụ mwepu na EC (nhichapụ nzuzo): mgbe ị na-agbanwe otu ngọngọ data, ọ dị mkpa ịtụgharịghachi nha nha nha. Iji zere mfu ndị metụtara ọrụ a, Ceph na-edegara EC n'egbughị oge na nsogbu arụmọrụ nwere ike ime n'oge ụfọdụ arịrịọ, mgbe, dịka ọmụmaatụ, ọ dị mkpa ka a gụọ ihe mgbochi niile, na n'ihe banyere Nchekwa Virtuozzo, a na-eme ihe ederede gbanwere. na-eji usoro “sistemụ faịlụ ahaziri ndekọ”, nke na-ebelata ọnụ ahịa ngụkọ ngụkọ. Iji tụọ ihe dị ka nhọrọ na osooso nke ọrụ na na-enweghị EC, e nwere - ọnụ ọgụgụ ndị ahụ nwere ike ịdị nso dabere na ọnụọgụ ziri ezi nke ndị na-emepụta ngwá ọrụ, ma nsonaazụ nke ngụkọta bụ ezigbo enyemaka na nhazi nhazi.
Eserese dị mfe nke akụrụngwa nchekwa apụtaghị na ihe ndị a anaghị etinye aka ma ọ bụrụ na ị gbakọọ ụgwọ niile tupu oge eruo, ị nwere ike ịtụkwasị obi na mmekorita n'akụkụ hypervisor.
Enwere atụmatụ maka iji atụnyere oriri nke akụrụngwa site na ọrụ nchekwa Ceph na Virtuozzo.
Ọ bụrụ na mbụ ọ ga-ekwe omume iji Gluster na Ceph tụnyere Gluster na-eji akụkọ ochie, na-eji ahịrị ndị kachasị mkpa sitere na ha, mgbe ahụ na Virtuozzo ọ na-esi ike karị. Enweghị ọtụtụ akụkọ na ngwaahịa a ma enwere ike nweta ozi naanị na akwụkwọ ahụ ma ọ bụ na Russian ma ọ bụrụ na anyị na-atụle Vstorage dị ka nchekwa na-eji na ụfọdụ hyperconverged ngwọta na ụlọ ọrụ ndị dị otú ahụ dị ka na Acronis.
M ga-agbalị inyere aka na nkọwa nke ụkpụrụ ụlọ a, n'ihi ya, a ga-enwe ntakịrị ihe ederede, ma ọ na-ewe oge buru ibu iji ghọta akwụkwọ ahụ n'onwe gị, na akwụkwọ ndị dị ugbu a nwere ike iji mee ihe dị ka ihe ntụnye aka site na ịmegharị tebụl. nke ọdịnaya ma ọ bụ ịchọ site na isiokwu.
Ka anyị tụlee usoro ndekọ na a ngwakọ ngwaike nhazi na components akọwara n'elu: ndekọ na-amalite na-aga ọnụ site na nke ndị ahịa butere ya (na FUSE ugwu ebe ọrụ), ma Metadata Service (MDS) master akụrụngwa ga-N'ezie. duzie onye ahịa ozugbo gaa na ọrụ chunk achọrọ (ọrụ nchekwa CS blocks), ya bụ, MDS anaghị etinye aka na usoro ndekọ, kama na-eduzi ọrụ ahụ na chunk achọrọ. N'ozuzu, anyị nwere ike inye ihe atụ na ndekọ na-awụsa mmiri n'ime gbọmgbọm. gbọmgbọm ọ bụla bụ ngọngọ data 256MB.
Ya bụ, otu diski bụ ọnụ ọgụgụ ụfọdụ nke barel ndị dị otú ahụ, ya bụ, olu diski kewara 256MB. A na-ekesa nke ọ bụla n'otu ọnụ ọnụ, nke abụọ fọrọ nke nta ka ọ bụrụ n'akụkụ ọnụ ọzọ, wdg ... Ọ bụrụ na anyị nwere nsụgharị atọ ma enwere diski SSD maka cache (maka ịgụ na ide ndekọ), mgbe ahụ nkwenye nke ide ga-eme mgbe e dechara. log na SSD, na nrụgharị yiri nke SSD ga-aga n'ihu na HDD, dị ka a ga-asị na ọ dị n'azụ. N'ihe banyere nnomi atọ, a ga-eme ndekọ ahụ mgbe nkwenye sitere na SSD nke ọnụ nke atọ. Ọ nwere ike ịdị ka nchikota nke ide ọsọ nke SSD atọ nwere ike kewaa atọ ma anyị ga-enweta ọsọ ide nke otu oyiri, mana edere ya n'otu n'otu na netwọk Latency ọsọ na-adịkarị elu karịa nke SSD, na n'ezie arụmọrụ ide ga-adabere na netwọk. N'akụkụ a, iji hụ ezigbo IOPS, ịkwesịrị ịkwanye Vstorage dum nke ọma , ya bụ, na-anwale ezigbo ibu, ma ọ bụghị ebe nchekwa na cache, ebe ọ dị mkpa iburu n'uche nke ọma data ngọngọ size, ọnụ ọgụgụ nke eri, wdg.
Ndekọ ndekọ ahụ a kpọtụrụ aha n'elu na SSD na-arụ ọrụ n'ụzọ na ozugbo data batara, ọrụ ahụ na-agụ ya ozugbo wee degara HDD. Enwere ọtụtụ ọrụ metadata (MDS) kwa ụyọkọ na ọnụ ọgụgụ ha na-ekpebi site na kworum, nke na-arụ ọrụ dịka Paxos algọridim siri dị. Site n'echiche nke onye ahịa, ebe ugwu FUSE bụ nchekwa nchekwa ụyọkọ nke a na-ahụ anya n'otu oge na oghere niile dị na ụyọkọ ahụ, ọnụ ụzọ ọ bụla nwere onye na-azụ ahịa dị ka ụkpụrụ a si dị, ya mere nchekwa a dị na ọnụ ụzọ ọ bụla.
Maka ịrụ ọrụ nke ọ bụla n'ime ụzọ ndị a kọwara n'elu, ọ dị ezigbo mkpa, na nhazi nhazi na ntinye akwụkwọ, iji hazie netwọk ahụ n'ụzọ ziri ezi, ebe a ga-enwe nhazi n'ihi nchịkọta na bandwidth ọwa netwọk ahọrọ nke ọma. Na mkpokọta, ọ dị mkpa ịhọrọ ezigbo hashing mode na etiti nha. Enwekwara nnukwu ọdịiche dị na SDS nke akọwara n'elu, nke a bụ fuse na teknụzụ ụzọ ngwa ngwa na Nchekwa Virtuozzo. Nke, na mgbakwunye na fiusi emelitere, n'adịghị ka ụzọ isi mmalite ndị ọzọ na-emepe emepe, na-abawanye IOPS nke ukwuu ma na-enye gị ohere ka ị ghara ịmachi ya site na nha nha nhata ma ọ bụ kwụ ọtọ. N'ozuzu, ma e jiri ya tụnyere ụlọ ndị a kọwara n'elu, nke a na-ele anya dị ike karị, ma maka obi ụtọ dị otú ahụ, n'ezie, ị ga-azụta ikikere, n'adịghị ka Ceph na Gluster.
Iji chịkọta ọnụ, anyị nwere ike ime ka elu nke atọ ahụ pụta ìhè: Nchekwa Virtuozzo na-ebute ụzọ n'ihe gbasara arụmọrụ na ntụkwasị obi nke ihe owuwu, Ceph na-ewere ọnọdụ nke abụọ, Gluster na-ewerekwa ọnọdụ nke atọ.
Ihe njirisi nke ahọpụtara Virtuozzo Nchekwa: ọ bụ usoro ihe nrụpụta kachasị mma, emezigharịrị maka usoro Fuse a na ụzọ ngwa ngwa, nhazi ngwaike na-agbanwe agbanwe, obere akụrụngwa akụrụngwa yana ikike ịkekọrịta na ịgbakọ (mgbakọ / virtualization), ya bụ, ọ dabara kpamkpam maka ngwọta hyperconverged , nke ọ bụ akụkụ nke. Ebe nke abụọ bụ Ceph n'ihi na ọ bụ ụlọ na-arụpụta ihe karịa Gluster, n'ihi na ọ na-arụ ọrụ na ngọngọ, yana ọnọdụ ndị na-agbanwe agbanwe na ike ịrụ ọrụ na ụyọkọ buru ibu.
Enwere atụmatụ iji dee ntụnyere n'etiti vSAN, Space Direct Storage, Vstorage na Nutanix Storage, na-anwale Vstorage na HPE na Huawei akụrụngwa, yana ihe ndapụta maka ijikọ Vstorage na sistemụ nchekwa ngwaike mpụga, yabụ ọ bụrụ na-amasị gị isiokwu, ọ ga-abụ. ọ dị mma ịnweta nzaghachi n'aka gị, nke nwere ike ịbawanye mkpali maka akụkọ ọhụrụ, na-eburu n'uche okwu na ọchịchọ gị.
isi: www.habr.com