Iwu nchekwa ihe S3 tụgharịrị otu akụkọ gbasara ihe njirisi dị mkpa mgbe ị na-ahọrọ nchekwa ihe. Nke a bụ ederede site n'echiche onye odee.
A bịa na nchekwa ihe, ndị mmadụ na-echekarị maka otu ihe: ọnụahịa kwa TB/GB. N'ezie, metric a dị mkpa, ma ọ na-eme ka ọbịbịa ahụ bụrụ otu akụkụ ma na-ejikọta ihe nchekwa ihe na ngwá ọrụ nchekwa nchekwa. Na mgbakwunye, usoro a na-ebelata mkpa nchekwa ihe dị maka nchịkọta teknụzụ ụlọ ọrụ.
Mgbe ị na-ahọrọ nchekwa ihe, ị kwesịrị ịṅa ntị na njirimara ise:
- arụmọrụ;
- scalability;
- S3 dakọtara;
- nzaghachi na ọdịda;
- iguzosi ike n'ezi ihe.
Njirimara ise a bụ metrik ọhụrụ maka nchekwa ihe, yana ọnụ ahịa. Ka anyị leba anya na ha niile.
Ubu oke
Ụlọ ahịa ihe ọdịnala anaghị arụ ọrụ. Ndị na-enye ọrụ na-achụ ya àjà mgbe niile na-achụso ọnụ ala dị ala. Otú ọ dị, na ihe nchekwa ihe nke oge a dị iche iche.
Sistemụ nchekwa dị iche iche na-abịaru nso ma ọ bụ karịa karịa ọsọ Hadoop. Ihe ndị chọrọ n'oge a maka ịgụ na ide ọsọ: site na 10 GB/s maka draịva siri ike, ruo 35 GB/s maka NVMe.
Ntinye a zuru ezu maka Spark, Presto, Tensorflow, Teradata, Vertica, Splunk na usoro mgbako ọgbara ọhụrụ ndị ọzọ na nchịkọta nchịkọta. Eziokwu ahụ bụ na a na-ahazi ọdụ data MPP maka nchekwa ihe na-egosi na a na-eji ya eme ihe dị ka isi nchekwa.
Ọ bụrụ na sistemụ nchekwa gị enyeghị ọsọ ịchọrọ, ị nweghị ike iji data wee wepụta uru na ya. Ọbụna ma ọ bụrụ na ị weghachite data site na nchekwa ihe n'ime nhazi nhazi ebe nchekwa, ị ka ga-achọ bandwidth iji bufee data na na site na ebe nchekwa. Ụlọ ahịa ihe nketa ezughị ezu.
Nke a bụ isi ihe: metrik arụmọrụ ọhụrụ bụ ntinye, ọ bụghị latency. Achọrọ ya maka data n'ogo ma bụrụ ụkpụrụ na akụrụngwa data ọgbara ọhụrụ.
Ọ bụ ezie na akara ngosi bụ ụzọ dị mma iji chọpụta arụmọrụ, enweghị ike ịlele ya nke ọma tupu ịme ngwa ahụ na gburugburu ebe obibi. Naanị mgbe ọ gachara, ị nwere ike ikwu ebe kpọmkwem ọkpọ ahụ dị: na ngwanrọ, diski, netwọkụ ma ọ bụ na ọkwa kọmpụta.
Ohere
Scalability na-ezo aka ọnụ ọgụgụ petabytes dabara n'otu oghere aha. Ihe ndị na-ere ahịa na-ekwu na ọ dị mfe scalability, ihe ha na-adịghị ekwu bụ na ka ha na-amụba, nnukwu usoro monolithic na-aghọ ndị na-esighị ike, mgbagwoju anya, ndị na-ejighị n'aka, na ọnụ ahịa.
Metiriki ọhụrụ maka scalability bụ ọnụọgụ aha ma ọ bụ ndị ahịa ị nwere ike ijere ozi. A na-ewere metric ahụ ozugbo site na hyperscalers, ebe ebe nchekwa ihe nchekwa dị ntakịrị mana ọnụ ọgụgụ ruo ijeri nkeji. N'ozuzu, nke a bụ igwe ojii metric.
Mgbe ihe mgbochi ụlọ dị ntakịrị, ha na-adị mfe ịkwalite maka nchekwa, njikwa ohere, njikwa iwu, njikwa ndụ ndụ, na mmelite na-adịghị emebi emebi. Na n'ikpeazụ hụ na arụpụtaghị ihe. Ogo nke ihe owuwu ụlọ bụ ọrụ nke njikwa nke mpaghara ọdịda, nke bụ otú e si ewuo usoro ndị siri ike.
Otutu ụlọ nwere ọtụtụ njirimara. Ọ bụ ezie na akụkụ ahụ na-ekwu maka otu òtù dị iche iche si enye ohere ịnweta data na ngwa, ọ na-ezokwa aka na ngwa ndị ahụ n'onwe ha na echiche dị n'azụ kewapụ ha n'ebe ibe ha nọ.
Njirimara nke ụzọ ọgbara ọhụrụ maka ọtụtụ ndị ahịa:
- N'ime obere oge, ọnụ ọgụgụ ndị ahịa nwere ike ịmalite site na ọtụtụ narị ruo ọtụtụ nde.
- Ndị ahịa na-ekewapụ onwe ha kpamkpam. Nke a na-enye ha ohere ịme ụdị dị iche iche nke otu ngwanrọ wee chekwaa ihe nwere nhazi dị iche iche, ikike, njirimara, nchekwa na ọkwa nhazi. Nke a dị mkpa mgbe ị na-atụgharị na sava ọhụrụ, mmelite na mpaghara ala.
- Ihe nchekwa ahụ na-agbanwe agbanwe, a na-enye ihe onwunwe na ọchịchọ.
- API na-achịkwa ọrụ ọ bụla ma na-akpaghị aka na-enweghị enyemaka mmadụ.
- Enwere ike ịkwado ngwanro n'ime akpa ma jiri sistemu egwu egwu dị ka Kubernetes.
S3 dakọtara
Amazon S3 API bụ ọkọlọtọ de facto maka nchekwa ihe. Onye ọ bụla na-ere sọftụwia nchekwa ihe na-ekwu dakọtara na ya. Ndakọrịta na S3 bụ ọnụọgụ abụọ: ma emejuputa ya nke ọma ma ọ bụ na ọ bụghị.
Na omume, enwere ọtụtụ narị ma ọ bụ puku kwuru puku ihe ngosi ebe ihe na-aga adịghị mma mgbe ị na-eji nchekwa ihe. Karịsịa site na ndị na-eweta ngwanrọ na ọrụ nwe ya. Isi ihe eji eme ya bụ ebe nchekwa ma ọ bụ ndabere ozugbo, yabụ enwere ihe ole na ole ị ga-eji kpọọ API, ikpe ojiji bụ otu.
Akụrụngwa mepere emepe nwere nnukwu uru. Ọ na-ekpuchi ọtụtụ ọnọdụ dị n'akụkụ, n'ihi nha na ụdị ngwa dị iche iche, sistemu arụ ọrụ na nhazi ngwaike.
Ihe a niile dị mkpa maka ndị mmepe ngwa, ya mere ọ bara uru ịnwale ngwa na ndị na-eweta nchekwa. Ebe mepere emepe na-eme ka usoro ahụ dị mfe - ọ dị mfe ịghọta ikpo okwu dị mma maka ngwa gị. Enwere ike iji onye na-eweta ya dị ka otu ebe ntinye na nchekwa, nke pụtara na ọ ga-egbo mkpa gị.
Ebe mepere emepe pụtara: anaghị ejikọta ngwa na onye na-ere ahịa ma bụrụkwa nke ọma. Nke a na-eme ka usoro ndụ dị ogologo ngwa ngwa.
Na ndetu ole na ole ọzọ gbasara isi mmalite na S3.
Ọ bụrụ na ị na-eji ngwa data buru ibu, S3 SELECT na-eme ka arụmọrụ na arụmọrụ dị mma site n'usoro dị ukwuu. Ọ na-eme nke a site na iji SQL iji weghachite naanị ihe ịchọrọ na nchekwa.
Isi ihe bụ nkwado maka ọkwa ịwụ. Ịma ọkwa ịwụ na-akwado mgbakọ na-enweghị ihe nkesa, akụkụ dị mkpa nke ụlọ ọrụ microservice ọ bụla a na-enye dị ka ọrụ. Nyere na nchekwa ihe bụ nchekwa igwe ojii nke ọma, ikike a na-adị oke egwu mgbe ejiri ngwa igwe ojii na-eji nchekwa ihe.
N'ikpeazụ, S3 mmejuputa iwu ga-akwado Amazon S3-akụkụ ihe nkesa APIs: SSE-C, SSE-S3, SSE-KMS. Ọbụna nke ka mma, S3 na-akwado nchebe tamper nke nwere nchebe n'ezie.
Nzaghachi maka ọdịda
Otu metrik nke a na-elegharakarị anya bụ ka sistemụ si ejikwa ọdịda. Ọdịda na-eme maka ihe dị iche iche, nchekwa ihe ga-ejikwa ha niile.
Dịka ọmụmaatụ, enwere otu ebe ọdịda, metric nke a bụ efu.
N'ụzọ dị mwute, ọtụtụ sistemụ nchekwa ihe na-eji ọnụ pụrụ iche nke a ga-emerịrị ka ụyọkọ ahụ rụọ ọrụ nke ọma. Ndị a gụnyere ọnụ ọnụ ma ọ bụ sava metadata - nke a na-emepụta otu ebe ọdịda.
Ọbụlagodi ebe enwere ọtụtụ isi ihe ọdịda, ikike iguzogide ọdịda mbibi bụ ihe kacha mkpa. Disk ada ada, sava ada ada. Isi ihe bụ imepụta sọftụwia emebere iji dozie ọdịda dịka ọnọdụ nkịtị. Ọ bụrụ na diski ma ọ bụ ọnụ ada ada, ngwanro dị otú ahụ ga-aga n'ihu na-arụ ọrụ na-enweghị mgbanwe.
Nchedo etinyere n'ime ya megide ihichapụ data na mmebi data na-eme ka o doo anya na ị nwere ike idafu ọtụtụ diski ma ọ bụ ọnụ dịka ị nwere ihe mgbochi-na-abụkarị ọkara diski. Naanị mgbe ahụ ka ngwanrọ agaghị enwe ike iweghachite data.
A naghị anwale ọdịda ahụ n'okpuru ibu, mana nyocha dị otú ahụ achọrọ. Ịmepụta ọdịda ibu ga-egosi ngụkọta ego akpatara mgbe ọdịda ahụ gasịrị.
Nkwenye
Akara ndakọrịta nke 100% ka a na-akpọkwa nkwụsi ike. Nkwenye bụ isi akụkụ nke usoro nchekwa ọ bụla, mana nkwekọ siri ike dị ụkọ. Dịka ọmụmaatụ, Amazon S3 ListObject anaghị agbanwe agbanwe, ọ na-agbanwe agbanwe na njedebe.
Gịnị pụtara n'ụzọ siri ike? Maka arụmọrụ niile na-eso ọrụ PUT enwetara, ihe ndị a ga-emerịrị:
- A na-ahụ uru emelitere mgbe ị na-agụ site na ọnụ ọ bụla.
- A na-echekwa mmelite ahụ pụọ n'ịkwụghachi mmebi ọdịda ọnụ.
Nke a pụtara na ọ bụrụ na i wepụrụ plọg ahụ n'etiti ndekọ, ọ nweghị ihe ga-efunahụ ya. Sistemu anaghị eweghachi data mebiri emebi ma ọ bụ emechiela. Nke a bụ ụlọ mmanya dị elu nke dị mkpa n'ọtụtụ ọnọdụ, site na ngwa azụmahịa ruo na nkwado ndabere na mpaghara mgbake.
nkwubi
Ndị a bụ metrik nchekwa ihe ọhụrụ nke na-egosipụta usoro ojiji n'ime ọgbakọ taa, ebe arụmọrụ, nkwụsi ike, scalability, ngalaba mmejọ na ndakọrịta S3 bụ ihe mgbochi maka ngwa igwe ojii na nyocha data buru ibu. Ana m akwado iji ndepụta a na mgbakwunye na ọnụahịa mgbe ị na-ewu nchịkọta data ọgbara ọhụrụ.
Banyere nchekwa ihe ngwọta Cloud Mail.ru: .
Kedu ihe ọzọ ị ga-agụ:
- .
- .
- .
isi: www.habr.com