Na Skyeng anyị na-eji Amazon Redshift, gụnyere nha nha, yabụ anyị hụrụ akụkọ a nke Stefan Gromoll, onye nchoputa dotgo.com, maka intermix.io na-atọ ụtọ. Mgbe nsụgharị gasịrị, ntakịrị ahụmahụ anyị sitere n'aka onye injinia data Daniyar Belkhodzhaev.
na-enye ohere ịcha nha site na ịgbakwunye ọnụ ọhụrụ na ụyọkọ ahụ. Mkpa ọ dị ịnagide ọnụ ọgụgụ kasị elu nke arịrịọ nwere ike iduga na-enyefe ọnụ. Concurrency Scaling, na-emegide ịgbakwunye ọnụ ọhụrụ, na-abawanye ike ịgbakọ dị ka ọ dị mkpa.
Amazon Redshift myirịta scaling na-enye ụyọkọ Redshift ikike ọzọ ijikwa mpịakọta arịrịọ kacha elu. Ọ na-arụ ọrụ site na mbugharị arịrịọ gaa na ụyọkọ “yiri” ọhụrụ n'azụ. A na-emeri arịrịọ dabere na nhazi na iwu WLM.
Ọnụ ahịa nha nha dabere na ụdị kredit nwere ọkwa efu. N'elu kredit efu, ịkwụ ụgwọ na-adabere na oge usoro nchịkọta ọnụ ahịa Parallel Scaling Cluster rịọrọ.
Onye ode akwụkwọ nwalere mịkọ ihe n'otu n'ime ụyọkọ dị n'ime. Na post a, ọ ga-ekwu maka nsonaazụ ule wee nye ndụmọdụ ka esi amalite.
Achọrọ ụyọkọ
Iji jiri nha nha, Amazon Redshift ụyọkọ gị ga-emezurịrị ihe ndị a:
- ikpo okwu: EC2-VPC;
- ụdị ọnụ: dc2.8xlarge, ds2.8xlarge, dc2.large ma ọ bụ ds2.xlarge;
- ọnụ ọgụgụ nke nodes: site na 2 ruo 32 (anaghị akwado ụyọkọ ọnụ otu otu).
Ụdị arịrịọ anabatara
Mkpokọta ọnụ adabaghị maka ụdị ajụjụ ọ bụla. Na ụdị nke mbụ, ọ na-ahazi naanị ịgụ arịrịọ na-egbo ọnọdụ atọ:
- A na-agụ naanị ajụjụ ahọpụtara (ọ bụ ezie na a na-eme atụmatụ ọtụtụ ụdị);
- ajụjụ a anaghị atụ aka na tebụl nwere ụdị nhazi INTERLEAVED;
- Ajụjụ a anaghị eji Amazon Redshift Spectrum tụọ tebụl dị n'èzí.
Ka ibuga na Ụyọkọ Scaling Parallel, arịrịọ a ga-enwerịrị n'ahịrị. Na mgbakwunye, ajụjụ tozuru maka kwụ n'ahịrị , agaghị agba ọsọ n'ụyọkọ nha nha.
Queues na SQA chọrọ nhazi kwesịrị ekwesị . Anyị na-akwado ibuli elu WLM gị nke ọma - nke a ga-ebelata mkpa ọ dị maka nha nha. Na nke a dị mkpa n'ihi na myirịta scaling bụ naanị free maka a ụfọdụ ọnụ ọgụgụ nke awa. AWS na-ekwu na nha nha nha ga-abụ n'efu maka 97% nke ndị ahịa, nke na-ewetara anyị okwu nke ịnye ọnụahịa.
Ọnụ nke nha nha nhata
AWS na-enye ihe atụ kredit maka nha nha nhata. Ụyọkọ ọ bụla na-arụ ọrụ Na-anakọta kredit kwa elekere, ihe ruru otu awa nke kredit ntule n'efu kwa ụbọchị.
Ị na-akwụ ụgwọ naanị mgbe ojiji ị na-eme ka ị na-eme ka ị na-emekọrịta ihe karịrị ego kredit ị nwetara.
A na-agbakọ ọnụ ahịa ahụ n'otu nkeji nke abụọ na ọnụego achọrọ maka ụyọkọ yiri nke a na-eji karịa ọnụego efu. A na-ana gị ụgwọ naanị maka ogologo oge nke arịrịọ gị, yana opekempe ụgwọ nke otu nkeji oge ọ bụla agbanyere ụyọkọ Scaling Parallel. A na-agbakọ ọnụego achọrọ kwa nkeji nke abụọ dabere na ụkpụrụ ọnụahịa izugbe , ya bụ, ọ dabere n'ụdị ọnụ na ọnụ ọgụgụ ọnụ na ụyọkọ gị.
Na-amalite nha nha nha
A na-akpalite mịkọ ihe maka kwụ n'ahịrị WLM ọ bụla. Gaa na AWS Redshift console wee họrọ njikwa ọrụ site na menu igodo aka ekpe. Họrọ otu paramita WLM ụyọkọ gị site na menu ndọda na-esote.
Ị ga-ahụ kọlụm ọhụrụ akpọrọ "Concurrency Scaling Mode" na-esote kwụ n'ahịrị ọ bụla. Ihe ndabara bụ "Nkwarụ". Pịa "Dezie" ma ị nwere ike ịgbanwe ntọala maka kwụ n'ahịrị ọ bụla.
Nhazi
Na-arụkọ ọrụ ọnụ site na ibuga arịrịọ kwesịrị ekwesị na ụyọkọ raara onwe ya nye ọhụrụ. Ụyọkọ ọhụrụ nwere otu nha (ụdị na ọnụọgụ ọnụ) dị ka ụyọkọ isi.
Ọnụọgụ nke ndabara ejiri mee ihe n'ịkọwa nhata bụ otu (1), nwere ikike ịhazi ihe ruru mkpokọta iri (10).
Enwere ike ịtọ ngụkọta ọnụ ọgụgụ nke ụyọkọ maka nha nhata site na paramita max_concurrency_scaling_clusters. Ịbawanye uru nke oke a na-enye ụyọkọ ndị ọzọ na-adịghị arụ ọrụ.
Nlekota oru
Enwere ọtụtụ eserese ndị ọzọ dị na AWS Redshift console. Eserese ụyọkọ ọnụ ọgụgụ dị ukwuu ahazi na-egosiputa uru nke max_concurrency_scaling_clusters ka oge na-aga.
A na-egosipụta ọnụ ọgụgụ nke ụyọkọ scaling na-arụ ọrụ na interface onye ọrụ na ngalaba "Concurrency Scaling Activity":
Na taabụ ajụjụ, enwere kọlụm na-egosi ma a gburu ajụjụ a na ụyọkọ isi ma ọ bụ n'ụyọkọ mịkọ yiri ya:
N'agbanyeghị ma e gburu otu ajụjụ n'ime ụyọkọ bụ isi ma ọ bụ site na ụyọkọ nha nha, a na-echekwa ya na stl_query.concurrency_scaling_status.
Uru nke 1 na-egosi na e gburu ajụjụ a na ụyọkọ nha nha, ebe ụkpụrụ ndị ọzọ na-egosi na e gburu ya na ụyọkọ mbụ.
Ihe nlele:
A na-echekwa ozi mkpakọ ego n'ụfọdụ tebụl na nlele ndị ọzọ, dị ka SVCS_CONCURRENCY_SCALING_USAGE. Tụkwasị na nke ahụ, e nwere ọtụtụ tebụl katalọgụ na-echekwa ozi gbasara ihe nrịbama yiri ya.
Результаты
Ndị ode akwụkwọ bidoro mịkọ ọnụ maka otu kwụ n'ahịrị n'ime ụyọkọ ime n'ihe dịka 18:30:00 GMT na 29.03.2019/3/20. Gbanwee oke max_concurrency_scaling_clusters ka ọ bụrụ 30 n'ihe dịka elekere 00:29.03.2019:XNUMX na XNUMX/XNUMX/XNUMX.
Iji mee ka kwụ n'ahịrị arịrịọ, anyị belatara ọnụ ọgụgụ oghere maka kwụ n'ahịrị a site na 15 ruo 5.
N'okpuru bụ eserese dashboard intermix.io na-egosi ọnụọgụ arịrịọ na-agba ọsọ na kwụ n'ahịrị mgbe ibelata ọnụ ọgụgụ oghere.
Anyị na-ahụ na oge nchere maka arịrịọ na kwụ n'ahịrị abawanyela, yana oge kachasị karịa 5 nkeji.
Nke a bụ ozi dị mkpa sitere na console AWS gbasara ihe mere n'oge a:
Redshift weputara ụyọkọ nha nha atọ (3) dị ka ahaziri. Ọ dị ka ejighi ụyọkọ ndị a eme ihe, n'agbanyeghị na ọtụtụ arịrịọ dị na ụyọkọ anyị kwụ n'ahịrị.
Eserese ojiji a na-emekọ ihe na eserese ọrụ mkpali:
Mgbe awa ole na ole gachara, ndị ode akwụkwọ nyochara kwụ n'ahịrị na ọ dị ka arịrịọ 6 na-agba ọsọ na nha nha. Anyị nwalekwara arịrịọ abụọ na-enweghị usoro site na interface onye ọrụ. Anyị enyochabeghị otu esi eji ụkpụrụ ndị a mgbe ọtụtụ ụyọkọ yiri ya na-arụ ọrụ ozugbo.
Nchoputa
Mkpokọta ọnụ nwere ike ibelata oge arịrịọ na-etinye na kwụ n'ahịrị n'oge oke ibu.
Dabere na nsonaazụ nke ule bụ isi, ọ tụgharịrị na ọnọdụ na ntinye arịrịọ abawanyela nke ọma. Otú ọ dị, ọ bụghị nanị ijikọ ọnụ n'otu n'otu agwọtaghị nsogbu nile nke concurrency.
Nke a bụ n'ihi mmachi dị n'ụdị ajụjụ ndị nwere ike iji nha nha anya. Dịka ọmụmaatụ, ndị odee nwere ọtụtụ tebụl nwere ụdị igodo agbakwunyere, ọtụtụ n'ime ọrụ anyị bụ ide ihe.
Ọ bụ ezie na myirịta nha abụghị ihe ngwọta zuru ụwa ọnụ maka ịtọlite WLM, iji njirimara a dị mfe ma kwụ ọtọ.
Ya mere, odee na-atụ aro iji ya maka ahịrị WLM gị. Malite na otu ụyọkọ yiri ya wee nyochaa oke kacha elu site na njikwa iji chọpụta ma a na-eji ụyọkọ ọhụrụ ahụ nke ọma.
Dị ka AWS na-agbakwụnye nkwado maka ụdị ajụjụ na tebụl ndị ọzọ, ntule nha anya kwesịrị iji nwayọọ nwayọọ na-arụ ọrụ nke ọma.
Nkwupụta sitere na Daniyar Belkhodzhaev, Skyeng Data Engineer
Anyị nọ na Skyeng chọpụtakwara ozugbo na enwere ike ịme nha nha.
Ọrụ a mara mma nke ukwuu, ọkachasị n'ịtụle na AWS na-eme atụmatụ na ọtụtụ ndị ọrụ agaghịdị akwụ ụgwọ maka ya.O mere na n'etiti ọnwa Eprel, anyị nwere arịrịọ pụrụ iche maka ụyọkọ Redshift. N'ime oge a, anyị na-amalitekarị na Concurrency Scaling; mgbe ụfọdụ ụyọkọ ọzọ na-arụ ọrụ awa 24 n'ụbọchị na-akwụsịghị.
Nke a mere ka o kwe omume, ma ọ bụrụ na ọ bụghị iji kwụ n'ahịrị dozie nsogbu ahụ kpamkpam, ma ọ dịkarịa ala ime ka ọnọdụ ahụ dị mma.
Nlebanya anyị na-adaba n'ụzọ dị ukwuu na echiche ụmụ okorobịa si intermix.io.
Anyị chọpụtakwara na ọ bụ ezie na a na-arịọ arịrịọ na-echere na kwụ n'ahịrị, ọ bụghị arịrịọ niile ka ebugara ozugbo na ụyọkọ yiri ya. O doro anya na nke a na-eme n'ihi na ụyọkọ yiri ya ka na-ewe oge ịmalite. N'ihi ya, n'oge obere oge dị elu ibu anyị ka nwere obere kwụ n'ahịrị, na kwekọrọ ekwekọ Mkpu nwere oge ịkpalite.
N'ịbụ onye wepụsịrị ibu ndị na-adịghị mma n'April, anyị, dị ka AWS tụrụ anya, banyere ọnọdụ iji oge ụfọdụ - n'ime usoro efu.
Ị nwere ike soro ọnụ ahịa ọnụ ahịa gị na AWS Cost Explorer. Ịkwesịrị ịhọrọ Ọrụ - Redshift, Ụdị ojiji - CS, dịka ọmụmaatụ USW2-CS: dc2.large.Ị nwere ike ịgụkwu gbasara ọnụ ahịa na Russian
isi: www.habr.com