Aig Skyeng bidh sinn a’ cleachdadh Amazon Redshift, a’ toirt a-steach sgèileadh co-shìnte, agus mar sin lorg sinn an artaigil seo le Stefan Gromoll, a stèidhich dotgo.com, airson intermix.io inntinneach. Às deidh an eadar-theangachaidh, beagan den eòlas againn bhon innleadair dàta Daniyar Belkhodzhaev.
a’ ceadachadh sgèileadh le bhith a’ cur nodan ùra ris a’ bhuidheann. Faodaidh an fheum air dèiligeadh ri àireamh as àirde de dh’ iarrtasan leantainn gu cus solar nodan. Bidh Sgèileadh Concurrency, an taca ri bhith a’ cur nodan ùra ris, a’ meudachadh cumhachd coimpiutaireachd mar a dh’ fheumar.
Tha sgèileadh co-shìnte Amazon Redshift a’ toirt comas a bharrachd dha cruinneachaidhean Redshift a bhith a’ làimhseachadh meudan iarrtasan as àirde. Bidh e ag obair le bhith a’ gluasad iarrtasan gu cruinneachaidhean ùra “co-shìnte” air a’ chùl. Tha iarrtasan air an stiùireadh a rèir rèiteachadh agus riaghailtean WLM.
Tha prìsean sgèileadh co-shìnte stèidhichte air modal creideas le ìre an-asgaidh. Os cionn creideasan an-asgaidh, tha pàigheadh stèidhichte air an ùine a bhios an Parallel Scaling Cluster a’ pròiseasadh iarrtasan.
Rinn an t-ùghdar deuchainn air sgèileadh co-shìnte air aon de na cruinneachaidhean a-staigh. Anns an dreuchd seo, bruidhnidh e mu thoraidhean an deuchainn agus bheir e seachad molaidhean air mar a thòisicheas tu.
Riatanasan buidheann
Gus sgèileadh co-shìnte a chleachdadh, feumaidh do bhuidheann Amazon Redshift na riatanasan a leanas a choileanadh:
- àrd-ùrlar: EC2-VPC;
- seòrsa nod: dc2.8xlarge, ds2.8xlarge, dc2.large no ds2.xlarge;
- àireamh de nodan: bho 2 gu 32 (chan eil taic ri cruinneachaidhean aon nod).
Seòrsan iarrtasan iomchaidh
Chan eil sgèileadh co-shìnte freagarrach airson gach seòrsa ceist. Anns a’ chiad dreach, cha bhith e a’ pròiseasadh ach iarrtasan leughaidh a choinnicheas ri trì cumhachan:
- Tha ceistean SELECT air an leughadh a-mhàin (ged a tha barrachd sheòrsan san amharc);
— chan eil a’ cheist a’ toirt iomradh air clàr leis an stoidhle rèiteach INTERLEAVED;
- Cha bhith a’ cheist a’ cleachdadh Amazon Redshift Spectrum gus iomradh a thoirt air bùird taobh a-muigh.
Gus a bhith air a chuir chun bhuidheann sgèile co-shìnte, feumaidh an t-iarrtas a bhith ann an ciudha. A bharrachd air an sin, ceistean a tha iomchaidh airson a’ chiudha , cha bhith e a’ ruith air cruinneachaidhean sgèile co-shìnte.
Feumaidh ciudha agus SQA rèiteachadh ceart . Tha sinn a’ moladh do WLM a mheudachadh an-toiseach - lughdaichidh seo an fheum air sgèileadh co-shìnte. Agus tha seo cudromach oir chan eil sgèileadh co-shìnte an-asgaidh ach airson grunn uairean a thìde. Tha AWS ag agairt gum bi sgèileadh co-shìnte an-asgaidh airson 97% de luchd-ceannach, a bheir sinn gu cùis prìsean.
Cosgais sgèileadh co-shìnte
Tha AWS a’ tabhann modail creideis airson sgèileadh co-shìnte. Gach buidheann gnìomhach A’ cruinneachadh chreideasan gach uair, suas ri uair a thìde de chreideasan sgèileadh co-shìnte an-asgaidh gach latha.
Cha phàigh thu ach nuair a tha do chleachdadh Cruinneachaidhean Sgèile Co-shìnte nas àirde na na creideasan a fhuair thu.
Tha a’ chosgais air a thomhas aig ìre gach diog air-iarrtas airson cruinneachadh co-shìnte a thathas a’ cleachdadh os cionn na h-ìre an-asgaidh. Chan eil cosgais ort ach fad na h-iarrtasan agad, le cosgais as ìsle de aon mhionaid gach uair a thèid Buidheann Sgèile Co-shìnte a chuir an gnìomh. Tha an ìre air-iarrtas gach diog air a thomhas a rèir prionnsapalan prìsean coitcheann , is e sin, tha e an urra ris an t-seòrsa nód agus an àireamh de nodan anns a’ bhuidheann agad.
Cur air bhog Sgèile Co-shìnte
Thathas a’ brosnachadh sgèileadh co-shìnte airson gach ciudha WLM. Rach gu consol AWS Redshift agus tagh Stiùireadh eallach obrach bhon chlàr seòlaidh clì. Tagh am buidheann paramadair WLM agad bhon chlàr tuiteam-sìos a leanas.
Chì thu colbh ùr air a bheil "Modh Sgèileadh Concurrency" ri taobh gach ciudha. Is e am prìomh rud "Ciorramach". Briog air "Deasaich" agus faodaidh tu na roghainnean atharrachadh airson gach ciudha.
Rèiteachadh
Bidh sgèileadh co-shìnte ag obair le bhith a’ cur iarrtasan iomchaidh air adhart gu buidhnean sònraichte ùra. Tha an aon mheud (seòrsa agus àireamh nodan) aig cruinneachaidhean ùra ris a’ phrìomh bhuidheann.
Is e an àireamh bunaiteach de chlàran a thathas a’ cleachdadh airson sgèileadh co-shìnte aon (1), le comas suas ri deich (10) cruinneachaidhean gu h-iomlan a rèiteachadh.
Faodar an àireamh iomlan de chlàran airson sgèileadh co-shìnte a shuidheachadh leis a’ pharamadair max_concurrency_scaling_clusters. Tha àrdachadh luach a’ pharamadair seo a’ toirt seachad cruinneachaidhean a bharrachd gun fheum.
Sgrùdadh
Tha grunn ghrafaichean a bharrachd rim faighinn ann an consol Redshift AWS. Tha a’ chairt Cruinneachaidhean Sgèileadh Concurrency Configured Max a’ taisbeanadh luach max_concurrency_scaling_clusters thar ùine.
Tha an àireamh de chlàran sgèileadh gnìomhach air a thaisbeanadh anns an eadar-aghaidh cleachdaiche anns an roinn “Gnìomh Sgèileadh Concurrency”:
Anns an taba Ceistean, tha colbh a’ nochdadh an deach a’ cheist a chur an gnìomh anns a’ phrìomh bhuidheann no anns a’ bhuidheann sgèileadh co-shìnte:
Ge bith an deach ceist shònraichte a chuir gu bàs anns a’ phrìomh bhuidheann no tro bhuidheann de sgèileadh co-shìnte, tha e air a stòradh ann an stl_query.concurrency_scaling_status.
Tha luach 1 a’ nochdadh gun deach a’ cheist a chur an gnìomh anns a’ bhuidheann sgèile co-shìnte, agus tha luachan eile a’ nochdadh gun deach a chur gu bàs sa phrìomh bhuidheann.
Eisimpleir:
Tha fiosrachadh mu sgèileadh airgead-crìche cuideachd air a stòradh ann an clàran is seallaidhean eile, leithid SVCS_CONCURRENCY_SCALING_USAGE. A bharrachd air an sin, tha grunn chlàran catalog ann a bhios a’ stòradh fiosrachadh mu sgèileadh co-shìnte.
Toraidhean
Thòisich na h-ùghdaran air sgèileadh co-shìnte airson aon ciudha anns a’ bhuidheann a-staigh aig timcheall air 18:30:00 GMT air 29.03.2019/3/20. Dh’atharraich iad am paramadair max_concurrency_scaling_clusters gu 30 aig timcheall air 00:29.03.2019:XNUMX air XNUMX/XNUMX/XNUMX.
Gus ciudha iarrtas a shamhlachadh, lughdaich sinn an àireamh de shliotan airson a’ chiudha seo bho 15 gu 5.
Gu h-ìosal tha clàr deas-bhòrd intermix.io a’ sealltainn an àireamh de dh’ iarrtasan a’ ruith agus a’ ciudha às deidh dhaibh an àireamh de shliotan a lughdachadh.
Tha sinn a’ faicinn gu bheil an ùine feitheimh airson iarrtasan anns a’ chiudha air a dhol suas, leis an ùine as motha nas fhaide na 5 mionaidean.
Seo am fiosrachadh buntainneach bho chonsal AWS mu na thachair aig an àm seo:
Chuir Redshift trì (3) cruinneachaidhean sgèileadh co-shìnte air bhog mar a chaidh an rèiteachadh. Tha e coltach nach robh na cruinneachaidhean sin air an cleachdadh gu leòr, ged a bha mòran iarrtasan anns a’ bhuidheann againn ann an ciudha.
Tha an graf cleachdaidh co-cheangailte ris a’ ghraf gnìomhachd sgèileachaidh:
Às deidh beagan uairean a thìde, thug na h-ùghdaran sùil air a’ chiudha agus bha e coltach gu robh 6 iarrtasan a’ ruith aig sgèile co-shìnte. Rinn sinn deuchainn cuideachd air dà iarrtas air thuaiream tron eadar-aghaidh cleachdaiche. Chan eil sinn air sgrùdadh a dhèanamh air mar a chleachdas sinn na luachan sin nuair a tha grunn chlàran co-shìnte gnìomhach aig an aon àm.
toraidhean
Faodaidh sgèileadh co-shìnte lùghdachadh a dhèanamh air an ùine a bhios iarrtasan a’ caitheamh anns a’ chiudha aig àm luchdan as àirde.
Stèidhichte air toraidhean an deuchainn bunaiteach, thionndaidh e a-mach gu bheil an suidheachadh le iarrtasan luchdachadh air leasachadh gu ìre. Ach, cha do rinn sgèileadh co-shìnte leis fhèin fuasgladh air a h-uile duilgheadas concurrency.
Tha seo mar thoradh air cuingealachaidhean air na seòrsaichean cheistean a dh'fhaodas sgèileadh co-shìnte a chleachdadh. Mar eisimpleir, tha mòran chlàran aig na h-ùghdaran le iuchraichean seòrsa eadar-duilleach, agus tha a’ mhòr-chuid den uallach obrach againn a’ sgrìobhadh.
Ged nach eil sgèileadh co-shìnte na fhuasgladh uile-choitcheann airson WLM a stèidheachadh, tha cleachdadh na feart seo sìmplidh agus furasta.
Mar sin, tha an t-ùghdar a’ moladh a chleachdadh airson na ciudha WLM agad. Tòisich le aon bhuidheann co-shìnte agus cùm sùil air an luchd as àirde tron chonsól gus faighinn a-mach a bheil na cruinneachaidhean ùra gan cleachdadh gu h-iomlan.
Mar a bhios AWS a’ cur taic ri seòrsachan cheistean agus bùird a bharrachd, bu chòir sgèileadh co-shìnte a bhith mean air mhean a’ fàs nas èifeachdaiche.
Beachd bho Daniyar Belkhodzhaev, Einnseanair Dàta Skyeng
Mhothaich sinne aig Skyeng sa bhad cuideachd gun robh e comasach sgèileadh co-shìnte a nochdadh.
Tha an comas-gnìomh gu math tarraingeach, gu sònraichte leis gu bheil AWS den bheachd nach fheum a’ mhòr-chuid de luchd-cleachdaidh eadhon pàigheadh a bharrachd air a shon.Tha e mar sin a thachair, ann am meadhan a’ Ghiblein, bha tòrr iarrtasan annasach againn gu buidheann Redshift. Rè na h-ùine seo, bhiodh sinn gu tric a’ dol gu Concurrency Scaling; uaireannan bha buidheann a bharrachd ag obair 24 uair san latha gun stad.
Rinn seo e comasach, mura h-eil e comasach an duilgheadas fhuasgladh gu tur le ciudha, an uairsin co-dhiù an suidheachadh a dhèanamh iomchaidh.
Tha na beachdan againn gu ìre mhòr aig an aon àm ri beachdan nan gillean bho intermix.io.
Mhothaich sinn cuideachd ged a bha iarrtasan a’ feitheamh anns a’ chiudha, nach deach a h-uile iarrtas a chuir air adhart sa bhad chun bhuidheann co-shìnte. A rèir choltais tha seo a’ tachairt leis gu bheil an cruinneachadh co-shìnte fhathast a’ toirt ùine airson tòiseachadh. Mar thoradh air an sin, rè luchdan as àirde sa gheàrr-ùine tha ciudhaichean beaga againn fhathast, agus tha ùine aig na h-innealan-rabhaidh co-fhreagarrach tòiseachadh.
Às deidh dhuinn faighinn cuidhteas luchdan neo-àbhaisteach sa Ghiblean, chaidh sinn, mar a bha dùil aig AWS, a-steach don mhodh cleachdaidh corra uair - taobh a-staigh an àbhaist an-asgaidh.
Faodaidh tu sùil a chumail air na cosgaisean sgèileachaidh co-shìnte agad ann an AWS Cost Explorer. Feumaidh tu Seirbheis a thaghadh - Redshift, Seòrsa Cleachdaidh - CS, mar eisimpleir USW2-CS: dc2.large.Faodaidh tu barrachd a leughadh mu phrìsean ann an Ruisis
Source: www.habr.com