Yn Skyeng rydym yn defnyddio Amazon Redshift, gan gynnwys graddio cyfochrog, felly cawsom yr erthygl hon gan Stefan Gromoll, sylfaenydd dotgo.com, ar gyfer intermix.io yn ddiddorol. Ar ôl y cyfieithiad, ychydig o'n profiad gan y peiriannydd data Daniyar Belkhodzhaev.
yn caniatáu graddio trwy ychwanegu nodau newydd i'r clwstwr. Gall yr angen i ymdopi â nifer brig o geisiadau arwain at or-ddarparu nodau. Mae Graddio arian cyfred, yn hytrach nag ychwanegu nodau newydd, yn cynyddu pŵer cyfrifiadurol yn ôl yr angen.
Mae graddio cyfochrog Amazon Redshift yn rhoi gallu ychwanegol i glystyrau Redshift ymdrin â niferoedd ceisiadau brig. Mae'n gweithio trwy symud ceisiadau i glystyrau “cyfochrog” newydd yn y cefndir. Caiff ceisiadau eu cyfeirio yn seiliedig ar gyfluniad a rheolau WLM.
Mae prisiau graddio cyfochrog yn seiliedig ar fodel credyd gyda haen rydd. Uwchben credydau am ddim, mae taliad yn seiliedig ar yr amser y mae'r Clwstwr Graddio Cyfochrog yn prosesu ceisiadau.
Profodd yr awdur raddio cyfochrog ar un o'r clystyrau mewnol. Yn y swydd hon, bydd yn siarad am ganlyniadau'r profion ac yn rhoi awgrymiadau ar sut i ddechrau.
Gofynion clwstwr
Er mwyn defnyddio graddio cyfochrog, rhaid i'ch clwstwr Amazon Redshift fodloni'r gofynion canlynol:
- platfform: EC2-VPC;
- math o nod: dc2.8xlarge, ds2.8xlarge, dc2.large neu ds2.xlarge;
- nifer y nodau: o 2 i 32 (ni chefnogir clystyrau un nod).
Mathau o geisiadau derbyniol
Nid yw graddio cyfochrog yn addas ar gyfer pob math o ymholiad. Yn y fersiwn gyntaf, dim ond ceisiadau darllen sy'n bodloni tri amod y mae'n eu prosesu:
— Mae ymholiadau SELECT yn ddarllenadwy yn unig (er bod mwy o fathau ar y gweill);
— nid yw'r ymholiad yn cyfeirio at dabl gyda'r arddull didoli INTERLEAVED;
- Nid yw'r ymholiad yn defnyddio Sbectrwm Redshift Amazon i gyfeirio at dablau allanol.
Er mwyn cael eich cyfeirio at y Clwstwr Graddio Cyfochrog, rhaid ciwio'r cais. Yn ogystal, ymholiadau sy'n gymwys ar gyfer y ciw , ni fydd yn rhedeg ar glystyrau graddfa gyfochrog.
Mae angen cyfluniad priodol ar giwiau a SQA . Rydym yn argymell optimeiddio eich WLM yn gyntaf - bydd hyn yn lleihau'r angen am raddio cyfochrog. Ac mae hyn yn bwysig oherwydd dim ond am nifer penodol o oriau y mae graddio cyfochrog yn rhad ac am ddim. Mae AWS yn honni y bydd graddio cyfochrog am ddim i 97% o gwsmeriaid, sy'n dod â ni at fater prisio.
Cost graddio cyfochrog
Mae AWS yn cynnig model credyd ar gyfer graddio cyfochrog. Pob clwstwr gweithredol Yn cronni credydau fesul awr, hyd at awr o gredydau graddio cyfochrog am ddim y dydd.
Byddwch ond yn talu pan fydd eich defnydd o Glystyrau Graddio Cyfochrog yn fwy na swm y credydau a gawsoch.
Cyfrifir y gost ar gyfradd ar-alw fesul eiliad ar gyfer clwstwr cyfochrog a ddefnyddir uwchlaw’r gyfradd rydd. Dim ond am gyfnod eich ceisiadau y codir tâl arnoch, gydag isafswm tâl o funud bob tro y bydd Clwstwr Graddio Cyfochrog yn cael ei weithredu. Cyfrifir y gyfradd ar-alw fesul eiliad ar sail egwyddorion prisio cyffredinol , hynny yw, mae'n dibynnu ar y math o nod a nifer y nodau yn eich clwstwr.
Lansio Graddio Cyfochrog
Mae graddio cyfochrog yn cael ei sbarduno ar gyfer pob ciw WLM. Ewch i gonsol Redshift AWS a dewiswch Rheoli Llwyth Gwaith o'r ddewislen llywio chwith. Dewiswch grŵp paramedr WLM eich clwstwr o'r gwymplen ganlynol.
Fe welwch golofn newydd o'r enw "Concurrency Scaling Mode" wrth ymyl pob ciw. Y rhagosodiad yw "Anabledd". Cliciwch "Golygu" a gallwch newid y gosodiadau ar gyfer pob ciw.
Ffurfweddiad
Mae graddio cyfochrog yn gweithio trwy anfon ceisiadau priodol ymlaen i glystyrau pwrpasol newydd. Mae gan glystyrau newydd yr un maint (math a nifer o nodau) â'r prif glwstwr.
Y nifer rhagosodedig o glystyrau a ddefnyddir ar gyfer graddio cyfochrog yw un (1), gyda'r gallu i ffurfweddu hyd at gyfanswm o ddeg (10) clwstwr.
Gellir pennu cyfanswm nifer y clystyrau ar gyfer graddio cyfochrog gan y paramedr max_concurrency_scaling_clusters. Mae cynyddu gwerth y paramedr hwn yn darparu clystyrau diangen ychwanegol.
Monitro
Mae yna sawl graff ychwanegol ar gael yng nghonsol Redshift AWS. Mae'r siart Clystyrau Graddio Concurrency Configured Max yn dangos gwerth max_concurrency_scaling_clusters dros amser.
Mae nifer y clystyrau graddio gweithredol yn cael ei arddangos yn y rhyngwyneb defnyddiwr yn yr adran “Gweithgaredd Graddio Arian Parod”:
Yn y tab Ymholiadau, mae colofn yn nodi a weithredwyd yr ymholiad yn y prif glwstwr neu yn y clwstwr graddio cyfochrog:
Ni waeth a weithredwyd ymholiad penodol yn y prif glwstwr neu drwy glwstwr graddio cyfochrog, caiff ei storio yn stl_query.concurrency_scaling_status.
Mae gwerth o 1 yn nodi bod yr ymholiad wedi'i weithredu yn y clwstwr graddfa gyfochrog, tra bod gwerthoedd eraill yn nodi iddo gael ei weithredu yn y clwstwr cynradd.
Enghraifft:
Mae gwybodaeth graddio arian cyfred hefyd yn cael ei storio mewn rhai tablau a golygfeydd eraill, megis SVCS_CONCURRENCY_SCALING_USAGE. Yn ogystal, mae yna nifer o dablau catalog sy'n storio gwybodaeth am raddio cyfochrog.
Canfyddiadau
Dechreuodd yr awduron raddio cyfochrog ar gyfer un ciw yn y clwstwr mewnol tua 18:30:00 GMT ar 29.03.2019/3/20. Newidiwyd y paramedr max_concurrency_scaling_clusters i 30 tua 00:29.03.2019:XNUMX ar XNUMX/XNUMX/XNUMX.
Er mwyn efelychu ciw cais, gwnaethom leihau nifer y slotiau ar gyfer y ciw hwn o 15 i 5.
Isod mae siart dangosfwrdd intermix.io yn dangos nifer y ceisiadau sy'n rhedeg ac yn ciwio ar ôl lleihau nifer y slotiau.
Gwelwn fod yr amser aros ar gyfer ceisiadau yn y ciw wedi cynyddu, gyda'r amser hiraf yn fwy na 5 munud.
Dyma'r wybodaeth berthnasol gan gonsol AWS am yr hyn a ddigwyddodd yn ystod y cyfnod hwn:
Lansiodd Redshift dri (3) clwstwr graddio cyfochrog fel y'u cyfluniwyd. Ymddengys nad oedd y clystyrau hyn yn cael eu defnyddio'n ddigonol, er bod llawer o geisiadau yn ein clwstwr wedi'u ciwio.
Mae'r graff defnydd yn cyfateb i'r graff gweithgaredd graddio:
Ar ôl ychydig oriau, gwiriodd yr awduron y ciw ac roedd yn edrych fel bod 6 chais yn rhedeg ar raddfa gyfochrog. Fe wnaethom hefyd brofi dau gais ar hap trwy'r rhyngwyneb defnyddiwr. Nid ydym wedi gwirio sut i ddefnyddio'r gwerthoedd hyn pan fydd sawl clwstwr cyfochrog yn weithredol ar unwaith.
Canfyddiadau
Gall graddio cyfochrog leihau'r amser y mae ceisiadau yn ei dreulio yn y ciw yn ystod llwythi brig.
Yn seiliedig ar ganlyniadau'r prawf sylfaenol, daeth yn amlwg bod y sefyllfa gyda cheisiadau llwytho wedi gwella'n rhannol. Fodd bynnag, nid oedd graddio cyfochrog yn unig yn datrys yr holl broblemau arian cyfred.
Mae hyn oherwydd cyfyngiadau ar y mathau o ymholiadau a all ddefnyddio graddio cyfochrog. Er enghraifft, mae gan yr awduron lawer o dablau gydag allweddi didoli rhyngddalennog, ac mae'r rhan fwyaf o'n llwyth gwaith yn ysgrifennu.
Er nad yw graddio cyfochrog yn ateb cyffredinol ar gyfer sefydlu WLM, mae defnyddio'r nodwedd hon yn syml ac yn syml.
Felly, mae'r awdur yn argymell ei ddefnyddio ar gyfer eich ciwiau WLM. Dechreuwch gydag un clwstwr cyfochrog a monitro llwyth brig trwy'r consol i benderfynu a yw'r clystyrau newydd yn cael eu defnyddio'n llawn.
Wrth i AWS ychwanegu cefnogaeth ar gyfer mathau ychwanegol o ymholiadau a thablau, dylai graddio cyfochrog ddod yn fwyfwy effeithlon yn raddol.
Sylw gan Daniyar Belkhodzhaev, Peiriannydd Data Skyeng
Fe wnaethom ni yn Skyeng sylwi ar unwaith hefyd ar y posibilrwydd o raddio cyfochrog.
Mae'r swyddogaeth yn ddeniadol iawn, yn enwedig o ystyried bod AWS yn amcangyfrif na fydd yn rhaid i'r mwyafrif o ddefnyddwyr hyd yn oed dalu mwy amdano.Digwyddodd felly i ni gael llu anarferol o geisiadau i glwstwr Redshift ganol mis Ebrill. Yn ystod y cyfnod hwn, roeddem yn aml yn troi at Raddfa Arian Cyfred; weithiau roedd clwstwr ychwanegol yn gweithio 24 awr y dydd heb stopio.
Roedd hyn yn ei gwneud hi'n bosibl, os nad i ddatrys y broblem yn llwyr gyda chiwiau, yna o leiaf i wneud y sefyllfa'n dderbyniol.
Mae ein harsylwadau yn cyd-fynd i raddau helaeth ag argraffiadau'r dynion o intermix.io.
Sylwasom hefyd, er bod ceisiadau yn aros yn y ciw, nad oedd pob cais yn cael ei anfon ymlaen ar unwaith i'r clwstwr cyfochrog. Mae'n debyg bod hyn yn digwydd oherwydd bod y clwstwr cyfochrog yn dal i gymryd amser i ddechrau. O ganlyniad, yn ystod llwythi brig tymor byr mae gennym giwiau bach o hyd, ac mae gan y larymau cyfatebol amser i sbarduno.
Ar ôl cael gwared ar lwythi annormal ym mis Ebrill, fe wnaethom ni, fel y disgwyliwyd gan AWS, fynd i mewn i'r modd defnydd achlysurol - o fewn y norm rhad ac am ddim.
Gallwch olrhain eich costau graddio cyfochrog yn AWS Cost Explorer. Mae angen i chi ddewis Gwasanaeth - Redshift, Math o Ddefnydd - CS, er enghraifft USW2-CS:dc2.large.Gallwch ddarllen mwy am brisiau yn Rwsieg
Ffynhonnell: hab.com