Fi Skyeng nużaw Amazon Redshift, inkluż skalar parallel, għalhekk sibna dan l-artikolu ta 'Stefan Gromoll, fundatur ta' dotgo.com, għal intermix.io interessanti. Wara t-traduzzjoni, ftit mill-esperjenza tagħna mill-inġinier tad-dejta Daniyar Belkhodzhaev.
jippermetti l-iskala billi żżid nodi ġodda mal-cluster. Il-ħtieġa li tlaħħaq ma 'numru massimu ta' talbiet tista 'twassal għal forniment żejjed ta' nodi. Il-Concurrency Scaling, għall-kuntrarju taż-żieda ta 'nodi ġodda, iżid is-saħħa tal-kompjuter kif meħtieġ.
L-iskala parallela ta' Amazon Redshift tagħti lill-clusters Redshift kapaċità addizzjonali biex jimmaniġġaw l-ogħla volumi ta' talbiet. Taħdem billi tmexxi t-talbiet għal raggruppamenti ġodda "paralleli" fl-isfond. It-talbiet jiġu mgħoddija bbażati fuq il-konfigurazzjoni u r-regoli tal-WLM.
L-ipprezzar ta' skala parallela huwa bbażat fuq mudell ta' kreditu b'livell ħieles. Fuq il-krediti b'xejn, il-ħlas huwa bbażat fuq il-ħin li l-Parallel Scaling Cluster jipproċessa t-talbiet.
L-awtur ittestja l-iskala parallela fuq wieħed mir-raggruppamenti interni. F'din il-kariga, se jitkellem dwar ir-riżultati tat-test u jagħti pariri dwar kif tibda.
Rekwiżiti tal-cluster
Biex tuża skala parallela, il-cluster tiegħek ta' Amazon Redshift irid jissodisfa r-rekwiżiti li ġejjin:
- pjattaforma: EC2-VPC;
— tip ta' nodu: dc2.8xlarge, ds2.8xlarge, dc2.large jew ds2.xlarge;
— numru ta' nodi: minn 2 sa 32 (raggruppamenti ta' nodi singoli mhumiex appoġġjati).
Tipi ta' talba aċċettabbli
L-iskala parallela mhix adattata għat-tipi kollha ta 'mistoqsijiet. Fl-ewwel verżjoni, tipproċessa biss talbiet għall-qari li jissodisfaw tliet kundizzjonijiet:
— Il-mistoqsijiet SELECT huma ta' qari biss (għalkemm aktar tipi huma ppjanati);
— il-mistoqsija ma tirreferix tabella bl-istil tal-issortjar INTERLEAVED;
- Il-mistoqsija ma tużax Amazon Redshift Spectrum biex tagħmel referenza għal tabelli esterni.
Biex tiġi mgħoddija lill-Parallel Scaling Cluster, it-talba trid tkun fil-kju. Barra minn hekk, mistoqsijiet eliġibbli għall-kju , mhux se jaħdem fuq raggruppamenti fuq skala parallela.
Kjuwijiet u SQA jeħtieġu konfigurazzjoni xierqa . Nirrakkomandaw li l-ewwel tottimizza l-WLM tiegħek - dan inaqqas il-ħtieġa għal skalar parallel. U dan huwa importanti għaliex l-iskala parallela hija b'xejn biss għal ċertu numru ta 'sigħat. AWS ssostni li l-iskala parallela se tkun b'xejn għal 97% tal-klijenti, li jwassalna għall-kwistjoni tal-ipprezzar.
Spiża ta' skalar parallel
AWS joffri mudell ta' kreditu għall-iskala parallela. Kull cluster attiv Jakkumula krediti kull siegħa, sa siegħa ta' krediti ta' skala parallela b'xejn kuljum.
Tħallas biss meta l-użu tiegħek ta' Parallel Scaling Clusters jaqbeż l-ammont ta' krediti li rċevejt.
L-ispiża hija kkalkulata b'rata fuq talba għal kull sekonda għal cluster parallel li jintuża 'l fuq mir-rata b'xejn. Inti ċċarġjat biss għat-tul tat-talbiet tiegħek, bi ħlas minimu ta' minuta kull darba li jiġi attivat Parallel Scaling Cluster. Ir-rata fuq talba għal kull sekonda hija kkalkulata abbażi tal-prinċipji ġenerali tal-ipprezzar , jiġifieri, jiddependi mit-tip ta 'node u n-numru ta' nodi fil-cluster tiegħek.
Tnedija ta' Scaling Parallel
L-iskala parallela hija attivata għal kull kju WLM. Mur fil-console AWS Redshift u agħżel Ġestjoni tal-Ħarġ tax-Xogħol mill-menu tan-navigazzjoni tax-xellug. Agħżel il-grupp tal-parametri WLM tal-cluster tiegħek mill-menu drop-down li ġej.
Se tara kolonna ġdida msejħa "Concurrency Scaling Mode" ħdejn kull kju. Id-default huwa "Disabled". Ikklikkja "Editja" u tista' tibdel is-settings għal kull kju.
Konfigurazzjoni
L-iskala parallela taħdem billi tibgħat talbiet xierqa lil raggruppamenti dedikati ġodda. Raggruppamenti ġodda għandhom l-istess daqs (tip u numru ta 'nodi) bħall-cluster prinċipali.
In-numru default ta 'clusters użat għall-iskala parallela huwa wieħed (1), bil-kapaċità li jiġi kkonfigurat sa total ta' għaxar (10) clusters.
In-numru totali ta 'clusters għal skalar parallel jista' jiġi stabbilit mill-parametru max_concurrency_scaling_clusters. Iż-żieda fil-valur ta 'dan il-parametru tipprovdi raggruppamenti żejda żejda.
Monitoraġġ
Hemm diversi graffs addizzjonali disponibbli fil-console AWS Redshift. It-tabella tal-Max Configured Concurrency Scaling Clusters turi l-valur tal-max_concurrency_scaling_clusters maż-żmien.
In-numru ta 'clusters ta' skalar attivi jintwera fl-interface tal-utent fit-taqsima "Attività ta' Skalar tal-Koncurrenti":
Fit-tab Mistoqsijiet, hemm kolonna li tindika jekk il-mistoqsija twettqetx fil-cluster prinċipali jew fir-raggruppament ta' skala parallela:
Irrispettivament minn jekk mistoqsija partikolari ġietx esegwita fil-cluster prinċipali jew permezz ta 'cluster ta' skala parallela, hija maħżuna f'stl_query.concurrency_scaling_status.
Valur ta '1 jindika li l-mistoqsija ġiet esegwita fil-cluster ta' skala parallela, filwaqt li valuri oħra jindikaw li ġiet eżegwita fil-cluster primarju.
Eżempju:
L-informazzjoni dwar l-iskala tal-konkorrenza hija wkoll maħżuna f'xi tabelli u fehmiet oħra, bħal SVCS_CONCURRENCY_SCALING_USAGE. Barra minn hekk, hemm numru ta 'tabelli katalogu li jaħżnu informazzjoni dwar skalar parallel.
Sejbiet
L-awturi bdew skalar parallel għal kju wieħed fil-cluster intern madwar 18:30:00 GMT fid-29.03.2019/3/20. Bidlu l-parametru max_concurrency_scaling_clusters għal 30 madwar 00:29.03.2019:XNUMX fid-XNUMX/XNUMX/XNUMX.
Biex nisimulaw kju ta’ rikjesti, naqqasna n-numru ta’ slots għal dan il-kju minn 15 għal 5.
Hawn taħt hemm chart intermix.io dashboard li turi n-numru ta 'talbiet għaddejjin u kju wara li tnaqqas in-numru ta' slots.
Naraw li l-ħin ta’ stennija għat-talbiet fil-kju żdied, bil-ħin massimu jkun ta’ aktar minn 5 minuti.
Hawnhekk hawn l-informazzjoni rilevanti mill-console AWS dwar dak li ġara matul dan iż-żmien:
Redshift nediet tliet (3) clusters ta' skala parallela kif konfigurati. Jidher li dawn ir-raggruppamenti kienu sottoutilizzati, minkejja li ħafna talbiet fil-cluster tagħna kienu fil-kju.
Il-graff tal-użu jikkorrelata mal-graff tal-attività tal-iskala:
Wara ftit sigħat, l-awturi ċċekkjaw il-kju u deher li 6 talbiet kienu qed jaħdmu fuq skala parallela. Ittestjajna wkoll b'mod każwali żewġ talbiet permezz tal-interface tal-utent. Aħna ma vverifikajniex kif nużaw dawn il-valuri meta diversi clusters paralleli jkunu attivi f'daqqa.
Sejbiet
Skalar parallel jista 'jnaqqas il-ħin li t-talbiet iqattgħu fil-kju waqt l-ogħla tagħbijiet.
Ibbażat fuq ir-riżultati tat-test bażiku, irriżulta li s-sitwazzjoni bit-talbiet tat-tagħbija tjiebet parzjalment. Madankollu, l-iskala parallela waħedha ma solviex il-problemi kollha tal-konkorrenza.
Dan huwa dovut għal restrizzjonijiet fuq it-tipi ta 'mistoqsijiet li jistgħu jużaw skalar parallel. Pereżempju, l-awturi għandhom ħafna tabelli b'ċwievet tas-sortjar interleaved, u l-biċċa l-kbira tal-piż tax-xogħol tagħna huwa l-kitba.
Għalkemm l-iskala parallela mhix soluzzjoni universali għat-twaqqif ta 'WLM, l-użu ta' din il-karatteristika huwa sempliċi u sempliċi.
Għalhekk, l-awtur jirrakkomanda li tużah għall-kjuwijiet tal-WLM tiegħek. Ibda b'raggruppament wieħed parallel u mmonitorja l-ogħla tagħbija permezz tal-console biex tiddetermina jekk ir-raggruppamenti l-ġodda humiex qed jiġu utilizzati bis-sħiħ.
Hekk kif l-AWS żżid l-appoġġ għal tipi ta' mistoqsijiet u tabelli addizzjonali, l-iskala parallela għandha gradwalment issir aktar u aktar effiċjenti.
Kumment minn Daniyar Belkhodzhaev, Skyeng Data Engineer
Aħna ta 'Skyeng immedjatament ndunat ukoll il-possibbiltà emerġenti ta' skalar parallel.
Il-funzjonalità hija attraenti ħafna, speċjalment meta wieħed iqis li l-AWS tistma li l-biċċa l-kbira tal-utenti lanqas biss se jkollhom iħallsu żejjed għaliha.Ġara li f’nofs April kellna daqqa ta’ talbiet mhux tas-soltu lill-cluster Redshift. Matul dan il-perjodu, ħafna drabi rrikorrejna għall-Concurrency Scaling; xi drabi cluster addizzjonali kien jaħdem 24 siegħa kuljum mingħajr waqfien.
Dan għamilha possibbli, jekk mhux li tissolva kompletament il-problema bil-kjuwijiet, allura għall-inqas li s-sitwazzjoni ssir aċċettabbli.
L-osservazzjonijiet tagħna fil-biċċa l-kbira jikkoinċidu mal-impressjonijiet tal-guys minn intermix.io.
Innutajna wkoll li għalkemm kien hemm talbiet jistennew fil-kju, mhux it-talbiet kollha ġew mibgħuta immedjatament lill-cluster parallel. Apparentement dan jiġri minħabba li l-cluster parallel għadu jieħu ż-żmien biex jibda. Bħala riżultat, waqt l-ogħla tagħbijiet għal żmien qasir għad għandna kjuwijiet żgħar, u l-allarmi korrispondenti għandhom ħin biex jibdew.
Wara li neħles minn tagħbijiet anormali f'April, aħna, kif mistenni AWS, dħalna fil-mod ta 'użu okkażjonali - fi ħdan in-norma ħielsa.
Tista 'ssegwi l-ispejjeż tal-iskala parallela tiegħek f'AWS Cost Explorer. Ikollok bżonn tagħżel Servizz - Redshift, Tip ta 'Użu - CS, pereżempju USW2-CS:dc2.large.Tista 'taqra aktar dwar il-prezzijiet bir-Russu
Sors: www.habr.com