Li Skyeng em Amazon Redshift-ê bikar tînin, tevî pîvandina paralel, ji ber vê yekê me ev gotara Stefan Gromoll, damezrînerê dotgo.com, ji bo intermix.io balkêş dît. Piştî wergerandinê, hinekî ji ezmûna me ji endezyar dane Daniyar Belkhodzhaev.
bi zêdekirina girêkên nû li komê destûrê dide pîvandinê. Pêdivî ye ku meriv bi hejmareke herî zêde ya daxwazan re mijûl bibe dikare bibe sedema zêde-dabînkirina girêkan. Scaling Concurrency, li hember lê zêdekirina girêkên nû, li gorî hewcedariyê hêza hesabkirinê zêde dike.
Pîvana paralel a Amazon Redshift kapasîteya zêde dide komên Redshift da ku cildên daxwaziya lûtkeyê birêve bibin. Ew bi veguheztina daxwazan berbi komên nû yên "paralel" ên li paşîn ve dixebite. Daxwaz li ser bingeha veavakirin û qaîdeyên WLM têne rêve kirin.
Bihayê pîvandina paralel li ser bingeha modelek krediyê ya bi qatek belaş e. Li jor krediyên belaş, drav li gorî dema ku Koma Pîvana Parallel daxwazên pêvajoyê dike.
Nivîskar pîvana paralel li ser yek ji komên hundurîn ceriband. Di vê postê de, ew ê li ser encamên testê biaxive û şîretan bide ka meriv çawa dest pê dike.
Pêdiviyên Cluster
Ji bo ku pîvana paralel bikar bînin, komika weya Amazon Redshift divê hewcedariyên jêrîn bicîh bîne:
- platform: EC2-VPC;
- cureyê nodê: dc2.8xlarge, ds2.8xlarge, dc2.mezin an ds2.xlarge;
- Hejmara girêkan: ji 2 heta 32 (komên yek girêk nayên piştgirî kirin).
Cureyên daxwaza qebûlkirin
Pîvana paralel ji bo her cûre pirsan ne maqûl e. Di guhertoya yekem de, ew tenê daxwazên xwendinê yên ku sê şertan têr dikin pêvajoyê dike:
- Pirsên SELECT tenê-xwendin in (her çend celebên din têne plansaz kirin);
- pirs ji tabloyek bi şêwaza birêkûpêkkirina INTERLEAVED referans nake;
- Lêpirsîn ji bo referanskirina tabloyên derveyî Amazon Redshift Spectrum bikar nayîne.
Ji bo ku berbi Koma Pîvankirina Parallel ve were rêve kirin, divê daxwaz were rêz kirin. Wekî din, lêpirsînên ku ji bo dorê veqetandî ne , dê li ser komikên pîvana paralel nemeşin.
Rêz û SQA veavakirina rast hewce dike . Em pêşniyar dikin ku pêşî WLM-ya xwe xweşbîn bikin - ev ê hewcedariya pîvandina paralel kêm bike. Û ev girîng e ji ber ku pîvana paralel tenê ji bo çend demjimêran belaş e. AWS îdîa dike ku pîvana paralel dê ji bo 97% xerîdar belaş be, ku me digihîne pirsgirêka bihayê.
Mesrefa pîvana paralel
AWS ji bo pîvandina paralel modelek krediyê pêşkêşî dike. Her komek çalak Her demjimêr, heta saetekê kredîyên pîvandina paralel ên belaş her roj kredî berhev dike.
Hûn tenê dema ku karanîna Komên Pîvankirina Parallel ji mîqdara krediyên ku we wergirtine derbas bike, hûn didin.
Lêçûn ji bo komek paralel a ku li jor rêjeya belaş tê bikar anîn bi rêjeyek daxwazê ya her çirkeyê tê hesibandin. Hûn tenê ji bo dirêjahiya daxwazên xwe têne xerc kirin, her carê ku Komek Pevçûnek Parallel aktîf dibe, bi kêmanî yek hûrdeman tê xerc kirin. Rêjeya li ser-duyemîn li ser bingeha prensîbên bihayê gelemperî tête hesibandin , ango, ew bi celebê girêk û hejmara girêkên di koma we de ve girêdayî ye.
Destpêkirina Scaling Parallel
Pîvana paralel ji bo her rêzika WLM tê dest pê kirin. Herin konsolê AWS Redshift û ji menuya navîgasyonê ya çepê Rêvebiriya Karkeriyê hilbijêrin. Koma parametreya WLM ya koma xwe ji pêşeka jêrîn a jêrîn hilbijêrin.
Hûn ê li tenişta her rêzê stûnek nû ya bi navê "Moda Pîvankirina Hevdengiyê" bibînin. Vebijêrk "Neçalak" e. "Biguherîne" bikirtînin û hûn dikarin mîhengên her rêzê biguhezînin.
Guhertin
Pîvana paralel bi şandina daxwazên guncan ji komên nû yên veqetandî re dixebite. Komên nû wek koma sereke xwedî heman mezinahî (cure û hejmara girêkan) ne.
Hejmara xwerû ya komikên ku ji bo pîvandina paralel têne bikar anîn yek (1) ye, bi şiyana ku bi tevahî deh (10) koman mîheng bike.
Hejmara giştî ya koman ji bo pîvandina paralel dikare bi pîvana max_concurrency_scaling_clusters were saz kirin. Zêdekirina nirxa vê parametreyê komên zêde yên zêde peyda dike.
Ingopandin
Di konsolê AWS Redshift de çend grafikên din hene. Nexşeya Max Concurrency Scaling Clusters Concurrency nirxa max_concurrency_scaling_clusters bi demê re nîşan dide.
Hejmara komikên pîvandinê yên çalak di navbeyna bikarhênerê de di beşa "Çalakiya Pîvankirina Hevdengiyê" de têne xuyang kirin:
Di tabloya Queries de, stûnek heye ku destnîşan dike ka pirs di komika sereke de an di koma pîvandina paralel de hatiye darve kirin:
Bêyî ku lêpirsînek taybetî di koma sereke de an jî bi navgîniyek pîvanek paralel ve hatî darve kirin, ew di stl_query.concurrency_scaling_status de tê hilanîn.
Nirxa 1 destnîşan dike ku pirs di komika pîvana paralel de hate darve kirin, dema ku nirxên din destnîşan dikin ku ew di komika bingehîn de hate darve kirin.
Nimûne:
Agahdariya pîvana hevdemiyê jî di hin tablo û dîmenên din de, wek SVCS_CONCURRENCY_SCALING_USAGE, tê hilanîn. Digel vê yekê, hejmarek tabloyên katalogê hene ku agahdariya di derbarê pîvana paralel de hilînin.
Encam
Nivîskar di 18/30/00 de bi qasî 29.03.2019:3:20 GMT dest bi pîvandina paralel kirin ji bo yek rêzek di koma hundurîn de. Di 30/00/29.03.2019 de nêzîkê XNUMX:XNUMX:XNUMX de pîvana max_concurrency_scaling_clusters guherand XNUMX.
Ji bo simulasyona dorê daxwazekê, me jimara hêlînên vê dorê ji 15-an daxist 5an.
Li jêr nexşeyek dashboardê ya intermix.io heye ku piştî kêmkirina jimareya slotan hejmara daxwaznameyên ku diqewimin û rêzê nîşan dide.
Em dibînin ku dema li benda daxwazan di dorê de zêde bûye, dema herî zêde ji 5 hûrdeman zêdetir e.
Li vir agahdariya têkildar ji konsolê AWS di derbarê vê demê de çi qewimî ye:
Redshift sê (3) komikên pîvanê yên paralel wekî ku hatine mîheng kirin dest pê kir. Wusa dixuye ku ev kom kêm hatine bikar anîn, her çend di koma me de gelek daxwaz hatine rêz kirin.
Grafika karanînê bi grafiya çalakiya pîvandinê re têkildar e:
Piştî çend demjimêran, nivîskaran rêzê kontrol kirin û wusa dixuye ku 6 daxwaz bi pîvana paralel dimeşin. Di heman demê de me bi korfelaqî du daxwaz bi navbeynkariya bikarhêner ceriband. Me kontrol nekiriye ka meriv çawa van nirxan bikar tîne dema ku çend komikên paralel bi yekcarî çalak in.
vebiguherin
Pîvana paralel dikare dema ku daxwazên di dorê de di dema barkirina pezê de derbas dikin kêm bike.
Li ser bingeha encamên testa bingehîn, derket holê ku rewşa daxwazên barkirinê hinekî baştir bûye. Lêbelê, pîvana paralel tenê hemî pirsgirêkên hevdemî çareser nekir.
Ev ji ber qedexeyên li ser cûreyên lêpirsînan e ku dikarin pîvana paralel bikar bînin. Mînakî, nivîskaran gelek tabloyên bi bişkojkên cûrbecûr ên hevgirtî hene, û piraniya xebata me nivîsandin e.
Her çend pîvana paralel ji bo sazkirina WLM ne çareseriyek gerdûnî ye, karanîna vê taybetmendiyê hêsan û rasterast e.
Ji ber vê yekê, nivîskar pêşniyar dike ku wê ji bo rêzikên WLM-ya xwe bikar bînin. Bi yek komek paralel dest pê bikin û barkirina lûtkeyê bi navgîniya konsolê ve bişopînin da ku diyar bikin ka komên nû bi tevahî têne bikar anîn.
Gava ku AWS ji bo celeb û tabloyên pirsê yên din piştgirî zêde dike, pêdivî ye ku pîvana paralel hêdî hêdî bêtir û bêtir bibandor bibe.
Şîrove ji Daniyar Belkhodzhaev, Endezyarê Daneyên Skyeng
Me li Skyeng jî tavilê ferq kir ku îhtîmala mezinbûna paralel.
Fonksiyonê pir balkêş e, nemaze ku AWS texmîn dike ku pir bikarhêneran jî neçar in ku ji bo wê zêde bidin.Wusa çêbû ku di nîvê Nîsanê de me ji komê Redshift re daxwazek neasayî hebû. Di vê serdemê de, me pir caran serî li Pîvana Hevdemî da; carinan komeke zêde rojê 24 demjimêran bêyî rawestan xebitî.
Vê yekê gengaz kir, heke ne bi tevahî pirsgirêk bi dorê çareser bibe, bi kêmanî rewş were pejirandin.
Çavdêriyên me bi piranî bi nerînên xortên ji intermix.io re hevûdu dikin.
Me her weha dît ku her çend daxwaz li bendê bûn jî, ne hemî daxwaz tavilê ji koma paralel re nehatin şandin. Xuya ye ku ev diqewime ji ber ku koma paralel hîn dem digire ku dest pê bike. Wekî encamek, di dema barkirinên lûtkeya kurt-kurt de em hîn jî rêzên piçûk hene, û alarmên têkildar dem hene ku biqewimin.
Piştî ku di meha Nîsanê de ji barkirinên nenormal xilas bûn, em, wekî ku AWS hêvî dikir, ketin moda karanîna carinan - di nav norma belaş de.
Hûn dikarin lêçûnên pîvana xweya paralel di AWS Cost Explorer de bişopînin. Hûn hewce ne ku Karûbar - Redshift, Tîpa Bikaranînê - CS hilbijêrin, mînakî USW2-CS:dc2.large.Hûn dikarin li ser bihayên bi rûsî bêtir bixwînin
Source: www.habr.com