Ha re le Skyeng re sebelisa Amazon Redshift, ho kenyelletsa le tekanyo e tšoanang, kahoo re fumane sengoloa sena sa Stefan Gromoll, mothehi oa dotgo.com, bakeng sa intermix.io e khahla. Ka mor'a phetolelo, phihlelo ea rona e nyenyane ho tsoa ho moenjiniere oa data Daniyar Belkhodzhaev.
e lumella ho eketsa ka ho eketsa li-node tse ncha sehlopheng. Tlhokahalo ea ho sebetsana le palo e phahameng ea likopo e ka lebisa ho faneng ka li-node ho feta tekano. Concurrency Scaling, ho fapana le ho eketsa li-node tse ncha, e eketsa matla a komporo ha ho hlokahala.
Amazon Redshift parallel scaling e fa lihlopha tsa Redshift bokhoni bo eketsehileng ba ho sebetsana le palo e phahameng ea kopo. E sebetsa ka ho isa likopo ho lihlopha tse ncha tse "parallel" ka morao. Likopo li tsamaisoa ho ipapisitsoe le tlhophiso le melaoana ea WLM.
Litheko tse tšoanang tsa sekhahla li ipapisitse le mofuta oa mokoloto o nang le tier ea mahala. Ka holim'a likoloto tsa mahala, tefo e ipapisitse le nako eo Parallel Scaling Cluster e etsang kopo ea eona.
Sengoli se lekile sekala se bapileng ho se seng sa lihlopha tse kahare. Ka poso ena, o tla bua ka sephetho sa liteko mme a fane ka malebela a ho qala.
Litlhoko tsa sehlopha
Ho sebelisa parallel scaling, sehlopha sa hau sa Amazon Redshift se tlameha ho fihlela litlhoko tse latelang:
- sethala: EC2-VPC;
- mofuta oa node: dc2.8xlarge, ds2.8xlarge, dc2.kholo kapa ds2.xlarge;
- palo ea li-node: ho tloha ho 2 ho isa ho 32 (lihlopha tse le 'ngoe tsa node ha li tšehetsoe).
Mefuta e amohelehang ea kopo
Parallel scaling ha e loketse mefuta eohle ea lipotso. Mofuteng oa pele, e sebetsa feela ho bala likopo tse khotsofatsang maemo a mararo:
- Lipotso tsa KHETHA li baloa feela (le hoja ho reriloe mefuta e mengata);
- potso ha e bue ka tafole e nang le mokhoa oa ho hlopha oa INTERLEAVED;
- Potso ha e sebelise Amazon Redshift Spectrum ho bua ka litafole tsa kantle.
Ho fetisetsoa ho Parallel Scaling Cluster, kopo e tlameha ho behoa moleng. Ho feta moo, ho na le lipotso tse lokelang ho ba teng moleng , e ke ke ea matha ka lihlopha tsa sekala tse tšoanang.
Mela le SQA li hloka tlhophiso e nepahetseng . Re khothaletsa ho ntlafatsa WLM ea hau pele - sena se tla fokotsa tlhokeho ea parallel scaling. 'Me sena se bohlokoa hobane parallel scaling ke mahala bakeng sa lihora tse itseng feela. AWS e bolela hore tekanyo e tšoanang e tla ba mahala bakeng sa 97% ea bareki, e leng se re tlisang tabeng ea litheko.
Litsenyehelo tsa ho lekanya ka tsela e tšoanang
AWS e fana ka mohlala oa mokoloto bakeng sa sekhahla se tšoanang. Sehlopha se seng le se seng se sebetsang E bokella likoloto ka hora, ho fihlela hora e le 'ngoe ea litekanyetso tsa mahala tse tšoanang ka letsatsi.
U lefa feela ha tšebeliso ea Parallel Scaling Clusters ea hau e feta chelete eo u e fumaneng.
Litšenyehelo li baloa ka sekhahla sa se batloang motsotsoana ka mong bakeng sa sehlopha se bapileng se sebelisoang ka holimo ho sekhahla sa mahala. U lefisoa feela nakong ea likopo tsa hau, 'me bonyane u lefise motsotso o le mong nako le nako ha Parallel Scaling Cluster e kentsoe tšebetsong. Sekhahla sa motsotsoana se batloang se baloa ho ipapisitsoe le melaoana e akaretsang ea litheko , ke hore, ho itšetlehile ka mofuta oa node le palo ea li-node sehlopheng sa hau.
Ho qala Parallel Scaling
Ho bapaloa scaling ho ea qala mokolokong o mong le o mong oa WLM. E-ea ho AWS Redshift console ebe u khetha Tsamaiso ea Mosebetsi ho tloha ho menu ea ho sesa e letšehali. Khetha sehlopha sa hau sa sehlopha sa WLM ho tsoa ho menu e theohang e latelang.
U tla bona kholomo e ncha e bitsoang "Concurrency Scaling Mode" haufi le mokoloko o mong le o mong. Ntho ea kamehla ke "Disabled". Tobetsa "Edita" 'me u ka fetola litlhophiso tsa mokoloko o mong le o mong.
Moralo
Parallel scaling e sebetsa ka ho fetisetsa likopo tse nepahetseng ho lihlopha tse ncha tse inehetseng. Lihlopha tse ncha li na le boholo bo lekanang (mofuta le palo ea li-node) joaloka sehlopha se seholo.
Nomoro e sa lekanyetsoang ea lihlopha tse sebelisoang bakeng sa ho lekanya ka mokhoa o ts'oanang ke e le 'ngoe (1), e nang le bokhoni ba ho hlophisa kakaretso ea lihlopha tse leshome (10).
Palo eohle ea lihlopha bakeng sa parallel scaling e ka hlophisoa ke max_concurrency_scaling_clusters parameter. Ho eketsa boleng ba paramente ena ho fana ka lihlopha tse eketsehileng tse sa hlokahaleng.
Tlhokomelo
Ho na le li-graph tse 'maloa tse eketsehileng tse fumanehang ho AWS Redshift console. Chate ea Max Configured Concurrency Scalling Clusters e bonts'a boleng ba max_concurrency_scaling_clusters ha nako e ntse e ea.
Palo ea lihlopha tse ntseng li sebetsa tsa sekala e bonts'oa ho sebopeho sa basebelisi karolong ea "Concurrency Scaling Activity":
Ka har'a tab ea Lipotso, ho na le kholomo e bontšang hore na potso e entsoe sehlopheng se seholo kapa sehlopheng se tšoanang sa sekala:
Ho sa tsotelehe hore na potso e itseng e entsoe sehlopheng sa mantlha kapa ka sehlopha sa sekala se bapileng, e bolokoa ho stl_query.concurrency_scaling_status.
Boleng ba 1 bo bonts'a hore potso e entsoe ka har'a sekala se tšoanang, ha litekanyetso tse ling li bonts'a hore e entsoe sehlopheng sa mantlha.
Mohlala:
Litaba tsa maemo a lichelete li bolokoa litafoleng le lipono tse ling, joalo ka SVCS_CONCURRENCY_SCALING_USAGE. Ho phaella moo, ho na le litafole tse ngata tsa lethathamo la libuka tse bolokang tlhahisoleseding e mabapi le parallel scaling.
Liphetho
Bangoli ba ile ba qala ho leka-lekanya tatellano e le 'ngoe sehlopheng sa ka hare hoo e ka bang ka 18:30:00 GMT ka 29.03.2019/3/20. Fetola paramethara ea max_concurrency_scaling_clusters ho ea ho 30 hoo e ka bang 00:29.03.2019:XNUMX ka XNUMX/XNUMX/XNUMX.
Ho etsisa lethathamo la likopo, re fokolitse palo ea libaka tsa mokoloko ho tloha ho 15 ho isa ho 5.
Ka tlase ho na le chate ea "dashboard" ea intermix.io e bonts'ang palo ea likopo tse ntseng li tsoela pele le tse melang kamora ho fokotsa palo ea li-slots.
Rea bona hore nako ea ho emela likopo moleng e eketsehile, nako e telele e feta metsotso e 5.
Mona ke lintlha tse nepahetseng tse tsoang ho khomphutha ea AWS mabapi le se etsahetseng nakong ena:
Redshift e phatlalalitse lihlopha tse tharo (3) tse bapileng tse lekanang joalo ka ha li hlophisitsoe. Ho bonahala eka lihlopha tsena li ne li sa sebelisoe hantle, leha likopo tse ngata sehlopheng sa rona li ne li le moleng.
Kerafo ea tšebeliso e tsamaellana le kerafo ea ts'ebetso ea sekala:
Ka mor'a lihora tse 'maloa, bangoli ba ile ba hlahloba mokoloko 'me ho ne ho bonahala eka likōpo tse 6 li ntse li sebetsa ka mokhoa o ts'oanang. Re boetse re lekile likopo tse peli ka mokhoa o sa reroang ka sebopeho sa mosebelisi. Ha re so hlahlobe mokhoa oa ho sebelisa litekanyetso tsena ha lihlopha tse 'maloa tse tšoanang li sebetsa hang-hang.
fumanoeng ke
Parallel scaling e ka fokotsa nako eo likopo li e qetang moleng nakong ea meroalo e mengata.
Ho ipapisitsoe le liphetho tsa tlhahlobo ea mantlha, ho ile ha fumaneha hore boemo ba likopo tsa ho jarolla bo ntlafetse hanyane. Leha ho le joalo, parallel scaling feela ha ea ka ea rarolla mathata ohle a concurrency.
Sena se bakoa ke lithibelo mefuteng ea lipotso tse ka sebelisang parallel scaling. Ka mohlala, bangoli ba na le litafole tse ngata tse nang le linotlolo tsa mefuta e sa tšoaneng, 'me boholo ba mosebetsi oa rona ke oa ho ngola.
Leha scaling e tšoanang e se tharollo e akaretsang ea ho theha WLM, ho sebelisa tšobotsi ena ho bonolo ebile ho hlakile.
Ka hona, mongoli o khothaletsa ho e sebelisa bakeng sa mela ea hau ea WLM. Qala ka sehlopha se le seng se bapileng 'me u lekole mojaro oa tlhoro ka har'a console ho bona hore na lihlopha tse ncha li ntse li sebelisoa ka botlalo.
Ha AWS e eketsa tšehetso bakeng sa mefuta e meng ea lipotso le litafole, sekhahla se bapileng se lokela ho sebetsa hantle le ho feta.
Maikutlo a tsoang ho Daniyar Belkhodzhaev, Skyeng Data Engineer
Rona ho Skyeng le rona re ile ra hlokomela hanghang monyetla o hlahang oa ho hola ka mokhoa o ts'oanang.
Ts'ebetso e ntle haholo, haholo ha ho nahanoa hore AWS e hakanya hore basebelisi ba bangata ha ba na ho lefa chelete e eketsehileng bakeng sa eona.Ho ile ha etsahala hore bohareng ba April re be le likōpo tse sa tloaelehang tsa likopo ho sehlopha sa Redshift. Nakong ena, re ne re atisa ho sebelisa Concurrency Scaling; ka linako tse ling sehlopha se eketsehileng se ne se sebetsa lihora tse 24 ka letsatsi ntle le ho emisa.
Sena se ile sa etsa hore ho khonehe, haeba e se ho rarolla bothata ka ho feletseng ka mela, joale bonyane ho etsa hore boemo bo amohelehe.
Maikutlo a rona a lumellana haholo le maikutlo a bashanyana ba tsoang intermix.io.
Hape re hlokometse hore leha ho ne ho e-na le likopo tse neng li letile moleng, ha se likopo tsohle tse ileng tsa fetisetsoa hang-hang sehlopheng se tšoanang. Kamoo ho bonahalang kateng sena se etsahala hobane sehlopha sa parallel se ntse se nka nako ho qala. Ka lebaka leo, nakong ea tlhōrō ea nako e khutšoanyane re ntse re e-na le mela e menyenyane, 'me li-alarms tse lumellanang li na le nako ea ho qala.
Ha re se re lahlile meroalo e sa tloaelehang ka Mmesa, rona, joalo ka ha AWS e ne e lebelletsoe, re kene mokhoeng oa ts'ebeliso ea nako le nako - ka har'a tloaelo ea mahala.
U ka lekola litšenyehelo tsa hau tse tšoanang ho AWS Cost Explorer. U hloka ho khetha Tšebeletso - Redshift, Mofuta oa Tšebeliso - CS, mohlala USW2-CS:dc2.large.U ka bala haholoanyane ka litheko ka Serussia
Source: www.habr.com