I Skyeng matou te faʻaogaina le Amazon Redshift, e aofia ai faʻatusatusaga tutusa, o lea na matou maua ai le tusiga lenei e Stefan Gromoll, na faavaeina le dotgo.com, mo intermix.io manaia. A maeʻa le faʻaliliuga, o sina mea itiiti o le matou poto masani mai le inisinia faʻamatalaga Daniyar Belkhodzhaev.
fa'ataga le fa'afuaina e ala i le fa'aopoopoina o nodes fou i le fuifui. O le mana'oga e fa'afetauia se numera maualuga o talosaga e mafai ona o'o atu ai i le tu'uina atu o nodes. Concurrency Scaling, fa'afeagai ma le fa'aopoopoina o nodes fou, fa'ateleina le malosi fa'akomepiuta pe a mana'omia.
Amazon Redshift parallel scaling e tu'uina atu i Redshift fuifui le malosi fa'aopoopo e fa'atautaia ai le tele o tusi talosaga. E galue e ala i le faʻanofoina o talosaga i fuifui fou "tutusa" i tua. O talosaga e fa'asalalau e fa'atatau ile WLM fa'atulagaina ma tulafono.
Fa'atatauga fa'atusa fa'atusa e fa'avae i luga o se fa'ata'ita'iga fa'aaitalafu ma se vaega e leai se totogi. I luga a'e o tupe maua fua, totogi e fa'atatau i le taimi e fa'agasolo ai le Fa'asologa Fa'ata'otoga Fa'ata'ita'i.
Na fa'ata'ita'i e le tusitala le fua fa'atatau i se tasi o fuifui totonu. I lenei pou, o le a ia talanoa e uiga i suʻega suʻega ma tuʻuina atu fautuaga ile auala e amata ai.
Tulaga mana'omia
Ina ia faʻaogaina le faʻatusatusaga tutusa, e tatau i lau Amazon Redshift cluster ona ausia manaʻoga nei:
- tulaga: EC2-VPC;
- ituaiga node: dc2.8xlarge, ds2.8xlarge, dc2.large po o le ds2.xlarge;
- numera o nodes: mai le 2 i le 32 (e le lagolagoina ni fuifui node tasi).
Tulaga talosaga e talia
E le fetaui le fua fa'atusa mo ituaiga uma o fesili. I le lomiga muamua, e na'o le fa'agasologa o talosaga faitau e fa'amalieina tulaga e tolu:
- FILIFILI fesili e na'o le faitau (e ui o le tele o ituaiga ua fuafuaina);
- o le fesili e le o fa'asino i se laulau fa'atasi ai ma le sitaili fa'avasega INTERLEAVED;
- E le fa'aogaina e le fesili le Amazon Redshift Spectrum e fa'asino ai laulau i fafo.
Ina ia fa'asolo atu i le Fa'aputuga Fa'atusa, e tatau ona tu'u le talosaga. E le gata i lea, o fesili e agavaa mo le laina , o le a le tamoe i luga o fuifui fua tutusa.
Queues ma SQA e manaʻomia le faʻatulagaina lelei . Matou te fautuaina le fa'amalieina muamua o lau WLM - o le a fa'aitiitia ai le mana'oga mo le fa'avasegaina tutusa. Ma e taua tele lenei mea aua e na'o le sa'olotoga o fua fa'atusa mo se numera o itula. Fai mai le AWS o le faʻatusatusaga tutusa o le a leai se totogi mo le 97% o tagata faʻatau, lea e aumaia ai i matou i le mataupu o le tau.
Tau o fua fa'atusa tutusa
AWS e ofoina atu se faʻataʻitaʻiga faʻataʻitaʻiga mo faʻatusatusaga tutusa. O fuifui gaioi ta'itasi Fa'aputu fa'atupe i itula ta'itasi, e o'o atu i le itula e tasi e maua fua fa'atatau fa'atusatusaga fa'atusa i le aso.
E na'o lou totogi pe'ā sili atu lou fa'aogaina o le Fa'asologa Fa'ata'ita'i I le aofa'i o fa'aaitalafu na e mauaina.
O le tau e fa'atatau i le ta'i-lua i luga o le mana'oga fua mo se fuifui tutusa e fa'aoga i luga a'e o le fua fua faatatau. E na'o le totogi mo le umi o au talosaga, fa'atasi ai ma le tau maualalo o le minute e tasi i taimi uma e fa'agaoioi ai le Fa'asologa Fa'atasi. Ole fua ole ta'i-lua ile mana'oga e fa'atatau ile ta'iala masani ole tau , o lona uiga, e faalagolago i le ituaiga o node ma le numera o nodes i lau fuifui.
Fa'alauiloa Fa'asa'o Fa'atasi
Fa'asalaina fa'atutusa e fa'aosoina mo laina ta'itasi WLM. Alu i le AWS Redshift console ma filifili Workload Management mai le lisi agavale. Filifili le vaega o lau fuifui WLM parameter mai le lisi o lo'o i lalo.
E te va'ai i se koluma fou e ta'ua o le "Concurrency Scaling Mode" i tafatafa o laina ta'itasi. O le fa'aletonu o le "Disabled". Kiliki "Edit" ma e mafai ona e suia tulaga mo laina taʻitasi.
Fetuunaiga
Fa'ata'ita'i fa'atusa e galue e ala i le tu'uina atu o talosaga talafeagai i fuifui fou fa'apitoa. O fuifui fou e tutusa le tele (ituaiga ma numera o nodes) e pei o le fuifui autu.
Ole numera fa'aletonu ole fuifui e fa'aogaina mo le fa'atutu tutusa e tasi (1), fa'atasi ai ma le agava'a e fa'aopoopo i le aofa'i o fuifui e sefulu (10).
Ole aofa'i o fuifui mo le fa'atutu tutusa e mafai ona fa'atulaga e le max_concurrency_scaling_clusters parakala. O le fa'ateleina o le tau o lenei fa'amaufa'ailoga e maua ai isi fuifui fa'aopoopo.
Mataitu
E tele kalafi fa'aopoopo o lo'o maua ile AWS Redshift console. O le siata o le Fa'asologa o Fa'asologa Fa'atasi Max o lo'o fa'aalia ai le tau o le max_concurrency_scaling_clusters i le aluga o taimi.
Ole numera o fuifui fa'ato'aga o lo'o fa'aalia ile fa'aoga fa'aoga ile vaega o le "Concurrency Scaling Activity":
I le Queries tab, o loʻo i ai se koluma e faʻaalia ai pe na faia le fesili i totonu o le fuifui autu poʻo i totonu o le fuifui fua tutusa:
E tusa lava pe na faia se fesili faapitoa i le fuifui autu poʻo le faʻaogaina o se fuifui fua tutusa, e teuina i le stl_query.concurrency_scaling_status.
O le tau o le 1 o loʻo faʻaalia ai na faia le suʻega i le faʻasologa tutusa, ae o isi faʻatauga o loʻo faʻaalia ai na faia i le vaega muamua.
Faataitaiga:
O lo'o teuina fo'i fa'amatalaga fa'atusatusaga tutusa i isi laulau ma va'aiga, pei ole SVCS_CONCURRENCY_SCALING_USAGE. E le gata i lea, o loʻo i ai le tele o laulau faʻamaumauga o loʻo teuina faʻamatalaga e uiga i faʻatusatusaga tutusa.
Iʻuga
Na amata e le au tusitala le fua tutusa mo le laina e tasi i totonu ole fuifui totonu ile tusa ole 18:30:00 GMT ile 29.03.2019/3/20. Suia le max_concurrency_scaling_clusters parameter i le 30 pe a ma le 00:29.03.2019:XNUMX ile XNUMX/XNUMX/XNUMX.
Ina ia faʻataʻitaʻiina se laina talosaga, matou faʻaititia le numera o avanoa mo lenei laina mai le 15 i le 5.
O loʻo i lalo se siata vaʻavaʻa intermix.io o loʻo faʻaalia ai le numera o talosaga o loʻo tamoe ma tuʻuina pe a uma ona faʻaititia le numera o avanoa.
Matou te vaʻaia ua faʻateleina le taimi faʻatali mo talosaga i le laina, ma le maualuga o le taimi e sili atu nai lo le 5 minute.
O faʻamatalaga talafeagai nei mai le AWS console e uiga i le mea na tupu i lea taimi:
Na fa'alauiloa e le Redshift ni fuifui fa'alava tutusa e tolu (3) e pei ona fa'atulagaina. E foliga mai o nei fuifui sa le faaaogaina, e ui ina tele talosaga i totonu o la tatou fuifui sa laina.
O le kalafi fa'aoga e fa'amaopoopo ma le fa'avasegaina o le kalafi o gaioiga:
Ina ua mavae ni nai itula, na siakiina e le au tusitala le laina ma e foliga mai e 6 talosaga o loʻo tamoe i le faʻatusatusaga tutusa. Sa matou fa'ata'ita'i fa'afuase'i fo'i talosaga e lua e ala i le fa'aoga fa'aoga. Matou te leʻi siakiina pe faʻapefea ona faʻaogaina nei tau pe a faʻagaoioia ni fuifui tutusa i le taimi e tasi.
sailiiliga
Fa'ata'ita'iga fa'atutusa e mafai ona fa'aitiitia ai le taimi e fa'aalu ai talosaga i le laina i le taimi o uta maualuga.
Faʻavae i luga o faʻaiuga o le suʻega faʻavae, na faʻaalia ai o le tulaga i le utaina o talosaga ua faʻaleleia vaega. Peita'i, e le'i fo'ia uma fa'afitauli fa'atasi.
E mafua lea ona o tapula'a i ituaiga o fesili e mafai ona fa'aogaina fa'ata'i tutusa. Mo se fa'ata'ita'iga, e tele laulau a le au tusitala ma ki fa'avasega fa'atasi, ma o le tele o a tatou galuega o le tusitusi.
E ui lava e le o se fofo lautele mo le faʻatulagaina o le WLM le faʻataʻitaʻiga tutusa, o le faʻaogaina o lenei vaega e faigofie ma tuusaʻo.
O le mea lea, e fautuaina e le tusitala le faʻaaogaina mo au laina WLM. Amata i le tasi fuifui tutusa ma mata'ituina le uta maualuga e ala i le fa'amafanafanaga e iloa ai pe o fa'aoga atoatoa ia fuifui fou.
A'o fa'aopoopoina e le AWS le lagolago mo fa'ailoga fa'aopoopo ma laulau, e tatau ona faasolosolo malie le fa'agasologa o le fa'atusa.
Faʻamatalaga mai Daniyar Belkhodzhaev, Skyeng Data Engineer
Na matou matauina fo'i i Skyeng le fa'atupula'ia o le fa'ata'ita'iga fa'atusa.
E manaia tele le faʻatinoga, aemaise lava le manatu o le AWS o loʻo faʻatatauina o le tele o tagata faʻaoga o le a le toe totogia mo ia.Na tupu i le ogatotonu o Aperila na matou maua ai le tele o talosaga e le masani ai i le Redshift cluster. I lenei vaitau, e masani ona matou faʻaogaina le Concurrency Scaling; o nisi taimi e galue ai se fuifui faaopoopo i le 24 itula i le aso e aunoa ma se taofi.
O le mea lea na mafai ai, pe a le mafai ona foia atoa le faafitauli i laina, ona sili atu lea ona talia le tulaga.
O a matou matauga e tele lava ina fetaui ma lagona o tama mai le intermix.io.
Na matou maitauina foi e ui lava sa i ai talosaga o loʻo faʻatali i le laina, e leʻi tuʻuina atu talosaga uma i le vaega tutusa. E foliga mai e tupu lenei mea ona o le mea moni o le fuifui tutusa e manaʻomia pea le taimi e amata ai. O se taunuuga, i taimi pupuu o uta maualuga o loʻo i ai pea a matou laina laiti, ma o faʻailo talafeagai e iai le taimi e faʻaoso ai.
O le faʻateʻaina o avega faʻaletonu ia Aperila, matou, e pei ona faʻamoemoeina e le AWS, na matou ulufale atu i le faʻaoga masani - i totonu o le masani saoloto.
E mafai ona e siaki lau fa'atusatusaga tutusa tau ile AWS Cost Explorer. E tatau ona e filifilia Auaunaga - Redshift, Fa'aoga Tulaga - CS, mo se fa'ata'ita'iga USW2-CS:dc2.large.E mafai ona e faitau atili e uiga i tau i Rusia
puna: www.habr.com