I Skyeng ka whakamahi matou i te Amazon Redshift, tae atu ki te tauine whakarara, no reira i kitea e matou tenei tuhinga na Stefan Gromoll, te kaiwhakarewa o dotgo.com, mo te intermix.io whakamere. I muri i te whakamaoritanga, he iti o to maatau wheako mai i te miihini raraunga Daniyar Belkhodzhaev.
ka taea te whakatauine ma te taapiri i nga pona hou ki te tautau. Ko te hiahia ki te whakatutuki i te maha o nga tono ka nui ake te whakarato o nga pona. Ko te Whakatairanga Whakaaetanga, he rereke ki te taapiri i nga pona hou, ka piki ake te mana rorohiko ina hiahiatia.
Ko te tauine whakarara a Amazon Redshift ka taea e nga tautau Redshift te kaha ki te hapai i nga pukapuka tono teitei. Ka mahi ma te nuku tono ki nga tautau "whakarara" hou kei muri. Ka tukuna nga tono i runga i te whirihoranga me nga ture a WLM.
Ko te utu whakarara i runga i te tauira nama me te taumata kore utu. I runga ake i nga whiwhinga kore utu, ka ahu mai te utu i runga i te wa e tono ana te Kapoi Whakaata Whakarara.
I whakamatauria e te kaituhi te whakatauine whakarara ki runga i tetahi o nga tautau o roto. I tenei pou, ka korero ia mo nga hua whakamatautau me te tuku tohutohu mo te tiimata.
Nga whakaritenga roopu
Hei whakamahi i te tauine whakarara, me tutuki e to roopu Amazon Redshift nga whakaritenga e whai ake nei:
- turanga: EC2-VPC;
— momo kōpuku: dc2.8xlarge, ds2.8xlarge, dc2.nui ranei ds2.xlarge;
— te maha o nga pona: mai i te 2 ki te 32 (kaore e tautokohia nga tautau node kotahi).
Momo tono e whakaaetia ana
Ko te whakatauine whakarara e kore e pai mo nga momo patai katoa. I te putanga tuatahi, ka tukatukahia nga tono panui ka tutuki nga tikanga e toru:
— Ko nga patai SELECT he panui-anake (ahakoa he maha nga momo kua whakamaheretia);
— karekau te patai e tohutoro i tetahi ripanga me te kāhua kōmaka INTERLEAVED;
- Karekau te patai e whakamahi i te Amazon Redshift Spectrum hei tohutoro ripanga o waho.
Kia tukuna ki te Rōpū Tauine Whakarara, me tutira te tono. I tua atu, ko nga patai e tika ana mo te rarangi , e kore e rere i runga i nga tautau tauine whakarara.
Ko nga rarangi me te SQA me whirihora tika . Ka tūtohu kia arotauhia to WLM i te tuatahi - ka iti ake te hiahia mo te whakarara whakarara. A he mea nui tenei na te mea he utu noa te whakatauine whakarara mo etahi haora. E kii ana a AWS ka kore utu te whakatauine whakarara mo te 97% o nga kaihoko, na reira ka kawe mai ki te take o te utu.
Te utu mo te whakatauine whakarara
Ka tukuna e AWS he tauira nama mo te whakarara whakarara. Ia tautau hohe Ka kohia nga whiwhinga ia haora, tae atu ki te haora kotahi o nga whiwhinga whakarara kore utu ia ra.
Ka utu noa koe ina nui ake to whakamahinga Whakaata Whakarara i te nui o nga whiwhinga kua riro ia koe.
Ka tatauhia te utu ki te reiti tono-tono mo ia hekona mo te kahui whakarara e whakamahia ana i runga ake i te reiti kore utu. Ka utua noa koe mo te roanga o o tono, me te utu iti mo te kotahi meneti ia wa ka whakahohehia te Rōpū Tauine Whakarara. Ko te tere-tono mo ia-hakona ka tatauhia i runga i nga tikanga utu utu , ara, kei te ahua o te node me te maha o nga pona kei roto i to huinga.
Whakarewa Tauine Whakarara
Ka whakaohohia te whakarara whakarara mo ia rarangi WLM. Haere ki te papatohu AWS Redshift ka kowhiria te Whakahaere Taumahi mai i te tahua whakatere maui. Tīpakohia te roopu tawhā WLM o to tautau mai i te tahua taka-iho e whai ake nei.
Ka kite koe i tetahi pou hou e kiia nei ko "Aratau Whakatau Whakatau" i te taha o ia rarangi. Ko te taunoa ko "Mokia". Patohia te "Whakatika" ka taea e koe te whakarereke i nga tautuhinga mo ia rarangi.
Hōutuutu
Ka mahi te whakatauine whakarara ma te tuku tono e tika ana ki nga tautau whakatapua hou. He rite te rahi o nga tautau hou (momo me te maha o nga pona) ki te tautau matua.
Ko te tau taunoa o nga tautau e whakamahia ana mo te whakarara whakarara he kotahi (1), me te kaha ki te whirihora ki te katoa o te tekau (10) tautau.
Ko te tapeke o nga tautau mo te tauine whakarara ka taea te whakarite e te tawhā max_concurrency_scaling_clusters. Ko te whakanui ake i te uara o tenei tawhā ka whakarato i nga tautau taapiri.
Aroturuki
He maha atu nga kauwhata e waatea ana i te papatohu AWS Redshift. Ko te Maataki Whakataunga Whakataunga Tauinenga Maataki e whakaatu ana i te uara o te max_concurrency_scaling_clusters i roto i te waa.
Ka whakaatuhia te maha o nga tautau tauine hohe i roto i te atanga kaiwhakamahi i roto i te waahanga "Nga Mahi Whakatau Whakataunga":
I roto i te ripa Uiui, he tīwae e tohu ana mena i mahia te uiui i roto i te tautau matua, i roto ranei i te tautau tauine whakarara:
Ahakoa i mahia he uiui i roto i te kahui matua, i roto ranei i te kahui tauine whakarara, ka penapenahia ki stl_query.concurrency_scaling_status.
Ko te uara o te 1 e tohu ana i mahia te patai i roto i te roopu tauine whakarara, ko etahi atu uara e tohu ana i mahia i roto i te roopu tuatahi.
Hei tauira:
Kei te rongoa ano nga korero whakahiatotanga ki etahi atu ripanga me nga tirohanga, penei i te SVCS_CONCURRENCY_SCALING_USAGE. I tua atu, he maha nga ripanga putumōhio e pupuri ana i nga korero mo te whakarara whakarara.
Результаты
I timata nga kaituhi ki te whakatauine whakarara mo tetahi rarangi i roto i te kahui o roto i te 18:30:00 GMT i te 29.03.2019/3/20. I hurihia te tawhā max_concurrency_scaling_clusters ki te 30 i te 00:29.03.2019:XNUMX i te XNUMX/XNUMX/XNUMX.
Hei whakataurite i te rarangi tono, i whakaitihia te maha o nga mokamoka mo tenei rarangi mai i te 15 ki te 5.
Kei raro nei he tūtohi papatohu intermix.io e whakaatu ana i te maha o nga tono e rere ana me te tutira i muri i te whakaiti i te maha o nga mokamoka.
Ka kite matou kua piki ake te wa tatari mo nga tono i roto i te rarangi, me te wa morahi kua neke ake i te 5 meneti.
Anei nga korero whai take mai i te papatohu AWS mo nga mea i tupu i tenei wa:
I whakarewahia e Redshift e toru (3) nga tautau tauine whakarara rite te whirihora. Te ahua nei he iti te whakamahi o enei kahui, ahakoa he maha nga tono i roto i to taatau roopu i tutira.
Ko te kauwhata whakamahinga e hono ana ki te kauwhata mahi tauine:
Whai muri i etahi haora, ka tirohia e nga kaituhi te rarangi, a, ko te ahua e 6 nga tono e rere ana i runga i te whakarara whakarara. I whakamatauria ohoreretia e matou nga tono e rua ma te atanga kaiwhakamahi. Kaore ano kia tirohia me pehea te whakamahi i enei uara ina he maha nga tautau whakarara e kaha ana i te wa kotahi.
kitenga
Ka taea e te tauine whakarara te whakaiti i te wa e pau ana i nga tono i roto i te rarangi i te wa o nga kawenga teitei.
I runga i nga hua o te whakamatautau taketake, kua kitea kua pai ake te ahuatanga me nga tono utaina. Heoi, ko te whakatauira whakarara anake karekau i whakaoti rapanga katoa.
Ko tenei na te aukati i nga momo patai ka taea te whakamahi whakarara whakarara. Hei tauira, he maha nga ripanga a nga kaituhi me nga taviri whakahiato, a ko te nuinga o a maatau mahi he tuhi.
Ahakoa ehara te whakatauine whakarara i te otinga mo te ao katoa mo te whakatu i te WLM, he ngawari, he maamaa te whakamahi i tenei ahuatanga.
No reira, ka tūtohu te kaituhi ki te whakamahi mo o rarangi WLM. Tīmatahia ki te kāhui whakarara kotahi ka aro turuki i te uta teitei mai i te papatohu ki te whakatau mena kei te whakamahia katoatia nga tautau hou.
I te mea ka taapirihia e te AWS te tautoko mo etahi atu momo patai me nga ripanga, me kaha haere te whakarara whakarara.
He korero na Daniyar Belkhodzhaev, Skyeng Data Engineer
I kite tonu matou i Skyeng i te puta ake o te whakarara whakarara.
He tino ataahua te mahi, ina koa ki te whakaaro a AWS karekau te nuinga o nga kaiwhakamahi e utu taapiri.I puta mai i waenganui o Paenga-whawha he maha nga tono rereke ki te roopu Redshift. I roto i tenei waa, he maha nga wa i uru atu matou ki te Whakatau Whakatauritenga; i etahi wa ka mahi tetahi roopu taapiri 24 haora ia ra kaore e mutu.
Na tenei ka taea, mena kaore i te whakaoti i te raru me nga rarangi, katahi ka pai te ahuatanga.
Ko o maatau tirohanga ka tino rite ki nga whakaaro o nga taangata mai i te intermix.io.
I kite ano matou ahakoa he tono e tatari ana i te rarangi, kaore nga tono katoa i tukuna wawe ki te roopu whakarara. Ko te ahua ka tupu tenei na te mea ka roa tonu te kapoi whakarara ki te tiimata. Ko te mutunga mai, i te wa poto o nga uta teitei he iti tonu nga rarangi, a ka whai wa ki te whakaoho i nga whakaoho.
I te whakakorenga o nga taumahatanga rereke i te Paenga-whawha, ko matou, i te mea i tumanakohia e AWS, i uru ki te aratau whakamahi i etahi wa - i roto i te tikanga kore utu.
Ka taea e koe te whai i o utu whakarara i roto i te AWS Cost Explorer. Me whiriwhiri koe i te Ratonga - Redshift, Momo Whakamahi - CS, hei tauira USW2-CS:dc2.large.Ka taea e koe te panui atu mo nga utu i Rusia
Source: will.com