Skyeng waxaan isticmaalnaa Amazon Redshift, oo ay ku jirto isbarbardhigga, sidaa darteed waxaan ka helnay maqaalkan Stefan Gromoll, aasaasaha dotgo.com, intermix.io oo xiiso leh. Turjumaada ka dib, wax yar oo ka mid ah khibradayada injineerka xogta Daniyar Belkhodzhaev.
waxay ogolaataa in la miisaamo iyadoo lagu darayo noodo cusub kooxda Baahida loo qabo in lala tacaalo tirada ugu sarreysa ee codsiyada waxay horseedi kartaa bixinta noodhka. Isku-dheellitirka is-beddelka, liddi ku ah ku-darka qanjidhada cusub, waxay kordhisaa awoodda xisaabinta marka loo baahdo.
Amazon Redshift isbarbardhigga miisaanku wuxuu siinayaa kooxaha Redshift awood dheeraad ah oo ay ku xakamayaan tirada ugu sarreysa ee codsiyada. Waxa ay ku shaqeysaa iyada oo u rari doonta codsiyada kooxaha "barbar-bar-bar-dhigga" cusub ee gadaasha. Codsiyada waa la jebiyey iyadoo lagu salaynayo qaabeynta WLM iyo xeerarka.
Qiimaynta isbarbar-dhigga waxay ku salaysan tahay moodal credit oo leh heer bilaash ah. Dhibcaha bilaashka ah ee ka sarreeya, lacag-bixintu waxay ku salaysan tahay wakhtiga ay Kooxda Isbarbar-dhigga Codsadaan.
Qoraagu waxa uu tijaabiyay isbarbardhigga mid ka mid ah rucubyada gudaha. Maqaalkan, wuxuu ka hadli doonaa natiijooyinka imtixaanka wuxuuna ku siin doonaa talooyin ku saabsan sida loo bilaabo.
Shuruudaha kooxda
Si aad u isticmaasho isbarbardhigga, kooxdaada Amazon Redshift waa inay buuxisaa shuruudaha soo socda:
- madal: EC2-VPC;
- nooca noodhka: dc2.8xlarge, ds2.8xlarge, dc2.weyn ama ds2.xlarge;
- tirada qanjidhada: laga bilaabo 2 ilaa 32 (kooxaha noodhka keliya lama taageero).
Noocyada codsiga la aqbali karo
Isbarbar-dhigiddu kuma habboona dhammaan noocyada weydiimaha. Nooca koowaad, waxay kaliya ka baaraandegtaa akhrinta codsiyada qanciya saddex shuruudood:
- Xulashada weydiimaha waa akhrin-kaliya (inkasta oo noocyo badan la qorsheeyay);
- weydiintu ma tixraacayso shax leh qaabka kala-soocidda INTERLEAVED;
- Weydiinta uma isticmaasho Amazon Redshift Spectrum si ay u tixraacdo miisaska dibadda.
Si loogu jiheeyo Kooxda Isbarbar-dhigga, Codsiga waa in saf loogu jiraa. Intaa waxaa dheer, weydiimaha u qalma safka , kuma socon doono kooxo miisaan isbar-bar socda.
Safafka iyo SQA waxay u baahan yihiin qaabayn habboon . Waxaan kugula talineynaa inaad marka hore wanaajiso WLM-kaaga - tani waxay yareyn doontaa baahida isbarbar-dhigga. Tanina waa muhiim sababtoo ah isbarbardhigga miisaanku waa bilaash keliya tiro saacado ah. AWS waxay sheeganeysaa in isbarbardhigga isbarbardhigga uu u noqon doono bilaash 97% macaamiisha, taas oo noo keenta arrinta qiimaha.
Qiimaha isbarbar-dhigga
AWS waxay soo bandhigtaa moodeelka deymaha ee isbarbar-dhigga. Koox kasta oo firfircoon Waxay uruurisaa dhibco saacadle ah, ilaa hal saac oo dhibco isbarbar-dhig ah oo bilaash ah maalintii.
Waxa kaliya oo aad bixinaysaa marka isbarbar-dhigga kutladaada isbarbar-dhigga isticmaalkaagu uu dhaafo qaddarka dhibcaha aad heshay.
Kharashka waxaa lagu xisaabiyaa ilbiriqsikiiba heerka dalabka ee koox isku mid ah oo loo isticmaalo in ka badan heerka bilaashka ah. Waxa kaliya lagugu soo dalacayaa inta lagu jiro codsiyadaada, iyada oo ugu yaraan lagugu dallaco hal daqiiqo mar kasta oo Kooxda Isbarbardhiga la hawlgeliyo. Qiimaha dalabka ee ilbiriqsikiiba waxaa lagu xisaabiyaa iyadoo lagu salaynayo mabaadi'da qiimaha guud , taasi waa, waxay kuxirantahay nooca noodhka iyo tirada noodhka ee kutladaada.
Bilaabida Isbarbardhigga Isbarbardhigga
Isbarbardhigga ayaa loo kiciyaa saf kasta oo WLM ah. Tag AWS Redshift console oo ka dooro Maareynta culeyska shaqada ee menu navigation ee bidix. Ka dooro kooxdaada xudunta u ah WLM menu-hoosaadka soo socda.
Waxaad arki doontaa tiir cusub oo la yiraahdo "Concurrency Scaling Mode" oo ku xiga saf kasta. Asal ahaan waa "Disabled". Guji "Edit" oo waxaad bedeli kartaa goobaha saf kasta.
Qaabeynta
Isbarbardhigga waxay u shaqeysaa iyadoo u gudbisa codsiyada ku habboon kooxo cusub oo go'an. Kooxaha cusubi waxay leeyihiin cabbir isku mid ah (nooca iyo tirada qanjidhada) sida kooxda ugu weyn.
Tirada caadiga ah ee kooxaha loo isticmaalo isbarbardhigga waa hal (1), oo awood u leh inay habeeyaan ilaa wadar ahaan toban (10) kooxood.
Tirada guud ee kutlada ee isbarbar-dhigga isbarbar-dhigga waxaa dejin kara cabbirka max_concurrency_scaling_clusters. Kordhinta qiimaha halbeeggaan waxay ku siinaysaa rucubyo dheeraad ah oo dheeraad ah.
Kormeerka
Waxaa jira garaafyo badan oo dheeraad ah oo laga heli karo AWS Redshift console. Jaantuska isbarbardhigga kooxaha isbarbardhigga ee ugu badan ayaa muujinaya qiimaha max_concurrency_scaling_clusters muddo ka dib.
Tirada kooxaha is-miidaaminta ee firfircoon ayaa lagu muujiyay is-dhex-galka isticmaale ee qaybta "Hawl-qaadista Is-beddelka Concurrency":
Tabka Weydiinta, waxa ku jira tiir tilmaamaysa in waydiinta lagu fuliyay kutlada wayn ama kutlada isbarbardhigga:
Iyadoo aan loo eegin in waydiin gaar ah lagu fuliyay kutlada wayn ama iyada oo loo marayo koox isbarbar-dhigid, waxa lagu kaydiyaa stl_query.concurrency_scaling_status.
Qiimaha 1 wuxuu muujinayaa in weydiinta lagu fuliyay kutlada miisaanka isbarbar-dhigga, halka qiyamka kale ay muujinayaan in lagu fuliyay kutlada aasaasiga ah.
Tusaale:
Macluumaadka isbarbardhigga isdhaafsiga ayaa sidoo kale lagu kaydiyaa jaantusyada iyo aragtiyada kale qaarkood, sida SVCS_CONCURRENCY_SCALING_USAGE. Intaa waxaa dheer, waxaa jira tiro jaantusyo ah oo kaydiya macluumaadka ku saabsan isbarbardhigga.
Результаты
Qorayaashu waxay bilaabeen qiyaas isku mid ah hal saf oo kutlada gudaha ah qiyaastii 18:30:00 GMT ee 29.03.2019/3/20. Waxay u beddeleen cabbirka max_concurrency_scaling_clusters ilaa 30 qiyaastii 00:29.03.2019:XNUMX ee XNUMX/XNUMX/XNUMX.
Si loo ekaysiiyo safka codsiga, waxaanu ka dhimnay tirada boosaska safkan laga soo bilaabo 15 ilaa 5.
Hoos waxaa ku yaal shaxanka intermix.io oo muujinaya tirada codsiyada socda iyo kuwa safka ka dib dhimista tirada boosaska.
Waxaan aragnaa in waqtiga sugitaanka codsiyada safka uu kordhay, iyadoo waqtiga ugu badan uu ka badan yahay 5 daqiiqo.
Waa kuwan macluumaadka khuseeya console-ka AWS ee ku saabsan waxa dhacay wakhtigan:
Redshift waxay soo saartay saddex (3) rucubood oo isbarbar socda sida loo habeeyey. Waxay u muuqataa in kooxahan aan laga faa'iidaysanin, in kasta oo codsiyo badan oo kooxdeenna ku jiray saf loogu jiray.
Garaafka adeegsigu waxa uu xidhiidh la leeyahay garaafka dhaqdhaqaaqa miisaanka:
Dhowr saacadood ka dib, qorayaashu waxay hubiyeen safka waxayna u ekaayeen 6 codsi oo ku socday isbarbar yaac. Waxaan sidoo kale si aan kala sooc lahayn u tijaabinay laba codsi iyada oo loo marayo is-dhexgalka isticmaalaha. Ma aanan hubin sida loo isticmaalo qiyamkan marka dhowr kooxood oo isbarbaryaac ah ay hal mar wada shaqeeyaan.
natiijooyinka
Isbarbardhigga miisaanku wuxuu yarayn karaa wakhtiga codsiyada ay ku qaataan safka inta lagu jiro rarka ugu sarreeya.
Iyada oo ku saleysan natiijooyinka imtixaanka aasaasiga ah, waxay soo baxday in xaaladda codsiyada rarista ay qayb ahaan soo hagaagtay. Si kastaba ha ahaatee, isbarbardhigga isbarbardhigga oo keliya ma xallin dhammaan dhibaatooyinka is-barbar-dhigga.
Tan waxa u sabab ah xannibaadyada noocyada weydiimaha ee isticmaali kara isbarbar-dhigga. Tusaale ahaan, qorayaashu waxay haystaan jadwalyo badan oo leh furayaal kala-soocid ah, inta badana shaqadeenu waa qoraal.
In kasta oo isbarbar-dhigiddu aanay ahayn xal caalami ah oo dejinta WLM, adeegsiga sifadan waa mid fudud oo toos ah.
Sidaa darteed, qoraagu waxa uu ku talinayaa in loo isticmaalo safafkaaga WLM. Ku bilow hal koox oo isbarbar socda oo la soco culayska ugu sarreeya ee console-ka si aad u go'aamiso haddii kooxaha cusub si buuxda looga faa'iidaysanayay.
Sida AWS ay ugu darto taageerada noocyada iyo miisaska dheeraadka ah ee weydiinta, isbarbardhigga miisaanku waa inuu si tartiib tartiib ah u noqdaa mid aad waxtar u leh.
Faallo ka Daniyar Belkhodzhaev, Skyeng Data Engineer
Anaga oo Skyeng ah ayaa sidoo kale isla markiiba ogaanay suurtagalnimada soo ifbaxda isbarbardhigga.
Shaqayntu waa mid soo jiidasho leh, gaar ahaan iyadoo la tixgelinayo in AWS ay qiyaaseyso in isticmaaleyaasha badankood xitaa aysan bixin doonin lacag dheeraad ah.Waxa dhacday in badhtamihii Abriil aanu helnay codsiyo aan caadi ahayn oo ku socda kooxda Redshift. Inta lagu jiro muddadan, waxaan inta badan u miciin-qaadnay Is-beddelka Concurrency; mararka qaarkood koox dheeraad ah ayaa shaqeysay 24 saacadood maalintii iyada oo aan la joojin.
Tani waxay suurtogal ka dhigtay, haddii aan si buuxda loo xalin dhibaatada safafka, ka dibna ugu yaraan in la sameeyo xaalad la aqbali karo.
Aragtideenu waxay inta badan ku beegan tahay riyooyinka ragga intermix.io.
Waxa kale oo aanu ogaanay in inkasta oo ay jireen codsiyo safka ku jira, haddana dhammaan codsiyada aan isla markiiba loo gudbin kooxda isku midka ah. Sida muuqata tani waxay dhacdaa sababtoo ah kooxda isku midka ah ayaa wali qaadanaysa wakhti ay ku bilowdo. Natiijo ahaan, inta lagu jiro rarka ugu sarreeya ee muddada gaaban waxaan weli haysanaa safaf yar yar, alaarmiga u dhigmana waxay haystaan waqti ay ku kiciyaan.
Ka dib markii laga takhalusay culaysyo aan caadi ahayn bishii Abriil, annagu, sida la filayo AWS, waxaan galnay habka isticmaalka marmarka ah - iyada oo ku jirta heerka caadiga ah.
Waxaad kula socon kartaa kharashyadaada isbarbar socda ee AWS Cost Explorer. Waxaad u baahan tahay inaad doorato Adeeg - Redshift, Nooca Isticmaalka - CS, tusaale ahaan USW2-CS:dc2.large.Waxaad wax badan oo ku saabsan qiimaha ka akhriyi kartaa af Ruush
Source: www.habr.com