Ni Skyeng a lo Amazon Redshift, pẹlu irẹjẹ afiwera, nitorinaa a rii nkan yii nipasẹ Stefan Gromoll, oludasile ti dotgo.com, fun intermix.io ti o nifẹ. Lẹhin itumọ naa, diẹ ninu iriri wa lati ọdọ ẹlẹrọ data Daniyar Belkhodzhaev.
ngbanilaaye igbelosoke nipa fifi awọn apa titun kun iṣupọ. Iwulo lati koju pẹlu nọmba ti o ga julọ ti awọn ibeere le ja si ipese awọn apa lori ju. Concurrency Scaling, ni idakeji si fifi awọn apa tuntun kun, mu agbara iširo pọ si bi o ṣe nilo.
Amazon Redshift igbelowọn afiwera yoo fun awọn iṣupọ Redshift ni afikun agbara lati mu awọn iwọn ibeere ti o ga julọ. O ṣiṣẹ nipa gbigbe awọn ibeere si awọn iṣupọ “ifaramọ” tuntun ni abẹlẹ. Awọn ibeere ti wa ni ipalọlọ da lori iṣeto WLM ati awọn ofin.
Idiyele igbelewọn ti o jọra da lori awoṣe kirẹditi kan pẹlu ipele ọfẹ kan. Loke awọn kirẹditi ọfẹ, isanwo da lori akoko ti Awọn ilana iṣupọ Iṣatunṣe Ti o jọra awọn ibeere.
Onkọwe ṣe idanwo igbelowọn afiwera lori ọkan ninu awọn iṣupọ inu. Ninu ifiweranṣẹ yii, yoo sọrọ nipa awọn abajade idanwo ati fun awọn imọran lori bi o ṣe le bẹrẹ.
Awọn ibeere iṣupọ
Lati lo irẹjẹ afiwera, iṣupọ Redshift Amazon rẹ gbọdọ pade awọn ibeere wọnyi:
- Syeed: EC2-VPC;
- iru ipade: dc2.8xlarge, ds2.8xlarge, dc2.large tabi ds2.xlarge;
- nọmba awọn apa: lati 2 si 32 (awọn iṣupọ ipade kan ko ni atilẹyin).
Awọn iru ibeere ti o ṣe itẹwọgba
Irẹjẹ ti o jọra ko dara fun gbogbo iru awọn ibeere. Ninu ẹya akọkọ, o ṣe ilana kika awọn ibeere ti o ni itẹlọrun awọn ipo mẹta:
- Awọn ibeere yiyan jẹ kika-nikan (botilẹjẹpe awọn oriṣi diẹ sii ti gbero);
- ibeere naa ko tọka tabili kan pẹlu ara yiyan INTERLEAVED;
- Ibeere naa ko lo Amazon Redshift Spectrum lati tọka awọn tabili ita.
Lati gbe lọ si Ẹgbẹ Iṣawọn Ti o jọra, ibeere naa gbọdọ wa ni ila. Ni afikun, awọn ibeere yẹ fun isinyi , kii yoo ṣiṣẹ lori awọn iṣupọ asekale ti o jọra.
Awọn ila ati SQA nilo iṣeto to dara . A ṣeduro iṣapeye WLM rẹ ni akọkọ - eyi yoo dinku iwulo fun igbelowọn afiwera. Ati pe eyi ṣe pataki nitori wiwọn afiwera jẹ ọfẹ nikan fun nọmba awọn wakati kan. AWS nperare pe irẹjẹ ti o jọra yoo jẹ ọfẹ fun 97% ti awọn alabara, eyiti o mu wa si ọran ti idiyele.
Iye owo ti irẹjẹ ti o jọra
AWS n funni ni awoṣe kirẹditi fun igbelowọn afiwe. Kọọkan ti nṣiṣe lọwọ iṣupọ Ṣe akopọ awọn kirẹditi ni wakati kan, to wakati kan ti awọn kirẹditi igbelowọn afiwera ọfẹ fun ọjọ kan.
O sanwo nikan nigbati lilo Awọn iṣupọ Iṣatunṣe Ti o jọra rẹ kọja iye awọn kirẹditi ti o ti gba.
Iye owo naa jẹ iṣiro ni iwọn-ibeere fun iṣẹju-aaya fun iṣupọ ti o jọra ti o lo loke oṣuwọn ọfẹ. O gba owo nikan fun iye akoko awọn ibeere rẹ, pẹlu idiyele ti o kere ju iṣẹju kan ni igba kọọkan ti iṣupọ Iṣawọn Ti o jọra ti mu ṣiṣẹ. Oṣuwọn ibeere-keji jẹ iṣiro da lori awọn ipilẹ idiyele gbogbogbo , iyẹn ni, o da lori iru ipade ati nọmba awọn apa inu iṣupọ rẹ.
Ifilọlẹ Tiwọn Ti o jọra
Ti o jọra igbelosoke wa ni jeki fun kọọkan WLM isinyi. Lọ si AWS Redshift console ki o si yan Isakoso Ise lati inu akojọ lilọ kiri osi. Yan ẹgbẹ paramita WLM iṣupọ rẹ lati inu akojọ aṣayan-silẹ atẹle.
Iwọ yoo rii iwe tuntun kan ti a pe ni “Ipo Iṣawọn Concurrency” lẹgbẹẹ isinyi kọọkan. Awọn aiyipada ni "Alaabo". Tẹ "Ṣatunkọ" ati pe o le yi awọn eto pada fun isinyi kọọkan.
Iṣeto ni
Iṣawọn ti o jọra n ṣiṣẹ nipa didari awọn ibeere ti o yẹ si awọn iṣupọ iyasọtọ tuntun. Awọn iṣupọ titun ni iwọn kanna (iru ati nọmba awọn apa) bi iṣupọ akọkọ.
Nọmba aiyipada ti awọn iṣupọ ti a lo fun igbelowọn afiwe jẹ ọkan (1), pẹlu agbara lati tunto to apapọ awọn iṣupọ mẹwa (10).
Lapapọ nọmba awọn iṣupọ fun igbelowọn afiwe le jẹ ṣeto nipasẹ paramita max_concurrency_scaling_clusters. Alekun iye ti paramita yii n pese awọn iṣupọ laiṣe afikun.
Abojuto
Ọpọlọpọ awọn aworan afikun wa ti o wa ninu AWS Redshift console. Atọka Awọn iṣupọ Iṣọkan Iṣọkan Iṣiro Iṣọkan ti o pọju ṣe afihan iye ti max_concurrency_scaling_clusters lori akoko.
Nọmba awọn iṣupọ irẹjẹ ti nṣiṣe lọwọ jẹ afihan ni wiwo olumulo ni apakan “Iṣẹ Ilọpo Concurrency”:
Ninu taabu Awọn ibeere, iwe kan wa ti o nfihan boya ibeere naa ti ṣiṣẹ ni iṣupọ akọkọ tabi ni akojọpọ igbero ti o jọra:
Laibikita boya ibeere kan pato ti ṣiṣẹ ni iṣupọ akọkọ tabi nipasẹ iṣupọ igbelowọn ti o jọra, o wa ni ipamọ ni stl_query.concurrency_scaling_status.
Iye kan ti 1 tọkasi pe a ṣe ibeere naa ni iṣupọ asekale ti o jọra, lakoko ti awọn iye miiran tọkasi pe o ti ṣe ni iṣupọ akọkọ.
Apeere:
Alaye iwọn ilawọn tun wa ni ipamọ ni diẹ ninu awọn tabili ati awọn iwo, gẹgẹbi SVCS_CONCURRENCY_SCALING_USAGE. Ni afikun, nọmba kan ti awọn tabili katalogi ti o tọju alaye nipa irẹjẹ afiwera.
Результаты
Awọn onkọwe bẹrẹ irẹjẹ afiwera fun isinyi kan ninu iṣupọ inu ni isunmọ 18:30:00 GMT ni ọjọ 29.03.2019/3/20. Yi paramita max_concurrency_scaling_clusters pada si 30 ni isunmọ 00:29.03.2019:XNUMX ni ọjọ XNUMX/XNUMX/XNUMX.
Lati ṣe afiwe isinyi ibeere, a dinku nọmba awọn iho fun isinyi yii lati 15 si 5.
Ni isalẹ jẹ apẹrẹ dasibodu intermix.io ti n fihan nọmba awọn ibeere ti nṣiṣẹ ati isinyi lẹhin idinku nọmba awọn iho.
A rii pe akoko idaduro fun awọn ibeere ni isinyi ti pọ si, pẹlu akoko ti o pọ julọ jẹ diẹ sii ju awọn iṣẹju 5 lọ.
Eyi ni alaye ti o yẹ lati AWS console nipa ohun ti o ṣẹlẹ lakoko yii:
Redshift ṣe ifilọlẹ awọn iṣupọ igbelowọn afiwera mẹta (3) bi a ti tunto. Ó dà bí ẹni pé a kò lo àwọn ìdìpọ̀ wọ̀nyí, bí ó tilẹ̀ jẹ́ pé ọ̀pọ̀lọpọ̀ ìbéèrè nínú ìṣùpọ̀ wa ni wọ́n wà ní ìlà.
Ẹya lilo naa ni ibamu pẹlu aworan iṣẹ ṣiṣe iwọn:
Lẹhin awọn wakati diẹ, awọn onkọwe ṣayẹwo ti isinyi ati pe o dabi pe awọn ibeere 6 nṣiṣẹ ni iwọn ilara. A tun ṣe idanwo awọn ibeere meji laileto nipasẹ wiwo olumulo. A ko ṣayẹwo bi a ṣe le lo awọn iye wọnyi nigbati ọpọlọpọ awọn iṣupọ ti o jọra ṣiṣẹ ni ẹẹkan.
awari
Iṣawọn ti o jọra le dinku awọn ibeere akoko ti o lo ninu isinyi lakoko awọn ẹru tente oke.
Da lori awọn abajade ti idanwo ipilẹ, o han pe ipo pẹlu awọn ibeere ikojọpọ ti ni ilọsiwaju ni apakan. Sibẹsibẹ, ni afiwe igbelosoke nikan ko yanju gbogbo concurrency isoro.
Eyi jẹ nitori awọn ihamọ lori awọn oriṣi awọn ibeere ti o le lo igbelowọn afiwe. Fún àpẹrẹ, àwọn òǹkọ̀wé ní àwọn tábìlì púpọ̀ tí wọ́n ní àwọn kọ́kọ́rọ́ ọ̀nà tí a fọwọ́ sí, àti pé ọ̀pọ̀lọpọ̀ ẹrù iṣẹ́ wa ni kikọ.
Botilẹjẹpe igbewọn afiwera kii ṣe ojutu gbogbo agbaye fun eto WLM, lilo ẹya yii rọrun ati taara.
Nitorinaa, onkọwe ṣeduro lilo rẹ fun awọn laini WLM rẹ. Bẹrẹ pẹlu iṣupọ ti o jọra kan ki o ṣe atẹle fifuye tente oke nipasẹ console lati pinnu boya awọn iṣupọ tuntun ti wa ni lilo ni kikun.
Bi AWS ṣe n ṣe afikun atilẹyin fun awọn iru ibeere afikun ati awọn tabili, igbelowọn afiwe yẹ ki o di diẹ sii ati daradara siwaju sii.
Ọrọìwòye lati Daniyar Belkhodzhaev, Skyeng Data Engineer
A ni Skyeng tun ṣe akiyesi lẹsẹkẹsẹ iṣeeṣe ti n yọyọ ti igbelowọn afiwe.
Iṣẹ ṣiṣe jẹ iwunilori pupọ, paapaa ni akiyesi pe AWS ṣe iṣiro pe ọpọlọpọ awọn olumulo kii yoo paapaa ni lati san afikun fun rẹ.O ṣẹlẹ pe ni aarin Oṣu Kẹrin a ni irusoke awọn ibeere ti ko wọpọ si iṣupọ Redshift. Ni asiko yii, a nigbagbogbo lo si Iwontunwọnsi Concurrency; nigba miiran iṣupọ afikun ṣiṣẹ awọn wakati 24 lojumọ laisi iduro.
Eyi jẹ ki o ṣee ṣe, ti kii ṣe lati yanju iṣoro naa patapata pẹlu awọn ila, lẹhinna o kere ju lati jẹ ki ipo naa jẹ itẹwọgba.
Awọn akiyesi wa ni pipe ni ibamu pẹlu awọn iwunilori ti awọn eniyan lati intermix.io.
A tun ṣe akiyesi pe botilẹjẹpe awọn ibeere ti nduro ni isinyi, kii ṣe gbogbo awọn ibeere ni a firanṣẹ lẹsẹkẹsẹ si iṣupọ ti o jọra. Nkqwe eyi ṣẹlẹ nitori iṣupọ ti o jọra tun gba akoko lati bẹrẹ. Bi abajade, lakoko awọn ẹru tente oke igba kukuru a tun ni awọn ila kekere, ati awọn itaniji ti o baamu ni akoko lati ma nfa.
Lehin ti o ti yọ awọn ẹru ajeji kuro ni Oṣu Kẹrin, a, bi AWS ṣe nireti, wọ ipo lilo lẹẹkọọkan - laarin iwuwasi ọfẹ.
O le tọpa awọn idiyele igbelowọn afiwe rẹ ni AWS Cost Explorer. O nilo lati yan Iṣẹ - Redshift, Iru lilo - CS, fun apẹẹrẹ USW2-CS: dc2.large.O le ka diẹ sii nipa awọn idiyele ni Russian
orisun: www.habr.com