Mwongozo wa Kuongeza Sambamba wa Amazon Redshift na Matokeo ya Mtihani

Huko Skyeng tunatumia Amazon Redshift, ikijumuisha kuongeza alama sambamba, kwa hivyo tumepata nakala hii na Stefan Gromoll, mwanzilishi wa dotgo.com, kwa intermix.io ya kuvutia. Baada ya tafsiri, kidogo ya uzoefu wetu kutoka kwa mhandisi wa data Daniyar Belkhodzhaev.

Usanifu wa Amazon Redshift inaruhusu kuongeza kwa kuongeza nodi mpya kwenye nguzo. Haja ya kukabiliana na idadi kubwa ya maombi inaweza kusababisha utoaji zaidi wa nodi. Concurrency Scaling, kinyume na kuongeza nodi mpya, huongeza nguvu za kompyuta inavyohitajika.

Uwekaji sambamba wa Amazon Redshift hupa nguzo za Redshift uwezo wa ziada wa kushughulikia idadi ya juu ya ombi. Inafanya kazi kwa kuhamisha maombi kwa vikundi vipya "sambamba" nyuma. Maombi hupitishwa kulingana na usanidi na sheria za WLM.

Uwekaji bei sambamba unatokana na muundo wa mkopo na kiwango cha bure. Juu ya mikopo isiyolipishwa, malipo yanatokana na muda ambao Kundi la Sambamba la Kuongeza Data linatuma maombi.

Mwandishi alijaribu kuongeza ukubwa sambamba kwenye mojawapo ya makundi ya ndani. Katika chapisho hili, atazungumzia matokeo ya mtihani na kutoa vidokezo vya jinsi ya kuanza.

Mahitaji ya nguzo

Ili kutumia kuongeza ukubwa sambamba, nguzo yako ya Amazon Redshift lazima itimize mahitaji yafuatayo:

- jukwaa: EC2-VPC;
- aina ya nodi: dc2.8xlarge, ds2.8xlarge, dc2.kubwa au ds2.xlarge;
- idadi ya nodi: kutoka 2 hadi 32 (vikundi vya nodi moja hazitumiki).

Aina za ombi zinazokubalika

Kuongeza sambamba haifai kwa aina zote za maswali. Katika toleo la kwanza, inachakata tu maombi ya kusoma ambayo yanakidhi masharti matatu:

- Hoja CHAGUA zinasomwa pekee (ingawa aina zaidi zimepangwa);
- swali halirejelei jedwali na mtindo wa kupanga INTERLEAVED;
- Hoja haitumii Amazon Redshift Spectrum kurejelea jedwali za nje.

Ili kuelekezwa kwa Kundi la Kuongeza Mizani Sambamba, ombi lazima liwekwe kwenye foleni. Zaidi ya hayo, hoja zinazostahiki foleni SQA (Kuongeza Kasi ya Swala fupi), haitaendeshwa kwa vikundi vya mizani sambamba.

Foleni na SQA zinahitaji usanidi sahihi Usimamizi wa Upakiaji wa Redshift (WLM). Tunapendekeza kuboresha WLM yako kwanza - hii itapunguza hitaji la kuongeza alama sambamba. Na hii ni muhimu kwa sababu kuongeza sambamba ni bure tu kwa idadi fulani ya masaa. AWS inadai kuwa kuongeza viwango sambamba itakuwa bure kwa 97% ya wateja, ambayo inatuleta kwenye suala la bei.

Gharama ya kuongeza sambamba

AWS inatoa modeli ya mkopo kwa kuongeza viwango sambamba. Kila nguzo inayotumika Redshift ya Amazon Hukusanya salio kila saa, hadi saa moja ya salio lisilolipishwa la kuongeza alama sawia kwa siku.

Unalipa tu wakati matumizi yako ya Makundi ya Uwiano Sambamba yanapozidi kiasi cha mikopo uliyopokea.

Gharama inakokotolewa kwa kiwango cha kila sekunde unapohitaji kwa nguzo sambamba ambayo inatumika juu ya kiwango cha bila malipo. Unatozwa tu kwa muda wa maombi yako, na malipo ya chini zaidi ya dakika moja kila wakati Kundi la Sambamba la Kuongeza Data inapowezeshwa. Kiwango cha kila sekunde unapohitaji kinakokotolewa kulingana na kanuni za jumla za bei Redshift ya Amazon, yaani, inategemea aina ya nodi na idadi ya nodi kwenye nguzo yako.

Inazindua Upeo Sambamba

Kuongeza ukubwa sambamba kumeanzishwa kwa kila foleni ya WLM. Nenda kwenye kiweko cha AWS Redshift na uchague Usimamizi wa Mzigo wa Kazi kutoka kwenye menyu ya urambazaji ya kushoto. Chagua kikundi chako cha kigezo cha WLM kutoka kwenye menyu kunjuzi ifuatayo.

Utaona safu mpya iitwayo "Njia ya Kuongeza Sarafu" karibu na kila foleni. Chaguo-msingi ni "Walemavu". Bofya "Hariri" na unaweza kubadilisha mipangilio kwa kila foleni.

Usanidi

Kuongeza ukubwa sambamba hufanya kazi kwa kusambaza maombi yanayofaa kwa vikundi vipya vilivyojitolea. Nguzo mpya zina ukubwa sawa (aina na idadi ya nodi) kama nguzo kuu.

Nambari chaguomsingi ya makundi yanayotumika kwa kuongeza ukubwa sambamba ni moja (1), yenye uwezo wa kusanidi hadi jumla ya makundi kumi (10).
Jumla ya idadi ya makundi kwa ajili ya kuongeza ukubwa sambamba inaweza kuwekwa na kigezo cha max_concurrency_scaling_clusters. Kuongeza thamani ya parameta hii hutoa nguzo za ziada zisizohitajika.

Ufuatiliaji

Kuna grafu kadhaa za ziada zinazopatikana kwenye koni ya AWS Redshift. Chati ya Makundi ya Kuongeza Kiwango cha Juu ya Sarafu Imesanidiwa huonyesha thamani ya max_concurrency_scaling_clusters baada ya muda.

Idadi ya makundi yanayotumika ya kuongeza viwango huonyeshwa katika kiolesura cha mtumiaji katika sehemu ya "Shughuli ya Kuongeza Mizani kwa Sarafu":

Katika kichupo cha Maswali, kuna safu wima inayoonyesha ikiwa hoja ilitekelezwa kwenye nguzo kuu au kwenye nguzo sambamba ya kuongeza alama:

Bila kujali kama hoja fulani ilitekelezwa katika kundi kuu au kupitia nguzo sambamba ya kuongeza viwango, itahifadhiwa katika stl_query.concurrency_scaling_status.

Thamani ya 1 inaonyesha kuwa hoja ilitekelezwa katika nguzo ya mizani sambamba, ilhali maadili mengine yanaonyesha kuwa ilitekelezwa katika nguzo ya msingi.

Mfano:

Maelezo ya kuongeza viwango vya sarafu pia huhifadhiwa katika majedwali na mionekano mingine, kama vile SVCS_CONCURRENCY_SCALING_USAGE. Kwa kuongeza, kuna idadi ya majedwali ya orodha ambayo huhifadhi taarifa kuhusu kuongeza sambamba.

Matokeo

Waandishi walianza kuongeza viwango sambamba vya foleni moja katika kundi la ndani takriban 18:30:00 GMT tarehe 29.03.2019/3/20. Alibadilisha kigezo cha max_concurrency_scaling_clusters hadi 30 takriban saa 00:29.03.2019:XNUMX mnamo XNUMX/XNUMX/XNUMX.

Ili kuiga foleni ya ombi, tulipunguza idadi ya nafasi za foleni hii kutoka 15 hadi 5.

Ifuatayo ni chati ya dashibodi ya intermix.io inayoonyesha idadi ya maombi yanayoendeshwa na kupanga foleni baada ya kupunguza idadi ya nafasi.

Tunaona kwamba muda wa kusubiri wa maombi kwenye foleni umeongezeka, na muda wa juu zaidi ukiwa zaidi ya dakika 5.

Hapa kuna habari muhimu kutoka kwa kiweko cha AWS kuhusu kile kilichotokea wakati huu:

Redshift ilizindua vikundi vitatu (3) vya kuongeza alama kama ilivyosanidiwa. Похоже, что эти кластеры были использованы не полностью, даже не смотря на то, что многие запросы в нашем кластере стояли в очереди.

Grafu ya matumizi inahusiana na grafu ya shughuli ya kuongeza:

Baada ya saa chache, waandishi walikagua foleni na ilionekana kana kwamba maombi 6 yalikuwa yakitekelezwa kwa kuongeza viwango sambamba. Pia tulijaribu maombi mawili bila mpangilio kupitia kiolesura cha mtumiaji. Hatujaangalia jinsi ya kutumia maadili haya wakati nguzo kadhaa sambamba zinafanya kazi mara moja.

Matokeo

Kuongeza ukubwa sambamba kunaweza kupunguza muda wa maombi yanayotumika kwenye foleni wakati wa mizigo ya juu zaidi.

Kulingana na matokeo ya mtihani wa msingi, ikawa kwamba hali na maombi ya upakiaji imeboreshwa kwa sehemu. Walakini, kuongeza sambamba peke yake hakusuluhisha shida zote za sarafu.

Hii ni kutokana na vikwazo juu ya aina ya maswali ambayo inaweza kutumia kuongeza sambamba. Kwa mfano, waandishi wana jedwali nyingi zilizo na funguo za kupanga zilizoingiliana, na mzigo wetu mwingi ni kuandika.

Ingawa kuongeza sanjari sio suluhisho la ulimwengu wote la kusanidi WLM, kutumia kipengele hiki ni rahisi na moja kwa moja.

Kwa hivyo, mwandishi anapendekeza kuitumia kwa foleni zako za WLM. Anza na nguzo moja sambamba na ufuatilie kilele cha mzigo kupitia kiweko ili kubaini kama nguzo mpya zinatumika kikamilifu.

AWS inapoongeza usaidizi kwa aina za ziada za maombi na majedwali, kuongeza kiwango sambamba kunapaswa kuwa na ufanisi zaidi na zaidi.

Maoni kutoka kwa Daniyar Belkhodzhaev, Mhandisi wa Data wa Skyeng

Sisi katika Skyeng pia tuligundua mara moja uwezekano unaojitokeza wa kuongeza kiwango sawa.
Utendaji unavutia sana, hasa ikizingatiwa kuwa AWS inakadiria kuwa watumiaji wengi hata hawatalazimika kulipia ziada.

Ilifanyika kwamba katikati ya Aprili tulikuwa na mlolongo usio wa kawaida wa maombi kwa nguzo ya Redshift. Katika kipindi hiki, mara nyingi tuliamua kutumia Kuongeza Fedha; wakati mwingine kundi la ziada lilifanya kazi kwa saa 24 kwa siku bila kusimama.

Hii ilifanya iwezekanavyo, ikiwa sio kutatua kabisa tatizo na foleni, basi angalau kufanya hali hiyo kukubalika.

Uchunguzi wetu kwa kiasi kikubwa sanjari na hisia za wavulana kutoka intermix.io.

Pia tuligundua kuwa ingawa kulikuwa na maombi yaliyokuwa yakingoja kwenye foleni, sio maombi yote yalitumwa mara moja kwa nguzo sambamba. Inavyoonekana hii hutokea kwa sababu nguzo sambamba bado inachukua muda kuanza. Matokeo yake, wakati wa mizigo ya kilele cha muda mfupi bado tuna foleni ndogo, na kengele zinazofanana zina muda wa kuchochea.

Baada ya kuondokana na mizigo isiyo ya kawaida mwezi wa Aprili, sisi, kama AWS inavyotarajiwa, tuliingia katika hali ya matumizi ya mara kwa mara - ndani ya kawaida ya bure.
Unaweza kufuatilia gharama zako za kuongeza viwango sambamba katika AWS Cost Explorer. Unahitaji kuchagua Huduma - Redshift, Aina ya Matumizi - CS, kwa mfano USW2-CS:dc2.large.

Unaweza kusoma zaidi juu ya bei katika Kirusi hapa.

Chanzo: mapenzi.com