A Skyeng muna amfani da Amazon Redshift, gami da daidaitaccen sikelin, don haka mun sami wannan labarin ta Stefan Gromoll, wanda ya kafa dotgo.com, don intermix.io mai ban sha'awa. Bayan fassarar, kadan daga cikin kwarewarmu daga injiniyan bayanai Daniyar Belkhodzhaev.
yana ba da damar ƙima ta ƙara sabbin nodes zuwa gungu. Bukatar jure yawan buƙatun na iya haifar da yawan samar da nodes. Ƙididdigar Concurrency, sabanin ƙara sababbin nodes, yana ƙara ƙarfin kwamfuta kamar yadda ake buƙata.
Amazon Redshift daidaitaccen sikeli yana ba da gungu na Redshift ƙarin ƙarfi don ɗaukar juzu'in buƙatun ƙira. Yana aiki ta hanyar matsar da buƙatun zuwa sabbin gungu na “daidaitacce” a bango. Ana ci gaba da buƙatun bisa tsarin WLM da ƙa'idodi.
Farashin ma'auni na daidaici ya dogara ne akan ƙirar ƙira tare da matakin kyauta. Sama da kiredit na kyauta, biyan kuɗi yana dogara ne akan lokacin da Parallel Scaling Cluster yana aiwatar da buƙatun.
Marubucin ya gwada daidai gwargwado akan ɗaya daga cikin gungu na ciki. A cikin wannan sakon, zai yi magana game da sakamakon gwajin kuma ya ba da shawarwari kan yadda ake farawa.
Bukatun tari
Don amfani da sikelin daidaitacce, rukunin ku na Redshift na Amazon dole ne ya cika buƙatu masu zuwa:
- dandamali: EC2-VPC;
- nau'in kumburi: dc2.8xlarge, ds2.8xlarge, dc2.large ko ds2.xlarge;
- adadin nodes: daga 2 zuwa 32 (ba a tallafawa gungu na kumburi guda ɗaya).
Nau'in buƙatun da aka karɓa
Daidaitaccen sikelin bai dace da kowane nau'in tambaya ba. A cikin sigar farko, kawai karanta buƙatun da suka gamsar da sharuɗɗa uku:
- Zaɓuɓɓukan tambayoyin ana karantawa kawai (ko da yake ana shirin ƙarin nau'ikan);
- tambayar ba ta yin nuni da tebur tare da salon rarraba INTERLEAVED;
- Tambayar ba ta amfani da Amazon Redshift Spectrum don yin la'akari da tebur na waje.
Don turawa zuwa Tarin Sikeli na Daidaitawa, buƙatar dole ne a yi layi. Bugu da ƙari, tambayoyin da suka cancanci yin layi , ba zai gudana a kan gungu na ma'auni ba.
Lissafi da SQA suna buƙatar tsari mai kyau . Muna ba da shawarar inganta WLM ɗin ku da farko - wannan zai rage buƙatar daidaita sikeli. Kuma wannan yana da mahimmanci saboda daidaitaccen sikelin kyauta ne kawai na wasu adadin sa'o'i. AWS yayi iƙirarin cewa sikelin layi ɗaya zai kasance kyauta ga 97% na abokan ciniki, wanda ya kawo mu ga batun farashin.
Farashin layi daya
AWS yana ba da ƙirar ƙira don daidaita ma'auni. Kowane gungu mai aiki Yana tara ƙididdiga na sa'a guda, har zuwa sa'a ɗaya na ƙididdige ƙididdiga masu daidaitawa kyauta kowace rana.
Kuna biya kawai lokacin da amfani da Parallel Scaling Clusters ya wuce adadin ƙididdigewa da kuka karɓa.
Ana ƙididdige farashi akan ƙimar buƙatu na biyu-biyu don gungu na layi ɗaya wanda ake amfani da shi sama da ƙimar kyauta. Ana caje ku kawai na tsawon lokacin buƙatunku, tare da ƙaramar cajin minti ɗaya a duk lokacin da aka kunna Tarin Sikeli na Parallel Scaling. Ana ƙididdige ƙimar buƙatu na biyu-biyu bisa ga ƙa'idodin farashi na gaba ɗaya , wato, ya dogara da nau'in kumburi da adadin nodes a cikin tarin ku.
Ƙaddamar da Daidaiton Sikeli
Ana kunna sikeli na layi ɗaya don kowane jerin gwano na WLM. Je zuwa AWS Redshift console kuma zaɓi Gudanar da Ayyukan Aiki daga menu na kewayawa na hagu. Zaɓi ƙungiyar ma'auni WLM ta gungu daga menu mai saukarwa mai zuwa.
Za ku ga sabon ginshiƙi mai suna "Yanayin Sikeli na Concurrency" kusa da kowane jerin gwano. Tsohuwar ita ce "An kashe". Danna "Edit" kuma zaka iya canza saitunan kowane jerin gwano.
Kanfigareshan
Daidaitawar sikelin yana aiki ta hanyar tura buƙatun da suka dace zuwa sabbin gungu masu sadaukarwa. Sabbin gungu suna da girman girman (nau'i da adadin nodes) da babban gungu.
Tsohuwar adadin gungu da aka yi amfani da su don daidaita ma'auni ɗaya ne (1), tare da ikon daidaitawa har zuwa jimlar gungu goma (10).
Za'a iya saita jimillar adadin gungu don sikelin layi ɗaya ta hanyar max_concurrency_scaling_clusters siga. Ƙara darajar wannan siga yana ba da ƙarin gungu mara nauyi.
Kulawa
Akwai ƙarin hotuna da yawa da ake samu a cikin AWS Redshift console. Taswirar Matsakaicin Ƙimar Ƙimar Ƙirar Maɗaukaki na Ƙimar Ƙimar Maɗaukaki yana nuna ƙimar max_concurrency_scaling_clusters akan lokaci.
Ana nuna adadin gungu masu sikeli masu aiki a cikin mahallin mai amfani a cikin sashin "Ayyukan Sikeli na Haɗin Kai":
A cikin shafin Tambayoyi, akwai ginshiƙi da ke nuna ko an aiwatar da tambayar a cikin babban gungu ko a cikin gungu mai daidaitawa:
Ba tare da la'akari da ko an aiwatar da wata tambaya ta musamman a cikin babban gungu ko ta hanyar gungu mai daidaitawa ba, ana adana ta a cikin stl_query.concurrency_scaling_status.
Ƙimar 1 tana nuna cewa an aiwatar da tambayar a cikin ma'aunin ma'auni, yayin da wasu dabi'u ke nuna cewa an aiwatar da ita a cikin gungu na farko.
Alal misali:
Hakanan ana adana bayanan ma'auni a cikin wasu teburi da ra'ayoyi, kamar SVCS_CONCURRENCY_SCALING_USAGE. Bugu da ƙari, akwai adadin tebur na kasida waɗanda ke adana bayanai game da daidaita ma'auni.
Результаты
Marubutan sun fara yin sikeli na layi daya a cikin gungu na ciki da misalin karfe 18:30:00 GMT a ranar 29.03.2019/3/20. Sun canza max_concurrency_scaling_clusters siga zuwa 30 da misalin karfe 00:29.03.2019:XNUMX na ranar XNUMX/XNUMX/XNUMX.
Don kwaikwayi jerin gwano, mun rage adadin ramummuka na wannan jerin gwano daga 15 zuwa 5.
A ƙasa akwai taswirar dashboard intermix.io yana nuna adadin buƙatun da ke gudana da jerin gwano bayan rage adadin ramummuka.
Mun ga cewa lokacin jira don buƙatun a cikin jerin gwano ya karu, tare da matsakaicin lokacin fiye da minti 5.
Anan ga bayanan da suka dace daga na'urar wasan bidiyo ta AWS game da abin da ya faru a wannan lokacin:
Redshift ya ƙaddamar da gungu masu daidaitawa guda uku (3) kamar yadda aka tsara. Da alama ba a yi amfani da waɗannan gungu ba, duk da cewa an yi layi da buƙatu da yawa a cikin rukunin mu.
Jadawalin amfani yana da alaƙa da jadawali na ayyuka masu ƙima:
Bayan 'yan sa'o'i kadan, marubutan sun duba jerin gwano kuma yana kama da buƙatun 6 suna gudana a layi ɗaya. Mun kuma gwada buƙatun biyu ba da gangan ta hanyar mai amfani ba. Ba mu bincika yadda ake amfani da waɗannan ƙididdiga ba lokacin da gungu masu kama da juna da yawa ke aiki a lokaci ɗaya.
binciken
Daidaitaccen sikelin na iya rage lokacin da buƙatun ke kashewa a cikin jerin gwano yayin ɗaukar nauyi.
Dangane da sakamakon gwajin asali, ya nuna cewa halin da ake ciki tare da buƙatun buƙatun ya inganta wani bangare. Duk da haka, daidaitaccen sikelin kawai bai magance duk matsalolin haɗin kai ba.
Wannan ya faru ne saboda ƙuntatawa akan nau'ikan tambayoyin da za su iya amfani da sikelin layi ɗaya. Misali, marubutan suna da teburi da yawa tare da maɓallai iri-iri, kuma yawancin aikin mu rubutu ne.
Ko da yake daidaita sikelin ba shine mafita na duniya don kafa WLM ba, amfani da wannan fasalin yana da sauƙi kuma mai sauƙi.
Don haka, marubucin ya ba da shawarar yin amfani da shi don layukan ku na WLM. Fara da gungu mai kama da juna kuma saka idanu mafi girman kaya ta cikin na'ura mai kwakwalwa don tantance ko ana amfani da sabbin gungu sosai.
Kamar yadda AWS ke ƙara goyan baya don ƙarin nau'ikan tambaya da tebura, ƙirar layi ɗaya yakamata ya zama mafi inganci a hankali.
Sharhi daga Daniyar Belkhodzhaev, Skyeng Data Engineer
Mu a Skyeng kuma nan da nan mun lura da yuwuwar fitowar sikeli.
Ayyukan yana da kyau sosai, musamman idan aka yi la'akari da cewa AWS ya kiyasta cewa yawancin masu amfani ba za su biya ƙarin kuɗi ba.Ya faru ne cewa a tsakiyar watan Afrilu mun sami buƙatun da ba a saba gani ba zuwa gungu na Redshift. A cikin wannan lokacin, sau da yawa muna yin amfani da Sikeli na Concurrency; wani lokacin ƙarin gungu yana aiki awanni 24 a rana ba tare da tsayawa ba.
Wannan ya sa ya yiwu, idan ba a warware matsalar gaba ɗaya tare da jerin gwano ba, to aƙalla a sa lamarin ya zama abin karɓa.
Abubuwan da muka lura sun yi daidai da ra'ayoyin mutanen intermix.io.
Mun kuma lura cewa ko da yake akwai buƙatun da ake jira a cikin jerin gwano, ba duk buƙatun ba nan da nan aka tura su zuwa gungu na layi ɗaya. A fili wannan yana faruwa saboda gungu na layi ɗaya yana ɗaukar lokaci don farawa. Sakamakon haka, yayin ɗaukar nauyi na ɗan gajeren lokaci har yanzu muna da ƙananan layukan layi, kuma ƙararrawa masu dacewa suna da lokacin faɗakarwa.
Bayan mun kawar da kayan da ba na al'ada ba a cikin Afrilu, mu, kamar yadda ake tsammani AWS, mun shiga yanayin amfani na lokaci-lokaci - cikin ƙa'ida ta kyauta.
Kuna iya bin diddigin farashin sikelin ku a cikin AWS Cost Explorer. Kuna buƙatar zaɓi Sabis - Redshift, Nau'in Amfani - CS, misali USW2-CS:dc2.large.Kuna iya karanta ƙarin game da farashi cikin Rashanci
source: www.habr.com