Ma Skyeng hoʻohana mākou i ka Amazon Redshift, me ka scaling parallel, no laila ua ʻike mākou i kēia ʻatikala na Stefan Gromoll, ka mea nāna i hoʻokumu i dotgo.com, no intermix.io hoihoi. Ma hope o ka unuhi ʻana, he wahi liʻiliʻi o kā mākou ʻike mai ka ʻenekini data Daniyar Belkhodzhaev.
hiki ke hoʻonui ʻia ma ka hoʻohui ʻana i nā node hou i ka hui. ʻO ka pono e hoʻokō i ka helu kiʻekiʻe o nā noi hiki ke alakaʻi i ka hāʻawi ʻana i nā nodes. ʻO ka Concurrency Scaling, e kūʻē i ka hoʻohui ʻana i nā nodes hou, e hoʻonui i ka mana helu e like me ka mea e pono ai.
Hāʻawi ʻo Amazon Redshift parallel scaling i nā pūʻulu Redshift i hiki ke mālama i nā puke noi kiʻekiʻe. Hana ia ma ka neʻe ʻana i nā noi i nā pūʻulu "parallel" hou ma ke kua. Hoʻouna ʻia nā noi ma muli o ka hoʻonohonoho WLM a me nā lula.
Hoʻokumu ʻia ke kumu kūʻai hoʻohālikelike kaulike ma ke kumu hoʻohālike hōʻaiʻē me kahi pae manuahi. Ma luna aʻe o nā hōʻaiʻē manuahi, hoʻokumu ʻia ka uku ma ka manawa a ka Parallel Scaling Cluster e noi ai.
Ua hoʻāʻo ka mea kākau i ka scaling parallel ma kekahi o nā pūʻulu kūloko. Ma kēia pou, e kamaʻilio ʻo ia e pili ana i nā hopena hōʻike a hāʻawi i nā ʻōlelo aʻoaʻo pehea e hoʻomaka ai.
Nā koi o ka pūʻulu
No ka hoʻohana ʻana i ka scaling parallel, pono kāu hui Amazon Redshift e hoʻokō i kēia mau koi:
- paepae: EC2-VPC;
— ʻano node: dc2.8xlarge, ds2.8xlarge, dc2.large a i ole ds2.xlarge;
- ka helu o nā node: mai ka 2 a hiki i ka 32 (ʻaʻole kākoʻo ʻia nā pūpū node hoʻokahi).
Nā ʻano noi e ʻae ʻia
ʻAʻole kūpono ka hoʻonui ʻia ʻana no nā ʻano nīnau āpau. Ma ka mana mua, kaʻina wale nō ia i nā noi heluhelu e hoʻokō i nā kūlana ʻekolu:
- Heluhelu wale ʻia nā nīnau SELECT (ʻoiai ua hoʻolālā ʻia nā ʻano ʻē aʻe);
- ʻaʻole kuhikuhi ka nīnau i kahi papa me ke ʻano hoʻokaʻawale INTERLEAVED;
- ʻAʻole hoʻohana ka nīnau iā Amazon Redshift Spectrum e kuhikuhi i nā papa waho.
No ka holo ʻana i ka Parallel Scaling Cluster, pono e hoʻonohonoho ʻia ke noi. Eia hou, kūpono nā nīnau no ka pila , ʻaʻole e holo ma nā pūʻulu unahi like.
Pono nā queues a me SQA i ka hoʻonohonoho kūpono . Manaʻo mākou e hoʻomaikaʻi mua i kāu WLM - e hōʻemi kēia i ka pono no ka hoʻonui like. A he mea koʻikoʻi kēia no ka mea ʻaʻole manuahi ka scaling parallel no kekahi mau hola. Ua ʻōlelo ʻo AWS e manuahi ka scaling parallel no 97% o nā mea kūʻai aku, e lawe mai iā mākou i ka pilikia o ke kumu kūʻai.
ʻO ke kumukūʻai o ka hoʻonui ʻana like
Hāʻawi ʻo AWS i kahi kumu hōʻaiʻē no ka scaling like. ʻO kēlā me kēia pūʻulu hana E hōʻiliʻili i nā hōʻaiʻē i kēlā me kēia hola, a hiki i hoʻokahi hola o nā hōʻaiʻē scaling like manuahi i kēlā me kēia lā.
Uku wale ʻoe inā ʻoi aku kāu hoʻohana ʻana i ka Parallel Scaling Clusters ma mua o ka nui o nā hōʻaiʻē āu i loaʻa ai.
Ua helu ʻia ke kumukūʻai ma ke kekona ma ke koi ʻana no kahi hui like i hoʻohana ʻia ma luna o ka uku manuahi. Hoʻopiʻi wale ʻia ʻoe no ka lōʻihi o kāu mau noi, me ka uku haʻahaʻa o hoʻokahi minuke i kēlā me kēia manawa e hoʻāla ʻia kahi Parallel Scaling Cluster. Hoʻohālikelike ʻia ka helu hoʻokahi kekona ma muli o nā kumu kumu kumu kūʻai maʻamau , ʻo ia hoʻi, pili ia i ke ʻano o ka node a me ka helu o nā nodes i kāu hui.
Ke hoʻomaka nei i ka hoʻonui ʻana i ka hoʻohālikelike
Hoʻomaka ʻia ka hoʻonui ʻia ʻana no kēlā me kēia queue WLM. E hele i ka console AWS Redshift a koho i ka Workload Management mai ka papa kuhikuhi hema. E koho i ka pūʻulu koho WLM o kāu pūʻulu mai ka papa kuhikuhi iho.
E ʻike ʻoe i kahi kolamu hou i kapa ʻia ʻo "Concurrency Scaling Mode" ma hope o kēlā me kēia queue. ʻO ka mea paʻamau ʻo "Disabled". Kaomi "Edit" a hiki iā ʻoe ke hoʻololi i nā hoʻonohonoho no kēlā me kēia queue.
Kauoa
Hana ʻia ka hoʻonui ʻana ma ka hoʻouna ʻana i nā noi kūpono i nā pūʻulu hoʻolaʻa hou. Loaʻa ka nui o nā pūʻulu hou (ʻano a me ka helu o nā nodes) me ka hui nui.
ʻO ka helu paʻamau o nā puʻupuʻu i hoʻohana ʻia no ka hoʻolālikelike like ʻana he hoʻokahi (1), me ka hiki ke hoʻonohonoho a hiki i ka huina o ʻumi (10).
Hiki ke hoʻonohonoho ʻia ka huina o nā puʻupuʻu no ka hoʻohālikelike ʻana e ka max_concurrency_scaling_clusters parameter. ʻO ka hoʻonui ʻana i ka waiwai o kēia ʻāpana e hāʻawi i nā pūʻulu redundant hou.
Ka mālama ʻana
Aia kekahi mau kiʻi hou i loaʻa i ka console AWS Redshift. Hōʻike ka palapala kiʻi ʻo Max Configured Concurrency Scaling Clusters i ka waiwai o max_concurrency_scaling_clusters i ka manawa.
Hōʻike ʻia ka helu o nā puʻupuʻu scaling ikaika i ka mea hoʻohana ma ka ʻāpana "Concurrency Scaling Activity":
Ma ka ʻaoʻao Queries, aia kahi kolamu e hōʻike ana inā ua hoʻokō ʻia ka nīnau ma ka pūʻulu nui a i ʻole ma ka pūʻulu scaling like:
ʻAʻole paha i hoʻokō ʻia kekahi nīnau ma ka pūʻulu nui a i ʻole ma o kahi pūʻulu scaling like, mālama ʻia ia ma stl_query.concurrency_scaling_status.
ʻO ka waiwai o 1 e hōʻike ana ua hoʻokō ʻia ka nīnau ma ka pūʻulu pālākiō like ʻole, aʻo nā waiwai ʻē aʻe e hōʻike ana ua hoʻokō ʻia i ka hui mua.
Pākuhi:
Hoʻopaʻa ʻia ka ʻike hoʻohālikelike concurrency ma kekahi mau papa a me nā manaʻo ʻē aʻe, e like me SVCS_CONCURRENCY_SCALING_USAGE. Eia kekahi, aia kekahi mau papa helu helu e mālama i ka ʻike e pili ana i ka hoʻohālikelike ʻana.
Nā hualoaʻa
Ua hoʻomaka nā mea kākau i ka hoʻohālikelike like ʻana no hoʻokahi pila i loko o ka pūʻulu kūloko ma kahi o 18:30:00 GMT ma 29.03.2019/3/20. Ua hoʻololi i ka max_concurrency_scaling_clusters parameter i 30 ma kahi o 00:29.03.2019:XNUMX ma XNUMX/XNUMX/XNUMX.
No ka hoʻolikelike ʻana i kahi pila noi, ua hoʻemi mākou i ka helu o nā slot no kēia pila mai ka 15 a i ka 5.
Aia ma lalo iho kahi papa kuhikuhi intermix.io e hōʻike ana i ka helu o nā noi e holo ana a me ka queuing ma hope o ka hōʻemi ʻana i ka helu o nā slots.
ʻIke mākou ua hoʻonui ʻia ka manawa kali no nā noi i ka pila, me ka manawa kiʻekiʻe ma mua o 5 mau minuke.
Eia ka ʻike pili mai ka console AWS e pili ana i ka mea i hana i kēia manawa:
Ua hoʻokuʻu ʻo Redshift i ʻekolu (3) mau pūʻulu scaling like e like me ka hoʻonohonoho ʻana. ʻIke ʻia ʻaʻole i hoʻohana ʻia kēia mau puʻupuʻu, ʻoiai ʻo nā noi he nui i kā mākou puʻupuʻu i pila.
Hoʻopili ka pakuhi hoʻohana me ka pakuhi hana hoʻonui:
Ma hope o kekahi mau hola, ua nānā nā mea kākau i ka pila a ʻike ʻia he 6 mau noi e holo ana ma ka scaling parallel. Ua hoʻāʻo wale mākou i ʻelua noi ma o ka mea hoʻohana. ʻAʻole mākou i nānā pehea e hoʻohana ai i kēia mau waiwai i ka wā e hana ai kekahi mau pūʻulu like i ka manawa hoʻokahi.
haʻina
Hiki i ka scaling parallel ke hōʻemi i nā noi manawa i hoʻolilo ʻia ma ka pila i ka wā o nā haʻahaʻa kiʻekiʻe.
Ma muli o nā hopena o ka hoʻāʻo kumu, ua ʻike ʻia ua hoʻomaikaʻi ʻia ke kūlana me nā noi hoʻouka. Akā naʻe, ʻaʻole i hoʻoponopono ka scaling scaling wale nō i nā pilikia concurrency āpau.
Ma muli o ke kaohi ʻana i ke ʻano o nā nīnau e hiki ke hoʻohana i ka hoʻohālikelike like. No ka laʻana, nui nā papa me nā kī ʻano interleaved a ka hapa nui o kā mākou haʻahaʻa hana.
ʻOiai ʻaʻole ʻo ka scaling parallel kahi hopena ākea no ka hoʻonohonoho ʻana iā WLM, maʻalahi a maʻalahi ka hoʻohana ʻana i kēia hiʻohiʻona.
No laila, paipai ka mea kākau e hoʻohana iā ia no kāu mau pila WLM. E hoʻomaka me hoʻokahi puʻupuʻu like a nānā i ka haʻahaʻa kiʻekiʻe ma o ka console e hoʻoholo inā hoʻohana piha ʻia nā pūʻulu hou.
Ke hoʻohui nei ʻo AWS i ke kākoʻo no nā ʻano nīnau a me nā papaʻaina, pono e lilo ka scaling parallel i mea ʻoi aku ka maikaʻi.
Manaʻo mai Daniyar Belkhodzhaev, Skyeng Data Engineer
Ua ʻike koke mākou ma Skyeng i ka hiki ʻana mai o ka scaling parallel.
He nani loa ka hana, ʻoiai ke noʻonoʻo nei i ka manaʻo o AWS ʻaʻole pono ka hapa nui o nā mea hoʻohana e uku hou no ia.ʻOiaʻiʻo, i ka waena o ʻApelila ua loaʻa iā mākou kahi ʻano like ʻole o nā noi i ka hui Redshift. I loko o kēia manawa, hoʻohana pinepine mākou i ka Concurrency Scaling; i kekahi manawa ua hana kekahi hui hou i 24 mau hola i ka lā me ka hoʻomaha ʻole.
ʻO kēia ka mea i hiki ai, inā ʻaʻole e hoʻopau piha i ka pilikia me nā queues, a laila ma ka liʻiliʻi loa e ʻae i ke kūlana.
Hoʻopili nui kā mākou ʻike me nā manaʻo o nā kāne mai intermix.io.
Ua ʻike pū mākou ʻoiai aia nā noi e kali ana ma ka pila, ʻaʻole i hoʻouna koke ʻia nā noi āpau i ka hui like. ʻIke ʻia kēia no ka mea e hoʻomaka ana ka hui like ʻana. ʻO ka hopena, i ka wā pōkole pōkole loaʻa iā mākou nā pila liʻiliʻi, a ʻo nā mea hoʻāla e pili ana i ka manawa e hoʻomaka ai.
Ma hope o ka hoʻopau ʻana i nā ukana maʻamau i ʻApelila, mākou, e like me ka mea i manaʻo ʻia e AWS, ua komo i ke ʻano hoʻohana i kekahi manawa - i loko o ke ʻano manuahi.
Hiki iā ʻoe ke hahai i kāu mau kumukūʻai scaling like ma AWS Cost Explorer. Pono ʻoe e koho i Service - Redshift, Hoʻohana Type - CS, no ka laʻana USW2-CS:dc2.large.Hiki iāʻoe ke heluhelu hou aku e pili ana i nā kumukūʻai ma ka'ōlelo Lūkini
Source: www.habr.com