Nan Skyeng nou itilize Amazon Redshift, ki gen ladan dekale paralèl, kidonk nou te jwenn atik sa a pa Stefan Gromoll, fondatè dotgo.com, pou intermix.io enteresan. Apre tradiksyon an, yon ti kras nan eksperyans nou soti nan enjenyè done Daniyar Belkhodzhaev.
pèmèt dekale pa ajoute nouvo nœuds nan gwoup la. Bezwen nan fè fas ak yon kantite pik nan demann ka mennen nan pwovizyon twòp nan nœuds. Echèl konkou, kontrèman ak ajoute nouvo nœuds, ogmante pouvwa enfòmatik jan sa nesesè.
Echèl paralèl Amazon Redshift bay grap Redshift plis kapasite pou okipe volim pi gwo demann yo. Li travay lè w deplase demann nan nouvo gwoup "paralèl" nan background nan. Demann yo achemine dapre konfigirasyon WLM ak règ yo.
Pri paralèl dekale baze sou yon modèl kredi ak yon nivo gratis. Pi wo pase kredi gratis, peman an baze sou tan Parallel Scaling Cluster la trete demann yo.
Otè a teste dekale paralèl sou youn nan grap entèn yo. Nan pòs sa a, li pral pale sou rezilta tès yo epi bay konsèy sou kòman yo kòmanse.
Kondisyon pou gwoup
Pou itilize escalade paralèl, gwoup Amazon Redshift ou a dwe ranpli kondisyon sa yo:
- platfòm: EC2-VPC;
- kalite ne: dc2.8xlarge, ds2.8xlarge, dc2.large oswa ds2.xlarge;
- kantite nœuds: soti nan 2 a 32 (grap yon sèl ne yo pa sipòte).
Kalite demann akseptab
Echèl paralèl pa apwopriye pou tout kalite demann. Nan premye vèsyon an, li sèlman trete demann lekti ki satisfè twa kondisyon:
— Rekèt SELECT yo lekti sèlman (byenke gen plis kalite yo planifye);
— rechèch la pa fè referans a yon tablo ak style klasman INTERLEAVED la;
- Rekèt la pa sèvi ak Amazon Redshift Spectrum pou fè referans ak tab ekstèn yo.
Pou yo ka achemine nan Cluster Echèl Paralèl la, demann lan dwe mete nan keu. Anplis de sa, demann elijib pou keu la , pa pral kouri sou grap echèl paralèl.
File ak SQA mande pou konfigirasyon apwopriye . Nou rekòmande pou optimize WLM ou an premye - sa ap diminye bezwen pou dechèl paralèl. Ak sa a enpòtan paske dekale paralèl se sèlman gratis pou yon sèten kantite èdtan. AWS reklamasyon ke dechèl paralèl yo pral gratis pou 97% nan kliyan, ki mennen nou nan pwoblèm nan nan prix.
Pri dekale paralèl
AWS ofri yon modèl kredi pou dechèl paralèl. Chak grap aktif Akimile kredi chak èdtan, jiska inèdtan kredi paralèl gratis pou chak jou.
Ou peye sèlman lè itilizasyon Parallel Scaling Clusters ou depase kantite kredi ou te resevwa a.
Pri a kalkile nan yon pousantaj pou chak segonn sou demann pou yon gwoup paralèl ki itilize pi wo a pousantaj gratis la. Yo fè w peye w sèlman pou dire demann ou yo, ak yon chaj minimòm de yon minit chak fwa yo aktive yon Gwoup Echèl Paralèl. Yo kalkile pousantaj sou demann pou chak segonn ki baze sou prensip pri jeneral yo , sa vle di, sa depann de kalite ne ak kantite nœuds nan gwoup ou a.
Lanse Paralèl Echèl
Echèl paralèl deklanche pou chak keu WLM. Ale nan konsole AWS Redshift la epi chwazi Jesyon chaj travay nan meni navigasyon gòch la. Chwazi gwoup paramèt WLM gwoup ou a nan meni sa a.
Ou pral wè yon nouvo kolòn ki rele "Mode Echèl Konkou" akote chak keu. Defo a se "Enfim". Klike sou "Edit" epi ou ka chanje anviwònman yo pou chak keu.
Konfigirasyon
Echèl paralèl travay lè yo voye demann apwopriye bay nouvo gwoup devwe yo. Nouvo grap yo gen menm gwosè (kalite ak kantite nœuds) ak gwoup prensipal la.
Kantite grap yo itilize pou echèl paralèl la se youn (1), ak kapasite pou konfigirasyon jiska yon total dis (10) grap.
Pou paramèt max_concurrency_scaling_clusters yo ka fikse kantite total grap pou dechèl paralèl la. Ogmante valè paramèt sa a bay plis grap redondants.
Siveyans
Gen plizyè graf adisyonèl ki disponib nan konsole AWS Redshift la. Tablo Max Concurrency Scaling Clusters Configured la montre valè max_concurrency_scaling_clusters sou tan.
Nimewo a nan grap dekale aktif parèt nan koòdone itilizatè a nan seksyon "Aktivite Echèl Konkourans" la:
Nan tab la Rekèt, gen yon kolòn ki endike si yo te egzekite rechèch la nan gwoup prensipal la oswa nan gwoup la dechèl paralèl:
Kèlkeswa si yon rechèch patikilye te egzekite nan gwoup prensipal la oswa atravè yon grap dekale paralèl, li estoke nan stl_query.concurrency_scaling_status.
Yon valè 1 endike ke rechèch la te egzekite nan gwoup echèl paralèl la, pandan ke lòt valè endike ke li te egzekite nan gwoup prensipal la.
Egzanp:
Enfòmasyon sou echèl konkou yo estoke tou nan kèk lòt tablo ak opinyon, tankou SVCS_CONCURRENCY_SCALING_USAGE. Anplis de sa, gen yon kantite tab katalòg ki estoke enfòmasyon sou dekale paralèl.
Jwenn
Otè yo te kòmanse escalade paralèl pou yon sèl keu nan gwoup entèn la apeprè 18:30:00 GMT sou 29.03.2019/3/20. Chanje paramèt max_concurrency_scaling_clusters a 30 nan apeprè 00:29.03.2019:XNUMX sou XNUMX/XNUMX/XNUMX.
Pou simule yon keu demann, nou redwi kantite plas pou keu sa a soti nan 15 a 5.
Anba a se yon tablo tablodbò intermix.io ki montre kantite demann ki kouri ak keu apre yo fin redwi kantite fant yo.
Nou wè tan ap tann pou demann nan keu a ogmante, ak tan maksimòm nan plis pase 5 minit.
Men enfòmasyon enpòtan ki soti nan konsole AWS la sou sa ki te pase pandan tan sa a:
Redshift te lanse twa (3) grap dekale paralèl jan yo te konfiguré. Li sanble ke gwoup sa yo te underutilized, menm si anpil demann nan gwoup nou an te nan keu.
Grafik itilizasyon an gen rapò ak graf aktivite echèl la:
Apre kèk èdtan, otè yo tcheke keu a epi li te sanble ke 6 demann yo te kouri nan dechèl paralèl. Nou menm tou nou teste owaza de demann atravè koòdone itilizatè a. Nou pa t tcheke kijan pou itilize valè sa yo lè plizyè grap paralèl aktif alafwa.
Jwenn
Echèl paralèl ka diminye tan demann yo pase nan keu a pandan chaj pik yo.
Ki baze sou rezilta tès debaz la, li te tounen soti ke sitiyasyon an ak demann loading te pasyèlman amelyore. Sepandan, dekale paralèl pou kont li pa t rezoud tout pwoblèm konkou.
Sa a se akòz restriksyon sou kalite demann ki ka itilize dechèl paralèl. Pou egzanp, otè yo gen anpil tab ak kle sòt entrelaye, ak pi fò nan kantite travay nou an se ekri.
Malgre ke dekale paralèl se pa yon solisyon inivèsèl pou mete kanpe WLM, lè l sèvi avèk karakteristik sa a se senp epi dwat.
Se poutèt sa, otè a rekòmande pou itilize li pou ke moun kap kriye WLM ou yo. Kòmanse ak yon gwoup paralèl epi kontwole chaj pik atravè konsole a pou detèmine si nouvo grap yo ap itilize nèt.
Kòm AWS ajoute sipò pou lòt kalite rechèch ak tab, echèl paralèl ta dwe piti piti vin pi efikas.
Kòmantè soti nan Daniyar Belkhodzhaev, Skyeng Data Engineer
Nou menm nan Skyeng tou imedyatman remake posiblite pou émergentes dekale paralèl.
Fonksyonalite a trè atire, espesyalman konsidere ke AWS estime ke pifò itilizatè yo pa pral menm gen pou peye siplemantè pou li.Se konsa, ki te rive nan mitan mwa avril-nou te gen yon rafal etranj nan demann nan gwoup Redshift la. Pandan peryòd sa a, nou souvan te ale nan Echèl Konkou; pafwa, yon gwoup adisyonèl te travay 24 èdtan pa jou san yo pa kanpe.
Sa a te fè li posib, si se pa konplètman rezoud pwoblèm nan ak ke moun kap kriye, Lè sa a, omwen fè sitiyasyon an akseptab.
Obsèvasyon nou yo lajman kowenside ak enpresyon yo nan mesye yo nan intermix.io.
Nou te remake tou ke byenke te gen demann ap tann nan keu a, se pa tout demann yo te voye imedyatman nan gwoup paralèl la. Aparamman sa rive paske gwoup paralèl la toujou pran tan pou kòmanse. Kòm yon rezilta, pandan chaj pik kout tèm nou toujou gen ti ke moun kap kriye, ak alam korespondan yo gen tan deklanche.
Lè nou te debarase m de chaj nòmal nan mwa avril, nou, jan AWS te espere, te antre nan mòd itilizasyon okazyonèl - nan nòmal gratis la.
Ou ka swiv depans paralèl ou yo nan AWS Cost Explorer. Ou bezwen chwazi Sèvis - Redshift, Kalite Itilizasyon - CS, pou egzanp USW2-CS:dc2.large.Ou ka li plis sou pri nan Ris
Sous: www.habr.com