Bei Skyeng benotze mir Amazon Redshift, inklusiv parallele Skala, also hu mir dësen Artikel vum Stefan Gromoll, Grënner vun dotgo.com, fir intermix.io interessant fonnt. No der Iwwersetzung, e bësse vun eiser Erfahrung vum Dateingenieur Daniyar Belkhodzhaev.
erlaabt Skaléieren andeems nei Wirbelen an de Stärekoup bäigefüügt ginn. De Besoin fir mat enger Peakzuel vun Ufroen ze këmmeren kann zu Iwwerversuergung vun Noden féieren. Concurrency Scaling, am Géigesaz zu neien Noden bäizefügen, erhéicht Rechenkraaft wéi néideg.
Amazon Redshift Parallel Skaléieren gëtt Redshift Cluster zousätzlech Kapazitéit fir Peak Ufro Volumen ze handhaben. Et funktionnéiert andeems Ufroen op nei "parallel" Cluster am Hannergrond réckelen. Ufroe ginn op Basis vun der WLM Konfiguratioun a Reegelen geréckelt.
Parallel Skaléierungspräisser baséieren op engem Kredittmodell mat engem gratis Tier. Iwwer gratis Kreditter ass d'Bezuelung baséiert op der Zäit wou de Parallel Scaling Cluster Ufroe veraarbecht.
Den Auteur huet parallele Skala op ee vun den internen Cluster getest. An dësem Post schwätzt hien iwwer d'Testresultater a gëtt Tipps fir unzefänken.
Cluster Ufuerderunge
Fir parallel Skala ze benotzen, muss Ären Amazon Redshift Cluster déi folgend Ufuerderunge erfëllen:
- Plattform: EC2-VPC;
- Node Typ: dc2.8xlarge, ds2.8xlarge, dc2.large oder ds2.xlarge;
- Zuel vun Noden: aus 2 ze 32 (eenzel Node Stärekéip sinn net ënnerstëtzt).
Akzeptabel Ufro Zorte
Parallel Skaléieren ass net gëeegent fir all Zorte vu Ufroen. An der éischter Versioun veraarbecht et nëmmen liesen Ufroen déi dräi Konditiounen erfëllen:
- SELECT Ufroe sinn nëmme liesen (obwuel méi Aarte geplangt sinn);
- d'Ufro referéiert net op en Dësch mam INTERLEAVED Sortéierungsstil;
- D'Ufro benotzt net Amazon Redshift Spectrum fir extern Dëscher ze referenzéieren.
Fir op de Parallel Scaling Cluster geréckelt ze ginn, muss d'Ufro an der Schlaang gesat ginn. Zousätzlech Ufroen, déi fir d'Schlaang berechtegt sinn , wäert net op parallel Skala Cluster lafen.
Schlaangen a SQA erfuerderen déi richteg Konfiguratioun . Mir recommandéieren Är WLM als éischt ze optimiséieren - dëst wäert d'Bedierfnes fir parallel Skaléieren reduzéieren. An dat ass wichteg, well d'Parallelskaléierung nëmme fir eng gewëssen Unzuel u Stonnen gratis ass. AWS behaapt datt parallel Skaléierung fir 97% vun de Clienten gratis ass, wat eis op d'Fro vun de Präisser bréngt.
Käschte vun parallel Skala
AWS bitt e Kredittmodell fir parallel Skaléieren. All aktive Stärekoup Accumuléiert Kreditter all Stonn, bis zu enger Stonn gratis Parallel-Scaling Credits pro Dag.
Dir bezuelt nëmmen wann Är Parallel Scaling Clusters Notzung d'Quantitéit u Krediter iwwerschreift déi Dir kritt hutt.
D'Käschte gi berechent mat engem pro Sekonn On-Demand-Taux fir e parallele Stärekoup deen iwwer dem fräie Tarif benotzt gëtt. Dir sidd nëmme berechent fir d'Dauer vun Ären Ufroen, mat engem Minimum Charge vun enger Minutt all Kéier wann e Parallel Scaling Cluster aktivéiert ass. De pro Sekonn On-Demande Taux gëtt berechent baséiert op allgemenge Präisprinzipien , dat heescht, et hänkt vun der Aart vum Node an der Unzuel vun den Noden an Ärem Cluster of.
Launch Parallel Skala
Parallel Skala gëtt fir all WLM Schlaang ausgeléist. Gitt op d'AWS Redshift Konsole a wielt Workload Management aus dem lénksen Navigatiounsmenü. Wielt Äre Cluster WLM Parameter Grupp aus dem folgenden Dropdown-Menü.
Dir gesitt eng nei Kolonn mam Numm "Concurrency Scaling Mode" nieft all Schlaang. De Standard ass "Behënnert". Klickt op "Edit" an Dir kënnt d'Astellunge fir all Schlaang änneren.
Configuratioun
Parallel Skaléieren funktionnéiert andeems se entspriechend Ufroen un nei dedizéierte Cluster weiderginn. Nei Stärekéip hunn déi selwecht Gréisst (Typ an Zuel vun Noden) wéi den Haaptcluster.
D'Standardzuel vun de Cluster, déi fir parallel Skaléieren benotzt ginn, ass een (1), mat der Fäegkeet fir bis zu insgesamt zéng (10) Cluster ze konfiguréieren.
D'total Zuel vu Stärekéip fir parallel Skaléieren kann duerch de max_concurrency_scaling_clusters Parameter gesat ginn. D'Erhéijung vum Wäert vun dësem Parameter gëtt zousätzlech redundante Cluster.
Iwwerwaachung
Et gi verschidde zousätzlech Grafike verfügbar an der AWS Redshift Konsole. D'Max Configured Concurrency Scaling Clusters Diagramm weist de Wäert vu max_concurrency_scaling_clusters iwwer Zäit.
D'Zuel vun den aktive Skaléierungscluster gëtt an der User-Interface an der Rubrik "Concurrency Scaling Activity" ugewisen:
Op der Tab Queries gëtt et eng Kolonn déi uginn ob d'Ufro am Haaptcluster oder am Parallel-Scaling-Cluster ausgefouert gouf:
Egal ob eng bestëmmte Ufro am Haaptcluster ausgefouert gouf oder duerch e parallele Skaléierungscluster, gëtt se an stl_query.concurrency_scaling_status gespäichert.
E Wäert vun 1 weist datt d'Ufro am parallele Skala Cluster ausgefouert gouf, während aner Wäerter uginn datt se am primäre Cluster ausgefouert gouf.
Beispill:
Concurrency Skaléierungsinformatioun gëtt och a verschiddenen aneren Dëscher a Meenungen gespäichert, sou wéi SVCS_CONCURRENCY_SCALING_USAGE. Zousätzlech, ginn et eng Rei vun Katalog Dëscher dass Informatiounen iwwert parallel scaling Buttek.
Resultater
D'Auteuren hunn parallel Skala fir eng Schlaang am internen Cluster ugefaang um ongeféier 18:30:00 GMT den 29.03.2019/3/20.
Fir eng Ufro Schlaang ze simuléieren, hu mir d'Zuel vun de Plaze fir dës Schlaang vu 15 op 5 reduzéiert.
Drënner ass eng intermix.io Dashboard Diagramm déi d'Zuel vun den Ufroe weist, déi lafen an an der Schlaang no der Reduktioun vun der Unzuel vun de Slots.
Mir gesinn datt d'Waardezäit fir Ufroen an der Schlaang eropgaang ass, mat der maximaler Zäit méi wéi 5 Minutten.
Hei ass déi relevant Informatioun vun der AWS Konsol iwwer wat während dëser Zäit geschitt ass:
Redshift lancéiert dräi (3) parallel Skala Cluster wéi konfiguréiert. Et schéngt, datt dës Cluster ënnerbenotzt goufen, obwuel vill Ufroen an eisem Cluster an der Schlaang stoungen.
D'Benotzungsgrafik korreléiert mat der Skaléierungsaktivitéitsgrafik:
No e puer Stonnen hunn d'Auteuren d'Schlaang iwwerpréift an et huet ausgesinn wéi 6 Ufroe mat parallele Skala lafen. Mir hunn och zoufälleg zwou Ufroen duerch d'Benotzerinterface getest. Mir hunn net gepréift wéi Dir dës Wäerter benotzt wann e puer parallel Cluster gläichzäiteg aktiv sinn.
Conclusiounen
Parallel Skala kann d'Zäitufroe reduzéieren, déi an der Schlaang verbréngen während Spëtzlaascht.
Baséierend op d'Resultater vum Basistest huet sech erausgestallt datt d'Situatioun mat Luedefuerderungen deelweis verbessert gouf. Wéi och ëmmer, d'Parallelskaléierung eleng huet net all Konkurrenzproblemer geléist.
Dëst ass wéinst Restriktiounen op d'Zorte vu Ufroen déi parallele Skala benotze kënnen. Zum Beispill, hunn d'Auteuren vill Dëscher mat interleaved Zort Schlësselen, an déi meescht vun eiser Aarbechtslaascht schreiwen.
Och wann parallel Skala keng universell Léisung ass fir WLM opzestellen, ass dës Feature einfach an einfach ze benotzen.
Dofir recommandéiert den Auteur et fir Är WLM Schlaangen ze benotzen. Fänkt mat engem parallele Stärekoup un an iwwerwaacht d'Speakslast duerch d'Konsole fir ze bestëmmen ob déi nei Stärekéip voll genotzt ginn.
Wéi AWS Ënnerstëtzung fir zousätzlech Ufrotypen an Dëscher bäidréit, sollt d'Parallelskaléierung lues a lues méi a méi effizient ginn.
Kommentar vum Daniyar Belkhodzhaev, Skyeng Data Engineer
Mir op Skyeng hunn och direkt déi entstanen Méiglechkeet vu parallele Skala gemierkt.
D'Funktionalitéit ass ganz attraktiv, besonnesch wann Dir bedenkt datt AWS schätzt datt déi meescht Benotzer net emol extra dofir musse bezuelen.Et ass sou geschitt, datt mir Mëtt Abrëll eng ongewéinlech Flurry vun Ufroen un de Redshift-Cluster haten. Wärend dëser Period hu mir dacks op Concurrency Scaling zréckgezunn; heiansdo huet en zousätzleche Cluster 24 Stonnen den Dag geschafft ouni ze stoppen.
Dëst huet et méiglech gemaach, wann net de Problem mat Schlaangen komplett ze léisen, dann op d'mannst d'Situatioun akzeptabel ze maachen.
Eis Observatioune stëmmen gréisstendeels mat den Andréck vun de Kärelen aus intermix.io zesummen.
Mir hunn och gemierkt, datt obwuel et Demanden an der Schlaang waarden, net all Demanden direkt un de parallele Cluster weidergeleet ginn. Anscheinend geschitt dat well de parallele Stärekoup nach Zäit brauch fir ze starten. Als Resultat hu mir während kuerzfristeg Spëtzlasten nach ëmmer kleng Schlaangen, an déi entspriechend Alarmer hunn Zäit fir auszeléisen.
Nodeems mir am Abrëll vun onnormale Lasten entlooss sinn, si mir, wéi AWS erwaart, an de gelegentleche Gebrauchsmodus agaangen - bannent der gratis Norm.
Dir kënnt Är parallel Skaléierungskäschte am AWS Cost Explorer verfollegen. Dir musst Service wielen - Redshift, Benotzen Typ - CS, zum Beispill USW2-CS: dc2.large.Dir kënnt méi iwwer Präisser op Russesch liesen
Source: will.com