Ao amin'ny Skyeng dia mampiasa Amazon Redshift izahay, anisan'izany ny scaling parallèle, ka hitanay ity lahatsoratra nosoratan'i Stefan Gromoll, mpanorina ny dotgo.com, ho intermix.io mahaliana. Taorian'ny fandikan-teny, kely ny traikefanay avy amin'ny injeniera data Daniyar Belkhodzhaev.
mamela scaling amin'ny alalan'ny fampidirana nodes vaovao amin'ny cluster. Ny filàna ny fiatrehana ny isan'ny fangatahana be indrindra dia mety hitarika ho amin'ny fanomezana be loatra ny nodes. Concurrency Scaling, mifanohitra amin'ny fampidirana nodes vaovao, dia mampitombo ny herin'ny computing raha ilaina.
Ny fanamafisam-peo mifanitsy amin'ny Amazon Redshift dia manome fahafaha-manao fanampiny ho an'ny kluster Redshift hiatrehana ny habetsaky ny fangatahana ambony indrindra. Izy io dia miasa amin'ny alàlan'ny famindrana fangatahana amin'ny clusters "parallèle" vaovao ao ambadika. Ny fangatahana dia alefa mifototra amin'ny fikirakirana sy fitsipika WLM.
Mifototra amin'ny maodely crédit miaraka amin'ny ambaratonga maimaim-poana ny vidin'ny scaling parallèle. Ambonin'ny crédit maimaim-poana, ny fandoavam-bola dia mifototra amin'ny fotoana angatahin'ny Cluster Parallel Scaling.
Ny mpanoratra dia nanandrana scaling parallèle tamin'ny iray amin'ireo cluster anatiny. Amin'ity lahatsoratra ity dia hiresaka momba ny valin'ny fitsapana izy ary hanome torohevitra momba ny fomba hanombohana.
Fitakiana vondrona
Mba hampiasana scaling parallèle dia tsy maintsy mahafeno ireto fepetra manaraka ireto ny cluster Amazon Redshift anao:
- sehatra: EC2-VPC;
- karazana node: dc2.8xlarge, ds2.8xlarge, dc2.large na ds2.xlarge;
- isan'ny nodes: manomboka amin'ny 2 ka hatramin'ny 32 (tsy tohana ny cluster node tokana).
Karazana fangatahana azo ekena
Tsy mety amin'ny karazana fanontaniana rehetra ny scaling parallèle. Ao amin'ny dikan-teny voalohany, ny fangatahana famakiana izay mahafeno fepetra telo ihany:
- Ny fanontaniana SELECT dia vakiana fotsiny (na dia maro kokoa aza ny karazana nomanina);
- ny fanontaniana dia tsy manondro latabatra misy ny fomba fanasokajiana INTERLEAVED;
- Ny fanontaniana dia tsy mampiasa Amazon Redshift Spectrum hanondro latabatra ivelany.
Raha te halefa any amin'ny Cluster Parallel Scaling dia mila milahatra ny fangatahana. Fanampin'izany, fanontaniana mendrika ho an'ny filaharana , tsy hihazakazaka amin'ny cluster mizana mizana.
Ny filaharana sy ny SQA dia mitaky fanitsiana mety . Manoro hevitra ny hanatsara ny WLM-nao aloha izahay - hampihena ny filana scaling mifanitsy izany. Ary zava-dehibe izany satria maimaim-poana mandritra ny ora maromaro ihany ny fanamafisam-peo parallèle. AWS dia milaza fa ny scaling parallèle dia ho maimaim-poana ho an'ny 97% amin'ny mpanjifa, izay mitondra antsika amin'ny resaka vidiny.
Vidin'ny scaling parallèle
AWS dia manolotra modely fampindramam-bola ho an'ny scaling parallèle. Ny kluster mavitrika tsirairay Manangona crédit isan'ora, hatramin'ny adiny iray amin'ny crédit scaling parallèle maimaimpoana isan'andro.
Mandoa ihany ianao rehefa mihoatra ny habetsaky ny trosa azonao ny fampiasanao Clusters Parallel Scaling.
Ny vidiny dia kajy amin'ny tahan'ny isan-tsegondra amin'ny fangatahana ho an'ny cluster mirazotra izay ampiasaina mihoatra ny tahan'ny maimaim-poana. Amin'ny faharetan'ny fangatahanao ihany no andoavam-bola anao, miaraka amin'ny fiampangana farafahakeliny iray minitra isaky ny mihetsika ny Cluster Parallel Scaling. Ny tahan'ny isan-tsegondra amin'ny fangatahana dia kajy mifototra amin'ny fitsipiky ny vidiny ankapobeny , izany hoe miankina amin'ny karazana node sy ny isan'ny node ao amin'ny cluster-nao izany.
Famoahana ny parallèle Scaling
Ny scaling parallèle dia atomboka ho an'ny filaharana WLM tsirairay. Mandehana any amin'ny console AWS Redshift ary mifidiana Workload Management avy amin'ny menio fitetezana havia. Safidio ny vondrona parameter WLM an'ny klustero avy amin'ny menio midina manaraka.
Hahita tsanganana vaovao antsoina hoe "Concurrency Scaling Mode" eo akaikin'ny filaharana tsirairay ianao. Ny default dia "Disabled". Kitiho ny "Edit" ary azonao atao ny manova ny filaharana isaky ny filaharana.
fanahafana
Ny scaling parallèle dia miasa amin'ny alàlan'ny fandefasana fangatahana sahaza ho an'ny cluster vaovao voatokana. Ny cluster vaovao dia mitovy habe (karazana sy isan'ny nodes) amin'ny cluster lehibe.
Iray (1) ny isan'ny kluster ampiasaina amin'ny fanamafisam-peo mifanitsy, izay afaka mamolavola hatramin'ny fitambaran'ny kluster folo (10).
Ny fitambaran'ny isan'ny cluster ho an'ny scaling mifanitsy dia azo apetraka amin'ny mason'ny max_concurrency_scaling_clusters. Ny fampitomboana ny sandan'ity mari-pamantarana ity dia manome kluster fanampiny fanampiny.
fanaraha-maso
Misy tabilao fanampiny maromaro azo alaina ao amin'ny console AWS Redshift. Ny tabilao Max Concurrency Scaling Clusters dia mampiseho ny sandan'ny max_concurrency_scaling_clusters rehefa mandeha ny fotoana.
Aseho ao amin'ny seha-pifaneraseran'ny mpampiasa ao amin'ny fizarana "Concurrency Scaling Activity" ny isan'ny clusters mavitrika:
Ao amin'ny tabilao Queries, misy tsanganana manondro raha toa ka natao tao amin'ny cluster lehibe ny fangatahana na tao amin'ny cluster scaling parallèle:
Na inona na inona fanontaniana iray natao tao amin'ny cluster lehibe na tamin'ny alàlan'ny cluster scaling mifanitsy, dia voatahiry ao amin'ny stl_query.concurrency_scaling_status.
Ny sanda 1 dia manondro fa ny fangatahana dia natao tao amin'ny cluster parallèle, fa ny soatoavina hafa kosa dia manondro fa natao tao amin'ny cluster voalohany izany.
ohatra:
Voatahiry ao amin'ny tabilao sy fijery hafa ihany koa ny fampahafantarana momba ny fampifanarahana, toy ny SVCS_CONCURRENCY_SCALING_USAGE. Ankoatra izany, misy tabilao katalaogy maromaro mitahiry vaovao momba ny scaling parallèle.
vokatra
Nanomboka scaling parallèle ho an'ny filaharana iray ao amin'ny kluster anatiny ny mpanoratra tamin'ny 18:30:00 GMT tamin'ny 29.03.2019/3/20. Nanova ny mari-pamantarana max_concurrency_scaling_clusters ho 30 tamin'ny 00:29.03.2019:XNUMX tamin'ny XNUMX/XNUMX/XNUMX.
Mba hanamafisana ny filaharana fangatahana dia nahenay ho 15 ny isan'ny slot ho an'ity filaharana ity.
Ity ambany ity ny tabilao dashboard intermix.io mampiseho ny isan'ny fangatahana mandeha sy milahatra rehefa avy nampihena ny isan'ny slot.
Hitanay fa nitombo ny fotoana fiandrasana ny fangatahana amin'ny filaharana, ka mihoatra ny 5 minitra ny fotoana ambony indrindra.
Ity ny fampahalalana mifandraika amin'ny console AWS momba ny zava-nitranga nandritra io fotoana io:
Redshift dia namoaka cluster scaling parallèle telo (3) araka ny namboarina. Hita fa tsy nampiasaina firy ireo cluster ireo, na dia nilahatra maro aza ny fangatahana tao amin'ny cluster.
Ny kisary fampiasana dia mifamatotra amin'ny kisary hetsika fanamafisam-peo:
Taorian'ny ora vitsivitsy, nanamarina ny filaharana ny mpanoratra ary toa fangatahana 6 no mandeha amin'ny scaling parallèle. Nanandrana fangatahana roa ihany koa izahay tamin'ny alàlan'ny interface interface. Tsy nandinika ny fomba fampiasana ireo soatoavina ireo izahay rehefa misy kluster mifanitsy amin'ny fotoana iray.
hitany
Ny fanamafisam-peo parallèle dia afaka mampihena ny fotoana lany amin'ny filaharana mandritra ny enta-mavesatra be indrindra.
Raha ny valin'ny fitsapana fototra dia hita fa nihatsara amin'ny ampahany ny toe-javatra misy ny fangatahana entana. Na izany aza, ny scaling parallèle fotsiny dia tsy namaha ny olana rehetra momba ny concurrency.
Izany dia noho ny famerana ny karazana fanontaniana izay afaka mampiasa scaling parallèle. Ohatra, ny mpanoratra dia manana latabatra maro misy fanalahidin'ny karazana interleaved, ary ny ankamaroan'ny asantsika dia ny fanoratana.
Na dia tsy vahaolana manerantany ho an'ny fametrahana WLM aza ny fanamafisam-peo parallèle, dia tsotra sy tsotra ny fampiasana an'io endri-javatra io.
Noho izany, ny mpanoratra dia manoro hevitra ny hampiasa azy io amin'ny filaharanao WLM. Atombohy amin'ny cluster mirazotra iray ary manara-maso ny enta-mavesatra amin'ny alàlan'ny console mba hamaritana raha ampiasaina tanteraka ireo cluster vaovao.
Satria manampy ny AWS amin'ny karazana fanontaniana sy tabilao fanampiny, dia tokony hahomby tsikelikely ny fanamafisam-peo parallèle.
Fanehoan-kevitra avy amin'i Daniyar Belkhodzhaev, Skyeng Data Engineer
Izahay ato amin'ny Skyeng dia nahatsikaritra avy hatrany ny mety hisian'ny scaling parallèle.
Tena manintona ny fiasa, indrindra raha jerena fa ny AWS dia manombatombana fa ny ankamaroan'ny mpampiasa dia tsy mila mandoa vola fanampiny akory.Nitranga izany fa tamin'ny tapaky ny volana aprily dia nisy fangatahana tsy fahita firy tamin'ny cluster Redshift. Nandritra io vanim-potoana io, matetika izahay no nampiasa Concurrency Scaling; indraindray misy cluster fanampiny miasa 24 ora isan'andro tsy mijanona.
Izany no nahatonga izany, raha tsy namaha tanteraka ny olana amin'ny filaharana, dia farafaharatsiny mba hahatonga ny toe-javatra ho azo ekena.
Ny fandinihanay dia mifanandrify indrindra amin'ny fihetseham-pon'ireo lehilahy avy amin'ny intermix.io.
Tsikaritra ihany koa fa na dia nisy aza ny fangatahana niandry teo amin'ny filaharana, tsy ny fangatahana rehetra no nalefa avy hatrany tany amin'ny cluster parallèle. Toa mitranga izany satria mbola mila fotoana hanombohana ny cluster parallèle. Vokatr'izany dia mbola manana filaharana kely isika mandritra ny fotoana mavesatra be tampony, ary manana fotoana hanombohan'ny fanairana mifanaraka amin'izany.
Rehefa nanala ireo entana tsy ara-dalàna tamin'ny volana aprily izahay, araka ny nantenain'ny AWS, dia niditra tamin'ny fomba fampiasana tsindraindray - tao anatin'ny fenitra maimaim-poana.
Azonao atao ny manara-maso ny vidin'ny scaling mitovy amin'ny AWS Cost Explorer. Mila misafidy Service - Redshift, Type Usage - CS ianao, ohatra USW2-CS:dc2.large.Afaka mamaky bebe kokoa momba ny vidiny amin'ny teny Rosiana ianao
Source: www.habr.com