Apud Skyeng utimur Amazon Redshift, inclusis scalis parallelis, invenimus hunc articulum ab Stefan Gromoll, fundatore dotgo.com, pro intermix.io interesting. Post versionem, parum experientiae nostrae datae fectum Daniyar Belkhodzhaev.
scalas addendo nodos novos in botro concedit. Necessitas cum summo numero petitionum obire potest ad nimium providendum nodis. Concurrency Scaling, ut novis nodis additis opponitur, vim computandi auget prout opus est.
Amazon Redshift scalae parallelae dat Redshift racemis additional facultatem ad tractandi apicem petentibus voluminibus. Permovendo petitiones ad novas ligaturas "parallel" in curriculo operatur. Petitiones fusae sunt in WLM configuratione et secundum regulas.
Morbi cursus sapien parallela scalae fidei exemplar cum libero ordine innititur. Supra credita gratuita, solutio innititur tempore Paralleli Scaling Cluster processuum petitionum.
Parallelas scalas in una racemi interni probatus auctor. In hac statione, loquetur de proventi testiculorum et de labris dabit in quam incipias.
Botrus requisita
Ad scalas parallelas utendum, tuus Botrus Amazon Redshift sequenti requisita occurrere debent;
β Rostra; EC2-VPC;
- nodi genus: dc2.8xlarge, ds2.8xlarge, dc2.large vel ds2.xlarge;
- numerus nodis; a 2 ad 32 ( racemi nodi singuli non sustinentur).
Types gratum petitionem
Parallela erigi non convenit omnibus quaestionibus generibus. In prima versione, hoc solum legitur processuum petitionum quae tres condiciones satisfaciunt;
β SELECT queries leguntur solum (quamvis plura genera disponantur);
- quaesitio non refert mensam cum stilo interpositi;
- Quaestio non utitur Imaginis Amazonum Redshift ad tabulas externas referendas.
Ad Parallel Scaling Cluster fusi, petitio sit amet. Accedit, queries eligibile queue nec currunt par- libus racemis.
Queues et SQA propria configuratione requirere . Commendamus optimizinger tuam WLM primum - hoc opus erit scalae parallelae reducendae. Et hoc magni momenti est quod scala parallela per certum numerum horarum tantum vacat. AWS affirmat parallelam scalam liberam fore 97% clientium, quae nos ad exitum pretium cursus ducit.
Sumptus parallelae scalae
AWS fidem praebet exemplar ad scalas parallelas. Quisque active botrum portassent Horas credit accumulat, usque ad unam horam liberae per diem scalarum parallelarum creditarum.
Sola solve cum usus tuos Psalter Scaling Clusters excedit quantitatem creditorum quam accepisti.
Sumptus computatur pro secundo per-postulo rate pro botro parallelo, qui supra gratis usus est. Tu modo petitionum tuarum onerasti, cum minimum unius minuti oneris Parallelis Scaling Botri reducitur. Per-secundo rate de-postulatio computata est in principiis generalibus Morbi cursus sapien id est, in racemo nodi et numero nodis dependet.
Deductio Parallel Scaling
Parallela scalis urguetur pro quolibet WLM queue. Ite ad AWS Redshift consolatorium et selectum quod inposuit Management e menu navigationis sinistra. Botri WLM globi parametri selige e tabula sequenti menu.
Novam columnam videbis quae "Concurrency Scaling Modus" iuxta singulas queue vocatus est. Default est "Disabled". Preme "Edere" et mutare potes occasus pro singulis queue.
configuratione
Parallela scandentes opera, postulationes aptas promovendo ad racemos novos dedicatos. Botri novae magnitudinem eandem habent (nodorum genus et numerum) ac botrus principalis.
Defectus botri numerus ad scalas parallelas unus est (1), cum facultate configurandi usque ad totalem decem ligaturas (10).
Totalis numerus botri ad scalas parallelas a modulo max_concurrency_scaling_clusters apponi potest. Valor augens huius parametri praebet additamenta uvarum redundantium.
Cras
Plures graphes additi praesto sunt in AWS Redshift consolatorium. Max Configuratus Concurrency Scaling Clusters chart valorem max_concurrency_scaling_clusters supra tempus ostendit.
Numerus botrorum activorum in scalis interfaciei usoris ostenditur in sectione "Concurrency Scaling Activity":
In Tabulis Queries, exstat columna indicans quaesitum utrum in glomerulo principali an in glotro parallelo scalis agatur;
Neglegens utrum certa quaedam quaestio in botro principali vel per parallelam botrum scalam exsecuta sit, in stl_query.concurrency_scaling_status reponitur.
Valor 1 indicat interrogationem in botro parallelo consecutam esse, cum alii valores in botro primitivo exsecutus esse indicant.
exempli gratia:
Concurrency scalis informationes etiam in quibusdam aliis tabulis ac sententiis conditur, ut SVCS_CONCURRENCY_SCALING_USAGE. Praeterea sunt plures tabulae catalogi quae informationes circa scalas parallelas reponunt.
Π Π΅Π·ΡΠ»ΡΡΠ°ΡΡ
Auctores parallelam scalam unam queue in botro interno inceperunt circiter 18:30:00 GMT in 29.03.2019/3/20. Mutaverunt modulum max_concurrency_scaling_clustrorum ad 30 circiter 00:29.03.2019:XNUMX in XNUMX/XNUMX/XNUMX.
Simulare petitionem queue, numerum foraminum huius queue ab 15 ad 5 reducimus.
Infra est intermix.io ashboardday chartula numerum petitionum currentium et queuentem post reducendo numerum foraminum ostendens.
Videmus tempus exspectationis petitionum in queue crevisse, cum maximum tempus plus quam 5 minuta esset.
Huc pertinet notitia ex AWS console de iis quae hoc tempore acciderunt:
Redshift deducti tres (3) racemis parallelis scandendo sicut configurati. Apparet has racemos deminutos esse, quamquam multae petitiones in botro nostro eduntur.
Usus graphi habet scalam activitatem graphi:
Post aliquot horas auctores queue deprimebant et quasi sex petitiones ad scalas parallelas concurrebant. Etiam duas petitiones per interface usoris passim temptavimus. Non repressimus quomodo his valores utamur, cum plures uvae parallelae simul activae sint.
Inventiones
Parallel erigi potest tempus petitiones reducere in queue per apicem carra expendere.
Fundamentalis eventus probationis fundatus est, evenit condicionem postulationibus oneratisque partim meliorem esse. Sola tamen parallela scala omnes difficultates concursus non solvit.
Hoc accidit propter restrictiones in speciebus queriarum quae scalae parallelae uti possunt. Exempli causa, auctores multas tabulas habent cum clauibus evolutarum, et plerique nostri inposuit scribens.
Quamvis scalae parallelae universalis non sit solutio ad constituendum WLM, haec factura simplex et aperta est.
Auctor igitur pro tuis WLM queues utens suadet. Incipere uno botro parallelo et monitori cacuminis onere per consolatorium determinare si novae botri plene adhibentur.
Cum AWS subsidia additis interrogationis generibus et tabulis additis, scalae parallelae paulatim magis magisque fiant.
Commentum ex Daniyar Belkhodzhaev, Skyeng Data Engineer
Nos ad Skyeng statim animadvertimus emergentem facultatem scalae parallelae.
Suavissima est functionalitas, praesertim cum considerans AWS existimat maxime utentes ne extra solvere pro ea.Accidit ut in medio Aprili insolitum tumultus petitionum Redshift botrum haberemus. Hoc tempore saepe ad Concurrency Scaling frequentavimus, interdum botrus additus 24 horas per diem sine intermissione laborabat.
Hoc effecit, si quaestionem cum queuis non omnino solvere, saltem condicionem acceptabilem reddere.
Observationes nostrae cum impressionibus latinarum intermix.io multum coincidunt.
Etiam animadvertimus quod, licet petitiones in queue exspectantes essent, omnes petitiones non statim ad botrum parallelum transmittantur. Hoc videtur fieri, quia botrus parallelus adhuc incipit tempus. Quam ob rem, in brevi termino cacumina onera parva adhuc queues habemus, et congruentes terrores felis tempus habent.
Abnormalibus oneribus exactis mense Aprili, nos, ut AWS exspectavimus, usum occasionalem intravimus, intra liberam normam.
Investigare potes scalam parallelam gratuitam in AWS Cost Explorer. Opus est ut servitutem deligeas - Redshift, Syntaxis Type - CS, exempli gratia USW2-CS:dc2.large.Plus legere potes de prices in Russian
Source: www.habr.com