Apache Storm 2.0 computandi ratio praesto distributa

vidit lucem significans emissione res dispensando systema distribui Apache Storm 2.0notabilis transitus ad novam architecturam in Iava effectam loco Clojure antea adhibitam.

Exertum permittit tibi ut processus certorum eventuum in tempore reali componas. Exempli gratia, Tempestas adhiberi potest ad analysin data rivorum in tempore reali, machina discendi opera currendi, computandi continuam, deducendi RPC, ETL, etc. Systema pampineum sustinet, creatio configurationum culpae tolerantium, modo praestatur processus notitiae et effectus altus habet, sufficiens ad processum plus quam decies centena millia petitionum per alterum in nodo botri.

Integratio cum variis queue systematibus processui et technologiae datorum sustentatur. Tempestas architectura involvit recipiendi et instruendi informis, continenter renovatio notitiarum rivorum utentium processuum arbitrariorum complexorum cum facultate partitionis inter diversos calculi gradus. Consilium Apache communitati traditum est post Twitter BackType acquisitum, societas quae primum compagem amplificavit. In praxi, Tempestas in BackType adhibita est ad resolvendum reflexionem eventuum in microblogs, comparando in tweets novas et nexus in illis adhibitis (exempli gratia, aestimatum est quomodo externa nexus seu denuntiationes in Twitter editae ab aliis participantibus rescinduntur. ).

Tempestatis functionality cum Hadoop suggestu comparatur, cum praecipuo differentia sit quod notitia in horreis non condita, sed extrinsecus ingesta et in tempore reali discursum est. Tempestas non habet in strato repositorium constructum et quaestio analytica incipit applicari ad notitias advenientis, donec destruatur (dum Hadoop utitur tempore finito MapReduce jobs, Storm idea "topologies" continuo utitur. Executio tracto per plures servientes distribui potest - Tempestas automatice parallelizat opus cum filis in diversis nodis botri.

Systema in Clojure originaliter scriptum fuit et intra JVM apparatus virtualis decurrit. Fundamentum Apache inceptum migrandi Storm ad novum nucleum scriptum in Java, inceptum in emissione Apache Storm 2.0 proponuntur. Omnia elementa fundamentalia tribunalis in Java rescripta sunt. Firmamentum scriptoris tractatores in Clojure retenta est, sed nunc in forma ligaturae exhibetur. Storm 2.0.0 postulat Java 8. Exemplar processus multi-filium omnino redesignatum est, permittens consequi notabile incrementum in effectu (quia nonnulla topologiae morae per 50-80%) diminutae sunt.

Apache Storm 2.0 computandi ratio praesto distributa

Nova versio etiam novam praebet rivi API figurati qui te permittit ut tractores definias operationes programmandi stilo utentes. Novus API super basem vexillum API impletur et operationum suarum processui optimize automatis sustinet. Fenestrae API operationes fenestrae subsidium conservandae et restituendae in backend statu addidit.

Auxilia ad rationes adiectis opibus cum deliberativa non limitatur ad
CPU et memoria, ut network et GPU occasus. Magnum numerum emendationum factae sunt ut integratio cum suggestu conservetur Kafka. Accessus moderandi ratio ampliatus est ad facultatem includendi coetus administratoris et signa delegatorum creandi. Additae sunt emendationes ad SQL et metrics auxilio. Nova mandata apparuerunt in instrumento administratoris ad debugging botrum statum.

Tempestas in locis applicationis:

  • Processus rivi notitiarum novarum vel updates datorum in reali tempore;
  • Continua Computatio: Tempestas potest currere continuas inquisitiones et processus continuos rivos, processus eventus tradens clienti in tempore reali.
  • Distributa Procedure Remota Call (RPC): Tempestas adhiberi potest ad parallelas inquisitiones intensivae exsecutionis. Negotium ("topologia") in Storm munus est per nodos distributum quae exspectat nuntiis ut veniant necesse est ut discursum sit. Accepto nuntio, munus illud in contextu loci procedit et exitum revertitur. Exemplum RPC distributi usus esset ad quaerendas inquisitiones parallelas vel operationes faciendas in magna copia occidere.

Features tempestas:

  • Exemplar programmandi simplex, quod valde simplicificat processus notitias reales temporis;
  • Suscipe aliquem programmandi linguas. Moduli praesto sunt Java, Ruby et Python, aptatio aliarum linguarum facilis est gratiarum protocollo communicationis simplicissimae quae requirit circiter 100 lineas Codicis ad sustentationem;
  • Culpa tolerantiae: ad officium processus notitiae currere, fasciculum vas cum codice generare debes. Tempestas independenter hanc dolium fasciculum per nodos botri distribuet, tracto coniungens cum ea coniunget et vigilantia componet. Cum officium expletum est, signum in omnibus nodis sponte debilitatum erit;
  • Horizontalis scalabilitas. Omnia calculi modo parallelo peraguntur: augente onere, satis est novos nodos botro coniungere;
  • CONSTANTIO. Tempestas efficit ut omnis nuntius advenientis semel saltem plene discursum sit. Nuntius semel tantum procedetur si errores per omnes tracto non sunt, si difficultates oriuntur, processus irritus iterabitur conatus.
  • Celerare. Codicem tempestatis scribitur cum magna observantia in mente et systema celeriter asynchronous messaging utitur ZeroMQ.

Source: opennet.ru