Servo systemata analytica

Haec est secunda pars seriei articulorum circa systemata analytica (ad partem I ").

Hodie dubium non est quin accurata processus notitiarum et eventuum interpretatio prope omne genus negotii iuvare possit. Hac in re, systemata analytica magis ac magis onerata parametris augentur, numerus triggers et usus eventus in applicationibus augetur.
Propter hoc, societates suas analystae magis ac magis "rudis" informationes dant ad resolvendum et in rectas decisiones vertere. Momentum systematis analyticorum pro societate minoris aestimari non debet, et ipsa ratio certa et sustineri debet.

Clientem analystae

Analytica clientis servitium est quod societas pro suo situ vel applicatione per officialem SDK coniungit, eam in suum codicem integrat, et triggers eventum eligit. Hic accessus manifestam incommodum habet: omnes notitiae collectae non possunt plene processi modo, ob limites cuiuslibet servitii electi. Exempli gratia, in una systemate MapReduce munia non facile erit currere, in alia exemplar tuum currere non poteris. Aliud incommodum erit libellum pro servitiis regularis (impressive) .
Multae clientelae solutiones analyticae in foro, sed serius vel serius, analysts prae se ferunt, quod nemo universalis ministerii ad aliquod opus aptus est (dum pretia pro omnibus his officiis constanter crescant). In tali condicione, societates saepe constituunt suam analyticam systema creare cum omnibus necessariis consuetudinibus et occasus et lineamenta.

Servo Analystae

Servo-parte analytica servitium est quod intrinsecus explicari potest in servitoribus societatis propriis et in domo. In hoc exemplari, omnes usores eventus ab internis ministris reponuntur, permittens tincidunt temptare varias databases pro repono et commodissimam architecturam eligere. Et si adhuc vis uti tertia parte clientis-parte analytica pro aliquibus operibus, adhuc erit possibilis.
Servo-parte analytica duobus modis explicari potest. Primum: elige aliquod apertum fontem utilitates, eas in machinis tuis explica et logicam negotiationem explica.

Плюсы
Минусы

Potes domicilii quod
Saepe difficillimum et separatum tincidunt requiruntur

Secundo: officia Saas (Amazon, Google, Azure) accipias pro ea tibi explicandi. De saas in tertia parte fusius loquemur.

Плюсы
Минусы

Mediis voluminibus vilior esse potest, sed magno cum incremento adhuc nimis carus fiet
Non possum moderari omnes parametri

Administratio tota transfertur ad umeros servitii provisor
Non semper notum est quid intra servitium sit (ne opus sit)

Quomodo colligere servo analytica

Si analytica clientis uti volumus et nostra aedificamus, in primis opus est ut de architectura novae systematis cogitandum sit. Infra dicam gradatim quid debes considerare, quare singulis gradibus opus sit, et quibus instrumentis uti possis.

1. Data acquisition

Quemadmodum in analyticis huius clientis, imprimis, societas analystarum rerum rationes eligit, quas ulterius studere cupiunt et eas in album colligere. Solet haec eventa quodam ordine accidere, qui "res gestae" appellatur.
Praeterea fingamus mobile applicationem (wesite) ordinarios utentes (machinas) et multos ministros habere. Ut eventus ab machinis ad ministrantibus secure transferat, opus est strato intermedio. Secundum architecturae variae res variae queues fieri possunt.
Apache Kafka - eam pub/sub queuequae ponitur pro rebus colligendis queue.

secundum post in Quora anno 2014, auctor Apache Kafka voluit nominare programmatum post Franz Kafka quod "ratio scriptoris optimized" et quia scripta Kafka amabat. - Vicipaedia

In nostro exemplo multae notitiae effectrix et eorum consumptores (machina et servientes), et Kafka adiuvat eas inter se coniungere. Consumentes fusius describentur in gradibus proximis, ubi actores principales erunt. Nunc solum notitiarum effectrix (eventorum) considerabimus.
Kafka conceptus encapsulat queue et partitione, de quo specialius melius alibi legitur (exem. documentum). Quin in singularia pergamus, cogitemus mobilem applicationem ad duas rationes operandi diversas deduci. Tunc unaquaeque litera suum eventum separatum efficit rivum. Rerum gestarum effectores Kafka mittunt, in apto queue notantur.

(imago hic)

Eodem tempore, Kafka permittit te legere in chunkis et processus rerum in mini-batches fluere. Kafka instrumentum commodissimum est quod bene librat in necessitatibus crescentibus (exempli gratia per geolocation eventus).
Solet una testa satis est, sed res magis implicatae sunt communicationis cum scalis (ut semper). Probabiliter nemo vult ut una tantum corporis testa in productione uti velit, cum architectonica sit culpa tolerabilis. Praeter Kafka, alia nota solutio est - RabbitMQ. Non usi sumus ea in productione ut queue pro eventu analyticorum (si experientiam habes, dic nobis de illo in commentis!). Sed AWS Kinesis usus est.

Priusquam ad gradum proximum progrediamur, unus plus iacuit additiciorum systematis memorandus est - tabularum tabularum rudium. Haec iacuit amet non, sed utile erit in casu aliquid errat et eventus queues in Kafka ad nihilum sunt reset. Tigna rudis thesauraria implicatam et pretiosam solutionem non requirit, simpliciter alicubi eas scribere potes in recto ordine (usque ad difficile coegi).

2. tractantem res fluminum

Postquam eventus omnia paravimus et in congruis queues collocavimus, ad processum gradum progredimur. Hic loquar de duabus optionibus maxime communibus processui.
Prima optio est ut scintillae in systemate Apache streaming. Omnes products Apache in HDFS vivunt, securam tabulae rationem imaginem. Scintilla Streaming instrumentum ad usum facilem est, qui notitias et squamas processit fluentes bene. Sed ponere difficile est.
Alia optio est tracto eventum tuum aedificare. Ad hoc, exempli gratia, applicatione Pythone scribenda est, in navale aedifica, et Kafka stantibus inscribe. Cum triggers venerint ad tracto in de nave, processus incipiet. Hac ratione, necesse est ut semper applicationes currendo contineas.
Ponamus nos unam ex optionibus suprascriptis elegisse et ad ipsum processum procedere. Processus initium annotando validitatem notitiarum, purgamenta et eventus "fractis" percolandis. Ad sanationem plerumque uti tria Cerberus ora. Deinde, notitia destinata fieri potest: notitia e diversis fontibus normalizata et normata ut mensae communi addatur.

3. Database

Tertius gradus est eventus servare normalized. Cum operando systema analytico parato factum, saepe ad eos accedere debebimus, ergo interest datorum opportunorum eligere.
Si notitia fixa schematis bene convenit, eligere potes clickhouse vel aliqua alia columna datorum. Itaque collectiones celerrime operabuntur. In downside est propositum rigide fixum ideoque non laborabit obiectis arbitrariis sine elegantia addere (exempli gratia, cum eventus non-commodus occurrit). Aenean ultricies at ipsum id efficitur.
Pro notitia informis, potes accipere NoSQL, exempli gratia, Feminae Cassandrae Fidelis Apache. Currit in HDFS, bene replicat, multas res erigere potes, et culpa toleratur.
Simplicius aliquid erigere potes, e.g. MongoDB. Etiam in parvis voluminibus satis lentum est. Sed plus est quod est valde simplex et per consequens conveniens ad principium.

4. Aggregationes

Omnibus eventibus diligenter servatis, omnia magnalia informationes colligere volumus ex massa, quae venit et datorum renovationem. Globally, all'dashboards et metrice pertinere volumus. Exempli causa, ex eventibus profile usoris colligere et mores quodammodo metiri. Eventus aggregata, collecta et servata (iam in tabulis usoribus). Eodem tempore potest systema construere ita ut filtrum etiam aggregatori coordinatori coniungatur: utentes colligere ex quodam eventuum genere.
Post hoc, si aliquis in turma eget nisi summus gradus analyticorum, potes coniungere systemata analytica externa. Mixpanel iterum accipere potes. sed cum sit satis carus, non omnes usores ibi mittuntur, sed tantum necessarii. Ad hoc efficiendum coordinatorem necesse est ut res rudis aliquas transferat vel aliquid, quod nos antea ad systemata externa, APIs vel suggesta vendo, aggregavimus.

5. Frontend

Opus est frontem ad systema creatum coniungere. Exemplum bonum est servitium. redash, est GUI datorum qui tabulas construere adiuvat. Quomodo opera commercio:

1. Usor quaestionem SQL facit.
2. Respondens signum accipit.
3. Creat 'novam visualizationem' pro eo et accipit graphum pulchrum quem te ipsum servare iam potes.

Visualizationes in servitio auto-updating sunt, configurare potes et vigilantia tua indagare. Redash libera est, in casu sui hospitii, sed sicut Saas $50 per mensem constabit.

conclusio,

Peractis omnibus supernis gradibus, analytica ministrantem creabis. Lorem note hoc non tam facile quam analyticorum clientem coniungens, quia omnia in tuo proprio conformanda sunt. Priusquam igitur rationem tuam creando, comparanda est necessitas gravis systematis analyticorum cum facultatibus quas ad eam collocare parati estis.
Si omnia mathematica fecisti et inventa sunt impensas nimis altas, in altera parte dicam quomodo viliorem versionem analyticam posteriorem facere faciam.

Gratias legendi! Libenter interrogationibus ineo.

Source: www.habr.com