Cras maximus elementum solutiones nubes crescentis factae est sicut multiplicitas systematum distributorum augetur. Mores eorum intelligere necesse est. Opus est instrumenta scalabilia quae notitias ex omnibus officiis colligere possunt - et adhibent specialitas uno instrumento cum analysi perficiendi, erroris demonstrationis, promptibilitate et tigna.
Haec eadem instrumenta efficientia et fructuosa esse debent. In hoc articulo duos acervos populares technologias spectabimus: EFK (Elasticsearch) et PLG (Loki) eorumque architecturas et differentias examinabimus.
EFK acervus
Iam de populari ELK vel EFK audisti. ACERVUS pluribus distinctis partibus constat: Elastica (repositionis obiecti), Logstash vel FluentD (collectio et aggregatio logarum), et Kibana ad visualizationem.
Typical workflow similis est:
Elasticsearch - ceptaculum objectum distributum cum investigationibus et analyticis realibus temporis. Optima solutio pro semi-structis data ut taleae. Informatio servata est sicut documenta JSON, in indice temporis realis et trans nodos botri dispertita. Index inversus adhibetur, continens omnia verba singularia et documenta adiuncta pro plena inquisitione, quae rursus in machina investigationis Apache Lucene nititur.
FluentD decumanus est qui notitias coniungit cum eam colligens et consumit. Notitias in JSON quam maxime ordinare conatur. Architectura eius est extensibilis, plura sunt communitas pro omni occasione.
Kibana - instrumentum visualizationis datae pro Elasticsearch variis facultatibus adiectis, exempli gratia, temporis series analyseos, analysi graphi, apparatus discendi et plus.
Architectura elastica
Botrus data elastica investigationis per omnes nodos diffusa condita est. Botrus multis nodis constat ad promptibilitatem et invictionem emendandam. Quaevis nodi potest praestare omnes partes botri, sed in magnis muneribus technicis, nodi typice ad singula munera deputantur.
Botrus nodi genera:
- dominus nodi - botrum procurat, saltem tres requiruntur, unus semper activus;
- data nodi - notae indices notatae et varias functiones cum ea exercent;
- Ingest nodi - ordinat pipelines pro notitia transmutandi ante indexing;
- petitiones nodi coordinare - routing petitiones reducere, quaestionis processus periodi minuere, index communicationis coordinare;
- alerting nodi - launching alerting tasks;
- apparatus discendi nodi - apparatus discendi expediendis operibus.
Tabula infra ostendit quomodo notitia reposita est et per nodos replicatur ad altiores notitias disponibilitates consequendas.
Singulae notae figurae in inverso indice reponuntur, schema infra ostendit quomodo hoc fiat;
occasum
Details videri potest , Chare galea utar ;
$ helm install efk-stack stable/elastic-stack --set logstash.enabled=false --set fluentd.enabled=true --set fluentd-elasticsBIBLIOTHECA PLG
Noli mirari si hoc acronymum invenire non potes, quod notius est quam Grafana Loki. In casu, hic acervus popularem accipit quod probatis solutionibus technicis utitur. Iam Grafana audisti, popularis visualizationis instrumentum. Conditores eius, a Prometheo inspirati, Lokium elaboraverunt, scalam horizontalem, altae operationis systematis aggregationis. Loki indices metadata tantum, non ipsa ephemerides, solutionem technicam permittit ut facile uti et cost-efficax sit.
Promtail - Procurator ad ligna mittenda ex systemate operandi in Loki botrum. grafana instrumentum visualizationis in notitia ex Loki fundatur.
Lokius iisdem principiis cum Prometheus aedificatur, eam faciens ad congesta Kubernetes ligna accommodanda et aptanda.
Loki architectura
Lokius currere potest vel unus processus vel plures processus, permittens scalas horizontales.
Potest etiam operari vel applicatione monolithice vel ut microservici. Unius processus cursus evolutioni locali vel vigilantiae minoris utilis esse potest. Ad exsecutionem industriae et quod inposuit scalable, commendatur optione microservitii utendi. Semitae ad scribendi ac legendi notitias secernuntur, ut subtiliter modulari et escendere possit ut opus sit.
Intueamur architecturae systematis collectionis iniuriarum sine singulis perceptis:
Atque hic est descriptio (microservice architecture);
components:
Promtail - agens in nodis inauguratus (pro officiorum statuto), trabes ab operibus et accessibus Kubernetes API removet ad metadatam quae ligna tag vult obtineat. Deinde stipem emittit ad Lokium praecipuum servitium. Idem metadata destinata tagging praecepta Prometheus sustinet.
Distributor - distributor muneris ut quiddam operatur. Ad decies centena millia processus processus, notitias ineuntes sarcinas comprimens in caudices ut advenit. Plures notitiae mersae simul currunt, sed tigna unius notitiae advenientis rivi solum apparent in una earum omnibus suis caudices. Hoc in annulo editur tatis, et sequentiae hashing. Pro culpa tolerantia et redundantia, hoc fit n times (3 if not configured).
Ingester β susceptor muneris. Data caudices perveniant compressi lignis additi. Cum intercluditur satis magnitudinis, scandalum fero datorum. Metadata ad indicem accedit, et notitia ex trunco ββad Chunks (solent reposita). Post reset, acceptor novum scandalum creat ubi novae viscus adicietur.
Index β datorum, DynamoDB, Cassandra, Google BigTable, etc.
chunks β stipites in forma compressa, plerumque in repositione objecto conditae, exempli gratia, S3.
Querier β Lectio via quae facit omnia sordida opera. Tempus range et indicatione temporis spectat, tum indicem spectat ut par inveniatur. Deinde legit caudices notitiarum et percolationum eas ad exitum obtinendum.
Nunc omnia in actu videamus.
occasum
Facillima via in Kubernetes instituendi gubernaculis est adhibenda. Ponimus te iam inauguratum et configuratum ( proxime. translator)
Repositorium addere et acervum instituere.
$ helm repo add loki https://grafana.github.io/loki/charts
$ helm repo update
$ helm upgrade --install loki loki/loki-stack --set grafana.enabled=true,prometheus.enabled=true,prometheus.alertmanager.persistentVolume.enabled=false,prometheus.server.persistentVolume.enabled=falseInfra exemplum ashboardday exhibens notitias a Prometheo pro Etcd metricis et Loki pro Etcd truncis.
Nunc de architectura utriusque systematis disseramus, et earum facultates inter se conferamus.
collatio
Query lingua
Investigatio elastica utitur sermone Query DSL et Lucene interrogatione ut facultatem plenae inquisitionis praebeat. Constat, valida quaesita machina cum lato operatorium auxilio. Cum ea, congruentia per contextum ac genus quaerere potes.
In altera parte anuli est LogQL, usus in Loki, successor PromQL (Prometheus linguae interrogationis). Is utitur textoriis ad colum et lego stipes datae. Fieri potest ut aliquibus operariis et arithmeticis uti descriptis sed secundum facultates linguae Elasticae non desit.
Cum quaesita in Loki cum tags coniunguntur, facilia sunt metrice correlativorum, et consequenter faciliora sunt cum vigilantia perficiendis disponere.
scalability
Ambo acervi scalabiles horizontaliter sunt, sed Lokius faciliorem reddit quod vias legere et scribere et architecturae microform habet. Lokius nativus ad usus tuos aptari potest et ad amplissimas paginarum notitias volumina adhiberi potest.
Multitenancy
Multitenancia botrus est thema commune abbreviationis in OPEX, ambo acervi multitenantiam praebent. Plures sunt pro Elasticsearch clientis separatio: index separatus pro se clientelam, clientem fuso fundatum, agros clientis singularis, eliquas quaere. Loki has in forma HTTP X Scope OrgID header.
pecunia
Loki satis constat ex eo quod indicem data non solum metadata. Hoc facit et memoria (cache), quia ceptaculum objectum vilius est quam repositio truncus, quae in racemis elasticis investigationis adhibetur.
conclusio,
BIBLIOTHECA EFK variis propositis adhiberi potest, maximam flexibilitatem praebens ac interfaciem Kibana plumaria pro analyticis, visualizationibus et quaestionibus. Amplius augeri potest per apparatus eruditionis facultates.
Acervus Loki utilis est in ecosystem Kubernetes propter metadatae mechanismi inventionis. Notitias facile referre potes pro vigilantia secundum seriem temporis in Grafana et in lignis.
Cum ad sumptus et diuturnum tempus reposita, Loki egregium aculeum in solutiones nubeculas habet.
Plures sunt alternativae in foro - alii melius tibi. Exempli gratia, GKE integrationem Stackdriver habet quae optimam solutionem vigilantiam praebet. Eas in analysi nostra in hoc articulo non comprehendebamus.
references:
Articulus translatus est et paratus ad Habr ab operariis β cursus intensivus, cursus et cursus et corporatus disciplinae a peritioribus exercendis (Kubernetes, DevOps, Docker, Ansible, Ceph, SRE, Agile)
Source: www.habr.com