Hola, em dic Eugene, sóc cap d'equip B2B a Citymobil. Una de les tasques del nostre equip és donar suport a les integracions per demanar un taxi als socis, i per garantir un servei estable, sempre hem d'entendre què passa als nostres microserveis. I per a això cal controlar constantment els registres.
A Citymobil, fem servir la pila ELK (ElasticSearch, Logstash, Kibana) per treballar amb registres, i la quantitat de dades que hi arriben és enorme. Trobar problemes en aquesta massa de peticions que poden aparèixer després del desplegament del nou codi és força difícil. I per a la seva identificació visual, Kibana té una secció de Dashboard.
Hi ha molts articles sobre Habré amb exemples de com configurar una pila ELK per rebre i emmagatzemar dades, però no hi ha materials rellevants per crear un tauler. Per tant, vull mostrar com crear una representació visual de dades basada en els registres entrants a Kibana.
ajust
Per fer-ho més clar, vaig crear una imatge de Docker amb ELK i Filebeat. I es posa en un recipient un petit a Go, que per al nostre exemple generarà registres de proves. No descriuré amb detall la configuració d'ELK, hi ha prou escrit sobre això a Habré.
Clonar el repositori de configuració docker-compose i la configuració d'ELK i inicieu-la amb l'ordre docker-compose up. No afegir una clau intencionadament -dper veure el progrés de la pila ELK.
git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up
Si tot està configurat correctament, veurem una entrada als registres (potser no immediatament, el procés de llançament d'un contenidor amb tota la pila pot trigar uns quants minuts):
{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}
direcció localhost:5061 Kibana hauria d'obrir.
L'únic que hem de configurar és crear un patró d'índex per a Kibana amb informació sobre quines dades mostrar. Per fer-ho, executarem una sol·licitud de curl o realitzarem una sèrie d'accions a la interfície gràfica.
$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
-H 'Content-Type: application/json'
-H 'kbn-xsrf: true'
-d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'
Creació d'un patró d'índex mitjançant la GUI
Per configurar, seleccioneu la secció Descobriu al menú de l'esquerra i aneu a la pàgina de creació de patrons d'índex.
En fer clic al botó "Crea un patró d'índex", arribem a la pàgina de creació de l'índex. Al camp "Nom del patró d'índex", introduïu "logstash-*". Si tot està configurat correctament, a continuació Kibana mostrarà els índexs que es troben sota la regla.
A la pàgina següent, seleccioneu el camp clau amb una marca de temps, en el nostre cas ho és @timestamp.
Això mostrarà la pàgina de configuració de l'índex, però en aquest moment no cal que ens feu cap altra acció.
Ara podem tornar a anar a la secció Descobrir, on veurem les entrades del registre.
Resum
Al menú de l'esquerra, feu clic a la secció Creació del tauler i aneu a la pàgina corresponent.
Feu clic a "Crea un tauler nou" i aneu a la pàgina per afegir objectes al tauler.
Feu clic al botó "Crea nou" i el sistema us demanarà que seleccioneu el tipus de visualització de dades. Kibana en té un gran nombre, però mirarem de crear una representació gràfica de la "Barra vertical" i una "Taula de dades" tabular. Altres tipus de presentació es configuren de manera similar.
Alguns objectes disponibles s'etiqueten B i E, el que significa que el format és experimental o en prova beta. Amb el temps, el format pot canviar o desaparèixer completament de Kibana.
Barra vertical
Per a l'exemple de la "Barra vertical", creem un histograma de la proporció d'estats de resposta correcta i no satisfactòria del nostre servei. Al final de la configuració, obtenim el següent gràfic:
Classificarem totes les sol·licituds amb un estat de resposta < 400 com a reeixides i >= 400 com a problemàtiques.
Per crear un gràfic de "Barres verticals", hem de seleccionar una font de dades. Seleccioneu el patró d'índex que hem creat anteriorment.
Per defecte, un únic gràfic sòlid apareixerà després de seleccionar una font de dades. Configurem-ho.
Al bloc "Cubos", premeu el botó "Afegeix", seleccioneu "X-asis" i configureu l'eix X. Deixem de banda les marques de temps per a la recepció d'entrades al registre. Al camp "Agregació", seleccioneu "Histograma de la data", i al "Camp" seleccioneu "@timestamp", indicant el camp de l'hora. Deixem "Interval mínim" a l'estat "Automàtic", i s'ajustarà automàticament a la nostra pantalla.
En fer clic al botó "Actualitzar", veurem un gràfic amb el nombre de peticions cada 30 segons.
Ara configurem les columnes al llarg de l'eix Y. Ara estem mostrant el nombre total de sol·licituds en l'interval de temps seleccionat.
Canviem el valor "Agregació" a "Sum Bucket", que ens permetrà combinar dades per a sol·licituds satisfactòries i no satisfactòries. Al bloc Bucket -> Agregació, seleccioneu l'agregació per "Filtres" i configureu el filtratge per "statusCode >= 400". I al camp "Etiqueta personalitzada", indiquem el nostre nom de l'indicador per a una visualització més entenedora a la llegenda del gràfic i a la llista general.
En fer clic al botó "Actualitza" sota el bloc de configuració, obtindrem un gràfic amb les sol·licituds de problemes.
Si feu clic al cercle al costat de la llegenda, us apareixerà una finestra en la qual podreu canviar el color de les columnes.
Ara afegim dades de sol·licituds reeixides al gràfic. A la secció "Mètriques", feu clic al botó "Afegeix" i seleccioneu "Eix Y".
A la mètrica creada, fem la mateixa configuració que per a les sol·licituds errònies. Només al filtre especifiquem "statusCode < 400".
En canviar el color de la nova columna, obtenim una mostra de la proporció de sol·licituds problemàtiques i reeixides.
En fer clic al botó "Desa" a la part superior de la pantalla i especificant el nom, veurem el primer gràfic al Dashboard.
Taula de dades
Ara considereu la vista tabular "Taula de dades". Creem una taula amb una llista de tots els URL que s'han sol·licitat i el nombre d'aquestes sol·licituds. Igual que amb l'exemple de la barra vertical, primer seleccionem una font de dades.
Després d'això, es mostrarà una taula amb una columna a la pantalla, que mostra el nombre total de sol·licituds per a l'interval de temps seleccionat.
Només canviarem el bloc "Cubos". Feu clic al botó "Afegeix" i seleccioneu "Dividir files".
Al camp "Agregació", seleccioneu "Condicions". I al camp que apareix "Field" seleccioneu "url.keyword".
Especificant el valor "Url" al camp "Etiqueta personalitzada" i fent clic a "Actualitza", obtindrem la taula desitjada amb el nombre de sol·licituds per a cadascun dels URL durant el període de temps seleccionat.
A la part superior de la pantalla, torneu a fer clic al botó "Desa" i especifiqueu el nom de la taula, per exemple URL. Tornem al tauler i veiem les dues vistes creades.
Treballant amb Dashboard
En crear el tauler, només establim els paràmetres de visualització principals a la configuració de l'objecte de visualització. No té sentit especificar dades per a filtres en objectes, per exemple, "interval de dates", "filtrat per agent d'usuari", "filtrat per país de sol·licitud", etc. És molt més convenient especificar el període de temps desitjat o establir el filtratge necessari al tauler de consultes, que es troba a sobre dels objectes.
Els filtres afegits en aquest tauler s'aplicaran a tot el tauler i tots els objectes de visualització es reconstruiran d'acord amb les dades filtrades reals.
Conclusió
Kibana és una eina potent que permet visualitzar qualsevol dada d'una manera còmoda. Vaig intentar mostrar la configuració dels dos tipus principals de visualització. Però altres tipus es configuren de manera similar. I l'abundància de paràmetres que vaig deixar "darrera de escena" us permetrà personalitzar els gràfics de manera molt flexible segons les vostres necessitats.
Font: www.habr.com