Helló, a nevem Eugene, B2B csapatvezető vagyok a Citymobilnál. Csapatunk egyik feladata, hogy támogassa a partnerek taxirendelésének integrációit, és a stabil szolgáltatás érdekében mindig értenünk kell, mi történik mikroszolgáltatásainkban. És ehhez folyamatosan figyelnie kell a naplókat.
A Citymobilban az ELK stacket (ElasticSearch, Logstash, Kibana) használjuk a naplókkal való munkavégzéshez, és az oda érkező adatok mennyisége óriási. Meglehetősen nehéz problémákat találni ebben a kérések tömegében, amelyek az új kód telepítése után jelentkezhetnek. A vizuális azonosítás érdekében a Kibana rendelkezik egy Dashboard részleggel.
A Habréról jó néhány cikk található példákkal arra vonatkozóan, hogyan állíthat be ELK-vermet adatok fogadására és tárolására, de nincsenek releváns anyagok az irányítópult létrehozásáról. Ezért szeretném bemutatni, hogyan lehet a Kibanában bejövő naplók alapján vizuálisan megjeleníteni az adatokat.
beállítás
A világosabbá tétel érdekében létrehoztam egy Docker-képet ELK-val és Filebeattel. És egy tartályba helyezve egy kicsi a Go-ban, amely példánkban tesztnaplókat fog generálni. Az ELK konfigurációját nem írom le részletesen, a Habrén írnak róla eleget.
A konfigurációs tár klónozása docker-compose és ELK beállításokat, és indítsa el a paranccsal docker-compose up. Szándékosan nem ad hozzá kulcsot -dhogy lássa az ELK verem előrehaladását.
git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up
Ha minden megfelelően van konfigurálva, akkor látni fogunk egy bejegyzést a naplókban (talán nem azonnal, a teljes veremmel rendelkező tároló elindítása több percig is eltarthat):
{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}
cím localhost:5061 A Kibanának ki kell nyílnia.
Az egyetlen dolog, amit konfigurálnunk kell, hogy létrehozzunk egy indexmintát a Kibana számára a megjelenítendő adatokkal kapcsolatos információkkal. Ehhez egy curl kérést hajtunk végre, vagy műveletek sorozatát hajtjuk végre a grafikus felületen.
$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
-H 'Content-Type: application/json'
-H 'kbn-xsrf: true'
-d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'
Indexminta létrehozása a grafikus felhasználói felületen keresztül
A konfiguráláshoz válassza a Felfedezés részt a bal oldali menüben, és lépjen az Indexminta létrehozási oldalára.
Az "Indexminta létrehozása" gombra kattintva az indexkészítés oldalára jutunk. Az "Index minta neve" mezőbe írja be a "logstash-*" parancsot. Ha minden megfelelően van beállítva, a Kibana alatt megjelennek a szabály alá tartozó indexek.
A következő oldalon válassza ki az időbélyeggel ellátott kulcsmezőt, esetünkben az @timestamp.
Ekkor megjelenik az indexbeállítások oldala, de jelenleg nincs szükség további teendőinkre.
Most ismét a Discover részre léphetünk, ahol látni fogjuk a naplóbejegyzéseket.
Műszerfal
A bal oldali menüben kattintson az Irányítópult létrehozása szakaszra, és lépjen a megfelelő oldalra.
Kattintson az „Új irányítópult létrehozása” lehetőségre, és lépjen az objektumok irányítópulthoz való hozzáadására szolgáló oldalra.
Kattintson az "Új létrehozása" gombra, és a rendszer kéri az adatmegjelenítés típusának kiválasztását. A Kibana nagyszámú belőlük van, de megvizsgáljuk a „Függőleges sáv” grafikus megjelenítését és egy táblázatos „Adattáblázat” létrehozását. Más típusú prezentációk konfigurálása hasonló módon történik.
Néhány elérhető objektum B és E címkével van ellátva, ami azt jelenti, hogy a formátum kísérleti vagy béta tesztelés alatt áll. Idővel a formátum megváltozhat vagy teljesen eltűnhet a Kibanából.
Függőleges sáv
A „Függőleges sáv” példához készítsünk hisztogramot szolgáltatásunk sikeres és sikertelen válaszállapotainak arányáról. A beállítások végén a következő grafikont kapjuk:
Minden olyan kérést, amelynek válaszállapota < 400, sikeresnek, és >= 400 problémásnak minősítjük.
"Függőleges sáv" diagram létrehozásához ki kell választanunk egy adatforrást. Válassza ki a korábban létrehozott indexmintát.
Alapértelmezés szerint egyetlen tömör grafikon jelenik meg az adatforrás kiválasztása után. Állítsuk be.
A "Vödör" blokkban nyomja meg a "Hozzáadás" gombot, válassza ki az "X-asis"-t és állítsa be az X tengelyt. Tegyük félre a naplóbejegyzések fogadásának időbélyegeit. Az "Aggregáció" mezőben válassza ki a "Dátum hisztogramot", a "Mező" mezőben pedig a "@timestamp" lehetőséget, jelezve az időmezőt. Hagyjuk a „Minimum intervallum”-ot „Auto” állapotban, és automatikusan a mi kijelzőnkre fog igazodni.
A "Frissítés" gombra kattintva 30 másodpercenként egy grafikont fogunk látni a kérések számával.
Most állítsuk fel az oszlopokat az Y tengely mentén, és a kiválasztott időintervallumban jelenítjük meg a kérések teljes számát.
Változtassuk meg az „Aggregation” értéket „Sum Bucket”-re, ami lehetővé teszi számunkra, hogy egyesítsük a sikeres és sikertelen kérések adatait. A Bucket -> Aggregation blokkban válassza ki az összesítést a "Szűrők" szerint, és állítsa be a szűrést a "statusCode >= 400" értékre. Az "Egyéni címke" mezőben pedig feltüntetjük az indikátor nevét, hogy érthetőbb legyen a grafikon jelmagyarázatában és az általános listában.
A beállítások blokk alatti „Frissítés” gombra kattintva egy grafikont kapunk a problémakérésekkel.
Ha rákattint a jelmagyarázat melletti körre, megjelenik egy ablak, amelyben megváltoztathatja az oszlopok színét.
Most adjuk hozzá a diagramhoz a sikeres kérések adatait. A "Mutatók" részben kattintson a "Hozzáadás" gombra, és válassza az "Y-tengely" lehetőséget.
A létrehozott metrikában ugyanazokat a beállításokat végezzük el, mint a hibás kéréseknél. Csak a szűrőben adjuk meg a "statusCode < 400" értéket.
Az új oszlop színének megváltoztatásával megjelenítjük a problémás és sikeres kérések arányát.
A képernyő tetején található „Mentés” gombra kattintva és a név megadásával az első diagramot fogjuk látni az irányítópulton.
Adattáblában
Most tekintse meg az „Adattábla” táblázatos nézetet. Hozzon létre egy táblázatot az összes kért URL-lel és a kérelmek számával. A függőleges sáv példájához hasonlóan először kiválasztunk egy adatforrást.
Ezt követően a képernyőn megjelenik egy oszlopos táblázat, amely a kiválasztott időintervallumra vonatkozó kérések teljes számát mutatja.
Csak a "Vödör" blokkot változtatjuk meg. Kattintson a "Hozzáadás" gombra, és válassza a "Sorok felosztása" lehetőséget.
Az „Összesítés” mezőben válassza a „Feltételek” lehetőséget. A megjelenő "Mező" mezőben válassza az "url.keyword" lehetőséget.
Az "Url" érték megadásával az "Egyéni címke" mezőben, és a "Frissítés" gombra kattintva megkapjuk a kívánt táblázatot az egyes URL-ekhez tartozó kérések számával a kiválasztott időszakban.
A képernyő tetején kattintson ismét a "Mentés" gombra, és adja meg a táblázat nevét, például URL-eket. Térjünk vissza az Irányítópultra, és nézzük meg mindkét nézet létrehozását.
Munka a műszerfallal
A Dashboard létrehozásakor csak a fő nézet paramétereit adjuk meg a megjelenítési objektum beállításaiban. Nincs értelme az objektumokban lévő szűrőkhöz adatokat megadni, például „dátumtartomány”, „felhasználói ügynök szerinti szűrés”, „kérési ország szerinti szűrés” stb. Sokkal kényelmesebb az objektumok felett található lekérdező panelen megadni a kívánt időtartamot vagy beállítani a szükséges szűrést.
Az ezen a panelen hozzáadott szűrők a teljes irányítópultra vonatkoznak, és az összes megjelenített objektum a tényleges szűrt adatoknak megfelelően újjáépül.
Következtetés
A Kibana egy hatékony eszköz, amely lehetővé teszi bármilyen adat kényelmes megjelenítését. Megpróbáltam bemutatni a két fő megjelenítési típus beállítását. De más típusok is hasonló módon vannak konfigurálva. És a rengeteg beállítás, amelyet a „színfalak mögött” hagytam, lehetővé teszi, hogy nagyon rugalmasan testreszabhassa a diagramokat az Ön igényei szerint.
Forrás: will.com