Loki – logide kogumine, kasutades Prometheuse lähenemist

Tere, habroviinid! Uue kursuse käivitumise eel «DevOps praktikad ja tööriistad» oleme valmis teid huvitava materjali tõlkega.

See artikkel on lühike sissejuhatus Lokisse. Loki projekt on toetatud Grafana ja suunatud logide tsentraliseeritud kogumisele (serveritest või konteineritest).

Loki peamine inspiratsiooniallikas oli Prometheus idee rakendada selle lähenemisviise logide haldamiseks:

• siltide (labels) kasutamine andmete salvestamiseks
• vähe ressursside tarbimist

Me tuleme veel Prometheuse tööpõhimõtete juurde tagasi ja toome välja mitmeid näiteid selle kasutamisest Kubernetes kontekstis.

Mõned sõnad Prometheusest

Loki toimimise täielikuks mõistmiseks on oluline astuda samm tagasi ja veidi meenutada Prometheust.

Üks Prometheuse iseloomulikke jooni on mõõdikute hankimine kogumispunktidest (eksportijate kaudu) ja nende salvestamine TSDB-sse (ajarealiste andmete baas) koos metakirjelduste lisamisega siltidena.

Miks see on vajalik

Viimasel ajal on Prometheus saanud de facto standardiks konteinerite ja Kubernetes'i maailmas: selle paigaldamine on väga lihtne, ning Kubernetes klastris on algselt olemas Prometheuse lõpp-punkt. Prometheus saab ka hankida mõõdikuid konteineris käivitatavatest rakendustest, säilitades samas teatud sildid. Seega on rakenduste jälgimine väga lihtsalt teostatav.

Kahjuks pole logide haldamiseks endiselt ühtset "võtmed kätte" lahendust, ning peate leidma lahenduse enda jaoks:

• hallatav pilveteenus logide tsentraliseerimiseks (AWS, Azure või Google)
• monitooringuteenuse "monitooring teenusena" (näiteks Datadog)
• logide kogumise oma teenuse loomine.

Kolmandas variandis olen traditsiooniliselt kasutanud Elasticsearchi, kuigi ma ei ole alati olnud selle üle rahul (eriti selle keerukuse ja keerulise seadistamise tõttu).

Loki on kavandatud eesmärgiga lihtsustada rakendamise protsessi vastavalt järgmistele põhimõtetele:

• olla lihtne alustada
• tarbida vähe ressursse
• töötada iseseisvalt ilma erilise hoolduse vajaduseta
• olla täiendus Prometheusele vigade uurimisel.

Kuid see lihtsus saavutatakse teatud kompromisside arvelt. Üks neist on see, et sisu ei indekseeritakse. Seetõttu pole teksti otsimine eriti tõhus ega rikast, samuti ei võimalda see sisu statistikat pidada. Kuid kuna Loki tahab olla grep'i vastand ja täiendus Prometheusele, siis see ei ole puudus.

Juhtumite uurimine

Et paremini mõista, miks Loki indeksit ei vajata, tuleme tagasi meetodi juurde, mida Loki arendajad kasutasid juhtumite uurimiseks:

1 Hoiatus → 2 Armatuurlaud → 3 Adhoc päring → 4 Logide kogumine → 5 Jaotatud jälgimine → 6 Parandamine!
(1 Hoiatus → 2 Armatuurlaud → 3 Adhoc päring → 4 Logide kogumine → 5 Jaotatud jälgimine → 6 Parandamine!)

Idee seisneb selles, et saame mingi hoiatuse (Slacki teade, SMS jne) ja pärast seda:

• vaatame Grafana armatuurlaudu
• vaatame teenuste mõõdikuid (nt Prometheuses)
• vaatame logikirjeid (nt Elasticsearchis)
• võib-olla vaatame jaotatud jälgimisi (Jaeger, Zipkin jne)
• ja lõpuks lahendame algse probleemi.

Siin, Grafana + Prometheus + Elasticsearch + Zipkin virna korral, tuleb kasutada nelja erinevat tööriista. Aja kokkuhoidmiseks oleks hea, kui kõiki neid etappe saaks teha ühe tööriistaga: Grafana. Tuleb märkida, et selline uurimismeetod on Grafanas kasutusele võetud alates versioonist 6. Nii et on võimalik otse Grafanast Prometheuse andmetele juurde pääseda.

Explorer ekraan on jagatud Prometheuse ja Loki vahel

Sellel ekraanil saab vaadata Lokis logisid, mis on seotud Prometheuse mõõdikutega, kasutades ekraani jagamise kontseptsiooni. Alates versioonist 6.5 võimaldab Grafana logikirjetele Loki puhul jälgimisidentifikaatori (trace id) töötlemist, et linkida teie lemmik jaotatud jälgimise tööriistade juurde (Jaeger).

Loki kohaliku testi tegemine

Lihtsaim viis Loki kohalikuks testimiseks on kasutada docker-compose'i. Docker-compose fail asub Loki repository's. Repositooriumi saate allalaadida järgmise käsu abil git:

$ git clone https://github.com/grafana/loki.git

Seejärel peate minema production katalooge:

$ cd production

Pärast seda saate viimased Docker pildid kätte järgmise käsuga:

$ docker-compose pull

Lõpuks käivitatakse Loki virna järgmise käsuga:

$ docker-compose up

Loki arhitektuur

Siin on väike diagramm Loki arhitektuurist:

Loki arhitektuuri põhimõtted

Veebiklient käivitab rakendusi serveris, Promtail kogub logisid ja saadab need Loki'sse, veebiklient saadab samuti metainfot Loki'sse. Loki kogub kõik ja edastab Grafanasse.
Loki on käivitatud. Olemasolevate komponentide vaatamiseks täitke järgmine käsk:

$ docker ps

Värskelt paigaldatud Docker'i korral peaks käsk tagastama järgmise tulemuse:

IMAGE               PORTS                  NAMES
grafana/promtail:                          production_promtail_1
grafana/grafana: m  0.0.0.0:3000->3000/tcp production_grafana_1
grafana/loki: late  80/tcp,0.0.0.0:3100... production_loki_1

Näeme järgmisi komponente:

• Promtail: agent, mis vastutab logide tsentraliseerimise eest
• Grafana: tuntud tööriist juhtpaneelide jaoks
• Loki: andmete tsentraliseerimise demon

Klassikalises infrastruktuuris (nt virtuaalmasinate põhjal) peaks igas masinas olema paigaldatud Promtail agent. Grafana ja Loki võivad olla paigaldatud ühte masinasse.

Paigaldamine Kuberneteses

Loki komponentide paigaldamine Kubernetesesse koosneb järgmistest etappidest:

• daemonSet Promtail agendi paigaldamiseks igas klastrite serveris
• Loki paigaldamine (Deployment)
• ja viimasena — Grafana paigaldamine.

Õnneks on Loki saadaval Helm pakina, mis lihtsustab selle paigaldamist.

Paigaldamine Heml kaudu

Heml peaks teil juba olema paigaldatud. Selle saab alla laadida projekti GitHubi repost, paigaldades arhivi, mis vastab teie arhitektuurile, ja lisades helm kausta. $PATH.

Märkus: Hiljuti ilmus Helm versioon 3.0.0. Kuna seal on palju muutusi, soovitatakse lugejal oodata natuke enne selle kasutamist..

Helmi allika lisamine

Esimene samm on lisada 'loki' reposti järgmise käsuga:

$ helm add loki https://grafana.github.io/loki/charts

Pärast seda saab otsida pakette nimega 'loki':

$ helm search loki

Tulemus:

loki/loki       0.17.2 v0.4.0 Loki: nagu Prometheus, aga logide jaoks.
loki/loki-stack 0.19.1 v0.4.0 Loki: nagu Prometheus, aga logide jaoks.
loki/fluent-bit 0.0.2  v0.0.1 Kasutab fluent-bit Loki go pluginit...
loki/promtail   0.13.1 v0.4.0 Vastutab logide kogumise eest...

Need paketid omavad järgmisi funktsioone:

• pakett loki/loki vastab ainult Loki serverile
• pakett loki/fluent-bit võimaldab teil paigaldada DaemonSet, kasutades fluent-bin'i logide kogumiseks asemele Promtail
• pakett loki/promtail sisaldab logifailide kogumise agenti
• pakett loki/loki-stackvõimaldab kohe paigaldada Loki koos Promtail'iga.

Loki paigaldamine

Kuberneetes Loki paigaldamiseks käivitage järgmine käsk nimekirjas 'monitoring':

$ helm upgrade --install loki loki/loki-stack --namespace monitoring

Ketta ketta aega, lisage parameeter --set loki.persistence.enabled=true:

$ helm upgrade --install loki loki/loki-stack 
              --namespace monitoring 
              --set loki.persistence.enabled=true

Märkus: kui soovite korraga käivitada Grafana, lisage parameeter --set grafana.enabled=true

Selle käsu käivitamisel peaksite saama järgmise väljundi:

VIIMASE KASUTUS: Teis, 19. november 2019, 15:56:54
NIMETUSRUUM: jälgimine
OLEK: KASUTUSSES
RESSURSID:
==> v1/ClusterRole
NIMI VANUS
loki-promtail-clusterrole 189d
…
MÄRKUSED:
Loki kompositsioon on teie klastrisse paigaldatud. Loki saab nüüd lisada andmeallikana Grafanasse.
Vaata <a href="http://docs.grafana.org/features/datasources/loki/">http://docs.grafana.org/features/datasources/loki/</a> täiendavate üksikasjade jaoks.

Vaadates podide olekut nimelia “monitoring”, näeme, et kõik on juurutatud:

$ kubectl -n monitoring get pods -l release=loki

Tulemus:

NIMI                   VALMIS STATUS   KORDUSED VANUS
loki-0                 1/1    Jookseb  0         147m
loki-promtail-9zjvc    1/1    Jookseb  0         3h25m
loki-promtail-f6brf    1/1    Jookseb  0         11h
loki-promtail-hdcj7    1/1    Jookseb  0         3h23m
loki-promtail-jbqhc    1/1    Jookseb  0         11h
loki-promtail-mj642    1/1    Jookseb  0         62m
loki-promtail-nm64g    1/1    Jookseb  0         24m

Kõik podid on käivitunud. Nüüd on aeg teha mõned testid!

Ühendamine Grafanaga

Kübernese kaudu Grafanaga ühendamiseks tuleb avada tunnel selle podi juurde. Allpool on käsk, et avada port 3000 Grafana podi jaoks:

$ kubectl -n port-forward monitoring svc/loki-grafana 3000:80

Teine oluline punkt on Grafana administraatori parooli taastamine. Parool on salajas loki-grafana väljal .data.admin-user base64 vormingus.

Selle taastamiseks peate käivitama järgmise käsu:

$ kubectl -n monitoring get secret loki-grafana 
 --template '{{index .data "admin-password" | base64decode}}'; echo

Kasutage seda parooli koos vaikimisi administraatori kontoga (admin).

Loki andmeallika määramine Grafanas

Kõigepealt veenduge, et Loki andmeallikas on loodud (Konfiguratsioon / Andmeallikas).
Siin on näide:

Näide Loki andmeallika seadistamisest

Nuppu “Test” vajutades saate kontrollida ühendust Lokiga.

Teeme päringud Lokile

Nüüd minge Grafanas jaotisse “Uurimine”. Konteinerite logide vastuvõtmise korral lisab Loki Kubernetesest metainfot. Nii et on võimalik vaadata kindla konteineri logsid.

Näiteks konteineri promtail logide valimiseks võite kasutada järgmist päringut: {container_name = "promtail"}.
Siin ärge unustage valida Loki andmeallikas.

See päring tagastab konteinerite aktiivsuse järgmises vormingus:

Päringu tulemus Grafanas

Lisamine armatuurlauale

Alates Grafana 6.4-st saab logiteavet otse armatuurlauale asetada. Pärast seda saab kasutaja kiiresti vahetada külastuste arvu ja rakenduse jälgimise vahel.

Allpool on näide armatuurlauast, mis rakendab seda suhtlemist:

Prometheuse'i ja Loki logide mõõdikute näidisdashboards

Loki tulevik

Hakkasin Loki kasutama mais/juunis versioonist 0.1. Täna on juba välja antud versioon 1, samuti 1.1 ja 1.2.

Pean tunnistama, et versioon 0.1 ei olnud piisavalt stabiilne. Kuid 0.3 näitas juba tõelisi küpsuse märke ning järgmised versioonid (0.4, seejärel 1.0) seda muljet vaid tugevdasid.

Pärast 1.0.0 ei ole kellelgi enam õigustusi, et mitte kasutada seda suurepärast tööriista.

Edasised täiustused peaksid keskenduma mitte niivõrd Lokile, vaid pigem selle integreerimisele suurepärase Grafana'ga. Tegelikult on Grafana 6.4-s juba olemas hea integratsioon dashboardidega.

Hiljuti välja antud Grafana 6.5 parandab seda integratsiooni veelgi, automaatselt tuvastades JSON-formaadis logide sisu.

Allpool on videos toodud väike näide sellest mehhanismist:

Loki stringide kasutamine Grafanas

On võimalik kasutada ühte JSON-i välja, näiteks:

• linkimiseks välise tööriistaga
• logide sisu filtreerimiseks

Näiteks saate klikida traceId-le, et minna Zipkini või Jaegerisse.

Traditsiooniliselt ootame teie kommentaare ja kutsume teid avatud veebinarile, kus räägime sellest, kuidas DevOps-tööstus arenes 2019. aastal ja arutame võimalikke arenguviise 2020. aastaks.

Allikas: habr.com