Loki – logide kogumine katsetades Prometheuse lähenemist.

Tere, Habra inimesed! Uue kursuse alguse eelõhtul „DevOps praktikas ja tööriistades“ oleme teile valmistanud huvitava materjali tõlke.

See artikkel on lühike sissejuhatus Lokisse. Loki projekt saadab toetust Grafanalt ja on suunatud logide kesksele kogumisele (serveritest või konteineritest).

Loki peamine inspiratsiooniallikas oli Prometheus idee rakendada selle lähenemisi logide haldamisel:

• siltide (labels) kasutamine andmete salvestamiseks
• ja väikese ressursitarbimise korraldamine.

Me tuleme veel Prometheuse tööprintsiipide juurde tagasi ja toome mõned näited selle kasutamisest Kubernetes kontekstis.

Mõni sõna Prometheuse kohta

Et täielikult mõista, kuidas Loki töötab, on oluline astuda samm tagasi ja meenutada Prometheust.

Üks Prometheuse eristavaid omadusi on meetrikate kogumine kogumispunktidest (exporterite kaudu) ja nende salvestamine TSDB-sse (Time Series Data Base, ajasarjade andmebaas), lisades metadatakse siltide kujul.

Miks see vajalik on

Viimastel aastatel on Prometheus saanud de facto standardiks konteinerite ja Kubernetes'i maailmas: selle paigaldamine on väga lihtne ning Kubernetes'i klastri puhul on Prometheus'le algselt olemas lõpp-punkt. Prometheus suudab ka eraldada mõõdikud konteinersse paigaldatud rakendustest, säilitades samal ajal teatud sildid. Seetõttu on rakenduste jälgimine väga kergesti teostatav.

Kahjuks pole logihalduseks siiani olemas „võtmed kätte“ lahendust ning peate leidma lahenduse enda jaoks:

• haldus kõige pilveteenuses logide tsentraliseerimiseks (AWS, Azure või Google)
• jälgimisteenus „jälgimine teenusena“ (monitoring as a service) (näiteks Datadog)
• enda logide kogumise teenuse loomine.

Kolmanda variandi puhul olen ma traditsiooniliselt kasutanud Elasticsearch'i, kuigi pole alati olnud sellega rahul (eriti selle raskuse ja konfigureerimise keerukuse tõttu).

Loki on projekteeritud eesmärgiga lihtsustada rakenduse ellu viimist järgmistel põhimõtetel:

• olema lihtne alguses
• tarbima vähe ressursse
• töötama iseseisvalt ilma igasuguse spetsiaalse hoolduseta
• olema täienduseks Prometheus'ele, et aidata vigade uurimisel.

Kuid see lihtsus saavutatakse teatud kompromisside arvelt. Üks neist on sisu indekseerimise puudumine. Seetõttu ei ole teksti otsing väga efektiivne ega sisukas ning ei võimalda statistikat sisu kohta. Kuna Loki soovib olla grep'i vaste ja täienduseks Prometheusele, ei ole see puudus.

Juhtumite uurimine

Et paremini mõista, miks Loki ei vajagi indekseerimist, naeme tagasi juhtumite uurimise meetodi juurde, mida Loki arendajad kasutasid:

1 Alarmeerimine → 2 Töölaud → 3 Adhoc küsimus → 4 Logide kogumine → 5 Jaotatud jälgimine → 6 Parandamine!
(1 Alarmeerimine → 2 Töölaud → 3 Adhoc küsimus → 4 Logide kogumine → 5 Jaotatud jälgimine → 6 Parandamine!)

Idee on selles, et saame mingisuguse häire (Slacki teade, SMS jne) ja seejärel:

• vaatame Grafana juhtpaneele
• vaatame teenuste mõõdikuid (näiteks Prometheuses)
• vaatame logi kirjeid (näiteks Elasticsearchis)
• võibolla vaatame jaotatud jälgi (Jaeger, Zipkin jne)
• ja lõpuks lahendame algse probleemi.

Siin, Grafana + Prometheus + Elasticsearch + Zipkin komplekti puhul tuleb kasutada nelja erinevat tööriista. Aja kokkuhoiu huvides oleks hea, kui saaksime kõik need etapid läbi viia ühe tööriista, Grafana, abil. Tõsiseks tuleb märkida, et selline uurimistöö lähenemine on Grafanas rakendatud alates versioonist 6. Seega on võimalik juurde pääseda Prometheuse andmetele otse Grafanast.

Explorer ekraan on jagatud Prometheuse ja Loki vahel.

Sellel ekraanil saab vaadata Loki logisid, mis on seotud Prometheuse meetritega, kasutades ekraani jagamise kontseptsiooni. Alates versioonist 6.5 võimaldab Grafana töödelda jälgimise identifikaatoreid (trace id) Loki logikandites, et minna linkide kaudu teie lemmikute jaotatud jälgimise tööriistade (Jaeger) juurde.

Loki kohalik test

Lihtsaim viis Loki kohalikuks testimiseks on kasutada docker-compose'i. Docker-compose fail asub Loki hoidlas. Hoidla saamiseks võite kasutada järgmisi käske: git:

$ git clone https://github.com/grafana/loki.git

Seejärel peate minema kausta production:

$ cd production

Pärast seda saab hankida uusimad Docker pildid:

$ docker-compose pull

Lõpuks käivitatakse Loki konteiner järgmise käsuga:

$ docker-compose up

Loki arhitektuur

Siin on väike skeem Loki arhitektuurist:

Loki arhitektuuri põhimõtted

Veebiklient käivitab rakendused serveris, Promtail kogub logisid ja saadab need Loki'sse, veebiklient saadab samuti metainformatsiooni Loki'sse. Loki kogub kõik andmed ja edastab need Grafanale.
Loki on üles seatud. Olemasolevate komponentide vaatamiseks täitke järgmine käsk:

$ docker ps

Uue Docker'i paigaldamise korral peaks käsk tagastama järgmise tulemuse:

IMAGE               PORTS                  NAMES
grafana/promtail:                          production_promtail_1
grafana/grafana: 0.0.0.0:3000->3000/tcp production_grafana_1
grafana/loki: late 80/tcp,0.0.0.0:3100... production_loki_1

Näeme järgmisi komponente:

• Promtail: agent, mis vastutab logide keskse kogumise eest
• Grafana: tuntud tööriist armatuurlaudade jaoks
• Loki: andmete keskse kogumise demon

Klassikalise infrastruktuuri korral (näiteks virtuaalmasinate põhjal) peab igas masinas olema paigaldatud Promtail agent. Grafana ja Loki võivad olla paigaldatud ühte masinasse.

Paigaldamine Kubernetesesse

Loki komponentide paigaldamine Kubernetesesse hõlmab järgmist:

• daemonSet, et paigaldada Promtail agent igas masinas serverite klastris
• Loki paigaldamine
• ja viimane — Grafana paigaldamine.

Õnneks on Loki saadaval Helm pakina, mis muudab selle paigaldamise lihtsamaks.

Paigaldamine läbi Helm

Helm peaks olema teie süsteemis juba installitud. Seda saab alla laadida projekti GitHubi hoidlast. See installitakse arhiveerimise teel, mis vastab teie arhitektuurile, ja helm lisatakse $PATH.

Märkus: versioon 3.0.0 Helm on hiljuti välja antud. Kuna selles on palju muudatusi, soovitatakse lugejal veidi oodata, enne kui seda kasutama hakatakse..

Allika lisamine Helmi jaoks

Esimene samm on lisada "loki" hoidla järgmise käsu abil:

$ helm add loki https://grafana.github.io/loki/charts

Pärast seda saab otsida pakette nimega "loki":

$ helm search loki

Tulemus:

loki/loki       0.17.2 v0.4.0 Loki: nagu Prometheus, aga logide jaoks.
loki/loki-stack 0.19.1 v0.4.0 Loki: nagu Prometheus, aga logide jaoks.
loki/fluent-bit 0.0.2  v0.0.1 Kasutab fluent-biti Loki go pistikut...
loki/promtail   0.13.1 v0.4.0 Vastutab logide kogumise eest ja...

Need paketid omavad järgmisi funktsioone:

• pakett loki/loki vastab ainult Loki serverile
• pakett loki/fluent-bit võimaldab teil paigaldada DaemonSet, kasutades fluent-biti logide kogumiseks, mitte Promtaili
• pakett loki/promtail sisaldab logifailide kogumise agenti
• pakett loki/loki-stack, võimaldab koheselt paigaldada Loki koos Promtailiga.

Loki installimine

Kuberneteses Loki käivitamiseks käivitage järgmine käsk nimespetsiifilises “monitoring”:

$ helm upgrade --install loki loki/loki-stack --namespace monitoring

Andmete salvestamiseks kettale lisage parameeter --set loki.persistence.enabled=true:

$ helm upgrade --install loki loki/loki-stack 
              --namespace monitoring 
              --set loki.persistence.enabled=true

Märkus: Kui soovite samuti käivitada Grafanat, lisage parameeter --set grafana.enabled=true

Selle käsku käivitades peaksite saama järgmise väljundi:

VIIMASELT PAIGALDATUD: E, 19. nov 2019 15:56:54
NIMETUSRUUM: monitoring
OLEK: PAIGALDATUD
RESSURSID:
==> v1/ClusterRole
NIMI VANUS
loki-promtail-clusterrole 189d
…
MÄRKUSED:
Loki hunnik on paigaldatud teie klastrisse. Lokit saab nüüd lisada andmeallikana Grafanas.
Vaata <a href="http://docs.grafana.org/features/datasources/loki/">http://docs.grafana.org/features/datasources/loki/</a> lisainformatsiooni.

Vaadates podide seisundit nimespetsiifilises “monitoring”, näeme, et kõik on käivitunud:

$ kubectl -n monitoring get pods -l release=loki

Tulemus:

NIMI                 VALMIS  SEISUND   UUESTIKÄIVITUSI  VANUS
loki-0               1/1    Käivitunud  0         147m
loki-promtail-9zjvc  1/1    Käivitunud  0         3h25m
loki-promtail-f6brf  1/1    Käivitunud  0         11h
loki-promtail-hdcj7  1/1    Käivitunud  0         3h23m
loki-promtail-jbqhc  1/1    Käivitunud  0         11h
loki-promtail-mj642  1/1    Käivitunud  0         62m
loki-promtail-nm64g  1/1    Käivitunud  0         24m

Kõik podid on käivitunud. Nüüd on aeg teha mõned testid!

Ühendamine Grafanaga

Kuberneteses Grafanaga ühendamiseks peate avama tunnel oma podi juurde. Allpool on käsk, et avada port 3000 Grafana podile:

$ kubectl -n port-forward monitoring svc/loki-grafana 3000:80

Teine oluline punkt on administraatori parooli taastamise vajadus Grafanas. Parool hoitakse saladuses loki-grafana väljal .data.admin-user base64 formaadis.

Selle taastamiseks tuleb täita järgmine käsk:

$ kubectl -n monitoring get secret loki-grafana 
 --template '{{index .data "admin-password" | base64decode}}'; echo

Kasutage seda parooli koos vaikeadministratori kontoga (admin).

Loki andmeallika määramine Grafanas

Esiteks veenduge, et Loki andmeallikas on loodud (Configuration / Datasource).
Siin on näidis:

Andmeallika seadistamise näidis Loki jaoks

Nupule “Test” vajutades saab kontrollida ühendust Lokiga.

Teeme päringud Lokile

Nüüd minge Grafanas jaotisesse “Explore”. Logide vastuvõtmise korral lisab Loki Kubernetesest metainfot. Seega on võimalik vaadata kindla konteineri logisid.

Näiteks konteineri promtail logide valimiseks saate kasutada järgmist päringut: {container_name = "promtail"}.
Siin ärge unustage valida andmeallikat Loki.

See päring tagastab konteinerite aktiivsuse järgmises vormis:

Päringu tulemus Grafanas

Lisamine armatuurlauale

Alates Grafana 6.4-st on võimalik logiteavet otse armatuurlaudadele paigutada. Pärast seda saab kasutaja kiiresti vahetada oma saidi päringute arvu ja rakenduse jälgede vahel.

Allpool on näide armatuurlaudast, mis ellu viib seda interaktsiooni:

Armatuurlaud, kus on Prometheuse mõõdikud ja Loki logid

Loki tulevik

Alustasin Loki kasutamist juba mai/juuni kuu jooksul versioonist 0.1. Täna on välja antud versioon 1, ning isegi 1.1 ja 1.2.

Pean tunnistama, et versioon 0.1 ei olnud piisavalt stabiilne. Kuid 0.3 näitas juba tegelikke küpsuse märke ja järgmised versioonid (0.4, seejärel 1.0) ainult suurendasid seda muljet.

Pärast 1.0.0 ei saa enam keegi leida põhjendusi, et mitte kasutada seda suurepärast tööriista.

Edasised parendused peaksid puudutama mitte niivõrd Loki-d, kuivõrd selle integreerimist suurepärase Grafana-ga. Tegelikult on Grafana 6.4-s juba hea integratsioon armatuurlaudadega.

Hiljuti välja antud Grafana 6.5 täiustab seda integreerimist veelgi, tuvastades automaatselt logide sisu JSON-formaadis.

Allpool on video, kus on toodud lühike näide sellest mehhanismist:

Loki stringide kuvamine Grafana-s

JSON väljade, näiteks, kasutamine on nüüd võimalik:

• viidates välistööriistale
• logide sisu filtreerimiseks

Näiteks võite klõpsata traceId-le, et minna Zipkini või Jaegerisse.

Ootame teie kommentaare ning kutsume teid avatud veebinarile, kus arutame, kuidas DevOps tööstus 2019. aastal arenes ning milliseid arengusuundi võiks 2020. aastaks kavandada.

Allikas: habr.com