Sakupljanje logova sa Loki

Sakupljanje logova sa Loki

U Badoou stalno pratimo nove tehnologije i procjenjujemo vrijedi li koristiti ih u našem sustavu. Jedno od takvih istraživanja koje želimo podijeliti s zajednicom posvećeno je Lokiju — sustavu za agregaciju logova.

Loki je rješenje za pohranu i pregled logova, a ovaj paket nudi fleksibilan sustav za analizu i slanje podataka u Prometheus. U svibnju je objavljeno novo ažuriranje koje autori aktivno promoviraju. Zanimalo nas je što sve može Loki, koje mogućnosti pruža i u kojoj mjeri može biti alternativa ELK-u — paketu koji trenutno koristimo.

Što je Loki

Grafana Loki je skup komponenti za potpunu sustav rada s logovima. Za razliku od drugih sličnih sustava, Loki se temelji na ideji indeksiranja samo metapodataka logova — oznaka (kao u Prometheusu), dok se sami logovi komprimiraju u odvojene dijelove.

Početna stranica, GitHub

Prije nego što pređemo na opis onoga što se može raditi s Loki-jem, želim pojasniti što podrazumijevamo pod "idejom indeksiranja samo metapodataka". Usporedimo pristup Lokija i pristup indeksiranju u tradicionalnim rješenjima, poput ElasticSearch-a, na primjeru jednog retka iz nginx loga:

172.19.0.4 - - [01/Jun/2020:12:05:03 +0000] "GET /purchase?user_id=75146478&item_id=34234 HTTP/1.1" 500 8102 "-" "Stub_Bot/3.0" "0.001"

Tradicionalni sustavi analiziraju cijeli redak, uključujući polja s velikim brojem jedinstvenih vrijednosti user_id i item_id, i pohranjuju sve u velike indekse. Prednost ovog pristupa je ta što se složeni upiti mogu izvoditi brzo, budući da su gotovo svi podaci u indeksu. No, to se plaća time što indeks postaje velik, što rezultira većim zahtjevima za memorijom. Kao rezultat, puni tekstualni indeks logova usporediv je s veličinom samih logova. Da bi se brže pretraživali, indeks mora biti učitan u memoriju. Što je više logova, to brže indeks raste i više memorije troši.

Loki zahtijeva da se iz niza izdvoje samo potrebni podaci, čija je količina mala. Na taj način dobivamo mali indeks i možemo pretraživati podatke, filtrirajući ih prema vremenu i indeksiranim poljima, a zatim skenirajući preostale regularnim izrazima ili pretraživanjem pod-stringa. Proces se čini sporim, ali Loki dijeli zahtjev na više dijelova i izvršava ih paralelno, obrađujući veliku količinu podataka u kratkom vremenu. Broj shardova i paralelnih zahtjeva unutar njih može se konfigurirati; tako da količina podataka koju je moguće obraditi u jedinici vremena linearno ovisi o broju dostupnih resursa.

Ova kompromis između velikog brzog indeksa i malog indeksa s paralelnom punom pretragom omogućuje Loki-u kontrolu troškova sustava. Može se fleksibilno prilagoditi i proširiti prema potrebama.

Loki stack se sastoji od tri komponente: Promtail, Loki, Grafana. Promtail prikuplja logove, obrađuje ih i šalje u Loki. Loki ih pohranjuje. A Grafana može upititi podatke iz Lokija i prikazati ih. U suštini, Loki se može koristiti ne samo za pohranu logova i pretraživanje istih. Cijeli stack pruža velike mogućnosti za obradu i analizu dolaznih podataka, koristeći Prometheus način.
Opis procesa instalacije može se naći ovdje.

Pretraživanje po logovima

Pretraživanje logova može se obaviti kroz poseban Grafana sučelje — Explorer. Za upite se koristi jezik LogQL, vrlo sličan PromQL-u, koji se koristi u Prometheusu. U osnovi, može se smatrati distribuiranim grep-om.

Sučelje pretraživanja izgleda ovako:

Sakupljanje logova sa Loki

Sam upit sastoji se od dva dijela: selector i filter. Selector je pretraživanje po indeksiranim metapodacima (etiketama) koji su dodijeljeni logovima, a filter je pretraživački niz ili regex pomoću kojeg se filtriraju unosi određeni selektorom. U prethodnom primjeru: Unutar vitičastih zagrada — selektor, sve što je nakon — filter.

{image_name="nginx.promtail.test"} |= "index"

Zbog načina rada Lokija nije moguće napraviti upite bez selektora, ali oznake se mogu činiti koliko god općenitim.

Selector su key-value vrijednosti unutar vitičastih zagrada. Možete kombinirati selektore i postavljati različite uvjete pretraživanja koristeći operatore =, != ili regularne izraze:

{instance=~"kafka-[23]",name!="kafka-dev"} 
// Pronalazi zapise s oznakom instance koji imaju vrijednost kafka-2, kafka-3 i isključuje dev 

Filtriranje je tekst ili regex koji filtrira sve podatke dobivene selektorom.

Postoji mogućnost dobivanja ad-hoc grafova iz prikupljenih podataka u režimu metrics. Na primjer, možete saznati učestalost pojavljivanja u logovima nginx zapisa koji sadrže string index:

Sakupljanje logova sa Loki

Potpuni opis mogućnosti možete pronaći u dokumentaciji LogQL.

Parsiranje logova

Postoji nekoliko načina za prikupljanje logova:

  • Pomoću Promtaila, standardne komponente za prikupljanje logova.
  • Izravno iz Docker kontejnera koristeći Loki Docker Logging Driver.
  • Koristiti Fluentd ili Fluent Bit, koji mogu slati podatke u Loki. Za razliku od Promtaila, oni imaju gotove parsere za gotovo svaki tip loga i uspješno obrađuju multiline logove.

Obično se za parsiranje koristi Promtail. On radi tri stvari:

  • Pronalazi izvore podataka.
  • Prikazuje oznake.
  • Šalje podatke u Loki.

Trenutno Promtail može čitati logove s lokalnih datoteka i iz systemd journal-a. Mora biti instaliran na svakoj mašini s koje se prikupljaju logovi.

Postoji integracija s Kubernetesom: Promtail automatski putem Kubernetes REST API-ja saznaje stanje klastera i prikuplja logove s nodova, servisa ili poda, odmah postavljajući oznake na temelju metapodataka iz Kubernetesa (ime poda, ime datoteke itd.).

Također možete dodavati oznake na temelju podataka iz loga pomoću Pipelinea. Pipeline Promtaila može se sastojati od četiri vrste faza. Detaljnije o tome — u službene dokumentacije, ovdje ću spomenuti neke nijanse.

  1. Parsing stages. To je faza RegEx i JSON. U ovoj fazi izvlačimo podatke iz logova u tzv. extracted map. Izvlačenje može biti iz JSON-a tako da jednostavno kopiramo potrebna polja u extracted map, ili putem regularnih izraza (RegEx), gdje se u extracted map “mapiraju” named groups. Extracted map predstavlja key-value spremište, gdje je key naziv polja, a value njegovo svojstvo iz logova.
  2. Transform stages. Ova faza ima dvije opcije: transform, gdje postavljamo pravila transformacije, i source — izvor podataka za transformaciju iz extracted map. Ako u extracted map takvo polje ne postoji, bit će stvoreno. Tako možemo kreirati oznake koje nisu zasnovane na extracted map. U ovoj fazi možemo manipulirati podacima u extracted map koristeći dovoljno moćan Golang Template. Osim toga, treba imati na umu da se extracted map u potpunosti učitava prilikom parsiranja, što omogućava, na primjer, provjeru vrijednosti u njoj: “{{if .tag}tag value exists{end}}”. Template podržava uvjete, petlje i neke funkcije za stringove, poput Replace i Trim.
  3. Faze akcije. U ovoj fazi možete učiniti nešto s izvšenim podacima:
    • Kreirati oznaku iz extracted data koja će biti indeksirana u Lokiju.
    • Promijeniti ili postaviti vrijeme događaja iz loga.
    • Promijeniti podatke (tekst loga) koji će otići u Loki.
    • Kreirati metrike.
  4. Faze filtriranja. Faza match, gdje možete ili poslati u /dev/null zapise koji nam nisu potrebni, ili ih usmjeriti na daljnju obradu.

Pokažem na primjeru obrade običnih nginx-logova kako se mogu parsirati logovi pomoću Promtaila.

Za test ćemo uzeti modificiranu sliku nginx jwilder/nginx-proxy:alpine kao nginx-proxy i mali demon koji može postavljati pitanja sam sebi putem HTTP-a. Demonu su određeni neki endpointi na koje može davati odgovore različitih veličina, s različitim HTTP statusima i različitim kašnjenjima.

Prikupit ćemo logove s docker kontejnera koji se mogu naći na putu /var/lib/docker/containers//-json.log

U docker-compose.yml postavljamo Promtail i navodimo put do konfiguracije:

promtail:
  image: grafana/promtail:1.4.1
 // ...
 volumes:
   - /var/lib/docker/containers:/var/lib/docker/containers:ro
   - promtail-data:/var/lib/promtail/positions
   - ${PWD}/promtail/docker.yml:/etc/promtail/promtail.yml
 command:
   - '-config.file=/etc/promtail/promtail.yml'
 // ...

Dodajemo u promtail.yml put do logova (u konfiguraciji postoji opcija "docker" koja radi isto u jednoj liniji, ali to ne bi bilo tako pregledno):

scrape_configs:
 - job_name: containers

   static_configs:
       labels:
         job: containerlogs
         __path__: /var/lib/docker/containers/*/*log  # samo za linux

Aktivacijom ove konfiguracije logovi svih kontejnera će biti poslani u Loki. Da bismo to izbjegli, mijenjamo postavke testnog nginx-a u docker-compose.yml — dodajemo logiranje polja tag:

proxy:
 image: nginx.test.v3
//…
 logging:
   driver: "json-file"
   options:
     tag: "{{.ImageName}}|{{.Name}}"

Ispravljamo promtail.yml i postavljamo Pipeline. Na ulaz dolaze logovi sljedeće vrste:

{"log":"u001b[0;33;1mnginx.1    | u001b[0mnginx.test 172.28.0.3 - - [13/Jun/2020:23:25:50 +0000] "GET /api/index HTTP/1.1" 200 0 "-" "Stub_Bot/0.1" "0.096"n","stream":"stdout","attrs":{"tag":"nginx.promtail.test|proxy.prober"},"time":"2020-06-13T23:25:50.66740443Z"}
{"log":"u001b[0;33;1mnginx.1    | u001b[0mnginx.test 172.28.0.3 - - [13/Jun/2020:23:25:50 +0000] "GET /200 HTTP/1.1" 200 0 "-" "Stub_Bot/0.1" "0.000"n","stream":"stdout","attrs":{"tag":"nginx.promtail.test|proxy.prober"},"time":"2020-06-13T23:25:50.702925272Z"}

Faza pipeline:

 - json:
     expressions:
       stream: stream
       attrs: attrs
       tag: attrs.tag

Izdvajamo iz dolaznog JSON polja stream, attrs, attrs.tag (ako postoje) i stavljamo ih u extracted map.

 - regex:
     izrazi: ^(?P([^|]+))|(?P([^|]+))$
     izvor: "tag"

Ako je uspjelo staviti polje tag u extracted map, pomoću regularnih izraza izvlačimo imena slike i kontejnera.

 - oznake:
     image_name:
     container_name:

Dodjeljujemo oznake. Ako se u extracted datama otkriju ključevi image_name i container_name, tada će njihove vrijednosti biti dodijeljene odgovarajućim oznakama.

 - podudaranje:
     selektor: '{job="docker",container_name="",image_name=""}'
     akcija: odbaci

Odbacujemo sve logove za koje nisu otkrivene postavljene oznake image_name i container_name.

  - podudaranje:
     selektor: '{image_name="nginx.promtail.test"}'
     faze:
       - json:
           izrazi:
             red: log

Za sve logove čije je image_name jednak nginx.promtail.test, izvlačimo iz izvornog loga polje log i stavljamo ga u extracted map s ključem red.

  - regex:
         # potiskivanje boja forego-a
         izrazi: .+nginx.+|.+[0m(?P[a-z_.-]+) +(?P.+)
         izvor: logrow

Čistimo ulazni niz pomoću regularnih izraza i izvlačimo nginx virtual host i niz nginx loga.

     - regex:
         izvor: nginxlog
         izrazi: ^(?P[w.]+) - (?P[^ ]*) [(?P[^ ]+).*] "(?P[^ ]*) (?P[^ ]*) (?P[^ ]*)" (?P[d]+) (?P[d]+) "(?P[^"]*)" "(?P[^"]*)"( "(?P[d.]+)")?

Parsamo nginx log pomoću regularnih izraza.

    - regex:
           izvor: request_url
           izrazi: ^.+.(?Pjpg|jpeg|gif|png|ico|css|zip|tgz|gz|rar|bz2|pdf|txt|tar|wav|bmp|rtf|js|flv|swf|html|htm)$
     - regex:
           izvor: request_url
           izrazi: ^/photo/(?P[^/?.]+).*$
       - regex:
           izvor: request_url
           izrazi: ^/api/(?P[^/?.]+).*$

Analiziramo request_url. Pomoću regularnih izraza određujemo svrhu zahtjeva: za statiku, za fotografije, za API i postavljamo odgovarajući ključ u extracted map.

       - predložak:
           izvor: request_type
           predložak: "{{if .photo}}photo{{else if .static_type}}static{{else if .api_request}}api{{else}}other{{end}}"

Pomoću uvjetnih operatora u predlošku provjeravamo postavljena polja u extracted map i postavljamo potrebne vrijednosti za polje request_type: photo, static, API. Postavljamo other ako nije uspjelo. Sada request_type sadrži tip zahtjeva.

       - oznake:
           api_request:
           virtual_host:
           request_type:
           status:

Postavljamo oznake api_request, virtual_host, request_type i status (HTTP status) na temelju onoga što smo uspjeli staviti u extracted map.

       - izlaz:
           izvor: nginx_log_row

Mijenjamo izlaz. Sada u Loki ide očisti nginx-log iz extracted map.

Sakupljanje logova sa Loki

Nakon pokretanja navedenog konfiguriranja, može se vidjeti da je svakoj stavci dodijeljeno oznake na temelju podataka iz loga.

Važno je napomenuti da vađenje oznaka s velikim brojem vrijednosti (kardinalitet) može značajno usporiti rad Loki-ja. To znači da ne treba stavljati u indeks, na primjer, user_id. Više o tome možete pročitati u članku “Kako oznake u Loki mogu ubrzati i olakšati pretraživanje zapisa”. Međutim, to ne znači da nije moguće pretraživati po user_id bez indeksa. Treba koristiti filtre prilikom pretraživanja („grepat“ po podacima), a indeks ovdje služi kao identifikator toka.

Vizualizacija zapisa

Sakupljanje logova sa Loki

Loki može služiti kao izvor podataka za grafove Grafana, koristeći LogQL. Podržane su sljedeće funkcije:

  • rate — broj zapisa u sekundi;
  • count over time — broj zapisa unutar zadanog raspona.

Dostupne su i agregacijske funkcije Sum, Avg i druge. Mogu se izrađivati prilično složeni grafovi, na primjer graf broja HTTP pogrešaka:

Sakupljanje logova sa Loki

Standardni data source Loki je nešto ograničeniji u funkcionalnosti u usporedbi s data source Prometheus (na primjer, ne može se promijeniti legenda), ali Loki se može povezati kao izvor tipa Prometheus. Nisam siguran da je ovo dokumentirano ponašanje, ali prema odgovoru programera “Kako konfigurirati Loki kao Prometheus data source? · Issue #1222 · grafana/loki”, to je sasvim legitimno i Loki je potpuno kompatibilan s PromQL.

Dodajemo Loki kao data source s tipom Prometheus i upisujemo URL /loki:

Sakupljanje logova sa Loki

I možemo izraditi grafove, kao da radimo s metrikama iz Prometheus-a:

Sakupljanje logova sa Loki

Mislim da je razlika u funkcionalnosti privremena i da će programeri to ispraviti u budućnosti.

Sakupljanje logova sa Loki

Metrije

U Loki su dostupne mogućnosti vađenja numeričkih metrika iz zapisa i slanja njih u Prometheus. Na primjer, u nginx zapisu ima informacija o broju bajtova u odgovoru, kao i, uz određenu modifikaciju standardnog formata zapisa, vrijeme u sekundama koje je bilo potrebno za odgovor. Ove podatke je moguće izvući i poslati u Prometheus.

Dodajemo još jedan odjeljak u promtail.yml:

- match:
   selector: '{request_type="api"}'
   stages:
     - metrics:
         http_nginx_response_time:
           type: Histogram
           description: "vrijeme odgovora ms"
           source: response_time
           config:
             buckets: [0.010,0.050,0.100,0.200,0.500,1.0]
- match:
   selector: '{request_type=~"static|photo"}'
   stages:
     - metrics:
         http_nginx_response_bytes_sum:
           type: Counter
           description: "zbroj bajtova odgovora"
           source: bytes_out
           config:
             action: add
         http_nginx_response_bytes_count:
           type: Counter
           description: "broj bajtova odgovora"
           source: bytes_out
           config:
             action: inc

Opcija omogućuje definiranje i ažuriranje metrika na temelju podataka iz extracted map. Ove metrike se ne šalju u Loki — pojavljuju se na Promtail /metrics endpoint. Prometheus mora biti konfiguriran tako da primi podatke prikupljene u ovoj fazi. U navedenom primjeru za request_type="api" prikupljamo metriku-histogram. Ovaj tip metrika omogućuje jednostavno dobivanje percentila. Za statiku i fotografije prikupljamo sumu bajtova i broj redaka u kojima smo dobili bajte kako bismo izračunali prosječnu vrijednost.

Detaljnije o metrima pročitajte ovdje.

Otvaramo port na Promtail:

promtail:
     image: grafana/promtail:1.4.1
     container_name: monitoring.promtail
     expose:
       - 9080
     ports:
       - "9080:9080"

Provjeravamo da su metri s prefiksom promtail_custom pojavili:

Sakupljanje logova sa Loki

Konfiguriramo Prometheus. Dodajemo job promtail:

- job_name: 'promtail'
 scrape_interval: 10s
 static_configs:
   - targets: ['promtail:9080']

I crtamo grafikon:

Sakupljanje logova sa Loki

Na taj način možemo saznati, na primjer, četiri najsporija zahtjeva. Također, za ove metrike možete postaviti monitoring.

Skaliranje

Loki može biti u samostalnom režimu (single binary mode) ili u režimu skaliranja (horizontally-scalable mode). U drugom slučaju može pohranjivati podatke u oblak, pri čemu su chunkovi i indeksi pohranjeni odvojeno. U verziji 1.5 implementirana je mogućnost pohrane na jednom mjestu, ali se još uvijek ne preporučuje koristiti je u produkciji.

Sakupljanje logova sa Loki

Chunkove je moguće pohranjivati u S3-kompatibilnom skladištu, dok se indeksi mogu čuvati u horizontalno skalabilnim bazama podataka: Cassandra, BigTable ili DynamoDB. Ostali dijelovi Lokija — Distributors (za pisanje) i Querier (za upite) — su stateless i također se horizontalno skaliraju.

Na konferenciji DevOpsDays Vancouver 2019, jedan od sudionika Callum Styan izjavio je da njegov projekt s Lokijem ima petabajte logova s indeksom manjim od 1% od ukupne veličine: “Kako Loki korelira metrike i logove — i štedi vam novac”.

Uporedba Loki i ELK

Veličina indeksa

Za testiranje dobivene veličine indeksa koristio sam logove iz kontejnera nginx, za koji je postavljen Pipeline, naveden iznad. Datoteka s logovima sadržavala je 406 624 redaka s ukupnom veličinom od 109 MB. Logovi su se generirali tijekom sata, otprilike 100 unosa u sekundi.

Primjer dva retka iz loga:

Sakupljanje logova sa Loki

Pri indeksaciji ELK to je dalo veličinu indeksa od 30,3 MB:

Sakupljanje logova sa Loki

U slučaju Loki, to je dalo oko 128 KB indeksa i otprilike 3,8 MB podataka u blokovima. Važno je napomenuti da je log umjetno generiran i nije se odlikovao velikom raznolikošću podataka. Običan gzip na izvornoj dokerskoj JSON log datoteci davao je kompresiju od 95,4%, a s obzirom na to da se u sam Loki slala samo očišćena nginx log datoteka, kompresija na 4 MB je razumljiva. Ukupan broj jedinstvenih vrijednosti za oznake Loki bio je 35, što objašnjava mali veličinu indeksa. Za ELK log je također očišćen. Tako je Loki smanjio izvorne podatke za 96%, a ELK za 70%.

Potrošnja memorije

Sakupljanje logova sa Loki

Ako usporedimo cijeli Prometheus i ELK niz, Loki „jede“ nekoliko puta manje. Jasno je da servis napisan u Go-u troši manje nego servis napisan u Javi, i usporedba veličine JVM Heap Elasticsearch-a i dodijeljene memorije za Loki nije ispravna, ali vrijedi napomenuti da Loki koristi mnogo manje memorije. Njegova prednost u CPU-u nije tako očita, ali je prisutna.

Brzina

Loki brže „proždire“ logove. Brzina ovisi o mnogim faktorima — kakvi su logovi, koliko složeno ih analiziramo, mreža, disk itd. — ali je neosporno veća nego kod ELK (u mom testu — otprilike dvostruko). To se objašnjava time što Loki stavlja mnogo manje podataka u indeks i samim tim troši manje vremena na indeksiranje. Sa brzinom pretraživanja situacija je obrnuta: Loki značajno usporava s podacima većim od nekoliko gigabajta, dok kod ELK brzina pretraživanja neovisno o veličini podataka.

Pretraživanje po logovima

Loki znatno zaostaje za ELK kada je u pitanju pretraživanje logova. Grep s regularnim izrazima je snažan alat, ali zaostaje za ozbiljnom bazom podataka. Nedostatak range upita, agregacija samo po oznakama, nemogućnost pretraživanja bez oznaka — sve to nas ograničava u pronalaženju zanimljivih informacija u Loki-ju. To ne podrazumijeva da se s Loki-jem ne može pronaći ništa, ali određuje tijek rada s logovima, gdje prvo pronađete problem na grafikonima Prometheus-a, a zatim prema tim oznakama tražite što se dogodilo u logovima.

Interfejs

Prvo, to je lijepo (izvinjavam se, nisam mogao izdržati). Grafana ima ugledno sučelje, ali Kibana je mnogo funkcionalnija.

Prednosti i nedostaci Loki-a

Pozitivne strane uključuju to što se Loki integrira s Prometheusom, pa tako dobivamo metrike i upozorenja iz kutije. Praktičan je za prikupljanje i pohranu logova s Kubernetes Pods, jer ima naslijeđeno od Prometheusa otkrivanje usluga i automatski dodaje oznake.

Negativne strane uključuju slabiju dokumentaciju. Neke stvari, poput značajki i mogućnosti Promtail-a, otkrio sam tek tijekom proučavanja koda, srećom, open-source. Još jedan nedostatak su slabe mogućnosti parsiranja. Na primjer, Loki ne može obraditi multiline logove. Također, može se istaknuti da je Loki relativno mlada tehnologija (izdanje 1.0 bilo je u studenom 2019. godine).

Zaključak

Loki je 100% zanimljiva tehnologija koja odgovara malim i srednjim projektima, omogućujući rješavanje mnogih zadataka agrediranja logova, pretraživanja logova, nadzora i analize logova.

Ne koristimo Loki u Badoo-u, jer imamo ELK stack koji nam odgovara i koji se tijekom godina razvio u razna prilagođena rješenja. Ključni problem za nas je pretraživanje logova. S gotovo 100 GB logova dnevno, važno nam je moći pronaći sve i još više te to raditi brzo. Za izradu grafova i nadzor koristimo druga rješenja koja su prilagođena našim potrebama i međusobno integrirana. Loki stack ima očite prednosti, ali nam neće dati više nego što već imamo, a njegove prednosti sigurno neće nadmašiti troškove migracije.

Iako je nakon istraživanja postalo jasno da Loki ne možemo koristiti, nadamo se da će ovaj post pomoći vama u odabiru.

Repozitorij s kodom korištenim u članku nalazi se ovdje.

Izvor: habr.com

Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere | ProHoster