Praćenje usluga, OpenTracing i Jaeger

Praćenje usluga, OpenTracing i Jaeger

U našim projektima koristimo mikroservisnu arhitekturu. Kada se pojave uska grla u performansama, često se troši mnogo vremena na praćenje i analizu logova. Kada se evidentiraju tajmingi pojedinačnih operacija u log datoteku, obično je teško shvatiti šta je uzrokovalo pozivanje tih operacija, pratiti redoslijed radnji ili pomak u vremenu jedne operacije u odnosu na drugu između različitih usluga.

Kako bismo minimalizovali ručni rad, odlučili smo se iskoristiti jedan od alata za praćenje. O tome kako i za šta se može koristiti praćenje i kako smo to radili, riječ je u ovom članku.

Koje probleme se mogu riješiti pomoću praćenja

  1. Pronaći uska grla u performansama unutar jedne usluge, kao i u cijelom stablu izvršenja između svih uključenih usluga. Na primjer:
    • Mnoge kratke uzastopne pozive između usluga, na primjer, na geokoding ili bazu podataka.
    • Duga čekanja za unos/izlaz, na primjer, prenos podataka putem mreže ili čitanje sa diska.
    • Dugo procesiranje podataka.
    • Duge operacije koje zahtijevaju CPU.
    • Dijelovi koda koji nisu potrebni za postizanje konačnog rezultata i mogu se ukloniti ili pokrenuti odloženo.
  2. Jasno razumjeti u kojem redoslijedu se šta poziva i šta se dešava kada se izvršava operacija.
    Praćenje usluga, OpenTracing i Jaeger
    Vidljivo je da, na primjer, zahtjev dolazi u uslugu WS -> usluga WS dopunjuje podatke putem usluge R -> zatim šalje zahtjev u uslugu V -> usluga V učitava mnogo podataka iz usluge R -> odlazi u uslugu P -> usluga P još jednom odlazi u uslugu R -> usluga V ignorira rezultat i ide u uslugu J -> i tek tada vraća odgovor u uslugu WS, dok u pozadini nastavlja izračunavati nešto drugo.
    Bez takvog traga ili detaljne dokumentacije o cijelom procesu, veoma je teško razumjeti šta se dešava, prvi put gledajući kod, i kod je razbacan po različitim uslugama i skriven iza gomile binaire i interface-a.
  3. Prikupljanje informacija o stablu izvršenja za kasniju analizu. U svakoj fazi izvršavanja u trag se može dodati informacija koja je dostupna u toj fazi, a zatim ispitati koji su ulazni podaci doveli do sličnog scenarija. Na primjer:
    • ID korisnika
    • Prava
    • Tip odabrane metode
    • Log ili greška izvršenja
  4. Pretvaranje tragova u podskup metrika i dalje analizira u obliku metrika.

Šta može logirati traganje. Span

U tragovanju postoji pojam span, to je analog jednog loga, u konzoli. Span ima:

  • Naziv, obično naziv metode koja je izvršena
  • Naziv usluge u kojoj je generisan span
  • Vlastiti jedinstveni ID
  • Neka metainformacija u obliku key/value koja je zabilježena u njemu. Na primjer, parametri metode ili je metoda završila greškom ili ne
  • Vrijeme početka i kraja izvršenja ovog spana
  • ID roditeljskog spana

Svaki span se šalje u sakupljač spana za čuvanje u bazu za naknadni pregled čim završi svoje izvršenje. Kasnije se može izgraditi stablo svih spana povezujući po id roditelja. Tokom analize, može se pronaći, na primjer, svi spani u nekoj usluzi koji su trajali duže od nekog vremena. Zatim, prelazeći na konkretan span, vidjeti cijelo stablo iznad i ispod ovog spana.

Praćenje usluga, OpenTracing i Jaeger

Opentrace, Jagger i kako smo to implementirali za naše projekte

Postoji zajednički standard Opentrace, koji opisuje kako i šta treba prikupljati, ne vezujući tragovanje za konkretnu implementaciju u nekom jeziku. Na primjer, u Javi se sav rad sa tragovima obavlja putem zajedničkog API-ja Opentrace, a ispod njega može se sakriti, na primjer, Jaeger ili prazna podrazumijevana implementacija koja ništa ne radi.
Kod nas se koristi Jaeger kao implementacija Opentrace. Sastoji se od nekoliko komponenti:

Praćenje usluga, OpenTracing i Jaeger

  • Jaeger-agent — lokalni agent koji obično stoji na svakoj mašini i u njega logiraju usluge na lokalnu podrazumijevanu port. Ako agenta nema, onda su tragovi svih usluga na ovoj mašini obično isključeni.
  • Jaeger-collector — u njega svi agenti šalju prikupljene tragove, a on ih smešta u odabranu bazu podataka.
  • Baza podataka — preferirana je kod njih cassandra, ali mi koristimo elasticsearch, postoje i implementacije za nekoliko drugih baza i in memory implementaciju koja ništa ne čuva na disku.
  • Jaeger-query — to je usluga koja ide u bazu podataka i vraća već prikupljene tragove za analizu.
  • Jaeger-ui — to je web interfejs za pretragu i pregled tragova, ide u jaeger-query.

Praćenje usluga, OpenTracing i Jaeger

Posebnom komponentom može se nazvati implementacija opentrace jaeger za konkretne jezike, kroz koju se spani šalju u jaeger-agent.
Povezivanje Jagger u Javi sve se svodi na implementaciju interfejsa io.opentracing.Tracer, nakon čega će svi tragovi kroz njega biti poslani stvarnom agentu.

Praćenje usluga, OpenTracing i Jaeger

Takođe, za Spring komponente može se povezati opentracing-spring-cloud-starter i implementaciju od Jaeger opentracing-spring-jaeger-cloud-starter koja automatski konfiguriše praćenje za sve što prolazi kroz te komponente, poput HTTP zahteva u kontrolerima, zahteva prema Bazi podataka putem jdbc itd.

Logovanje tragova u Javi

Negde na najvišem nivou mora biti kreiran prvi Span, što može biti učinjeno automatski, na primer, od Spring kontrolera prilikom primanja zahteva, ili ručno ako takvog nema. Zatim se prenosi kroz Scope niže. Ako neki metod ispod želi dodati Span, uzima trenutni activeSpan iz Scope-a, kreira novi Span i postavlja svoj roditeljski span na dobijeni activeSpan, i čini novi Span aktivnim. Kada se pozivaju spoljne usluge, trenutni aktivni span se prenosi njima, i te usluge kreiraju nove spane vezane za ovaj span.
Sav rad ide kroz instancu Tracer, koju možete dobiti kroz DI mehanizam, ili GlobalTracer.get() kao globalnu promenljivu, ako DI mehanizam ne radi. Podrazumevano, ako tracer nije inicijalizovan, vratiće se NoopTracer koji ništa ne radi.
Zatim se iz tracer-a preko ScopeManager-a uzima trenutni scope, kreira se novi scope od trenutnog sa vezom novog spana, a zatim se zatvara stvoreni Scope, koji zatvara stvoreni span i vraća prethodni Scope u aktivno stanje. Scope je vezan za nit, tako da prilikom višedretvenog programiranja ne zaboravite prenositi aktivni span u drugu nit, za dalju aktivaciju Scope-a druge niti u vezi sa tim spanom.

io.opentracing.Tracer tracer = ...; // GlobalTracer.get()

void DoSmth () {
   try (Scope scope = tracer.buildSpan("DoSmth").startActive(true)) {
      ...
   }
}
void DoOther () {
    Span span = tracer.buildSpan("someWork").start();
    try (Scope scope = tracer.scopeManager().activate(span, false)) {
        // Radimo stvari.
    } catch(Exception ex) {
        Tags.ERROR.set(span, true);
        span.log(Map.of(Fields.EVENT, "error", Fields.ERROR_OBJECT, ex, Fields.MESSAGE, ex.getMessage()));
    } finally {
        span.finish();
    }
}

void DoAsync () {
    try (Scope scope = tracer.buildSpan("ServiceHandlerSpan").startActive(false)) {
        ...
        final Span span = scope.span();
        doAsyncWork(() -> {
            // KORAK 2 IZNAD: ponovo aktivirajte Span u povratnom pozivu, postavljajući true na
            // startActive() ako/kada span treba da bude završen.
            try (Scope scope = tracer.scopeManager().activate(span, false)) {
                ...
            }
        });
    }
}

Za višedretveno programiranje postoje TracedExecutorService i slični omotači koji automatski prenose trenutni span u nit prilikom pokretanja asinhronih zadataka:

private ExecutorService executor = new TracedExecutorService(
    Executors.newFixedThreadPool(10), GlobalTracer.get()
);

Za spoljna http upitavanja postoji TracingHttpClient

HttpClient httpClient = new TracingHttpClientBuilder().build();

Problemi s kojima smo se susreli

  • Bini i DI ne rade uvek ako se tracer ne koristi u servisu ili komponenti, tada Autowired Tracer možda neće raditi i biće potrebno koristiti GlobalTracer.get().
  • Anotacije ne rade ako to nije komponenta ili servis, ili ako se poziv metode vrši iz susedne metode iste klase. Treba biti oprezan, proveriti šta radi, i koristiti ručno kreiranje trejza ako @Traced ne funkcioniše. Takođe se može dodati dodatni kompajler za java anotacije, tada bi trebalo raditi svuda.
  • U starim spring i spring boot verzijama ne radi automatska konfiguracija opentracing spring cloud zbog grešaka u DI, pa ako želite da automatski rade trejzovi u komponentama springa, to se može učiniti po analogiji sa github.com/opentracing-contrib/java-spring-jaeger/blob/master/opentracing-spring-jaeger-starter/src/main/java/io/opentracing/contrib/java/spring/jaeger/starter/JaegerAutoConfiguration.java
  • U groovy-ju ne radi try with resources, obavezno je koristiti try finally.
  • Svaki servis treba da ima svoj spring.application.name pod kojim će se logovati trejzovi. Pri čemu poseban naziv za produkciju i test, da ih ne bi mešali.
  • Ako se koristi GlobalTracer i tomcat, tada svi servisi pokrenuti u tom tomcat-u imaju jedan GlobalTracer, pa će im na svim biti isto ime servisa.
  • Prilikom dodavanja trejzova u metodu, treba biti siguran da se ne poziva u petlji više puta. Treba dodati jedan zajednički trejz za sve pozive, koji će zabeležiti ukupno vreme rada. Inače će se stvoriti suvišna opterećenja.
  • Jednom smo u jaeger-ui pravili prevelike upite na veliki broj trejzova i pošto nismo čekali odgovor, ponovo smo ih pravili. Na kraju je jaeger-query počeo trošiti mnogo memorije i usporavati elastik. Pomoglo je restartovanje jaeger-query.

Sempliranje, čuvanje i pregled trejzova

Postoje tri tipa sempliranja trejzova:

  1. Const koji šalje i čuva sve trejzove.
  2. Probabilistic koji filtrira trejzove sa nekom određenom verovatnoćom.
  3. Ratelimiting koji ograničava broj tragova u sekundi. Ove parametre možete postaviti na klijentu, ili na jaeger-agentu ili u kolektoru. Trenutno u našem steku validatora koristimo const 1, jer zahtjeva nije mnogo, ali traje dugo. U budućnosti, ako to uzrokuje prekomjerna opterećenja na sustavu, može se ograničiti.

Ako koristite cassandra, ona po defaultu čuva tragove samo dva dana. Kod nas se koristi elasticsearch i tragovi se čuvaju zauvijek i ne brišu se. Za svaki dan se kreira poseban indeks, na primjer jaeger-service-2019-03-04. U budućnosti treba postaviti automatsko čišćenje starih tragova.

Da biste pogledali tragove, potrebno je:

  • Odabrati uslugu prema kojoj želite filtrirati tragove, na primjer tomcat7-default za uslugu koja se pokreće u Tomcat-u i ne može imati svoje ime.
  • Zatim odabrati operaciju, vremenski period i minimalno vreme operacije, na primjer od 10 sekundi, kako biste uzeli samo dugačka izvršenja.
    Praćenje usluga, OpenTracing i Jaeger
  • Preći u jedan od tragova i vidjeti šta je usporavalo.
    Praćenje usluga, OpenTracing i Jaeger

Takođe, ako je poznat neki ID zahtjeva, trag se može pronaći prema tom ID-ju putem pretrage po oznakama, ako je ovaj ID zabilježen u span-tragu.

Dokumentacija

Članci

Video

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster