{"id":81888,"date":"2020-05-17T13:42:23","date_gmt":"2020-05-17T11:42:23","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/thanos-masshtabiruemyj-prometheus"},"modified":"2020-05-17T13:42:23","modified_gmt":"2020-05-17T11:42:23","slug":"thanos-masshtabiruemyj-prometheus","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/thanos-masshtabiruemyj-prometheus","title":{"rendered":"Thanos - skaleeritav Prometheus.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Artikli t\u00f5lge on ette valmistatud spetsiaalselt kursuse \u00fcli\u00f5pilastele \u201eDevOps praktikas ja t\u00f6\u00f6riistades\u201c<\/a><\/noindex>.<\/i><\/b><\/p>\n

\nFabian Reinartz<\/a><\/noindex> \u2014 tarkvaraarendaja, Go f\u00e4nn ja keeruliste probleemide lahendamise entusiast. Samuti on ta Prometheuse hooldaja ja Kubernetes SIG instrumentation kaasas\u00fcttija. Varem t\u00f6\u00f6tas ta SoundCloudis tootmisinsenerina ja juhtis CoreOSis j\u00e4lgimisr\u00fchma. Praegu t\u00f6\u00f6tab ta Google'is.<\/p>\n

Bartek Plotka<\/a><\/noindex> \u2014 infrastruktuuriinsener Improbable'is. Uurib uusi tehnoloogiaid ja jaotatud s\u00fcsteemide v\u00e4ljakutseid. Tal on madala taseme programmeerimise kogemus Intelis, Mesos'e kaast\u00f6\u00f6taja kogemus ja maailman\u00e4gline SRE tootmispraktika Improbable'is. T\u00f5ukab edasi mikroteenuste maailma. Tema kolm armastust: Golang, avatud l\u00e4htekood ja v\u00f5rkpall.<\/i><\/p>\n

Vaadates meie lipulaeva toodet SpatialOS, saate hinnata, et Improbable vajab k\u00f5rgd\u00fcnaamilist globaalset pilvetehnoloogiat, millel on k\u00fcmneid Kubernetes'e klastreid. Me olime \u00fcks esimesi, kes hakkas kasutama j\u00e4lgimiss\u00fcsteemi Prometheus<\/a><\/noindex>. Prometheus suudab reaalajas j\u00e4lgida miljoneid m\u00f5\u00f5dikuid ja sisaldab v\u00f5imsat p\u00e4ringu keelt, mis v\u00f5imaldab vajalikku teavet v\u00e4lja t\u00f5mmata.<\/p>\n

Prometheuse kasutamise lihtsus ja usaldusv\u00e4\u00e4rsus on selle peamised eelised. Ent teatud suurusele j\u00f5udes oleme pidanud silmitsi seisma mitmete puudustega. Nende probleemide lahendamiseks oleme v\u00e4lja t\u00f6\u00f6tanud Thanos<\/a><\/noindex> \u2014 avatud l\u00e4htekoodiga projekti, mille on loonud Improbable, et muuta olemasolevad Prometheuse klastrid sujuvaks \u00fchtseks j\u00e4lgimiss\u00fcsteemiks, millel on piiramatu ajalooliste andmete salvestus. Thanos on saadaval Githubis siit<\/a><\/noindex>.<\/a><\/noindex><\/p>\n

Olge kursis Improbable'i viimaste uudistega.<\/a><\/noindex><\/p>\n

Meie eesm\u00e4rgid Thanosiga<\/h2>\n

\nTeatud suurusel tekivad probleemid, mis \u00fcletavad vanilli Prometheuse v\u00f5imalusi. Kuidas usaldusv\u00e4\u00e4rselt ja \u00f6konoomselt salvestada petabaitide jagu ajaloolisi andmeid? Kas seda saab teha ilma p\u00e4ringu vastuse aega kahjustamata? Kas saame p\u00e4\u00e4seda k\u00f5igile erinevatel Prometheuse serveritel asuvatele m\u00f5\u00f5dikutel \u00fche API-p\u00e4ringu kaudu? Kas on v\u00f5imalik s\u00e4ilitada replitseeritud andmeid, kogutud Prometheuse HA abil?<\/p>\n

Nende k\u00fcsimuste lahendamiseks oleme loonud Thanos. J\u00e4rgmistes osades kirjeldame, kuidas me nendele k\u00fcsimustele l\u00e4henesime ja selgitame eesm\u00e4rke, mida soovisime saavutada.<\/p>\n

Andmete p\u00e4rimine mitmest Prometheuse eksemplarist (globaalne p\u00e4ring)<\/h4>\n

\nPrometheus pakub funktsionaalset l\u00e4henemist sharding'ule. Isegi \u00fcks Prometheuse server tagab piisava skaleeritavuse, et vabastada kasutajad praktiliselt k\u00f5igi kasutusjuhtumite horisontaalse sharding'i keerukustest.<\/p>\n

Kuigi see on suurep\u00e4rane juurutusmudel, on sageli vajalik ligip\u00e4\u00e4s andmetele erinevates Prometheuse serverites l\u00e4bi \u00fche API v\u00f5i kasutajaliidese \u2014 globaalne vaade. Muidugi on v\u00f5imalik kuvada mitut p\u00e4ringut \u00fches Grafana paneelis, kuid iga p\u00e4ringut saab teostada ainult \u00fches Prometheuse serveris. Teisest k\u00fcljest v\u00f5imaldab Thanos p\u00e4rida ja agregatsiooni andmeid mitmest Prometheuse serverist, kuna k\u00f5ik need on saadaval \u00fche l\u00f5pp-punkti kaudu.<\/p>\n

Varem, et saada globaalset vaadet Improbables, korraldasime oma Prometheuse eksemplarid mitme tasandi Hierarchical Federation<\/a><\/noindex>. See t\u00e4hendas \u00fche Prometheuse meta-serveri loomist, mis kogub andmeid igalt 'leht-serverilt'.<\/p>\n

\"Thanos
\n
\nSee l\u00e4henemine osutus probleemseks. See t\u00f5i kaasa konfiguratsiooni keerukuse, lisas t\u00e4iendava v\u00f5imaliku rikete punkti ja rakendas keerulisi reegleid, et anda f\u00f6deraalsete l\u00f5pp-punktide kaudu ainult vajalikud andmed. Lisaks ei v\u00f5imalda selline f\u00f6deratsioon saada t\u00f5elist globaalset \u00fclevaadet, kuna k\u00f5ik andmed ei ole kergesti k\u00e4ttesaadavad \u00fche API-p\u00e4ringu kaudu.<\/p>\n

Sellega seostatakse tihedalt andmete \u00fchtne esitus, mis on kogutud k\u00f5rge saadavusega (high-availability, HA) Prometheuse serverites. HA-mudel kogub Prometheuse andmeid iseseisvalt kaks korda, mis on nii lihtne, et pole lihtsalt v\u00f5imalik lihtsamat. Siiski oleks palju mugavam kasutada \u00fchendavat ja dubleeritud esitusviisi m\u00f5lema voogude jaoks.<\/p>\n

Muidugi on Prometheuse k\u00f5rgelt kergendatud serverites selline vajadus. Improbable'is suhtume t\u00f5siselt andmete iga minutise j\u00e4lgimise vajadusse, kuid \u00fche Prometheuse koha olemasolu klastris on ainus rikkevoht. \u00dckski konfiguratsiooniviga v\u00f5i riistvara rike ei saa potentsiaalselt kaotada olulisi andmeid. Isegi lihtne juurutamine v\u00f5ib p\u00f5hjustada l\u00fchikesi vigu m\u00f5\u00f5tmete kogumises, kuna k\u00e4ivitamine v\u00f5ib v\u00f5tta tunduvalt kauem kui kraapimise intervall.<\/p>\n

Usaldusv\u00e4\u00e4rne ajalooliste andmete salvestamine<\/h4>\n

\nOdav, kiire ja pikaajaline m\u00f5\u00f5tmete salvestamine on meie unistus (mida jagab enamik Prometheuse kasutajaid). Improbable'is pidime m\u00e4\u00e4rama m\u00f5\u00f5tmete s\u00e4ilivusaja \u00fcheks p\u00e4evaks (Prometheus 1.8 puhul). See seab ilmsed piirangud sellele, kui kaugele me saame tagasi vaadata.<\/p>\n

Prometheus 2.0 on selles osas parem, kuna ajaseeriad ei m\u00f5juta enam serveri \u00fcldist tulemuslikkust (vt KubeConi peaesinejat Prometheuse 2 kohta<\/a><\/noindex>). Kuid Prometheus salvestab andmed kohalikule kettale. Kuigi andmete t\u00f5hus kokkupressimine v\u00f5ib m\u00e4rgatavalt v\u00e4hendada kohalikku SSD kasutust, on l\u00f5puks siiski piirang s\u00e4ilitatavate ajalooliste andmete mahule.<\/p>\n

Lisaks hoolitseme Improbables usaldusv\u00e4\u00e4rsuse, lihtsuse ja kulude p\u00e4rast. Suured kohalikud kettad on keerukamad haldamise ja varundamise osas. Need on kallimad ja vajavad rohkem varundamisvahendeid, mis toob kaasa liigset keerukust.<\/p>\n

Alamp\u00f5hjaline v\u00e4hendamine<\/h4>\n

\nKui me hakkasime t\u00f6\u00f6tama ajalooliste andmetega, saime aru, et O-suure mahtudega on p\u00f5hilisi keerukusi, mis muudavad p\u00e4ringud j\u00e4rjest aeglasemaks, kui t\u00f6\u00f6tame n\u00e4dalate, kuude ja aastate andmetega.<\/p>\n

Selle probleemi standardlahendus on alamp\u00f5hjaline v\u00e4hendamine<\/a><\/noindex> (downsampling) \u2014 signaali prooviv\u00f5tusageduse v\u00e4hendamine. Prooviv\u00f5tusageduse v\u00e4hendamise kaudu saame \u201csuuruse v\u00e4hendada\u201d pikema ajavahemiku jooksul ja s\u00e4ilitada endise valimi arvu, mis v\u00f5imaldab p\u00e4ringute vastupidavust pidada.<\/p>\n

Vana andmete allasammumine on igasuguste pikaajalise salvestuse lahenduste v\u00e4ltimatu n\u00f5ue ja see \u00fcletab tavalise Prometheuse piire.<\/p>\n

T\u00e4iendavad eesm\u00e4rgid<\/h4>\n

\n\u00dcks Thanos projekti algseid eesm\u00e4rke oli sujuv integreerimine olemasolevate Prometheuse installeerimistega. Teine eesm\u00e4rk oli lihtne kasutamine v\u00e4hese sissep\u00e4\u00e4supiiranguga. K\u00f5ik s\u00f5ltuvused peaksid olema kergesti rahuldavad nii v\u00e4ikeste kui ka suurte kasutajate jaoks, mis eeldab samuti v\u00e4ikest alghinda.<\/p>\n

Thanos arhitektuur<\/h2>\n

\nP\u00e4rast meie eesm\u00e4rkide loetlemist eelmises jaotises, t\u00f6\u00f6tame koos nende nimel ja vaatame, kuidas Thanos neid probleeme lahendab.<\/p>\n

Globaalne vaade<\/h4>\n

\nGlobaalsete vaadete saamiseks olemasolevate Prometheuse eksemplaride peal, peame \u00fchendama \u00fchtse p\u00e4ringute sisenemispunkti k\u00f5igi serveritega. Just sellega tegeleb Thanos komponent. Sidecar<\/a><\/noindex>. See paigaldatakse igasuguste Prometheuse serverite k\u00f5rvale ja t\u00f6\u00f6tab nagu vahendaja, teenindades kohalikke Prometheuse andmeid gRPC-API Store abil, mis v\u00f5imaldab valida ajaserveri andmeid siltide ja ajavahemiku j\u00e4rgi.<\/p>\n

Teiselt poolt on horisontaalselt skaleeritav Querier, millel ei ole olekukuud, mis teeb veidi rohkem kui lihtsalt vastab PromQL p\u00e4ringutele standardse Prometheuse HTTP API kaudu. Querier, Sidecar ja muud Thanos komponendid suhtlevad gossip protokolli kaudu.<\/a><\/noindex>.<\/p>\n

\"Thanos
\n<\/p>\n

    \n
  1. Querier, kui ta saab p\u00e4ringu, \u00fchendub vastava serveriga Store API, milleks on meie Sidecar'id, ja saab ajajoonte andmed vastavatelt Prometheuse serveritelt.<\/li>\n
  2. Seej\u00e4rel liidab ta vastused ja t\u00e4idab nende p\u00f5hjal PromQL p\u00e4ringu. Querier suudab liita nii mitte\u00fchtivad kui ka dubleeritud andmed HA Prometheuse serveritest.<\/li>\n<\/ol>\n

    \nSee lahendab suure osa meie m\u00f5istatust \u2014 andmete liitmine isoleeritud Prometheuse serveritest \u00fchtseks vaateks. Tegelikult saab Thanoset kasutada ainult selle v\u00f5imaluse t\u00f5ttu. Olemasolevatele Prometheuse serveritele ei ole vaja mingeid muudatusi teha!<\/p>\n

    Piiramatu s\u00e4ilitusaeg!<\/h4>\n

    \nSiiski, varem v\u00f5i hiljem soovime s\u00e4ilitada andmeid, mis \u00fcletavad Prometheuse tavalise s\u00e4ilivusaja. Ajalooliste andmete s\u00e4ilitamiseks oleme valinud objektide salvestamise. See on laialdaselt saadaval igas pilves, samuti kohalikes andmekeskustes, ja on v\u00e4ga \u00f6konoomne. Lisaks on praktiliselt iga objektide salvestamine kergesti ligip\u00e4\u00e4setav h\u00e4sti tuntud S3 API kaudu.<\/p>\n

    Prometheus salvestab andmed operatiivm\u00e4luvabad diskile umbes iga kahe tunni tagant. Salvestatud andmeblokid sisaldavad k\u00f5iki andmeid fikseeritud ajavahemiku jooksul ning on muutmatud. See on v\u00e4ga mugav, kuna Thanos Sidecar saab lihtsalt vaadata Prometheuse andme katalooge ja, uute blokkside ilmumise korral, laadida need objektide salvestamise \u00e4mbritesse.<\/p>\n

    \"Thanos
    \n
    \nAndmete laadimine objektide salvestamisse otse p\u00e4rast salvestamist diskile v\u00f5imaldab samuti s\u00e4ilitada \u201ckraapijate\u201d (Prometheus ja Thanos Sidecar) lihtsuse. See lihtsustab s\u00fcsteemi hooldust, kulusid ja disaini.<\/p>\n

    Nagu n\u00e4ete, on andmete varundamine v\u00e4ga lihtne. Aga mis saab objektide salvestamisel andmete p\u00e4ringutest?<\/p>\n

    Thanos Store komponent toimib vahendajana objektide salvestusruumist andmete hankimiseks. Nagu Thanos Sidecar, osaleb ta gossip-klassis ja rakendab Store API. Seega, olemasolevad Querier'id saavad seda k\u00e4sitleda kui Sidecar'i, veel \u00fche allikana ajaseeriate andmete jaoks \u2014 mingeid spetsiaalseid seadistusi ei n\u00f5uta.<\/p>\n

    \"Thanos
    \n
    \nAjaseeriate andmeplokid koosnevad mitmest suurest failist. Nende n\u00f5udmisel laadimine oleks \u00fcsna ebaefektiivne ning lokaalne vahem\u00e4lu n\u00f5uaks tohutult m\u00e4lu ja kettaruumi.<\/p>\n

    Selle asemel teab Store Gateway, kuidas t\u00f6\u00f6tada Prometheuse salvestusformaadi v\u00f5i vorminguga. T\u00e4nu t\u00e4iustatud p\u00e4ringute planeerijale ja ainult vajalike indeksiosade vahem\u00e4lule on keerukate p\u00e4ringute lihtsustamine v\u00e4hendatud minimaalsete HTTP-p\u00e4ringuteni objektide salvestusruumifailidele. Seega saab k\u00fcsida neli kuni kuus korda v\u00e4hem ja saavutada vastusaeg, mida on \u00fcldiselt raske eristada lokaalsest SSD-l olevate andmete p\u00e4ringutest.<\/p>\n

    \"Thanos
    \n
    \nNagu diagrammil eespool n\u00e4idatud, v\u00e4hendab Thanos Querier andmeh\u00f5ive objektihoidlas \u00fche p\u00e4ringu kulusid oluliselt, kasutades Prometheuse salvestusvormingut ja paigutades seotud andmed l\u00e4hedale. Selle l\u00e4henemisviisi kasutamine v\u00f5imaldab meil kombineerida mitmeid \u00fcksikp\u00e4ringuid minimaalsete hulgit\u00f6\u00f6tluste hulka.<\/p>\n

    Kompaktimine ja allasampeldamine<\/h4>\n

    \nP\u00e4rast seda, kui uus ajaserieandmete plokk on edukalt \u00fcles laaditud objektihoidlasse, k\u00e4sitleme seda kui 'ajaloolisi' andmeid, mis saavad kohe Store Gateway'i kaudu k\u00e4tte.<\/p>\n

    Kuid m\u00f5ne aja p\u00e4rast kogunevad \u00fchelt allikalt (Prometheus Sidecariga) plokid ja ei kasuta enam kogu indekseerimise potentsiaali. Selle probleemi lahendamiseks tutvustasime veel \u00fcht komponenti nimega Compactor. See rakendab kohaliku Prometheuse kompaktimise mehhanismi ajaloolistele andmetele objektihoidlas ning seda saab k\u00e4ivitada lihtsalt perioodilise hulgit\u00f6\u00f6tlus\u00fclesandena.<\/p>\n

    \"Thanos
    \n
    \nT\u00f5husate kokkusurumiste t\u00f5ttu ei tekita pikaajaline p\u00e4ring salvestusse andmete suuruse osas probleeme. Siiski toob miljardi v\u00e4\u00e4rtuse dekompressioon ja nende l\u00e4bi p\u00e4ringut\u00f6\u00f6tleja ajamine paratamatult kaasa p\u00e4ringu t\u00e4itmise aja j\u00e4rsu suurenemise. Teisest k\u00fcljest, kuna iga ekraani pikslile on sada andmepunkti, on andmete t\u00e4ielikus eraldusv\u00f5imes visualiseerimine peaaegu v\u00f5imatu. Seega ei ole allasammutus mitte ainult v\u00f5imalik, vaid ei too kaasa m\u00e4rkimisv\u00e4\u00e4rset t\u00e4psuse kadu. <\/p>\n

    \"Thanos
    \n
    \nAndmete allasammutamiseks kogub Compactor pidevalt andmeid, mille eraldusv\u00f5ime on viis minutit ja \u00fcks tund. Iga toorfragment, mis on kodeeritud kasutades TSDB XOR-kokku tihendamist, sisaldab erinevaid t\u00fc\u00fcpe kogutud andmeid, nagu min, max v\u00f5i sum \u00fche ploki kohta. See v\u00f5imaldab Querier'il automaatselt valida aggregeeritud v\u00e4\u00e4rtuse, mis sobib antud PromQL p\u00e4ringuks. <\/p>\n

    Andmete kasutamiseks madala t\u00e4psusega ei n\u00f5ua kasutajalt mingit erilist konfigureerimist. Querier l\u00fclitub automaatselt erinevate resolutsioonide ja t\u00f6\u00f6tlemata andmete vahel, kui kasutaja suurendab v\u00f5i v\u00e4hendab skaalat. Vajadusel saab kasutaja seda otse hallata p\u00e4ringus oleva \u201estep\u201c parameetri kaudu. <\/p>\n

    Kuna \u00fche GB salvestamise hind on v\u00e4ike, siis Thanos salvestab vaikimisi algandmed, viie minuti ja \u00fche tunni resolutsiooniga andmed. Algandmete kustutamine ei ole vajalik.<\/p>\n

    Salvestamise reeglid<\/h2>\n

    \nIsegi Thanos'e puhul on salvestamise reeglid olulised osad j\u00e4lgimise killust. Need v\u00e4hendavad p\u00e4ringute keerukust, latentsust ja kulusid. Need on ka kasutajatele mugavad, et saada kogutud andmeid metrite kohta. Thanos p\u00f5hineb vanilje Prometheuse eksemplaridel, seega on t\u00e4iesti sobiv salvestada salvestamise reegleid ja h\u00e4ire reegleid olemasolevas Prometheuse serveris. Siiski v\u00f5ib m\u00f5nel juhul sellest olla liiga v\u00e4he:<\/p>\n