{"id":81888,"date":"2020-05-17T13:42:23","date_gmt":"2020-05-17T11:42:23","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/thanos-masshtabiruemyj-prometheus"},"modified":"2020-05-17T13:42:23","modified_gmt":"2020-05-17T11:42:23","slug":"thanos-masshtabiruemyj-prometheus","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/thanos-masshtabiruemyj-prometheus","title":{"rendered":"Thanos - skaleeritav Prometheus","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Artikli t\u00f5lge on ette valmistatud spetsiaalselt kursuse \u00fcli\u00f5pilastele \u00abDevOps praktikad ja t\u00f6\u00f6riistad\u00bb<\/a><\/noindex>.<\/i><\/b><\/p>\n

\nFabian Reinartz<\/a><\/noindex> \u2014 tarkvaraarendaja, Go f\u00e4nn ja keeruliste probleemide lahendamise entusiast. Ta on ka Prometheuse hooldaja ja Kubernetes SIG instrumentation kaasasutaja. A varem t\u00f6\u00f6tas ta production-insenerina SoundCloudis ja juhtis CoreOSis monitooringugruppi. Praegu t\u00f6\u00f6tab ta Google'is.<\/p>\n

Bartek Plotka<\/a><\/noindex> \u2014 infrastruktuuriinsener Improbables. Huvi uute tehnoloogiate ja jaotatud s\u00fcsteemide probleemide vastu. Tal on madala taseme programmeerimise kogemus Intelis, on olnud Mesose panustaja ja omab maailmatasemel SRE kogemust Improbables. Tegeleb mikroteenuste maailma t\u00e4iustamisega. Tema kolm armastust: Golang, avatud l\u00e4htekood ja v\u00f5rkpall.<\/i><\/p>\n

Vaadates meie lipulaeva toodet SpatialOS, saate aimu, et Improbable vajab suure d\u00fcnaamilisusega pilve infrastruktuuri, mis on maailmatasemel ja millel on k\u00fcmneid Kubernetes'e klastreid. Olime \u00fched esimesed, kes hakkasid kasutama monitooringus\u00fcsteemi Prometheus<\/a><\/noindex>. Prometheus on v\u00f5imeline j\u00e4lgima miljoneid m\u00f5\u00f5dikuid reaalajas ja kaasas on v\u00f5imas p\u00e4ringukeel, mis v\u00f5imaldab vajalikku teavet v\u00e4lja tuua.<\/p>\n

Prometheuse lihtsus ja usaldusv\u00e4\u00e4rsus on \u00fcks tema k\u00f5ige olulisemaid eeliseid. Siiski, teatud skaalal seisame silmitsi mitmete puudustega. Nende probleemide lahendamiseks t\u00f6\u00f6tasime v\u00e4lja Thanos<\/a><\/noindex> \u2014 avatud l\u00e4htekoodiga projekt, mille loob Improbable, sujuvaks \u00fcleminekuks olemasolevatest Prometheuse klastritest \u00fchte monitooringus\u00fcsteemi piiramatute ajalooliste andmete salvestamiseks. Thanos on saadaval Githubis siin<\/a><\/noindex>.<\/a><\/noindex><\/p>\n

Ole kursis Improbable'i viimaste uudistega.<\/a><\/noindex><\/p>\n

Meie eesm\u00e4rgid Thanosega<\/h2>\n

\nTeatud skaalal tekivad probleemid, mis \u00fcletavad vanilje Prometheuse v\u00f5imalused. Kuidas salvestada petabaitide ajalugu usaldusv\u00e4\u00e4rselt ja t\u00f5husalt? Kas seda saab teha ilma p\u00e4ringu vastuse ajaloo kahjustamata? Kas on v\u00f5imalik saada juurdep\u00e4\u00e4s k\u00f5ikidele m\u00f5\u00f5dikutega, mis asuvad erinevates Prometheuse serverites, \u00fche API-p\u00e4ringu kaudu? Kas on v\u00f5imalik kuidagi \u00fchendada replitseeritud andmed, mis on kogutud Prometheuse HA kaudu?<\/p>\n

Nende k\u00fcsimuste lahendamiseks l\u00f5ime Thanose. J\u00e4rgmistes l\u00f5ikudes kirjeldame, kuidas me nendega l\u00e4henesime ja selgitame eesm\u00e4rke, mida me taga ajasime.<\/p>\n

Andmete p\u00e4rimine mitmest Prometheuse eksemplarist (globaalne p\u00e4ring)<\/h4>\n

\nPrometheus pakub funktsionaalset l\u00e4henemist shardimisele. Isegi \u00fcks Prometheuse server tagab piisava skaleeritavuse, et vabastada kasutajad horisontaalse shardimise keerukusest praktiliselt k\u00f5ikides kasutusv\u00f5imalustes.<\/p>\n

Kuigi see on suurep\u00e4rane juurutusmudel, on sageli vajalik ligip\u00e4\u00e4s andmetele erinevates Prometheuse serverites \u00fche API v\u00f5i kasutajaliidese kaudu \u2014 globaalne vaade. Loomulikult on v\u00f5imalik kuvada mitmeid p\u00e4ringuid \u00fches Grafana paneelis, kuid iga p\u00e4ringut saab teostada vaid \u00fche serveri Prometheus suhtes. Teiselt poolt saate Thanos'e abil k\u00fcsida ja koguda andmeid mitmest Prometheuse serverist, kuna k\u00f5ik need on k\u00e4ttesaadavad \u00fche l\u00f5pp-punkti kaudu.<\/p>\n

Varem, et saada globaalset vaadet Improbable'is, korraldasime oma Prometheuse eksemplarid mitmetasandiliseks Hierarchical Federation<\/a><\/noindex>. See t\u00e4hendas \u00fchte Prometheuse meta-serveri loomist, mis kogub osa m\u00f5\u00f5dikest igalt \"leht-serverilt\".<\/p>\n

\"Thanos
\n
\nSee l\u00e4henemine osutus probleemseks. See t\u00f5i kaasa konfiguratsiooni keerukuse, potentsiaalselt uue t\u00f5rke esindaja lisamise ning keeruliste reeglite rakendamise, et anda liidetud l\u00f5pp-punktile ainult vajalikud andmed. Lisaks ei luba selline f\u00f6deratsioon saada t\u00f5elist globaalset vaadet, kuna mitte k\u00f5ik andmed ei ole k\u00e4ttesaadavad \u00fche API p\u00e4ringu kaudu.<\/p>\n

Sellega on tihedalt seotud andmete \u00fchtne esitamine, mis on kogutud k\u00f5rge k\u00e4ttesaadavusega (high-availability, HA) Prometheuse serverites. Prometheuse HA mudel kogub andmeid s\u00f5ltumatult kaks korda, mis on nii lihtne, et ei saaks olla lihtsam. Siiski oleks palju mugavam kasutada liidetud ja dedupeeritud suurte voogude esitamist.<\/p>\n

Muidugi on k\u00f5rge k\u00e4ttesaadavuse serverites Prometheus vajadus. Improbable'is v\u00f5tame andmete minutip\u00f5hise j\u00e4lgimise t\u00f5siselt, kuid \u00fcks Prometheuse eksemplar klastris on ainus t\u00f5rke koht. Iga konfiguratsiooniviga v\u00f5i riistvararike v\u00f5ivad potentsiaalselt viia oluliste andmete kadumiseni. Isegi lihtne juurutamine v\u00f5ib p\u00f5hjustada pisikesi t\u00f5rkeid metrikate kogumises, kuna taask\u00e4ivitamine v\u00f5ib v\u00f5tta oluliselt kauem kui kraapimise intervall.<\/p>\n

Usaldusv\u00e4\u00e4rne ajalooliste andmete s\u00e4ilitamine<\/h4>\n

\nOdavaru, kiire ja pikaajaline m\u00f5\u00f5dikute salvestamine on meie unistus (mida jagavad enamik Prometheuse kasutajaid). Improbables olime sunnitud seadistama m\u00f5\u00f5dikute s\u00e4ilitamise aja \u00fcheks p\u00e4evaks (Prometheus 1.8 jaoks). See seab ilmsed piirangud sellele, kui kaugele me tagasi vaadata saame.<\/p>\n

Prometheus 2.0 on selles osas parem, kuna ajasarjade arv ei m\u00f5juta enam serveri \u00fcldist j\u00f5udlust (vt. KubeConi ettekannet Prometheuse 2-st<\/a><\/noindex>). Sellegipoolest salvestab Prometheus andmeid kohalikule kettale. Kuigi t\u00f5hus andmete kokkusurumine v\u00f5ib m\u00e4rkimisv\u00e4\u00e4rselt v\u00e4hendada kohaliku SSD kasutamist, on l\u00f5puks ikkagi piirang salvestatavate ajalooliste andmete mahule.<\/p>\n

Lisaks hoolime Improbables usaldusv\u00e4\u00e4rsusest, lihtsusest ja kuludest. Suured kohalikud kettad on keerulisemad hallata ja varundada. Need maksavad rohkem ja vajavad rohkem t\u00f6\u00f6riistu varundamiseks, mis toob kaasa liigset keerukust.<\/p>\n

Allapoole proovimine<\/h4>\n

\nKui me hakkasime t\u00f6\u00f6tama ajalooliste andmetega, sai selgeks, et on olemas fundamentaalsed raskused O-suurega, mis muudab p\u00e4ringud aina aeglasemaks, kui t\u00f6\u00f6tame andmetega n\u00e4dalate, kuude ja aastate jooksul.<\/p>\n

Selle probleemi standardlahenduseks on allapoole proovimine<\/a><\/noindex> (downsampling) \u2014 signaali sageduse v\u00e4hendamine. Alandades diskreetimist, saame \u201eskaala alandada\u201c pikema ajavahemiku jaoks ja s\u00e4ilitada endise valimite arvu, mis tagab p\u00e4ringute vastupidavuse.<\/p>\n

Ajalooliste andmete allapoole proovimine on igasuguste pikaajaliste salvestuslahenduste v\u00e4ltimatu n\u00f5ue ja \u00fcletab vanilje Prometheuse raames.<\/p>\n

Lisaks eesm\u00e4rgid<\/h4>\n

\n\u00dcks projekti Thanos algseid eesm\u00e4rke oli sujuv integreerimine olemasolevate Prometheuse installatsioonidega. Teine eesm\u00e4rk oli lihtne haldamine minimaalsete sissep\u00e4\u00e4supiirangutega. K\u00f5ik s\u00f5ltuvused peavad olema kergesti rahuldatud nii v\u00e4ikeste kui suurte kasutajate jaoks, mis eeldab ka v\u00e4ikeseid algkulusid.<\/p>\n

Thanos arhitektuur<\/h2>\n

\nP\u00e4rast seda, kui oleme eelnevas jaotises loetletud meie eesm\u00e4rgid, katsetame neid ja vaatame, kuidas Thanos need probleemid lahendab.<\/p>\n

Globaalne vaade<\/h4>\n

\nEtte saada global view olemasolevate Prometheuse instantside \u00fcle, peame siduma \u00fchtse sisenemispunkti k\u00f5igi serveritega. Just sellega tegeleb Thanos komponent. Sidecar<\/a><\/noindex>. See paigaldatakse iga Prometheuse serveri k\u00f5rvale ja t\u00f6\u00f6tab kui p\u00f6\u00f6rdus, teenindades kohalikke Prometheuse andmeid gRPC-API kaudu, mis v\u00f5imaldab valida j\u00e4rjendi andmeid siltide ja ajavahemiku p\u00f5hjal.<\/p>\n

Teiselt poolt on horisontaalselt skaleeritav komponent Querier, mis ei s\u00e4ilita olekuandmeid ja tegutseb veidi rohkem kui lihtsalt vastab PromQL p\u00e4ringutele standardse Prometheuse HTTP API kaudu. Komponendid Querier, Sidecar ja teised Thanos suhtlevad l\u00e4bi gossip protokolli.<\/a><\/noindex>.<\/p>\n

\"Thanos
\n<\/p>\n

    \n
  1. Querier, kui ta saab p\u00e4ringu, \u00fchendub vastava Store API serveriga, st meie Sidecar'iga, ja saadab ajaj\u00e4rgu andmed vastavatelt Prometheuse serveritelt.<\/li>\n
  2. P\u00e4rast seda \u00fchendab ta vastused ja teostab PromQL p\u00e4ringu nende p\u00f5hjal. Querier v\u00f5ib \u00fchendada nii mittesobivaid andmeid kui ka dubleeritud andmeid HA-Prometheuse serveritest.<\/li>\n<\/ol>\n

    \nSee lahendab suure osa meie m\u00f5istatustest \u2014 andmete \u00fchendamine isoleeritud Prometheuse serveritest \u00fchtsesse vaatesse. Tegelikult v\u00f5ib Thanost kasutada ainult selle v\u00f5imaluse t\u00f5ttu. Olemasolevatesse Prometheuse serveritesse ei pea tegema mingeid muudatusi!<\/p>\n

    Piiramatu s\u00e4ilitusaeg!<\/h4>\n

    \nKuid varem v\u00f5i hiljem tahame s\u00e4ilitada andmeid, mis \u00fcletavad tavalise Prometheuse s\u00e4ilituse aega. Ajalooliste andmete s\u00e4ilitamiseks valisime objektse salvestuse. See on laialdaselt saadaval igas pilves ning ka kohalikus andmekeskustes ja on v\u00e4ga \u00f6konoomne. Lisaks on praktiliselt iga objektne salvestus saadaval l\u00e4bi h\u00e4sti tuntud S3 API.<\/p>\n

    Prometheus salvestab andmeid m\u00e4lust kettale umbes iga kahe tunni j\u00e4rel. Salvestatava andmete plokk sisaldab k\u00f5iki andmeid kindlaksm\u00e4\u00e4ratud ajavahemiku jooksul ja on muutumatud. See on v\u00e4ga mugav, kuna Thanos Sidecar saab lihtsalt vaadata Prometheuse andme katalooge ja uute plokkide ilmumisel laadida need objektse salvestuse anumatesse.<\/p>\n

    \"Thanos
    \n
    \nLaadimine objektse salvestusse kohe p\u00e4rast ketasessimist hoiab ka \u201cscraperi\u201d (Prometheus ja Thanos Sidecar) lihtsana. Mis lihtsustab s\u00fcsteemi hooldust, kulusid ja kujundust.<\/p>\n

    Nagu n\u00e4ete, toimub andmete varundamine v\u00e4ga lihtsalt. Kuid mis saab andmete p\u00e4ringust objektihoidlas?<\/p>\n

    Thanos Store komponent toimib vaheproses andmete saamiseks objektihoidlast. Nagu Thanos Sidecar, osaleb see gossip-klusteris ja rakendab Store API-d. Seega v\u00f5ivad olemasolevad Querierid seda k\u00e4sitleda kui Sidecar'i, kui veel \u00fchte ajasari andmete allikat \u2013 spetsiaalset seadistamist ei ole vaja.<\/p>\n

    \"Thanos
    \n
    \nAja seeria andmeplokid koosnevad mitmest suurest failist. Nende n\u00f5udmisel allalaadimine oleks \u00fcsna ebaefektiivne ja kohalik vahem\u00e4lu vajaks tohutult m\u00e4lu ja kettaruumi.<\/p>\n

    Selle asemel teab Store Gateway, kuidas k\u00e4sitleda Promethee hoidmisvormingut. T\u00e4nu nutikale p\u00e4ringu planeerijale ja ainult vajalike indeksiosade plokkide vahem\u00e4llu salvestamisele on v\u00f5imalik keerulisi p\u00e4ringuid v\u00e4hendada minimaalsete HTTP-p\u00e4ringute arvu objektihoidla failidele. Niisiis, saame v\u00e4hendada p\u00e4ringute arvu neli kuni kuus korda ja saavutada reageerimisaega, mida on \u00fcldiselt raske eristada kohalike SSD-de andmete p\u00e4ringutest.<\/p>\n

    \"Thanos
    \n
    \nNagu on n\u00e4idatud \u00fclaltoodud diagrammil, v\u00e4hendab Thanos Querier objektihoidlas andmete p\u00e4ringute kulu oluliselt, kasutades Promethee hoidmisvormingut ja paigutades seotud andmed l\u00e4hedale. Kasutades seda l\u00e4henemist, saame koondada palju \u00fcksikp\u00e4ringute minimaalsete hulgi-operatsioonideni.<\/p>\n

    Kompaktsioon ja allasampleerimine<\/h4>\n

    \nP\u00e4rast seda, kui uus aja seeria andmeplokk on edukalt \u00fcles laaditud objektihoidlasse, k\u00e4sitleme seda kui \"ajaloolisi\" andmeid, mis on kohe kergesti k\u00e4ttev\u00f5etavad Store Gateway kaudu.<\/p>\n

    Kuid m\u00f5ne aja p\u00e4rast koguneb sama allika (Prometheus koos Sidecar'iga) plokke ja nad ei kasuta enam kogu indekseerimise potentsiaali. Selle probleemi lahendamiseks tutvustasime veel \u00fchte komponenti nimega Compactor. See rakendab lihtsalt kohalikke Promethee kompaktsiooni mehhanisme ajalooliste andmete objektihoidlas ja seda saab k\u00e4ivitada nagu lihtsat perioodilist paketit\u00f6\u00f6d.<\/p>\n

    \"Thanos
    \n
    \nT\u00e4nu efektiivsele kokkusurumisele ei tekita andmehoidla p\u00e4ring suures andmemahus probleeme. Siiski v\u00f5ib miljoni v\u00e4\u00e4rtuse v\u00e4ljapakkimise ja nende t\u00f6\u00f6tlusse suunamise hind viia p\u00e4ringuaegade j\u00e4rsu suurenemiseni. Teisest k\u00fcljest, kuna iga ekraani pikseli kohta on sadu andmepunkte, ei ole isegi kogu m\u00e4\u00e4ratlemine andmete visuaaliseerimine enam v\u00f5imalik. Seega ei ole allahindlus mitte ainult v\u00f5imalik, vaid see ei too kaasa m\u00e4rkimisv\u00e4\u00e4rset t\u00e4psuse kaotust. <\/p>\n

    \"Thanos
    \n
    \nAndmete allahindlemiseks kogub Compactor pidevalt andmeid viie minuti ja \u00fche tunni resolutsiooniga. Iga toorandmefragment, mis on kodeeritud TSDB XOR-kompressiooniga, salvestab erinevat t\u00fc\u00fcpi kogumande, nagu min, max v\u00f5i sum \u00fche bloki kohta. See v\u00f5imaldab Querieril automaatselt valida selle PromQL-p\u00e4ringu jaoks sobiva kogumi. <\/p>\n

    Kasutajalt ei ole andmete madalama t\u00e4psuse kasutamiseks vajalik mingeid erilisi seadistusi. Querier vahetab automaatselt eri resolutsioonide ja toorandmete vahel kasutaja suumimise ja k\u00e4rpimise korral. Soovi korral saab kasutaja seda kasutada otse p\u00e4ringu 'step' parameeter kaudu. <\/p>\n

    Kuna \u00fche GB salvestamise kulud on v\u00e4ikesed, salvestab Thanos vaikimisi toorandmed, andmed viie minuti ja \u00fche tunni resolutsiooniga. Toorandmete kustutamine ei ole vajalik.<\/p>\n

    Salvestamise reeglid<\/h2>\n

    \nIsegi Thanosel on salvestamise reeglid olulised osad j\u00e4lgimise virnast. Need v\u00e4hendavad p\u00e4ringute keerukust, viivitust ja kulusid. Need on ka kasutajatele mugavad, et saada kokkuv\u00f5tteid meetmete kohta. Thanos p\u00f5hineb puhaste Prometheuse instantsidel, seega on v\u00f5imalik salvestada salvestamise reegleid ja h\u00e4ire reegleid olemasoleval Prometheuse serveril. Siiski v\u00f5ib m\u00f5nel juhul sellest j\u00e4\u00e4da v\u00e4heks:<\/p>\n