{"id":81888,"date":"2020-05-17T13:42:23","date_gmt":"2020-05-17T11:42:23","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/thanos-masshtabiruemyj-prometheus"},"modified":"2020-05-17T13:42:23","modified_gmt":"2020-05-17T11:42:23","slug":"thanos-masshtabiruemyj-prometheus","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/thanos-masshtabiruemyj-prometheus","title":{"rendered":"Thanos \u2014 skalbar Prometheus","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>\u00d6vers\u00e4ttningen av artikeln \u00e4r s\u00e4rskilt utarbetad f\u00f6r studenter i kursen <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/jYQP\/\">\u00abDevOps metoder och verktyg\u00bb<\/a><\/noindex>.<\/i><\/b><\/p>\n<p>\n<i><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/fabxc\">Fabian Reinartz<\/a><\/noindex> \u00e4r mjukvaruutvecklare, Go-entusiast och \u00e4lskar att l\u00f6sa komplexa problem. Han \u00e4r ocks\u00e5 underh\u00e5llare av Prometheus och medgrundare av Kubernetes SIG instrumentation. Tidigare var han produktionsingenj\u00f6r p\u00e5 SoundCloud och ledde ett \u00f6vervakningsteam p\u00e5 CoreOS. F\u00f6r n\u00e4rvarande arbetar han p\u00e5 Google.<\/p>\n<p><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/Bplotka\">Bartek Plotka<\/a><\/noindex> \u00e4r infrastrukturingenj\u00f6r p\u00e5 Improbable. Han \u00e4r intresserad av ny teknik och utmaningar inom distribuerade system. Han har erfarenhet av l\u00e5gniv\u00e5programmering p\u00e5 Intel, har bidragit till Mesos och har produktionsvana som SRE p\u00e5 global niv\u00e5 inom Improbable. Han arbetar med att f\u00f6rb\u00e4ttra v\u00e4rlden av mikrotj\u00e4nster. Hans tre passioner: Golang, open source och volleyboll.<\/i><\/p>\n<p>Genom att titta p\u00e5 v\u00e5r flaggskeppsprodukt SpatialOS kan du gissa att Improbable beh\u00f6ver en h\u00f6gdynamisk molninfrastruktur p\u00e5 global niv\u00e5 med dussintals Kubernetes-kluster. Vi var bland de f\u00f6rsta som b\u00f6rjade anv\u00e4nda ett \u00f6vervakningssystem <noindex><a rel=\"nofollow\" href=\"https:\/\/prometheus.io\/\">Prometheus<\/a><\/noindex>. Prometheus kan sp\u00e5ra miljontals metrik i realtid och kommer med ett kraftfullt fr\u00e5gespr\u00e5k som g\u00f6r det m\u00f6jligt att h\u00e4mta den information som beh\u00f6vs.<\/p>\n<p>Enkelheten och tillf\u00f6rlitligheten hos Prometheus \u00e4r en av dess fr\u00e4msta f\u00f6rdelar. Men n\u00e4r vi n\u00e5tt en viss skala har vi st\u00f6tt p\u00e5 n\u00e5gra nackdelar. F\u00f6r att l\u00f6sa dessa problem utvecklade vi <noindex><a rel=\"nofollow\" href=\"https:\/\/thanos.io\/\">Thanos<\/a><\/noindex> \u2014 ett projekt med \u00f6ppen k\u00e4llkod, skapat av Improbable, f\u00f6r s\u00f6ml\u00f6s transformation av befintliga Prometheus-kluster till ett enhetligt \u00f6vervakningssystem med obegr\u00e4nsat lagringsutrymme f\u00f6r historiska data. Thanos finns tillg\u00e4ngligt p\u00e5 Github <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/improbable-eng\/thanos\">h\u00e4r<\/a><\/noindex>.<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p><noindex><a rel=\"nofollow\" href=\"https:\/\/gdk.improbable.io\/l\/169082\/2020-01-10\/2j9yxq\">H\u00e5ll dig uppdaterad med de senaste nyheterna fr\u00e5n Improbable.<\/a><\/noindex><\/p>\n<h2>V\u00e5ra m\u00e5l med Thanos<\/h2>\n<p>\nVid en viss skala uppst\u00e5r problem som g\u00e5r bortom vad vanliga Prometheus kan hantera. Hur kan vi p\u00e5 ett tillf\u00f6rlitligt och kostnadseffektivt s\u00e4tt lagra petabyte av historiska data? \u00c4r det m\u00f6jligt utan att kompromissa med svarstiden p\u00e5 f\u00f6rfr\u00e5gningar? Kan vi f\u00e5 tillg\u00e5ng till alla metrik som finns p\u00e5 olika Prometheus-servrar med ett enda API-anrop? Kan vi p\u00e5 n\u00e5got s\u00e4tt kombinera replikerade data som samlats med hj\u00e4lp av Prometheus HA?<\/p>\n<p>F\u00f6r att l\u00f6sa dessa fr\u00e5gor skapade vi Thanos. I de kommande avsnitten beskriver vi hur vi angrep dessa fr\u00e5gor och f\u00f6rklarar m\u00e5len vi hade.<\/p>\n<h4>F\u00f6rfr\u00e5gan av data fr\u00e5n flera instanser av Prometheus (global query)<\/h4>\n<p>\nPrometheus erbjuder en funktionell strategi f\u00f6r sharding. \u00c4ven en enda Prometheus-server ger tillr\u00e4cklig skalbarhet f\u00f6r att frig\u00f6ra anv\u00e4ndare fr\u00e5n komplexiteten med horisontell sharding i praktiskt taget alla anv\u00e4ndningsfall.<\/p>\n<p>\u00c4ven om detta \u00e4r en utm\u00e4rkt distributionsmodell, kr\u00e4vs det ofta \u00e5tkomst till data fr\u00e5n olika Prometheus-servrar via ett enda API eller UI \u2014 global view. Naturligtvis finns det en m\u00f6jlighet att visa flera fr\u00e5gor p\u00e5 ett enda Grafana-panel, men varje fr\u00e5ga kan endast utf\u00f6ras p\u00e5 en enda Prometheus-server. \u00c5 andra sidan kan du med Thanos beg\u00e4ra och aggregera data fr\u00e5n flera Prometheus-servrar, eftersom alla \u00e4r tillg\u00e4ngliga fr\u00e5n en enda slutpunkt.<\/p>\n<p>Tidigare, f\u00f6r att f\u00e5 global view i Improbable, organiserade vi v\u00e5ra Prometheus-instanser i en flerlagers <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/prometheus\/prometheus\/blob\/master\/docs\/federation.md#hierarchical-federation\">Hierarchical Federation<\/a><\/noindex>. Detta innebar att en meta-server f\u00f6r Prometheus skapades, som samlar in en del metrik fr\u00e5n varje \"leaf\" server.<\/p>\n<p><img decoding=\"async\" alt=\"Thanos \u2014 skalbar Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/82590f017734f5dc1038a0e13f772d2a.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDenna strategi visade sig vara problematisk. Det ledde till en mer komplicerad konfiguration, en extra potentiell felpunkt och anv\u00e4ndning av komplexa regler f\u00f6r att s\u00e4kerst\u00e4lla att den federerade slutpunkten endast tillhandah\u00f6ll n\u00f6dv\u00e4ndiga data. Dessutom till\u00e5ter federation av detta slag inte en verklig global view, eftersom inte alla data \u00e4r tillg\u00e4ngliga fr\u00e5n en enda API-beg\u00e4ran.<\/p>\n<p>Detta \u00e4r n\u00e4ra relaterat till en enhetlig vy av data som samlats in p\u00e5 h\u00f6g tillg\u00e4ngliga (high-availability, HA) Prometheus-servrar. HA-modellen f\u00f6r Prometheus samlar oberoende in data tv\u00e5 g\u00e5nger, vilket \u00e4r s\u00e5 enkelt att det knappt kan bli enklare. Men att anv\u00e4nda en sammanslagen och deduplicerad vy av b\u00e5da fl\u00f6dena skulle vara mycket mer praktiskt.<\/p>\n<p>Sj\u00e4lvklart finns det ett behov av h\u00f6g tillg\u00e4nglighet f\u00f6r Prometheus-servrar. Vi p\u00e5 Improbable tar faktiskt minutlig \u00f6vervakning av data p\u00e5 allvar, men att ha en enda instans av Prometheus i klustret utg\u00f6r en enskild felpunkt. Varje konfigurationsfel eller maskinvarufel kan potentiellt leda till f\u00f6rlust av viktiga data. \u00c4ven en enkel distribution kan leda till sm\u00e5 avbrott i insamlingen av m\u00e4tv\u00e4rden, eftersom omstart kan ta betydligt l\u00e4ngre tid \u00e4n skrapningsintervallet.<\/p>\n<h4>P\u00e5litlig lagring av historiska data<\/h4>\n<p>\nBilligt, snabbt och l\u00e5ngsiktigt lagring av metrik \u00e4r v\u00e5r dr\u00f6m (delad av de flesta anv\u00e4ndare av Prometheus). P\u00e5 Improbable var vi tvungna att st\u00e4lla in lagringsperioden f\u00f6r metrik till nio dagar (f\u00f6r Prometheus 1.8). Detta l\u00e4gger uppenbara begr\u00e4nsningar p\u00e5 hur l\u00e5ngt tillbaka vi kan titta.<\/p>\n<p>Prometheus 2.0 har blivit b\u00e4ttre p\u00e5 det h\u00e4r omr\u00e5det eftersom antalet tidsserier inte l\u00e4ngre p\u00e5verkar den totala prestandan p\u00e5 servern (se <noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=nDalewt4BOw\">KubeCon keynote om Prometheus 2<\/a><\/noindex>). Trots det lagrar Prometheus data p\u00e5 lokala diskar. \u00c4ven om h\u00f6gpresterande datakompression kan minska anv\u00e4ndningen av lokala SSD:er avsev\u00e4rt, finns det \u00e4nd\u00e5 en gr\u00e4ns f\u00f6r m\u00e4ngden historiska data som kan lagras.<\/p>\n<p>Dessutom bryr vi oss p\u00e5 Improbable om tillf\u00f6rlitlighet, enkelhet och kostnad. Stora lokala diskar \u00e4r sv\u00e5rare att hantera och s\u00e4kerhetskopiera. De \u00e4r dyrare och kr\u00e4ver fler verktyg f\u00f6r s\u00e4kerhetskopiering, vilket leder till on\u00f6dig komplexitet.<\/p>\n<h4>Nedprovning<\/h4>\n<p>\nN\u00e4r vi b\u00f6rjade arbeta med historiska data ins\u00e5g vi att det finns fundamentala sv\u00e5righeter med O-storlek, vilket g\u00f6r f\u00f6rfr\u00e5gningar l\u00e5ngsammare och l\u00e5ngsammare n\u00e4r vi arbetar med data \u00f6ver veckor, m\u00e5nader och \u00e5r.<\/p>\n<p>En standardl\u00f6sning p\u00e5 detta problem \u00e4r <noindex><a rel=\"nofollow\" href=\"https:\/\/en.wikipedia.org\/wiki\/Decimation_(signal_processing)\">nedprovning<\/a><\/noindex> \u2014 att minska samplingfrekvensen av signalen. Genom att s\u00e4nka samplingfrekvensen kan vi \"skala ner\" till ett l\u00e4ngre tidsintervall och beh\u00e5lla samma antal prover, vilket g\u00f6r att f\u00f6rfr\u00e5gningarna f\u00f6rblir responsiva.<\/p>\n<p>Nedprovning av gamla data \u00e4r ett oundvikligt krav f\u00f6r alla l\u00f6sningar f\u00f6r l\u00e5ngsiktig lagring och g\u00e5r bortom vanilj-Prometheus.<\/p>\n<h4>Ytterligare m\u00e5l<\/h4>\n<p>\nEtt av de ursprungliga m\u00e5len f\u00f6r Thanos-projektet var s\u00f6ml\u00f6s integration med alla befintliga installationer av Prometheus. Det andra m\u00e5let var enkel drift med minimala intr\u00e4desbarri\u00e4rer. Alla beroenden b\u00f6r enkelt tillfredsst\u00e4llas b\u00e5de f\u00f6r sm\u00e5 och stora anv\u00e4ndare, vilket ocks\u00e5 inneb\u00e4r en l\u00e5g grundkostnad.<\/p>\n<h2>Thanos-arkitektur<\/h2>\n<p>\nEfter att ha listat v\u00e5ra m\u00e5l i det f\u00f6reg\u00e5ende avsnittet, l\u00e5t oss arbeta med dem och se hur Thanos l\u00f6ser dessa problem.<\/p>\n<h4>Global vy<\/h4>\n<p>\nF\u00f6r att f\u00e5 en global vy \u00f6ver befintliga Prometheus-instanser m\u00e5ste vi koppla en enhetlig ing\u00e5ngspunkt f\u00f6r f\u00f6rfr\u00e5gningar med alla servrar. Det \u00e4r just detta som komponenten Thanos g\u00f6r. <noindex><a rel=\"nofollow\" href=\"https:\/\/kubernetes.io\/blog\/2015\/06\/the-distributed-system-toolkit-patterns#example-1-sidecar-containers\">Sidecar<\/a><\/noindex>. Den distribueras bredvid varje Prometheus-server och fungerar som en proxy, som betj\u00e4nar lokala Prometheus-data via gRPC-gr\u00e4nssnittet Store API, vilket m\u00f6jligg\u00f6r val av tidsseriedata baserat p\u00e5 etiketter och tidsintervall.<\/p>\n<p>\u00c5 andra sidan finns en horisontellt skalbar komponent Querier utan tillst\u00e5nd, som g\u00f6r lite mer \u00e4n att helt enkelt svara p\u00e5 PromQL-f\u00f6rfr\u00e5gningar via standard Prometheus HTTP API. Komponenterna Querier, Sidecar och andra Thanos interagerar via <noindex><a rel=\"nofollow\" href=\"https:\/\/en.wikipedia.org\/wiki\/Gossip_protocol\">gossip-protokollet.<\/a><\/noindex>.<\/p>\n<p><img decoding=\"async\" alt=\"Thanos \u2014 skalbar Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/fbcf1e756f5da4e8529f17abd4cedd00.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<ol>\n<li>Querier, n\u00e4r den tar emot en f\u00f6rfr\u00e5gan, ansluter till motsvarande Store API-server, det vill s\u00e4ga till v\u00e5ra Sidecar och h\u00e4mtar tidsseriedata fr\u00e5n motsvarande Prometheus-servrar.<\/li>\n<li>D\u00e4refter kombinerar den svaren och utf\u00f6r PromQL-f\u00f6rfr\u00e5gan. Querier kan kombinera b\u00e5de icke-\u00f6verlappande data och duplicerade data fr\u00e5n HA-Prometheus-servrar.<\/li>\n<\/ol>\n<p>\nDetta l\u00f6ser huvuddelen av v\u00e5rt pussel \u2014 att kombinera data fr\u00e5n isolerade Prometheus-servrar till en enhetlig vy. Faktum \u00e4r att Thanos kan anv\u00e4ndas enbart f\u00f6r denna funktion. Inga \u00e4ndringar kr\u00e4vs p\u00e5 befintliga Prometheus-servrar!<\/p>\n<h4>Ingen begr\u00e4nsad lagringstid!<\/h4>\n<p>\nMen f\u00f6rr eller senare kommer vi att vilja spara data som g\u00e5r ut\u00f6ver den normala lagringstiden f\u00f6r Prometheus. F\u00f6r lagring av historiska data valde vi objektlagring. Det \u00e4r allm\u00e4nt tillg\u00e4ngligt i alla moln och \u00e4ven i lokala datacenter och \u00e4r mycket kostnadseffektivt. Dessutom \u00e4r n\u00e4stan all objektlagring tillg\u00e4nglig via det v\u00e4lk\u00e4nda S3 API:et.<\/p>\n<p>Prometheus skriver data fr\u00e5n RAM till disk ungef\u00e4r varje tv\u00e5 timmar. En block med sparad data inneh\u00e5ller all information f\u00f6r en best\u00e4md tidsperiod och \u00e4r of\u00f6r\u00e4nderlig. Detta \u00e4r v\u00e4ldigt praktiskt, eftersom Thanos Sidecar enkelt kan \u00f6vervaka datakatalogen f\u00f6r Prometheus och, n\u00e4r nya block dyker upp, ladda dem till objektlagringsbeh\u00e5llare.<\/p>\n<p><img decoding=\"async\" alt=\"Thanos \u2014 skalbar Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/2be803d8d7e0ce9a5ffa441b7778a40b.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nLaddning till objektlagring omedelbart efter att de skrivits till disk g\u00f6r det ocks\u00e5 m\u00f6jligt att bevara enkelheten av \"skraparen\" (Prometheus och Thanos Sidecar). Det f\u00f6renklar underh\u00e5ll, kostnader och systemdesign.<\/p>\n<p>Som ni ser \u00e4r backup av data mycket enkelt att genomf\u00f6ra. Men hur \u00e4r det med f\u00f6rfr\u00e5gan om data i objektlagring?<\/p>\n<p>Thanos Store-komponenten fungerar som en proxy f\u00f6r att h\u00e4mta data fr\u00e5n objektlagringen. Precis som Thanos Sidecar deltar den i gossip-klustret och implementerar Store API. D\u00e4rf\u00f6r kan befintliga Querier se den som Sidecar, som en ytterligare k\u00e4lla f\u00f6r tidsseriedata \u2014 ingen speciel konfiguration kr\u00e4vs.<\/p>\n<p><img decoding=\"async\" alt=\"Thanos \u2014 skalbar Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/5a437ae1bf8a6f79b8d24aeb9dde2d17.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nTidsseriedata block best\u00e5r av flera stora filer. Att h\u00e4mta dem vid behov skulle vara ganska ineffektivt, och lokalt cachelagring skulle kr\u00e4va enormt mycket minne och diskutrymme.<\/p>\n<p>Ist\u00e4llet vet Store Gateway hur man hanterar Prometheus lagringsformat. Med en smart fr\u00e5geplanerare och cachelagring av endast de n\u00f6dv\u00e4ndiga indexdelarna av blocken har det blivit m\u00f6jligt att minska komplexa f\u00f6rfr\u00e5gningar till ett minimum av HTTP-f\u00f6rfr\u00e5gningar till filer i objektlagring. P\u00e5 s\u00e5 s\u00e4tt kan antalet f\u00f6rfr\u00e5gningar minskas med fyra till sex ordningar och uppn\u00e5 svarstider som \u00f6verlag \u00e4r sv\u00e5ra att s\u00e4rskilja fr\u00e5n f\u00f6rfr\u00e5gningar om data p\u00e5 lokal SSD.<\/p>\n<p><img decoding=\"async\" alt=\"Thanos \u2014 skalbar Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/ebcbe1ee16dbac18daa474e7cb4b12b2.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nSom visas i diagrammet ovan minskar Thanos Querier kostnaderna f\u00f6r en f\u00f6rfr\u00e5gan om data i objektlagring avsev\u00e4rt genom att anv\u00e4nda Prometheus lagringsformat och placera relaterade data n\u00e4ra varandra. Genom att anv\u00e4nda denna metod kan vi kombinera m\u00e5nga separata f\u00f6rfr\u00e5gningar till ett minimalt antal bulk-operationer.<\/p>\n<h4>Kompaktering och nedprovning<\/h4>\n<p>\nN\u00e4r en ny tidsseriedatablock framg\u00e5ngsrikt har laddats upp till objektlagringen betraktar vi det som \"historiska\" data, som genast blir tillg\u00e4ngliga via Store Gateway.<\/p>\n<p>Men efter en tid samlas block fr\u00e5n samma k\u00e4lla (Prometheus med Sidecar) och utnyttjar inte l\u00e4ngre hela potentialen f\u00f6r indexering. F\u00f6r att l\u00f6sa detta problem inf\u00f6rde vi ytterligare en komponent som kallas Compactor. Den till\u00e4mpar helt enkelt den lokala kompakteringsmekanismen f\u00f6r Prometheus p\u00e5 historiska data i objektlagringen och kan k\u00f6ras som ett enkelt periodiskt batchjobb.<\/p>\n<p><img decoding=\"async\" alt=\"Thanos \u2014 skalbar Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/c7dd83dab074a4c5f93069a4bc152342.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nGenom effektiv komprimering inneb\u00e4r en lagringsf\u00f6rfr\u00e5gan under en l\u00e4ngre tid inga problem med avseende p\u00e5 datastorlek. Men de potentiella kostnaderna f\u00f6r att packa upp en miljard v\u00e4rden och k\u00f6ra dem genom en f\u00f6rfr\u00e5gningsbehandlare kommer oundvikligen att leda till en kraftig \u00f6kning av f\u00f6rfr\u00e5gningsutf\u00f6randetiden. \u00c5 andra sidan, eftersom varje pixel p\u00e5 sk\u00e4rmen motsvarar hundratals datapunkter, blir det om\u00f6jligt att ens visualisera data i full uppl\u00f6sning. D\u00e4rf\u00f6r \u00e4r nedsampling inte bara m\u00f6jlig, utan det kommer inte att leda till m\u00e4rkbar f\u00f6rlust av noggrannhet. <\/p>\n<p><img decoding=\"async\" alt=\"Thanos \u2014 skalbar Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/5f36a05aba3fbffa905b6a8da482ab3d.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nF\u00f6r nedsampling av data aggregerar Compactor kontinuerligt data med uppl\u00f6sning om fem minuter och en timme. F\u00f6r varje obearbetat fragment, kodad med TSDB XOR-komprimering, lagras olika typer av aggregerade data, s\u00e5som min, max eller sum f\u00f6r en block. Detta g\u00f6r det m\u00f6jligt f\u00f6r Querier att automatiskt v\u00e4lja aggregeringen som \u00e4r l\u00e4mplig f\u00f6r den aktuella PromQL-f\u00f6rfr\u00e5gan. <\/p>\n<p>F\u00f6r att anv\u00e4nda data med reducerad noggrannhet kr\u00e4vs ingen s\u00e4rskild konfiguration av anv\u00e4ndaren. Querier v\u00e4xlar automatiskt mellan olika uppl\u00f6sningar och obearbetade data n\u00e4r anv\u00e4ndaren zoomar in och ut. Om s\u00e5 \u00f6nskas kan anv\u00e4ndaren hantera detta direkt via parameter \"step\" i f\u00f6rfr\u00e5gan. <\/p>\n<p>Eftersom kostnaden f\u00f6r att lagra en GB \u00e4r l\u00e5g, s\u00e5 sparar Thanos som standard originaldata, data med uppl\u00f6sning om fem minuter och en timme. Det finns ingen anledning att ta bort originaldata.<\/p>\n<h2>Recording rules<\/h2>\n<p>\n\u00c4ven med Thanos \u00e4r recording rules en v\u00e4sentlig del av \u00f6vervakningsstacken. De minskar komplexiteten, f\u00f6rdr\u00f6jningen och kostnaderna f\u00f6r f\u00f6rfr\u00e5gningar. De \u00e4r ocks\u00e5 bekv\u00e4ma f\u00f6r anv\u00e4ndarna att f\u00e5 aggregerade data om m\u00e4tv\u00e4rden. Thanos bygger p\u00e5 vanliga Prometheus-instans, s\u00e5 det \u00e4r fullt acceptabelt att lagra recording rules och alerting rules p\u00e5 den befintliga Prometheus-servern. Men i vissa fall kanske detta inte \u00e4r tillr\u00e4ckligt:<\/p>\n<ul>\n<li>Globala alert och regel (till exempel, ett meddelande n\u00e4r en tj\u00e4nst \u00e4r nere p\u00e5 mer \u00e4n tv\u00e5 av tre kluster).<\/li>\n<li>Regeln f\u00f6r data utanf\u00f6r den lokala lagringen.<\/li>\n<li>Str\u00e4van att lagra alla regler och alert i ett och samma st\u00e4lle.<\/li>\n<\/ul>\n<p>\n<img decoding=\"async\" alt=\"Thanos \u2014 skalbar Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/ab48e044b952bd891932b99e248120fa.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nF\u00f6r alla dessa fall inkluderar Thanos en separat komponent som kallas Ruler, som ber\u00e4knar regler och larm genom Thanos Queries. Genom att tillhandah\u00e5lla det v\u00e4lk\u00e4nda StoreAPI kan Query-noden f\u00e5 tillg\u00e5ng till nyligen ber\u00e4knade metrikv\u00e4rden. Senare lagras dessa ocks\u00e5 i en objektlagring och blir tillg\u00e4ngliga genom Store Gateway.<\/p>\n<h2>Thanos kraft<\/h2>\n<p>\nThanos \u00e4r tillr\u00e4ckligt flexibelt f\u00f6r att anpassas efter dina krav. Detta \u00e4r s\u00e4rskilt anv\u00e4ndbart vid migrering fr\u00e5n en enkel Prometheus. L\u00e5t oss snabbt g\u00e5 igenom komponenterna i Thanos med ett litet exempel. S\u00e5 h\u00e4r kan du \u00f6verf\u00f6ra din vanliga Prometheus till v\u00e4rlden av \"obegr\u00e4nsad metriklagring\":<\/p>\n<p><img decoding=\"async\" alt=\"Thanos \u2014 skalbar Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/f6ee4185af57d2a1869890014e6a0062.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<ol>\n<li>L\u00e4gg till Thanos Sidecar till dina Prometheus-servrar \u2013 till exempel, som en intilliggande container i en Kubernetes-pod.<\/li>\n<li>Distribuera flera kopior av Thanos Querier f\u00f6r att m\u00f6jligg\u00f6ra datavisning. Vid detta steg \u00e4r det enkelt att konfigurera gossip mellan Scraper och Querier. Anv\u00e4nd m\u00e4tv\u00e4rdet 'thanos_cluster_members' f\u00f6r att kontrollera samverkan mellan komponenterna.<\/li>\n<\/ol>\n<p>\nBara dessa tv\u00e5 steg \u00e4r tillr\u00e4ckliga f\u00f6r att s\u00e4kerst\u00e4lla en global vy och s\u00f6ml\u00f6s deduplicering av data fr\u00e5n potentiella HA-repliker av Prometheus! Anslut bara dina instrumentpaneler till HTTP-endpointen f\u00f6r Querier eller anv\u00e4nd Thanos UI direkt.<\/p>\n<p>Men om du beh\u00f6ver s\u00e4kerhetskopiera metrik och l\u00e5ngsiktig lagring, kr\u00e4vs ytterligare tre steg:<\/p>\n<ol>\n<li>Skapa en AWS S3- eller GCS-bucket. St\u00e4ll in Sidecar f\u00f6r att kopiera data till dessa buckets. Nu kan du minimera lokal datalagring.<\/li>\n<li>Distribuera Store Gateway och anslut den till den befintliga gossip-klustret. Nu kan du skicka f\u00f6rfr\u00e5gningar till data i s\u00e4kerhetskopiorna!<\/li>\n<li>Distribuera Compactor f\u00f6r att \u00f6ka effektiviteten f\u00f6r f\u00f6rfr\u00e5gningar \u00f6ver l\u00e4ngre tidsperioder genom att anv\u00e4nda komprimering och nedprovering.<\/li>\n<\/ol>\n<p>\nOm du vill veta mer, tveka inte att titta p\u00e5 v\u00e5ra <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/improbable-eng\/thanos\/tree\/master\/kube\">exempel p\u00e5 Kubernetes-manifest<\/a><\/noindex> och <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/improbable-eng\/thanos\/blob\/master\/docs\/getting-started.md\">komma ig\u00e5ng<\/a><\/noindex>!<\/p>\n<p>P\u00e5 bara fem steg har vi omvandlat Prometheus till ett p\u00e5litligt \u00f6vervakningssystem med global vy, obegr\u00e4nsad lagringstid och potentiell h\u00f6g tillg\u00e4nglighet f\u00f6r metrik.<\/p>\n<h3>Pull request: vi beh\u00f6ver dig!<\/h3>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/improbable-eng\/thanos\">Thanos<\/a><\/noindex> har varit ett projekt med \u00f6ppen k\u00e4llkod fr\u00e5n b\u00f6rjan. Den s\u00f6ml\u00f6sa integrationen med Prometheus och m\u00f6jligheten att anv\u00e4nda bara en del av Thanos g\u00f6r det till ett utm\u00e4rkt val f\u00f6r att skala \u00f6vervakningssystemet utan on\u00f6dig anstr\u00e4ngning.<\/p>\n<p>Vi \u00e4r alltid glada \u00f6ver GitHub Pull Requests och Issues. Tveka inte att kontakta oss via GitHub Issues eller Slack.<noindex><a rel=\"nofollow\" href=\"https:\/\/join.slack.com\/t\/improbable-eng\/shared_invite\/enQtMzQ1ODcyMzQ5MjM4LWY5ZWZmNGM2ODc5MmViNmQ3ZTA3ZTY3NzQwOTBlMTkzZmIxZTIxODk0OWU3YjZhNWVlNDU3MDlkZGViZjhkMjc\"> Improbable-eng #thanos<\/a><\/noindex>, om du har fr\u00e5gor eller feedback, eller om du vill dela din erfarenhet! Om du gillar det vi g\u00f6r p\u00e5 Improbable, tveka inte att h\u00f6ra av dig \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/improbable.io\/careers\/\">vi har alltid lediga tj\u00e4nster.<\/a><\/noindex>!<\/p>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/jYQP\/\">L\u00e4s mer om kursen.<br \/>\n<\/a><\/noindex><\/p>\n<p>K\u00e4lla: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/502122\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0435\u0440\u0435\u0432\u043e\u0434 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u0432 \u043a\u0443\u0440\u0441\u0430 \u00abDevOps \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438 \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b\u00bb. \u0424\u0430\u0431\u0438\u0430\u043d \u0420\u0435\u0439\u043d\u0430\u0440\u0446 (Fabian Reinartz) \u2014 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u043e\u0433\u043e \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u044f, \u0444\u0430\u043d\u0430\u0442 Go \u0438 \u043b\u044e\u0431\u0438\u0442\u0435\u043b\u044c \u0440\u0435\u0448\u0430\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438. \u0422\u0430\u043a\u0436\u0435 \u043e\u043d \u043c\u044d\u0439\u043d\u0442\u0435\u0439\u043d\u0435\u0440 Prometheus \u0438 \u0441\u043e\u0443\u0447\u0440\u0435\u0434\u0438\u0442\u0435\u043b\u044c Kubernetes SIG instrumentation. \u0412 \u043f\u0440\u043e\u0448\u043b\u043e\u043c \u043e\u043d \u0431\u044b\u043b production-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u043c \u0432 SoundCloud \u0438 \u0432\u043e\u0437\u0433\u043b\u0430\u0432\u043b\u044f\u043b \u0433\u0440\u0443\u043f\u043f\u0443 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0432 CoreOS. \u0412 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 Google. \u0411\u0430\u0440\u0442\u0435\u043a [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":81889,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-81888","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.5.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0435\u0440\u0435\u0432\u043e\u0434 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u0432 \u043a\u0443\u0440\u0441\u0430 \u00abDevOps \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438 \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b\u00bb.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/thanos-masshtabiruemyj-prometheus\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.5.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"sv_SE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47Thanos \u2014 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u044b\u0439 Prometheus | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0435\u0440\u0435\u0432\u043e\u0434 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u0432 \u043a\u0443\u0440\u0441\u0430 \u00abDevOps \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438 \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b\u00bb.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/thanos-masshtabiruemyj-prometheus\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-05-17T11:42:23+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-05-17T11:42:23+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Thanos \u2014 skalbar Prometheus | ProHoster","description":"\u00d6vers\u00e4ttningen av artikeln har f\u00f6rberetts speciellt f\u00f6r studenter i kursen \"DevOps praktiker och verktyg\".","canonical_url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/thanos-masshtabiruemyj-prometheus","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sv_SE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Thanos \u2014 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u044b\u0439 Prometheus | ProHoster","og:description":"\u041f\u0435\u0440\u0435\u0432\u043e\u0434 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u0432 \u043a\u0443\u0440\u0441\u0430 \u00abDevOps \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438 \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b\u00bb.","og:url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/thanos-masshtabiruemyj-prometheus","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-05-17T11:42:23+00:00","article:modified_time":"2020-05-17T11:42:23+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"81888","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 15:48:24","updated":"2022-09-30 01:06:17","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/81888","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/comments?post=81888"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/81888\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/media\/81889"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/media?parent=81888"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/categories?post=81888"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/tags?post=81888"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}