{"id":81888,"date":"2020-05-17T13:42:23","date_gmt":"2020-05-17T11:42:23","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/thanos-masshtabiruemyj-prometheus"},"modified":"2020-05-17T13:42:23","modified_gmt":"2020-05-17T11:42:23","slug":"thanos-masshtabiruemyj-prometheus","status":"publish","type":"post","link":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/thanos-masshtabiruemyj-prometheus","title":{"rendered":"Thanos \u2014 skalabilni Prometheus","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Prevodi \u010dlanka su pripremljeni posebno za studente kursa <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/jYQP\/\">\u201eDevOps prakse i alati\u201c<\/a><\/noindex>.<\/i><\/b><\/p>\n<p>\n<i><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/fabxc\">Fabian Reinartz<\/a><\/noindex> \u2014 softverski razvija\u010d, zaljubljenik u Go i ljubitelj re\u0161avanja slo\u017eenih problema. Tako\u0111er je odr\u017eavatelj Prometheusa i suosniva\u010d Kubernetes SIG instrumentation. U pro\u0161losti je bio in\u017eenjer proizvodnje u SoundCloudu i vodio grupu za pra\u0107enje u CoreOS-u. Trenutno radi u Googleu.<\/p>\n<p><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/Bplotka\">Bartek Plotka<\/a><\/noindex> \u2014 in\u017eenjer infrastrukture u Improbable. Interesuje se za nove tehnologije i probleme distribuiranih sistema. Ima iskustvo niskonivnog programiranja u Intelu, iskustvo doprinositelja u Mesosu i SRE proizvodno iskustvo svetske klase u Improbable-u. Poma\u017ee u unapre\u0111enju sveta mikroservisa. Njegove tri ljubavi: Golang, open source i odbojka.<\/i><\/p>\n<p>Gledaju\u0107i na\u0161 vode\u0107i proizvod SpatialOS, mo\u017eete pretpostaviti da Improbable zahteva visoko dinami\u010dnu cloud infrastrukturu globalnog obima sa desetinama Kubernetes klastera. Bili smo me\u0111u prvima koji su po\u010deli koristiti sistem pra\u0107enja <noindex><a rel=\"nofollow\" href=\"https:\/\/prometheus.io\/\">Prometheus<\/a><\/noindex>. Prometheus mo\u017ee pratiti milionske metrike u realnom vremenu i dolazi sa mo\u0107nim jezikom upita koji omogu\u0107ava izdvajanje neophodnih informacija.<\/p>\n<p>Jednostavnost i pouzdanost Prometheusa jedan su od njegovih osnovnih prednosti. Me\u0111utim, nakon postizanja odre\u0111enog skupa, suo\u010dili smo se sa nekoliko nedostataka. Za re\u0161evanje ovih problema razvili smo <noindex><a rel=\"nofollow\" href=\"https:\/\/thanos.io\/\">Thanos<\/a><\/noindex> \u2014 projekat otvorenog koda koji je razvio Improbable, za besprekornu transformaciju postoje\u0107ih Prometheus klastera u jedinstveni sistem pra\u0107enja sa neograni\u010denim skladi\u0161tem istorijskih podataka. Thanos je dostupan na Githubu <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/improbable-eng\/thanos\">ovde<\/a><\/noindex>.<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p><noindex><a rel=\"nofollow\" href=\"https:\/\/gdk.improbable.io\/l\/169082\/2020-01-10\/2j9yxq\">Budite u toku sa najnovijim vestima od Improbable.<\/a><\/noindex><\/p>\n<h2>Na\u0161i ciljevi sa Thanusom<\/h2>\n<p>\nKada se dostigne odre\u0111eni obim, pojavljuju se problemi koji prevazilaze mogu\u0107nosti obi\u010dnog Prometheusa. Kako pouzdano i ekonomi\u010dno skladi\u0161titi petabajte istorijskih podataka? Mo\u017ee li se to uraditi bez \u0161tete vremenu odgovora na upit? Da li je mogu\u0107e pristupiti svim metrima sme\u0161tenim na razli\u010ditim Prometheus serverima putem jednog API upita? Mo\u017ee li se na neki na\u010din spojiti replikirani podaci prikupljeni pomo\u0107u Prometheus HA?<\/p>\n<p>Da bismo re\u0161ili ta pitanja, stvorili smo Thanos. U narednim odeljcima obja\u0161njavamo kako smo pristupili re\u0161enju ovih pitanja i obja\u0161njavamo ciljeve koje smo imali.<\/p>\n<h4>Upit podataka iz vi\u0161e instanci Prometheus-a (global query)<\/h4>\n<p>\nPrometheus nudi funkcionalan pristup \u0161ardiranju. \u010cak i jedan Prometheus server osigurava dovoljnu skalabilnost da oslobodi korisnike od slo\u017eenosti horizontalnog \u0161ardiranja u prakti\u010dki svim scenarijima kori\u0161tenja.<\/p>\n<p>Iako je ovo odli\u010dan model implementacije, \u010desto je potrebno pristupiti podacima na razli\u010ditim Prometheus serverima kroz jedinstveni API ili korisni\u010dko su\u010delje \u2014 globalni pregled. Naravno, postoji mogu\u0107nost prikaza vi\u0161e upita u jednoj Grafana plo\u010di, ali svaki upit se mo\u017ee izvr\u0161iti samo na jednom Prometheus serveru. S druge strane, pomo\u0107u Thanos-a mo\u017eete zatra\u017eiti i agregirati podatke sa vi\u0161e Prometheus servera, jer su svi dostupni s jedne krajnje ta\u010dke.<\/p>\n<p>Ranije, da bismo dobili globalni pregled u Improbableu, organizovali smo na\u0161e instance Prometheus-a u vi\u0161eslojnu <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/prometheus\/prometheus\/blob\/master\/docs\/federation.md#hierarchical-federation\">Hijerarhijsku federaciju<\/a><\/noindex>. To je zna\u010dilo stvaranje jednog meta-servera Prometheus koji prikuplja deo metrika sa svakog \"leaf\" servera.<\/p>\n<p><img decoding=\"async\" alt=\"Thanos \u2014 skalabilni Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/82590f017734f5dc1038a0e13f772d2a.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nOvaj pristup se pokazao problemati\u010dnim. Doveo je do komplikacije konfiguracije, dodavanja dodatne potencijalne ta\u010dke kvara i primene slo\u017eenih pravila za pru\u017eanje federirane krajnje ta\u010dke samo sa potrebnim podacima. Osim toga, takva federacija ne omogu\u0107ava pravilan globalni pregled, jer nisu svi podaci dostupni iz jednog API upita.<\/p>\n<p>S ovim je usko povezana jedinstvena prezentacija podataka prikupljenih na visoko dostupnim (high-availability, HA) Prometheus serverima. HA model Prometheus samostalno prikuplja podatke dvaput, \u0161to je toliko jednostavno da jednostavnije ne mo\u017ee biti. Me\u0111utim, kori\u0161\u0107enje objedinjene i de-duplikovane prezentacije oba toka bi bilo znatno prakti\u010dnije.<\/p>\n<p>Naravno, u visoko dostupnim Prometheus serverima postoji potreba. U Improbableu zaista ozbiljno pristupamo minutnom pra\u0107enju podataka, ali imati jedan primjerak Prometheus-a na klasteru predstavlja jedinstvenu ta\u010dku kvara. Svaka gre\u0161ka u konfiguraciji ili kvar opreme potencijalno mo\u017ee dovesti do gubitka va\u017enih podataka. \u010cak i jednostavna implementacija mo\u017ee dovesti do malih zastoja u prikupljanju metrika, budu\u0107i da ponovo pokretanje mo\u017ee biti zna\u010dajno du\u017ee od intervala preuzimanja.<\/p>\n<h4>Pouzdano skladi\u0161tenje historijskih podataka<\/h4>\n<p>\nJeftin, brz i dugoro\u010dan sistem za pohranu metrika je na\u0161 san (koji dijeli ve\u0107ina korisnika Prometheusa). U Improbable-u smo bili primorani postaviti rok pohrane metrika na devet dana (za Prometheus 1.8). To postavlja o\u010digledna ograni\u010denja na to koliko daleko mo\u017eemo pogledati unazad.<\/p>\n<p>Prometheus 2.0 je u tom smislu bolji, jer broj vremenskih serija vi\u0161e ne uti\u010de na ukupne performanse servera (vidi <noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=nDalewt4BOw\">glavni govor na KubeCon-u o Prometheusu 2<\/a><\/noindex>). Ipak, Prometheus pohranjuje podatke na lokalnom disku. Iako visoko efikasna kompresija podataka mo\u017ee zna\u010dajno smanjiti upotrebu lokalnog SSD-a, na kraju ipak postoji ograni\u010denje na koli\u010dinu sa\u010duvanih istorijskih podataka.<\/p>\n<p>Osim toga, u Improbable-u brinemo o pouzdanosti, jednostavnosti i tro\u0161kovima. Veliki lokalni diskovi su te\u017ei za upravljanje i rezervne kopije. Skupi su i zahtevaju vi\u0161e alata za rezervne kopije, \u0161to dovodi do dodatne slo\u017eenosti.<\/p>\n<h4>Smanjenje uzorkovanja<\/h4>\n<p>\nKada smo po\u010deli raditi s istorijskim podacima, shvatili smo da postoje fundamentalni problemi s O-velikim, koji \u010dine upite sve sporijim ako radimo s podacima iz nedelja, meseci i godina.<\/p>\n<p>Standardno re\u0161enje ovog problema bi bilo <noindex><a rel=\"nofollow\" href=\"https:\/\/en.wikipedia.org\/wiki\/Decimation_(signal_processing)\">smanjenje uzorkovanja<\/a><\/noindex> (downsampling) \u2014 smanjenje frekvencije uzorkovanja signala. Smanjenjem uzorkovanja mo\u017eemo \u201esmanjiti razmeru\u201c na du\u017ei vremenski opseg i odr\u017eati istu koli\u010dinu uzoraka, \u0161to \u0107e omogu\u0107iti o\u010duvanje odzivne sposobnosti upita.<\/p>\n<p>Smanjenje uzorkovanja starih podataka je neizbe\u017ean zahtev svakog re\u0161enja za dugoro\u010dno skladi\u0161tenje i prevazilazi vaniliju Prometheus-a.<\/p>\n<h4>Dodatni ciljevi<\/h4>\n<p>\nJedan od prvobitnih ciljeva projekta Thanos bio je besprijekorna integracija sa postoje\u0107im instalacijama Prometheus-a. Drugi cilj bio je jednostavna upotreba s minimalnom barijerom ulaska. Sve zavisnosti treba lako zadovoljiti kako za male, tako i za velike korisnike, \u0161to tako\u0111e podrazumeva neznatne osnovne tro\u0161kove.<\/p>\n<h2>Arhitektura Thanosa<\/h2>\n<p>\nNakon \u0161to su u prethodnom odeljku navedeni na\u0161i ciljevi, hajde da radimo na njima i vidimo kako Thanos re\u0161ava te probleme.<\/p>\n<h4>Globalna perspektiva<\/h4>\n<p>\nDa bismo dobili globalni pregled postoje\u0107ih instanci Prometheusa, treba da pove\u017eemo jedinstvenu ta\u010dku ulaza zahteva sa svim serverima. Time se bavi komponenta Thanos. <noindex><a rel=\"nofollow\" href=\"https:\/\/kubernetes.io\/blog\/2015\/06\/the-distributed-system-toolkit-patterns#example-1-sidecar-containers\">Sidecar<\/a><\/noindex>. Deployuje se pored svakog Prometheus servera i funkcioni\u0161e kao proxy, opslu\u017euju\u0107i lokalne podatke Prometheus-a putem gRPC interfejsa Store API, koji omogu\u0107ava pretragu vremenskih serija podataka prema oznakama i vremenskom intervalu.<\/p>\n<p>S druge strane se nalazi horizontalno skalabilna komponenta Querier bez stanja, koja radi malo vi\u0161e od jednostavnog odgovaranja na PromQL zahteve putem standardnog Prometheus HTTP API-a. Komponente Querier, Sidecar i druge Thanos komponente me\u0111usobno komuniciraju putem <noindex><a rel=\"nofollow\" href=\"https:\/\/en.wikipedia.org\/wiki\/Gossip_protocol\">gossip protokola<\/a><\/noindex>.<\/p>\n<p><img decoding=\"async\" alt=\"Thanos \u2014 skalabilni Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/fbcf1e756f5da4e8529f17abd4cedd00.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<ol>\n<li>Kada Querier primi zahtev, povezuje se sa odgovaraju\u0107im serverom Store API, tj. na\u0161im Sidecar-ima, i dobija vremenske serije podataka sa odgovaraju\u0107ih Prometheus servera.<\/li>\n<li>Nakon toga kombinuje odgovore i izvr\u0161ava PromQL zahtev na njima. Querier mo\u017ee da kombinuje kako nepovezane podatke, tako i duplicirane podatke sa HA Prometheus servera.<\/li>\n<\/ol>\n<p>\nOvo re\u0161ava najve\u0107i deo na\u0161e zagonetke \u2014 objedinjavanje podataka sa izolovanih Prometheus servera u jedinstveni prikaz. U su\u0161tini, Thanos se mo\u017ee koristiti samo zbog ove mogu\u0107nosti. Nema potrebe za izvr\u0161enjem bilo kakvih izmena na postoje\u0107im Prometheus serverima!<\/p>\n<h4>Neograni\u010deno vreme skladi\u0161tenja!<\/h4>\n<p>\nMe\u0111utim, pre ili kasnije, \u017eele\u0107emo da sa\u010duvamo podatke koji prevazilaze uobi\u010dajeno vreme skladi\u0161tenja Prometheusa. Za skladi\u0161tenje istorijskih podataka izabrali smo objektno skladi\u0161te. Ono je \u0161iroko dostupno u bilo kojem oblaku, kao i u lokalnim datacenters, i veoma je isplativo. Pored toga, skoro svako objektno skladi\u0161te je dostupno putem dobro poznatog S3 API-a.<\/p>\n<p>Prometheus upisuje podatke iz memorije na disk otprilike svaka dva sata. Blok sa\u010duvanih podataka sadr\u017ei sve podatke za odre\u0111eni vremenski interval i je nepromenljiv. To je veoma prakti\u010dno, jer Thanos Sidecar mo\u017ee jednostavno pregledati folder sa podacima Prometheus-a i, kako nove blokove postaju dostupne, u\u010ditati ih u korpe objektnih skladi\u0161ta.<\/p>\n<p><img decoding=\"async\" alt=\"Thanos \u2014 skalabilni Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/2be803d8d7e0ce9a5ffa441b7778a40b.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nU\u010ditavanje u objektno skladi\u0161te odmah nakon upisa na disk tako\u0111e omogu\u0107ava o\u010duvanje jednostavnosti \u201cskrapera\u201d (Prometheus i Thanos Sidecar). To pojednostavljuje odr\u017eavanje, tro\u0161kove i dizajn sistema.<\/p>\n<p>Kao \u0161to vidite, backup podataka se sprovodi veoma jednostavno. Ali \u0161ta je sa zahtevom za podacima u objektnom skladi\u0161tu?<\/p>\n<p>Thanos Store komponenta deluje kao proxy za dobijanje podataka iz objektnog skladi\u0161ta. Kao i Thanos Sidecar, u\u010destvuje u gossip klasteru i implementira Store API. Tako, postoje\u0107i Querier mogu ga posmatrati kao Sidecar, kao jo\u0161 jedan izvor time series podataka \u2014 ne zahteva nikakvu posebnu konfiguraciju.<\/p>\n<p><img decoding=\"async\" alt=\"Thanos \u2014 skalabilni Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/5a437ae1bf8a6f79b8d24aeb9dde2d17.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nBlokovi time series podataka se sastoje od nekoliko velikih datoteka. U\u010ditavanje po zahtevu bi bilo prili\u010dno neefikasno, a lokalno ke\u0161iranje bi zahtevalo ogromnu memoriju i prostor na disku.<\/p>\n<p>Umesto toga, Store Gateway zna kako da rukuje formatom skladi\u0161ta Prometheus. Zahvaljuju\u0107i pametnom planeru upita i ke\u0161iranju samo neophodnih indeksnih delova blokova, mogu\u0107e je smanjiti slo\u017eene upite na minimalan broj HTTP zahteva prema datotekama objektnog skladi\u0161ta. Tako mo\u017eemo smanjiti broj zahteva za \u010detiri do \u0161est redova i posti\u0107i vreme odziva koje je u su\u0161tini te\u0161ko razlikovati od zahteva za podacima na lokalnom SSD-u.<\/p>\n<p><img decoding=\"async\" alt=\"Thanos \u2014 skalabilni Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/ebcbe1ee16dbac18daa474e7cb4b12b2.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nKao \u0161to je prikazano na dijagramu iznad, Thanos Querier zna\u010dajno smanjuje tro\u0161kove po jednom zahtevu za podacima u objektnom skladi\u0161tu, koriste\u0107i format skladi\u0161ta Prometheus i postavljaju\u0107i povezane podatke blizu. Koriste\u0107i ovaj pristup, mo\u017eemo kombinovati mno\u0161tvo pojedina\u010dnih zahteva u minimalan broj bulk operacija.<\/p>\n<h4>Kompaktovanje i downsampling<\/h4>\n<p>\nNakon \u0161to se novi blok time series podataka uspe\u0161no u\u010dita u objektnom skladi\u0161tu, posmatramo ga kao \"istorijske\" podatke koji odmah postaju dostupni putem Store Gateway.<\/p>\n<p>Me\u0111utim, nakon nekog vremena blokovi iz jednog izvora (Prometheus sa Sidecar) se akumuliraju i vi\u0161e ne koriste sav potencijal indeksiranja. Da bismo re\u0161ili ovaj problem, uveli smo jo\u0161 jednu komponentu nazvanu Compactor. Ona jednostavno primenjuje lokalni mehanizam kompaktovanja Prometheus na istorijske podatke u objektnom skladi\u0161tu i mo\u017ee se pokrenuti kao jednostavna periodi\u010dna paketna eksekucija.<\/p>\n<p><img decoding=\"async\" alt=\"Thanos \u2014 skalabilni Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/c7dd83dab074a4c5f93069a4bc152342.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nZahvaljuju\u0107i efikasnom kompresovanju, upit u skladi\u0161te tokom du\u017eeg vremenskog perioda ne predstavlja problem u smislu veli\u010dine podataka. Me\u0111utim, potencijalni tro\u0161ak dekompresije milijarde vrednosti i njihovo prosle\u0111ivanje kroz obradu upita neizbe\u017eno \u0107e dovesti do naglog pove\u0107anja vremena izvr\u0161enja upita. S druge strane, po\u0161to na svaku ta\u010dku ekrana dolazi stotine ta\u010daka podataka, postaje nemogu\u0107e \u010dak i vizualizovati podatke u punoj rezoluciji. Tako, daunsampling nije samo mogu\u0107, nego ne\u0107e dovesti do primetnog gubitka ta\u010dnosti. <\/p>\n<p><img decoding=\"async\" alt=\"Thanos \u2014 skalabilni Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/5f36a05aba3fbffa905b6a8da482ab3d.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nZa daunsampling podataka, Compactor kontinuirano agregira podatke sa rezolucijom od pet minuta i jednog sata. Za svaki neobra\u0111eni fragment, kodiran pomo\u0107u TSDB XOR kompresije, \u010duvaju se razli\u010dite vrste agregiranih podataka, kao \u0161to su min, max ili sum za jedan blok. To omogu\u0107ava Querier-u automatski da izabere agregat koji odgovara datom PromQL upitu. <\/p>\n<p>Za kori\u0161\u0107enje podataka sa smanjenom precizno\u0161\u0107u korisniku nije potrebna nikakva specijalna konfiguracija. Querier automatski prelazi izme\u0111u razli\u010ditih rezolucija i neobra\u0111enih podataka kako korisnik pove\u0107ava ili smanjuje zoom. Ako \u017eeli, korisnik mo\u017ee direktno upravljati ovim putem parametra \u201cstep\u201d u upitu. <\/p>\n<p>Po\u0161to je tro\u0161ak skladi\u0161tenja jednog GB mali, Thanos po defaultu \u010duva izvorne podatke, podatke sa rezolucijom od pet minuta i jednog sata. Nema potrebe za brisanjem izvornih podataka.<\/p>\n<h2>Recording pravila<\/h2>\n<p>\n\u010cak i sa Thanos-om, recording pravila su zna\u010dajan deo monitorskog steka. Ona smanjuju slo\u017eenost, ka\u0161njenje i tro\u0161ak upita. Tako\u0111e su korisna za korisnike da dobiju agregirane podatke po metrikama. Thanos se oslanja na vanilija instance Prometheusa, tako da je sasvim u redu \u010duvati recording pravila i alerting pravila na postoje\u0107em Prometheus serveru. Me\u0111utim, u nekim slu\u010dajevima, to mo\u017ee biti nedovoljno:<\/p>\n<ul>\n<li>Globalni alert i pravilo (na primer, upozorenje kada usluga ne radi na vi\u0161e od dva od tri klastera).<\/li>\n<li>Pravilo za podatke van lokalnog skladi\u0161ta.<\/li>\n<li>Te\u017enja da se sva pravila i alerti \u010duvaju na jednom mestu.<\/li>\n<\/ul>\n<p>\n<img decoding=\"async\" alt=\"Thanos \u2014 skalabilni Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/ab48e044b952bd891932b99e248120fa.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nZa sve ove situacije, Thanos uklju\u010duje poseban komponent, nazvan Ruler, koji izra\u010dunava pravila i upozorenja putem Thanos Queries. Pru\u017eaju\u0107i dobro poznati StoreAPI, Query \u010dvor mo\u017ee pristupiti sve\u017eim izra\u010dunatim metrima. Kasnije se tako\u0111e \u010duvaju u objektnoj skladi\u0161tu i postaju dostupni putem Store Gateway-a.<\/p>\n<h2>Mo\u0107 Thanos-a<\/h2>\n<p>\nThanos je dovoljno fleksibilan da se mo\u017ee prilagoditi va\u0161im zahtevima. To je posebno korisno prilikom migracije sa jednostavnog Prometheusa. Hajde da se brzo podsetimo, na malom primeru, \u0161ta smo nau\u010dili o komponentama Thanos-a. Evo kako da prenesete va\u0161 vanilasti Prometheus u svet \u201cneograni\u010denog skladi\u0161tenja metrika\u201d:<\/p>\n<p><img decoding=\"async\" alt=\"Thanos \u2014 skalabilni Prometheus\" src=\"\/wp-content\/uploads\/2020\/05\/f6ee4185af57d2a1869890014e6a0062.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<ol>\n<li>Dodajte Thanos Sidecar na va\u0161e Prometheus servere \u2014 na primer, kao susedni kontejner u Kubernetes pod.<\/li>\n<li>Implementirajte nekoliko replika Thanos Querier za pregled podataka. U ovoj fazi je lako postaviti gossip izme\u0111u Scraper-a i Querier-a. Za proveru interakcije komponenti koristite metriku 'thanos_cluster_members'.<\/li>\n<\/ol>\n<p>\nSamo ova dva koraka su dovoljna da obezbede globalni pregled i besprekornu deduplifikaciju podataka od potencijalnih HA kopija Prometheusa! Jednostavno pove\u017eite svoje dashboarde sa HTTP Querier-ovim krajnjim ta\u010dkama ili koristite Thanos UI interfejs direktno.<\/p>\n<p>Me\u0111utim, ako vam je potrebna za\u0161tita metrika i dugoro\u010dno skladi\u0161tenje, mora\u0107ete da uradite jo\u0161 tri koraka:<\/p>\n<ol>\n<li>Kreirajte AWS S3 ili GCS bucket. Podesite Sidecar za kopiranje podataka u te buckete. Sada mo\u017eete minimizovati lokalno skladi\u0161tenje podataka.<\/li>\n<li>Razvijte Store Gateway i pove\u017eite ga sa postoje\u0107im gossip klasterom. Sada mo\u017eete slati zahteve za podatke iz rezervnih kopija!<\/li>\n<li>Razvijte Compactor kako biste pobolj\u0161ali efikasnost upita za du\u017ee vremenske intervale, koriste\u0107i kompresiju i downsampling.<\/li>\n<\/ol>\n<p>\nAko \u017eelite da saznate vi\u0161e, slobodno pogledajte na\u0161e <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/improbable-eng\/thanos\/tree\/master\/kube\">primere kubernetes manifesta<\/a><\/noindex> i <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/improbable-eng\/thanos\/blob\/master\/docs\/getting-started.md\">kako po\u010deti<\/a><\/noindex>!<\/p>\n<p>U samo pet koraka, pretvorili smo Prometheus u pouzdan sistem monitoringa sa globalnim pregledom, neograni\u010denim vremenom skladi\u0161tenja i potencijalnom visokom dostupno\u0161\u0107u metrika.<\/p>\n<h3>Pull request: potrebni ste nam!<\/h3>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/improbable-eng\/thanos\">Thanos<\/a><\/noindex> od samog po\u010detka je bio projekat sa otvorenim kodom. Besprekorno integrisanje sa Prometheus-om i mogu\u0107nost kori\u0161\u0107enja samo dela Thanos-a \u010dini ga odli\u010dnim izborom za skaliranje sistema monitoringa bez dodatnih napora.<\/p>\n<p>Uvijek nam je drago primiti GitHub Pull Request i Issues. U isto vrijeme, slobodno nas kontaktirajte putem Github Issues ili Slack-a.<noindex><a rel=\"nofollow\" href=\"https:\/\/join.slack.com\/t\/improbable-eng\/shared_invite\/enQtMzQ1ODcyMzQ5MjM4LWY5ZWZmNGM2ODc5MmViNmQ3ZTA3ZTY3NzQwOTBlMTkzZmIxZTIxODk0OWU3YjZhNWVlNDU3MDlkZGViZjhkMjc\"> Improbable-eng #thanos<\/a><\/noindex>, ako imate pitanja ili povratne informacije, ili \u017eelite podijeliti svoje iskustvo! Ako vam se svi\u0111a ono \u0161to radimo u Improbable, slobodno nam se obratite \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/improbable.io\/careers\/\">uvijek imamo otvorene pozicije<\/a><\/noindex>!<\/p>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/jYQP\/\">Saznajte vi\u0161e o kursu.<br \/>\n<\/a><\/noindex><\/p>\n<p>Izvor: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/502122\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0435\u0440\u0435\u0432\u043e\u0434 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u0432 \u043a\u0443\u0440\u0441\u0430 \u00abDevOps \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438 \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b\u00bb. \u0424\u0430\u0431\u0438\u0430\u043d \u0420\u0435\u0439\u043d\u0430\u0440\u0446 (Fabian Reinartz) \u2014 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u043e\u0433\u043e \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u044f, \u0444\u0430\u043d\u0430\u0442 Go \u0438 \u043b\u044e\u0431\u0438\u0442\u0435\u043b\u044c \u0440\u0435\u0448\u0430\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438. \u0422\u0430\u043a\u0436\u0435 \u043e\u043d \u043c\u044d\u0439\u043d\u0442\u0435\u0439\u043d\u0435\u0440 Prometheus \u0438 \u0441\u043e\u0443\u0447\u0440\u0435\u0434\u0438\u0442\u0435\u043b\u044c Kubernetes SIG instrumentation. \u0412 \u043f\u0440\u043e\u0448\u043b\u043e\u043c \u043e\u043d \u0431\u044b\u043b production-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u043c \u0432 SoundCloud \u0438 \u0432\u043e\u0437\u0433\u043b\u0430\u0432\u043b\u044f\u043b \u0433\u0440\u0443\u043f\u043f\u0443 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0432 CoreOS. \u0412 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 Google. \u0411\u0430\u0440\u0442\u0435\u043a [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":81889,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-81888","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.5.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0435\u0440\u0435\u0432\u043e\u0434 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u0432 \u043a\u0443\u0440\u0441\u0430 \u00abDevOps \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438 \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b\u00bb.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/thanos-masshtabiruemyj-prometheus\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.5.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"bs_BA\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47Thanos \u2014 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u044b\u0439 Prometheus | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0435\u0440\u0435\u0432\u043e\u0434 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u0432 \u043a\u0443\u0440\u0441\u0430 \u00abDevOps \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438 \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b\u00bb.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/thanos-masshtabiruemyj-prometheus\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-05-17T11:42:23+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-05-17T11:42:23+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Thanos \u2014 skalabilni Prometheus | ProHoster","description":"\u010clanak je preveden posebno za studente kursa 'DevOps prakse i alati'.","canonical_url":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/thanos-masshtabiruemyj-prometheus","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"bs_BA","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Thanos \u2014 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u044b\u0439 Prometheus | ProHoster","og:description":"\u041f\u0435\u0440\u0435\u0432\u043e\u0434 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u0432 \u043a\u0443\u0440\u0441\u0430 \u00abDevOps \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438 \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b\u00bb.","og:url":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/thanos-masshtabiruemyj-prometheus","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-05-17T11:42:23+00:00","article:modified_time":"2020-05-17T11:42:23+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"81888","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 15:48:24","updated":"2022-09-30 01:06:17","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts\/81888","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/comments?post=81888"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts\/81888\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/media\/81889"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/media?parent=81888"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/categories?post=81888"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/tags?post=81888"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}