Hlokomela. fetolela.: Re u tsebisa lintlha tsa tekheniki mabapi le mabaka a ho theoha ha morao tjena litšebeletsong tsa cloud tse hlokometsoeng ke baetsi ba Grafana. Ona ke mohlala oa khale oa kamoo karolo e ncha e bonahalang e le molemo haholo e etselitsoeng ho ntlafatsa boleng ba lits'ebetso ... e ka baka kotsi haeba u sa fane ka lintlha tse ngata tsa ts'ebeliso ea eona maemong a nnete a tlhahiso. Ho monate ha lisebelisoa tse kang tsena li hlaha tse u lumellang hore u ithute eseng feela liphosong tsa hau. Lintlha li teng phetolelong ea mongolo ona ho tsoa ho motlatsi oa mopresidente oa sehlahisoa sa Grafana Labs.
Ka Labohlano la la 19 Phupu, tšebeletso ea Prometheus e Grafana Cloud e ile ea emisa ho sebetsa ka metsotso e ka bang 30. Ke kopa tšoarelo ho bareki bohle ba anngoeng ke ho tima. Mosebetsi oa rona ke ho fana ka lisebelisoa tsa ho beha leihlo tseo u li hlokang, 'me rea utloisisa hore ho se be le tsona ho ka u thatafalletsa bophelo le ho feta. Re nka ketsahalo ena ka botebo haholo. Sengoliloeng sena se hlalosa se etsahetseng, hore na re arabetse joang, le seo re se etsang ho netefatsa hore ha se etsahale hape.
prehistory
Grafana Cloud Hosting Prometheus tšebeletso e thehiloe ho - Morero oa CNCF oa ho theha ts'ebeletso ea Prometheus e otlolohileng, e fumanehang haholo, e nang le batho ba bangata. Meaho ea Cortex e na le sehlopha sa li-microservices ka bomong, e 'ngoe le e' ngoe e etsa mosebetsi oa eona: ho pheta-pheta, ho boloka, lipotso, joalo-joalo. Cortex e tlas'a nts'etsopele e sebetsang 'me e lula e eketsa likarolo tse ncha le ho ntlafatsa tshebetso. Re lula re romella lintlafatso tse ncha tsa Cortex ho lihlopha e le hore bareki ba ka sebelisa monyetla oa likarolo tsena - ka lehlohonolo, Cortex e ka nchafatsoa ntle le nako.
Bakeng sa lintlafatso tse se nang moeli, ts'ebeletso ea Ingester Cortex e hloka replica e eketsehileng ea Ingester nakong ea ts'ebetso ea ntlafatso. (Hlokomela. fetolela.: - karolo ea motheo ea Cortex. Mosebetsi oa eona ke ho bokella lisampole tse sa khaotseng, ho li arola ka har'a likarolo tsa Prometheus le ho li boloka sebakeng sa polokelo ea litaba joaloka DynamoDB, BigTable kapa Cassandra.) Sena se lumella li-Ingesters tsa khale ho fetisetsa data ea hajoale ho Ingesters e ncha. Ke habohlokoa ho hlokomela hore Ingesters e batla lisebelisoa. E le hore ba sebetse, o hloka ho ba le li-cores tse 4 le 15 GB ea mohopolo ka pod, i.e. 25% ea matla a ho sebetsa le mohopolo oa mochini oa motheo molemong oa lihlopha tsa rona tsa Kubernetes. Ka kakaretso, hangata re na le lisebelisoa tse ngata tse sa sebelisoeng sehlopheng ho feta li-cores tsa 4 le 15 GB ea memori, kahoo re ka khona ho phunya li-engesters tsena tse eketsehileng nakong ea ntlafatso.
Leha ho le joalo, hangata ho etsahala hore nakong ea ts'ebetso e tloaelehileng ha ho mochine o nang le 25% ea lisebelisoa tse sa sebelisoang. E, ha re ikitlaetse: CPU le memori li tla lula li le molemo bakeng sa lits'ebetso tse ling. Ho rarolla bothata bona, re ile ra etsa qeto ea ho e sebelisa . Morero ke ho fa Ingesters e tlang pele ho feta li-microservices tse ling (tse se nang naha). Ha re hloka ho sebelisa Engester e eketsehileng (N+1), re tlosa li-pods tse nyane ka nakoana. Li-pods tsena li fetisetsoa mehloling ea mahala mecheng e meng, li siea "sekoti" se lekaneng ho tsamaisa Ingester e eketsehileng.
Ka Labone la la 18 Phupu, re ile ra qalisa maemo a macha a mane a tlang pele ho lihlopha tsa rona: tse mahlonoko, phahameng, ka karolelano и e tlaase. Li ile tsa lekoa sehlopheng sa ka hare se se nang sephethephethe sa bareki nako e ka etsang beke. Ka mokhoa oa kamehla, li-pods ntle le ntho e tlang pele e boletsoeng e amohetsoe ka karolelano pele, sehlopha se behiloe bakeng sa Ingesters le phahameng pele. Bohlokoa e ne e boloketsoe ho beha leihlo (Prometheus, Alertmanager, node-exporter, kube-state-metrics, joalo-joalo). Sebopeho sa rona se bulehile, 'me u ka sheba PR .
Kotsi
Ka Labohlano la la 19 Phupu, e mong oa baenjiniere o ile a tsebisa sehlopha se secha se inehetseng sa Cortex bakeng sa moreki e moholo. Tlhophiso ea sehlopha sena e ne e sa kenyelle lintho tse tlang pele ho pod, kahoo li-pods tsohle tse ncha li ile tsa abeloa ntho e tlang pele - ka karolelano.
Sehlopha sa Kubernetes se ne se sena lisebelisoa tse lekaneng bakeng sa sehlopha se secha sa Cortex, 'me sehlopha se neng se le teng sa tlhahiso ea Cortex ha sea ka sa ntlafatsoa (Ingesters e ile ea siuoa ntle le eona. hodimo pele). Ho tloha ha Li-Ingesters tsa sehlopha se secha ka ho sa feleng li ne li ka karolelano se tlang pele, mme diphotjwa tse neng di le teng tlhahisong di sebeditse ntle le ho bewa pele ho hang, The Ingesters of the new cluster e nkile sebaka sa Ingesters ho tswa ho sehlopha se teng sa tlhahiso sa Cortex.
ReplicaSet bakeng sa Ingester e lelekiloeng sehlopheng sa tlhahiso e fumane pod e lelekiloeng mme ea theha e ncha ho boloka palo e boletsoeng ea likopi. Pod e ncha e abetsoe ka mokhoa o ikhethileng ka karolelano pele, 'me e' ngoe "ea khale" Ingester tlhahisong e lahlehetsoe ke lisebelisoa tsa eona. Phello e bile mokhoa oa avalanche, e ileng ea lebisa ho tlosoe ha li-pods tsohle ho tsoa ho Ingester bakeng sa lihlopha tsa tlhahiso ea Cortex.
Li-Ingesters li nepahetse ebile li boloka lintlha tsa lihora tse 12 tse fetileng. Sena se re lumella ho li hatella ka mokhoa o atlehileng haholoanyane pele re li ngolla polokelong ea nako e telele. Ho fihlela sena, Cortex e shards data ho pholletsa le letoto le sebelisa Distributed Hash Table (DHT) mme e pheta letoto le leng le le leng ho pholletsa le Ingesters tse tharo ho sebelisa Dynamo-style quorum consistency. Cortex ha e ngolle data ho Ingesters e holofetseng. Kahoo, ha palo e kholo ea Li-Ingesters e tloha DHT, Cortex e ke ke ea fana ka phetisetso e lekaneng ea litlhaloso, 'me lia senyeha.
Ho fumanoa le ho Lokisoa
Litsebiso tse ncha tsa Prometheus tse thehiloeng ho "tekanyetso ea phoso" (phoso e thehiloeng ho tekanyetso - lintlha li tla hlaha sehloohong se tlang) se ile sa qala ho lla alamo metsotso e 4 ka mor'a ho qala ho koala. Nakong ea metsotso e mehlano kapa ho feta, re ile ra etsa tlhahlobo ea mafu 'me ra nyolla sehlopha sa Kubernetes ho amohela lihlopha tse ncha le tse teng tsa tlhahiso.
Ka mor'a metsotso e meng e mehlano, Ingesters ea khale e ile ea ngola lintlha tsa bona ka katleho, tse ncha li ile tsa qala, 'me lihlopha tsa Cortex li ile tsa boela tsa fumaneha.
Metsotso e meng e 10 e sebelisitsoe ho hlahloba le ho lokisa liphoso tse kantle ho mohopolo (OOM) ho tsoa ho li-proxies tsa netefatso tse ka pele ho Cortex. Liphoso tsa OOM li bakiloe ke keketseho e habeli ea QPS (re lumela ka lebaka la likopo tse mabifi tse tsoang ho li-server tsa Prometheus tsa moreki).
Liphello
Nako eohle ea ho theoha e ne e le metsotso e 26. Ha ho data e lahlehileng. Li-Ingesters li atlehile ho kenya lintlha tsohle tsa memori polokelong ea nako e telele. Nakong ea ho koala, li-server tsa Prometheus tsa bareki li ile tsa hlakoloa (hole) rekotiloeng ka ho sebelisa e thehiloe ho WAL (e ngotsoe ke ho tsoa ho Grafana Labs) mme a pheta tse hlolehileng ka mor'a ho oa.
Ts'ebetso ea ho ngola lihlopha tsa tlhahiso
fumanoeng ke
Ke habohlokoa ho ithuta ketsahalong ena le ho nka mehato e hlokahalang ho qoba ho pheta-pheta ha eona.
Ha re sheba morao, ha rea lokela ho beha maemo a kamehla ka karolelano pele ho fihlela li-Ingesters tsohle tse hlahisoang li amohetse phahameng ntho e tlang pele. Ho phaella moo, ho ne ho hlokahala ho li hlokomela esale pele phahameng pele. Tsohle di lokisitswe jwale. Re tšepa hore phihlelo ea rona e tla thusa mekhatlo e meng e nahanang ka ho sebelisa lintho tse tlang pele ho Kubernetes.
Re tla eketsa boemo bo eketsehileng ba taolo holim'a phepelo ea lintho life kapa life tse ling tseo litlhophiso tsa tsona li leng lefats'e ho sehlopha. Ho tloha joale ho ea pele, liphetoho tse joalo li tla hlahlojoa bоbatho ba bangata. Ho feta moo, phetoho e bakileng koluoa e ne e nkuoa e le nyane haholo bakeng sa tokomane e fapaneng ea projeke - e ile ea buisanoa feela ka taba ea GitHub. Ho tloha joale ho ea pele, liphetoho tse joalo ho configs li tla tsamaisana le litokomane tse nepahetseng tsa morero.
Qetellong, re tla fetola boholo ba proxy ea morao-rao ea netefatso ho thibela OOM e ngata eo re e boneng, 'me re tla hlahloba litlhophiso tsa kamehla tsa Prometheus tse amanang le ho khutlela morao le ho fokotsa ho thibela mathata a tšoanang nakong e tlang.
Ho hloleha ho bile le litlamorao tse ntle: kamora ho fumana lisebelisoa tse hlokahalang, Cortex e ile ea hlaphoheloa ka bo eona ntle le ts'ebetso e eketsehileng. Hape re fumane phihlelo ea bohlokoa ea ho sebetsa le - Sistimi ea rona e ncha ea ho kopanya li-log - e thusitseng ho netefatsa hore li-Ingesters kaofela li itšoere hantle nakong le ka mor'a ho hloleha.
PS ho tsoa ho mofetoleli
Bala hape ho blog ea rona:
- «";
- «";
- «";
- «".
Source: www.habr.com