VictoriaMetrics ke DBMS e potlakileng le e mpe ea ho boloka le ho sebetsana le data ka mokhoa oa letoto la nako (rekoto e na le nako le litekanyetso tse tsamaellanang le nako ena, mohlala, tse fumanoang ka ho khetha nako le nako ea boemo ba li-sensor pokello ea methapo).
Lebitso la ka ke Kolobaev Pavel. DevOps, SRE, LeroyMerlin, ntho e 'ngoe le e' ngoe e tšoana le khoutu - e mabapi le rona: ka 'na le ka basebetsi ba bang ba LeroyMerlin.
Ho na le leru le thehiloeng ho OpenStack. Ho na le sehokelo se senyane ho radar ea tekheniki.
E hahiloe holim'a lisebelisoa tsa Kubernetes, hammoho le lits'ebeletso tsohle tse amanang le OpenStack le ho rema lifate.
Sekema sena ke seo re neng re na le sona ntlafatsong. Ha re ntse re nts'etsapele tsena tsohle, re ne re e-na le opareitara ea Prometheus e neng e boloka data ka har'a sehlopha sa K8s ka boeona. Ka tsela e iketsang o fumana se lokelang ho hlatsuoa ebe o se beha ka tlas'a maoto a hae, ha re bua ka tsela e batlang e lekana.
Re tla hloka ho tsamaisa lintlha tsohle ka ntle ho sehlopha sa Kubernetes, hobane haeba ho etsahala ntho e itseng, re hloka ho utloisisa hore na ke eng le hokae.
Tharollo ea pele ke hore re sebelisa federation ha re e-na le Prometheus ea boraro, ha re ea sehlopheng sa Kubernetes ka mochine oa federal.
Empa ho na le mathata a manyane mona. Tabeng ea rona, mathata a qalile ha re e-na le metrics ea 250, 'me ha ho ne ho e-na le metrics ea 000, re ile ra hlokomela hore re ke ke ra sebetsa joalo. Re ekelitse scrape_timeout ho isa ho metsotsoana e 400.
Ke hobane’ng ha re ile ra tlameha ho etsa see? Prometheus o qala ho bala nako ea nako ho tloha qalong ea terata. Ha ho tsotellehe hore na data e ntse e phalla. Haeba nakong ena e boletsoeng data ha e kopane 'me seboka ha se koetsoe ka http, joale seboka se nkoa se hlōlehile' me data ha e kene ho Prometheus ka boeona.
Motho e mong le e mong o tloaelane le li-graph tseo re li fumanang ha lintlha tse ling li le sieo. Mananeo a tabohile 'me ha re thabele sena.
Khetho e latelang ke ho sharding ho ipapisitse le Prometheus tse peli tse fapaneng ka mochini o tšoanang oa federal.
Ka mohlala, li nke feela 'me u li arole ka mabitso. Sena se ka boela sa sebelisoa, empa re ile ra etsa qeto ea ho tsoela pele.
Hona joale re tla tlameha ho sebetsana le li-shards tsena ka tsela e itseng. U ka nka promxy, e eang sebakeng sa shard ebe e atisa data. E sebetsa ka li-shards tse peli e le sebaka se le seng sa ho kena. Sena se ka kenngoa ts'ebetsong ka promxy, empa ho ntse ho le thata haholo.
Khetho ea pele ke hore re batla ho lahla mokhoa oa federation hobane o lieha haholo.
Baetsi ba Prometheus ba bua ka ho hlaka, "Banna, sebelisa TimescaleDB e fapaneng hobane re ke ke ra tšehetsa polokelo ea nako e telele ea metrics." Sena ha se mosebetsi oa bona.
Re ngola fatše pampiring eo re ntseng re hloka ho e theola ka ntle, e le hore re se ke ra boloka ntho e 'ngoe le e' ngoe sebakeng se le seng.
Bothata ba bobeli ke tšebeliso ea memori. Ee, kea utloisisa hore ba bangata ba tla re ka 2020 li-gigabyte tse 'maloa tsa mohopolo li bitsa penny, empa leha ho le joalo.
Hona joale re na le tikoloho ea dev le prod. Ho dev e ka ba li-gigabyte tse 9 bakeng sa li-metric tse 350. Ka prod ke li-gigabytes tse 000 le metrics e fetang 14 hanyane. Ka nako e ts'oanang, nako ea rona ea ho boloka ke metsotso e 780 feela. Sena se sebe. 'Me joale ke tla hlalosa lebaka.
Re etsa palo, ke hore, ka metrics milione e le 'ngoe le halofo,' me re se re le haufi le bona, sethaleng sa moralo re fumana 35-37 gigabytes ea mohopolo. Empa li-metric tse limilione tse 4 li se li hloka li-gigabytes tse ka bang 90 tsa mohopolo. Ke hore, e ne e baloa ho sebelisoa foromo e fanoeng ke baetsi ba Prometheus. Re ile ra sheba khokahano mme ra hlokomela hore ha re batle ho lefa limilione tse 'maloa bakeng sa seva bakeng sa ho beha leihlo feela.
Re ke ke ra eketsa palo ea mechini feela, re boetse re lekola le mechini ka boyona. Ka hona, metjhini e mengata haholo, mefuta e mengata e fapaneng, joalo-joalo. Re tla ba le kholo e ikhethang ea sehlopha sa rona ho latela metrics.
Ka sebaka sa disk, ha se ntho e 'ngoe le e' ngoe e mpe haholo mona, empa ke rata ho e ntlafatsa. Re fumane kakaretso ea li-gigabyte tse 15 matsatsing a 120, ao 100 e leng data e hatelitsoeng, 20 ke data e sa tsitsang, empa kamehla re batla e fokolang.
Ka hona, re ngola ntlha e 'ngoe hape - ena ke tšebeliso e kholo ea lisebelisoa, eo re ntseng re batla ho e boloka, hobane ha re batle hore sehlopha sa rona sa tlhokomelo se je lisebelisoa tse ngata ho feta sehlopha sa rona, se laolang OpenStack.
Ho na le tšitiso e 'ngoe hape ea Prometheus, eo re ikhethetseng eona, bonyane ke mofuta o mong oa ho fokotsa mohopolo. Ka Prometheus, ntho e 'ngoe le e' ngoe e mpe haholo mona, hobane ha e na lintho tse joalo ho hang. Ho sebelisa moeli ho docker le hona ha se khetho. Haeba ka tšohanyetso RAF ea hau e oele 'me ho na le 20-30 gigabytes, joale ho tla nka nako e telele haholo ho phahama.
Lena ke lebaka le leng leo ka lona Prometheus e sa re tšoanelang, ke hore, re ke ke ra fokotsa tšebeliso ea memori.
Ho ne ho ka khoneha ho tla le morero o joalo. Re hloka morero ona molemong oa ho hlophisa sehlopha sa HA. Re batla hore metrics ea rona e be teng ka linako tsohle le hohle, le haeba sebara e bolokang lipalo tsena e senyeha. Ka hona, re tla tlameha ho theha moralo o joalo.
Sekema sena se re re tla ba le phetisetso ea lithako, 'me, ka hona, re phete litšenyehelo tsa lisebelisoa tse sebelisitsoeng. E ka fokotsoa hoo e batlang e le ka holimo, empa leha ho le joalo tšebeliso ea lisebelisoa e tla ba ea lihele.
Mefokolo ka tatellano ka mokhoa oo re neng re li ngolla ka ona:
- E hloka ho kenya metrics kantle ho naha.
- Tšebeliso e phahameng ea lisebelisoa.
- Ha ho na mokhoa oa ho fokotsa tšebeliso ea memori.
- Ts'ebetsong e rarahaneng le e matla ea lisebelisoa ea HA.
Bakeng sa rona, re ile ra etsa qeto ea hore re tloha Prometheus e le sebaka sa polokelo.
Re khethile lintho tse ling tseo re li hlokang tseo re li hlokang. Sena:
- Ena ke tšehetso ea promql, hobane lintho tse ngata li se li ngotsoe bakeng sa Prometheus: lipotso, litlhokomeliso.
- 'Me joale re na le Grafana, e seng e ngotsoe ka tsela e ts'oanang hantle bakeng sa Prometheus e le backend. Ha ke batle ho ngola li-dashboards bocha.
- Re batla ho haha mohaho o tloaelehileng oa HA.
- Re batla ho fokotsa tšebeliso ea lisebelisoa life kapa life.
- Ho na le nuance e 'ngoe e nyane. Re ke ke ra sebelisa mefuta e fapaneng ea litsamaiso tsa pokello ea metrics ea maru. Ha re tsebe hore na ho tla oela eng ka metrics ena hajoale. 'Me kaha ntho leha e le efe e ka fofa moo, re tlameha ho ipehela sebaka sa sebaka sa rona feela.
Ho ne ho se na boikhethelo. Re ile ra bokella tsohle tseo re nang le phihlelo ka tsona. Re ile ra sheba leqephe la Prometheus karolong ea ho kopanya, ra bala lingoliloeng tse ngata, 'me ra bona se neng se le teng moo. Mme bakeng sa rona, re khethile VictoriaMetrics e le sebaka sa Prometheus.
Hobaneng? Hobane:
- E tseba promql.
- Ho na le moralo oa modular.
- Ha e hloke liphetoho ho Grafana.
- Habohlokoa le ho feta, mohlomong re tla fana ka polokelo ea metrics ka har'a k'hamphani ea rona joalo ka ts'ebeletso, ka hona, re shebile esale pele mabapi le lithibelo tsa mefuta e fapaneng e le hore basebelisi ba ka sebelisa lisebelisoa tsohle tsa sehlopha ka tsela e lekanyelitsoeng, hobane monyetla o teng. hore e tla ba multitenancy.
Ha re etseng papiso ea pele. Re nka Prometheus e tšoanang ka har'a sehlopha, Prometheus ea kantle e ea ho eona. Eketsa ka remoteNgola VictoriaMetrics.
Hang-hang ke tla etsa pehelo ea hore mona re fumane keketseho e nyane ea tšebeliso ea CPU ho tsoa ho VictoriaMetrics. VictoriaMetrics wiki e u bolella hore na ke li-parameter life tse molemo ka ho fetisisa. Re ile ra li hlahloba. Ba fokolitse tšebeliso ea CPU hantle haholo.
Tabeng ea rona, tšebeliso ea mohopolo ea Prometheus, e leng sehlopheng sa Kubernetes, ha ea ka ea eketseha haholo.
Re bapisa mehloli e 'meli ea data ea data e tšoanang. Ho Prometheus re bona data e tšoanang e sieo. Tsohle li hantle ho VictoriaMetrics.
Liphetho tsa liteko tsa sebaka sa disk. Rona ba Prometheus re amohetse li-gigabytes tse 120 ka kakaretso. Ho VictoriaMetrics re se re fumana li-gigabytes tse 4 ka letsatsi. Ho na le mokhoa o fapaneng hanyane ho feta oo re tloaetseng ho o bona ho Prometheus. Ke hore, data e se e hatelitsoe hantle ka letsatsi, ka halofo ea hora. Li se li kotutsoe hantle ka letsatsi, ka halofo ea hora, ho sa tsotellehe hore data e ntse e tla lahleha hamorao. Ka lebaka leo, re bolokile sebakeng sa disk.
Re boetse re boloka tšebeliso ea lisebelisoa tsa memori. Nakong ea liteko, re ne re e-na le Prometheus e kentsoeng mochineng oa sebele - li-cores tse 8, li-gigabytes tse 24. Prometheus o ja hoo e ka bang tsohle. O ile a oela ho OOM Killer. Ka nako e ts'oanang, ke metrics e sebetsang ea 900 feela e ileng ea tšeloa ho eona. Sena se ka ba 000-25 metriki ka motsotsoana.
Re tsamaisitse VictoriaMetrics ka mochini oa li-dual-core virtual o nang le li-gigabyte tse 8 tsa RAM. Re khonne ho etsa hore VictoriaMetrics e sebetse hantle ka ho ts'oara lintho tse 'maloa mochining oa 8GB. Qetellong, re ile ra e boloka ho li-gigabytes tse 7. Ka nako e ts'oanang, lebelo la ho fana ka litaba, ke hore metrics, le ne le phahame ho feta la Prometheus.
CPU e se e le betere haholo ha e bapisoa le Prometheus. Mona Prometheus e sebelisa li-cores tse 2,5, 'me VictoriaMetrics e sebelisa li-cores tse 0,25 feela. Qalong - li-cores tse 0,5. Ha e ntse e kopana, e fihla motheong o le mong, empa sena ke ntho e sa tloaelehang haholo.
Tabeng ea rona, khetho e ile ea oela ho VictoriaMetrics ka mabaka a hlakileng; re ne re batla ho boloka chelete mme re ile ra etsa joalo.
Ha re hlakiseng lintlha tse peli hang-hang - ho kenngoa ha metrics le tšebeliso e phahameng ea lisebelisoa. 'Me re tlameha feela ho etsa qeto ea lintlha tse peli tseo re sa ntseng re iketselitse tsona.
Mona ke tla etsa pehelo hang-hang, re nka VictoriaMetrics e le polokelo ea metrics. Empa kaha re tla fana ka VictoriaMetrics e le polokelo bakeng sa Leroy kaofela, re hloka ho fokotsa ba tla sebelisa cluster ena hore ba se re fe eona.
Ho na le paramente e ntle e u lumellang ho fokotsa nako, ka bongata ba data le ka nako ea ts'ebetso.
Hape ho na le khetho e babatsehang e re lumellang ho fokotsa tšebeliso ea mohopolo, ka hona re ka fumana tekanyo e tla re lumella ho fumana lebelo le tloaelehileng la ho sebetsa le tšebeliso e lekaneng ea lisebelisoa.
Tlosa ntlha e le 'ngoe hape, ke hore, hlakola ntlha - u ke ke ua fokotsa tšebeliso ea memori.
Liphetolelong tsa pele, re ile ra leka VictoriaMetrics Single Node. E latelang re fetela ho VictoriaMetrics Cluster Version.
Mona re na le letsoho la mahala la ho arola lits'ebeletso tse fapaneng ho VictoriaMetrics ho latela hore na ba tla sebetsa ka eng le hore na ba tla sebelisa lisebelisoa life. Ena ke tharollo e bonolo le e bonolo haholo. Re sebelisitse sena ho rona.
Likarolo tse kholo tsa VictoriaMetrics Cluster Version ke vmstsorage. Ho ka ba le N palo ea bona. Tabeng ea rona ho na le 2 ea bona ho fihlela joale.
'Me ho na le vminsert. Ena ke seva ea proxy e re lumellang ho: hlophisa sharding pakeng tsa polokelo eohle eo re e boleletseng eona, hape e lumella replica, ke hore, u tla ba le sharding le replica.
Vminsert e tšehetsa OpenTSDB, Graphite, InfluxDB le remoteWrite protocols ho tloha Prometheus.
Ho boetse ho na le vmselect. Mosebetsi oa eona o ka sehloohong ke ho ea ho vmstorage, ho amohela data ho bona, ho fokotsa data ena le ho e fa mofani.
Ho na le ntho e makatsang e bitsoang vmagent. Re mo rata haholo. E o lumella ho hlophisa hantle joalo ka Prometheus mme o ntse o etsa tsohle hantle joalo ka Prometheus. Ke hore, e bokella metrics ho tsoa mekhatlong le lits'ebeletso tse fapaneng ebe e li romella ho vminsert. Joale ntho e 'ngoe le e' ngoe e itšetlehile ka uena.
Ts'ebeletso e 'ngoe e kholo ke vmalert, e u lumellang ho sebelisa VictoriaMetrics joalo ka backend, fumana data e sebetsitsoeng ho tsoa ho vminsert ebe u e romella ho vmselect. E sebetsana le litlhokomeliso ka boeona, hammoho le melao. Tabeng ea litemoso, re fumana tlhokomeliso ka alertmanager.
Ho na le karolo ea wmauth. Re ka kapa che (ha re so etse qeto ka sena hajoale) re e sebelisa joalo ka mokhoa oa tumello bakeng sa mofuta oa multitenancy oa lihlopha. E ts'ehetsa remoteWrite bakeng sa Prometheus mme e ka fana ka tumello ho latela url, kapa ho fapana le karolo ea bobeli ea eona, moo o ka khonang kapa o sa khone ho ngola.
Ho boetse ho na le vmbackup, vmrestore. Sena, ha e le hantle, ke ho khutlisa le ho boloka data eohle. E ka etsa S3, GCS, faele.
Khatiso ea pele ea sehlopha sa rona e entsoe nakong ea karabelo. Ka nako eo, ho ne ho se na replica, kahoo pheteletso ea rona e ne e e-na le lihlopha tse peli tse fapaneng tse ikemetseng tseo re neng re fumana boitsebiso ho tsona ka remoteWrite.
Mona ke tla etsa pehelo ea hore ha re tloha VictoriaMetrics Single Node ho ea ho VictoriaMetrics Cluster Version, re ntse re lula le lisebelisoa tse tšoanang tse sebelisitsoeng, ke hore, e ka sehloohong ke mohopolo. Sena ke ka mokhoa oo data ea rona, ke hore, tšebeliso ea lisebelisoa, e ileng ea ajoa joang.
Setšoantšo se se se kentsoe mona. Re ile ra kopanya tsena tsohle sehlopheng se le seng se batlang se le seholo. Lintlha tsohle tsa rona li arotsoe ebile lia kopitsoa.
Sehlopha sohle se na le lintlha tsa ho kena tsa N, ho bolelang hore Prometheus e ka eketsa data ka HAPROXY. Mona re na le ntlha ena ea ho kena. 'Me ka ntlha ena ea ho kena u ka kena ho tloha Grafana.
Tabeng ea rona, HAPROXY ke eona feela kou eo baemeli ba e khethang, ba e kenyang le lits'ebeletso tse ling ka har'a sehlopha sena. Tabeng ea rona, ho ne ho sa khonehe ho etsa aterese e le 'ngoe; re ile ra tlameha ho etsa lintlha tse 'maloa tsa ho kena, hobane mechini e sebetsang eo sehlopha sa VictoriaMetrics e sebetsang ho eona e fumaneha libakeng tse fapaneng tsa mofani oa maru a le mong, ke hore, eseng ka har'a leru la rona, empa kantle. .
Re na le tlhokomeliso. Re e sebelisa. Re sebelisa alertmanager ho tloha Prometheus. Re sebelisa Opsgenie le Telegraph joalo ka mocha oa phano ea tlhokomeliso. Ho Thelekramo ba tšollela ho tsoa ho dev, mohlomong ho hong ho tsoa ho prod, empa haholo ho na le ntho ea lipalo, e hlokoang ke baenjiniere. 'Me Opsgenie o bohlokoa. Tsena ke mehala, tsamaiso ea liketsahalo.
Potso e sa feleng: "Ke mang ea behang leihlo leihlo?" Tabeng ea rona, li-monitor tsa leihlo li itlhokomela, hobane re sebelisa vmagent sebakeng se seng le se seng. 'Me kaha li-node tsa rona li ajoa ho pholletsa le litsi tse fapaneng tsa data tsa mofani a le mong, setsi se seng le se seng sa data se na le mocha oa sona, se ikemetse,' me le haeba boko bo arohaneng bo fihla, re ntse re tla fumana litlhokomeliso. E, ho tla ba le tse ngata tsa tsona, empa ho molemo ho amohela litlhokomeliso tse ngata ho feta ho se fumane.
Re qetella lethathamo la rona ka ts'ebetsong ea HA.
Hape ke rata ho ela hloko boiphihlelo ba ho buisana le sechaba sa VictoriaMetrics. E ile ea bonahala e le ntle haholo. Mathaka a arabela. Ba leka ho hlahloba taba e 'ngoe le e 'ngoe e fanoang.
Ke qalile litaba ho GitHub. Li ile tsa rarolloa kapele haholo. Ho na le lintlha tse ling tse 'maloa tse sa koaloang ka botlalo, empa ke se ke ntse ke bona ho tsoa ho khoutu e sebetsang ntlheng ena e ntse e tsoela pele.
Bohloko bo boholo ho 'na nakong ea ho pheta-pheta e ne e le hore haeba ke koala node, joale metsotsoana ea pele ea 30 vminsert e ne e sa utloisise hore ho ne ho se na backend. Hona joale ho entsoe qeto. 'Me ka ho toba ka motsotsoana kapa tse peli, data e nkiloe ho li-node tsohle tse setseng,' me kopo e khaotsa ho emela node eo e sieo.
Ka nako e 'ngoe re ne re batla hore VictoriaMetrics e be moetsi oa VictoriaMetrics. Re ile ra mo emela. Hona joale re ntse re haha ka mafolofolo moralo oa hore moetsi oa VictoriaMetrics a nke melao eohle ea pele ho bala, joalo-joalo Prometheus, hobane re sebelisa ka mafolofolo melao e tlang le mokhanni oa Prometheus.
Ho na le litlhahiso tsa ho ntlafatsa ts'ebetsong ea lihlopha. Ke li hlalositse ka holimo.
'Me ke hlile ke batla ho fokotsa mohlala. Tabeng ea rona, ho theola mehlala hoa hlokahala bakeng sa mekhoa ea ho shebella feela. Ka mantsoe a mang, metric e le 'ngoe e ntekane mots'ehare. Mekhoa ena e hlokahala bakeng sa selemo, lilemo tse tharo, tse hlano, tse leshome. 'Me boleng bo le bong ba metric bo lekane.
- Re tsebile bohloko, joalo ka ba bang ba basebetsi-'moho le rona, ha re sebelisa Prometheus.
- Re ikhethetse VictoriaMetrics bakeng sa rona.
- E sekala hantle ka ho otloloha le ho ea holimo.
- Re ka aba likarolo tse fapaneng ho lipalo tse fapaneng tsa li-node sehlopheng, re li fokotsa ka mohopolo, eketsa mohopolo, joalo-joalo.
Re tla sebelisa VictoriaMetrics hae hobane re e ratile haholo. Sena ke se neng se le teng le se bileng teng.
Likhoutu tse 'maloa tsa QR bakeng sa puisano ea VictoriaMetrics, mabitso a ka, radar ea tekheniki ea LeroyMerlin.
Source: www.habr.com