VictoriaMetrics ir Ätra un mÄrogojama DBVS datu glabÄÅ”anai un apstrÄdei laikrindu veidÄ (ieraksts sastÄv no laika un vÄrtÄ«bu kopas, kas atbilst Å”im laikam, piemÄram, kas iegÅ«ta, periodiski aptaujÄjot sensoru statusu vai metriku apkopojums).
Mani sauc Kolobajevs PÄvels. DevOps, SRE, LeroyMerlin, viss ir kÄ kods ā tas viss ir par mums: par mani un citiem LeroyMerlin darbiniekiem.
Ir mÄkonis, kura pamatÄ ir OpenStack. Ir neliela saite uz tehnisko radaru.
Tas ir veidots uz Kubernetes aparatÅ«ras, kÄ arÄ« uz visiem saistÄ«tajiem pakalpojumiem OpenStack un reÄ£istrÄÅ”anai.
Å Ä« ir shÄma, kuru mÄs izstrÄdÄjÄm. Kad mÄs to visu izstrÄdÄjÄm, mums bija Prometheus operators, kas glabÄja datus paÅ”Ä K8s klasterÄ«. ViÅÅ” automÄtiski atrod, kas ir jÄberž, un, rupji sakot, noliek sev zem kÄjÄm.
Mums vajadzÄs pÄrvietot visus datus Ärpus Kubernetes klastera, jo, ja kaut kas notiek, mums ir jÄsaprot, kas un kur.
Pirmais risinÄjums ir tas, ka mÄs izmantojam federÄciju, kad mums ir treÅ”Äs puses Prometheus, kad mÄs ejam uz Kubernetes klasteru, izmantojot federÄcijas mehÄnismu.
Bet Å”eit ir dažas nelielas problÄmas. MÅ«su gadÄ«jumÄ problÄmas sÄkÄs, kad mums bija 250 000 metrikas, un, kad bija 400 000 metrikas, mÄs sapratÄm, ka mÄs nevaram tÄ strÄdÄt. MÄs palielinÄjÄm scrape_timeout lÄ«dz 25 sekundÄm.
KÄpÄc mums tas bija jÄdara? Prometejs sÄk skaitÄ«t taimautu no žoga sÄkuma. Nav svarÄ«gi, ka dati joprojÄm plÅ«st. Ja Å”ajÄ norÄdÄ«tajÄ laika periodÄ dati netiek apvienoti un sesija netiek slÄgta, izmantojot http, tad tiek uzskatÄ«ts, ka sesija ir neizdevusies un dati nenokļūst paÅ”Ä Prometheus.
Ikviens ir pazÄ«stams ar diagrammÄm, kuras mÄs iegÅ«stam, kad trÅ«kst dažu datu. Grafiki ir saplÄsti, un mÄs ar to neesam apmierinÄti.
NÄkamÄ iespÄja ir sadalÄ«Å”ana, pamatojoties uz diviem dažÄdiem Prometheus, izmantojot vienu un to paÅ”u federÄcijas mehÄnismu.
PiemÄram, vienkÄrÅ”i paÅemiet tos un sadaliet tos pÄc nosaukuma. Å o arÄ« var izmantot, bet mÄs nolÄmÄm turpinÄt.
Tagad mums bÅ«s kaut kÄ jÄapstrÄdÄ Å”Ä«s lauskas. Varat izmantot promxy, kas nonÄk sharda apgabalÄ un reizina datus. Tas darbojas ar divÄm skaidÄm kÄ vienotu ieejas punktu. To var ieviest, izmantojot promxy, taÄu tas joprojÄm ir pÄrÄk grÅ«ti.
Pirmais variants ir tÄds, ka mÄs gribam atteikties no federÄcijas mehÄnisma, jo tas ir ļoti lÄns.
Prometheus izstrÄdÄtÄji skaidri saka: "PuiÅ”i, izmantojiet citu TimescaleDB, jo mÄs neatbalstÄ«sim metrikas ilgtermiÅa glabÄÅ”anu." Tas nav viÅu uzdevums.
Uzrakstam uz lapiÅas, ka vÄl jÄizkrauj ÄrÄ, lai nesaliktu visu vienuviet.
Otrs trÅ«kums ir atmiÅas patÄriÅÅ”. JÄ, es saprotu, ka daudzi teiks, ka 2020. gadÄ pÄris gigabaitu atmiÅa maksÄ santÄ«mu, bet tomÄr.
Tagad mums ir izstrÄdÄtÄju un produktu vide. IzstrÄdÄtÄjÄ tas ir aptuveni 9 gigabaiti 350 000 metriku. Prod versijÄ tas ir 14 gigabaiti un nedaudz vairÄk par 780 000 metriku. TajÄ paÅ”Ä laikÄ mÅ«su saglabÄÅ”anas laiks ir tikai 30 minÅ«tes. Tas ir slikti. Un tagad es paskaidroÅ”u, kÄpÄc.
MÄs veicam aprÄÄ·inu, tas ir, ar pusotru miljonu metriku, un mÄs jau esam tuvu tiem, projektÄÅ”anas stadijÄ mÄs iegÅ«stam 35-37 gigabaitu atmiÅu. Bet jau 4 miljoniem metriku ir nepiecieÅ”ami aptuveni 90 gigabaiti atmiÅas. Tas ir, tas tika aprÄÄ·inÄts, izmantojot Prometheus izstrÄdÄtÄju sniegto formulu. ApskatÄ«jÄm korelÄciju un sapratÄm, ka negribam maksÄt pÄris miljonus par serveri tikai par uzraudzÄ«bu.
MÄs ne tikai palielinÄsim maŔīnu skaitu, bet arÄ« uzraugÄm paÅ”as virtuÄlÄs maŔīnas. TÄpÄc, jo vairÄk virtuÄlo maŔīnu, jo vairÄk dažÄdu veidu metrikas utt. Mums bÅ«s Ä«paÅ”s mÅ«su klastera pieaugums metrikas ziÅÄ.
Ar diska vietu Å”eit nav viss tik slikti, bet es gribÄtu to uzlabot. KopÄ 15 dienu laikÄ saÅÄmÄm 120 gigabaitus, no kuriem 100 ir saspiesti dati, 20 ir nesaspiesti dati, bet vienmÄr gribas mazÄk.
AttiecÄ«gi pierakstÄm vÄl vienu punktu ā tas ir liels resursu patÄriÅÅ”, kuru tomÄr vÄlamies ietaupÄ«t, jo nevÄlamies, lai mÅ«su pÄrraudzÄ«bas klasteris patÄrÄ vairÄk resursu nekÄ mÅ«su klasteris, kas pÄrvalda OpenStack.
Ir vÄl viens Prometeja trÅ«kums, kuru mÄs paÅ”i esam identificÄjuÅ”i, tas ir vismaz sava veida atmiÅas ierobežojums. Ar Prometeju Å”eit viss ir daudz sliktÄk, jo tam vispÄr nav tÄdu pavÄrsienu. Ierobežojuma izmantoÅ”ana dockerÄ arÄ« nav iespÄjama. Ja pÄkÅ”Åi jÅ«su RAF nokrita un ir 20-30 gigabaiti, tad bÅ«s nepiecieÅ”ams ļoti ilgs laiks, lai paceltos.
Tas ir vÄl viens iemesls, kÄpÄc Prometheus mums nav piemÄrots, t.i., mÄs nevaram ierobežot atmiÅas patÄriÅu.
VarÄtu izdomÄt Å”Ädu shÄmu. Å Ä« shÄma mums ir nepiecieÅ”ama, lai organizÄtu HA klasteru. MÄs vÄlamies, lai mÅ«su rÄdÄ«tÄji bÅ«tu pieejami vienmÄr un visur, pat ja serveris, kas glabÄ Å”os datus, avarÄ. Un tÄpÄc mums bÅ«s jÄizveido Å”Äda shÄma.
Å Ä« shÄma saka, ka mums bÅ«s Ŕķembu dublÄÅ”anÄs un attiecÄ«gi patÄrÄto resursu izmaksu dublÄÅ”anÄs. To var mÄrogot gandrÄ«z horizontÄli, taÄu, neskatoties uz to, resursu patÄriÅÅ” bÅ«s elliŔķīgs.
TrÅ«kumi tÄdÄ secÄ«bÄ, kÄdÄ mÄs tos sev pierakstÄ«jÄm:
- NepiecieÅ”ama metriku ÄrÄja augÅ”upielÄde.
- Augsts resursu patÄriÅÅ”.
- Nav iespÄjams ierobežot atmiÅas patÄriÅu.
- Sarežģīta un resursietilpīga HA ievieŔana.
MÄs paÅ”i nolÄmÄm, ka attÄlinÄmies no Prometeja kÄ noliktavas.
MÄs esam noteikuÅ”i sev nepiecieÅ”amÄs papildu prasÄ«bas. Å is:
- Tas ir promql atbalsts, jo daudz kas jau ir uzrakstÄ«ts priekÅ” Prometheus: vaicÄjumi, brÄ«dinÄjumi.
- Un tad mums ir Grafana, kas jau ir rakstÄ«ts tieÅ”i tÄdÄ paÅ”Ä veidÄ Prometheus kÄ aizmugure. Es nevÄlos pÄrrakstÄ«t informÄcijas paneļus.
- MÄs vÄlamies izveidot normÄlu HA arhitektÅ«ru.
- MÄs vÄlamies samazinÄt jebkÄdu resursu patÄriÅu.
- Ir vÄl viena neliela nianse. MÄs nevaram izmantot dažÄda veida mÄkoÅdatoÅ”anas metrikas vÄkÅ”anas sistÄmas. MÄs vÄl nezinÄm, kas ietilps Å”ajos rÄdÄ«tÄjos. Un, tÄ kÄ tur var lidot jebkas, mums ir jÄierobežo sevi ar vietÄjo izvietojumu.
IzvÄles bija maz. MÄs savÄcÄm visu, ar ko mums bija pieredze. MÄs apskatÄ«jÄm Prometheus lapu integrÄcijas sadaļÄ, izlasÄ«jÄm virkni rakstu un redzÄjÄm, kas tur bija. Un mÄs izvÄlÄjÄmies VictoriaMetrics kÄ Prometheus aizstÄjÄju.
KÄpÄc? Jo:
- Zina promql.
- Ir modulÄra arhitektÅ«ra.
- Nav nepiecieÅ”amas izmaiÅas Grafana.
- Un pats galvenais, mÄs, iespÄjams, nodroÅ”inÄsim metriku uzglabÄÅ”anu mÅ«su uzÅÄmumÄ kÄ pakalpojumu, tÄpÄc mÄs jau iepriekÅ” raugÄmies uz dažÄda veida ierobežojumiem, lai lietotÄji varÄtu kaut kÄdÄ ierobežotÄ veidÄ izmantot visus klastera resursus, jo pastÄv iespÄja ka tÄ bÅ«s vairÄku Ä«re.
Veiksim pirmo salÄ«dzinÄjumu. MÄs Åemam to paÅ”u Prometeju klastera iekÅ”pusÄ, ÄrÄjais Prometejs iet uz to. Pievienot, izmantojot attÄloWrite VictoriaMetrics.
Es nekavÄjoties izdarÄ«Å”u atrunu, ka Å”eit mÄs nozvejojÄm nelielu VictoriaMetrics CPU patÄriÅa pieaugumu. VictoriaMetrics wiki norÄda, kuri parametri ir vislabÄkie. MÄs tos pÄrbaudÄ«jÄm. Tie ir ļoti labi samazinÄjuÅ”i CPU patÄriÅu.
MÅ«su gadÄ«jumÄ Prometheus, kas atrodas Kubernetes klasterÄ«, atmiÅas patÄriÅÅ” bÅ«tiski nepalielinÄjÄs.
MÄs salÄ«dzinÄm divus vienu un to paÅ”u datu datu avotus. PrometejÄ mÄs redzam tos paÅ”us trÅ«kstoÅ”os datus. VictoriaMetrics viss ir kÄrtÄ«bÄ.
Diska vietas pÄrbaudes rezultÄti. MÄs, Prometheus, kopÄ saÅÄmÄm 120 gigabaitus. UzÅÄmums VictoriaMetrics jau saÅem 4 gigabaitus dienÄ. Ir nedaudz atŔķirÄ«gs mehÄnisms nekÄ tas, ko esam pieraduÅ”i redzÄt PrometejÄ. Tas ir, dati jau ir diezgan labi saspiesti dienÄ, pusstundÄ. DienÄ, pusstundÄ tie jau ir labi nopļauti, neskatoties uz to, ka vÄlÄk dati joprojÄm tiks zaudÄti. RezultÄtÄ mÄs ietaupÄ«jÄm vietu diskÄ.
IetaupÄm arÄ« uz atmiÅas resursu patÄriÅu. TestÄÅ”anas laikÄ mums bija Prometheus izvietots virtuÄlajÄ maŔīnÄ - 8 kodoli, 24 gigabaiti. Prometejs Äd gandrÄ«z visu. ViÅÅ” uzkrita uz OOM Killer. TajÄ paÅ”Ä laikÄ tajÄ tika ielieti tikai 900 000 aktÄ«vo rÄdÄ«tÄju. Tas ir aptuveni 25 000ā27 000 metriku sekundÄ.
MÄs palaidÄm VictoriaMetrics divkodolu virtuÄlajÄ maŔīnÄ ar 8 gigabaitu operatÄ«vo atmiÅu. Mums izdevÄs panÄkt, ka VictoriaMetrics darbojas labi, 8 GB iekÄrtÄ pamÄjot ar dažÄm lietÄm. Galu galÄ mÄs to saglabÄjÄm lÄ«dz 7 gigabaitiem. TajÄ paÅ”Ä laikÄ satura piegÄdes Ätrums, t.i., metrika, bija pat lielÄks nekÄ Prometheus.
CPU ir kļuvis daudz labÄks salÄ«dzinÄjumÄ ar Prometheus. Å eit Prometheus patÄrÄ 2,5 kodolus, bet VictoriaMetrics tikai 0,25 kodolus. SÄkumÄ ā 0,5 kodoli. SaplÅ«stot, tas sasniedz vienu kodolu, taÄu tas notiek ÄrkÄrtÄ«gi, ÄrkÄrtÄ«gi reti.
MÅ«su gadÄ«jumÄ izvÄle krita uz VictoriaMetrics acÄ«mredzamu iemeslu dÄļ; mÄs gribÄjÄm ietaupÄ«t naudu, un mÄs to izdarÄ«jÄm.
Uzreiz izsvÄ«trosim divus punktus ā metrikas augÅ”upielÄdi un lielo resursu patÄriÅu. Un mums tikai jÄizlemj divi punkti, kas mums vÄl ir palikuÅ”i sev.
Å eit es tÅ«lÄ«t izdarÄ«Å”u rezervÄciju, mÄs uzskatÄm VictoriaMetrics par metrikas krÄtuvi. Bet tÄ kÄ mÄs, visticamÄk, nodroÅ”inÄsim VictoriaMetrics kÄ krÄtuvi visam Leroy, mums ir jÄierobežo tie, kas izmantos Å”o kopu, lai viÅi to mums nedotu.
Ir brÄ«niŔķīgs parametrs, kas ļauj ierobežot pÄc laika, datu apjoma un izpildes laika.
Ir arÄ« lieliska iespÄja, kas ļauj ierobežot atmiÅas patÄriÅu, tÄdÄjÄdi mÄs varam atrast paÅ”u lÄ«dzsvaru, kas ļaus mums iegÅ«t normÄlu darbÄ«bas Ätrumu un atbilstoÅ”u resursu patÄriÅu.
Atskaitot vÄl vienu punktu, t.i., punktu izsvÄ«trot - jÅ«s nevarat ierobežot atmiÅas patÄriÅu.
PirmajÄs iterÄcijÄs mÄs pÄrbaudÄ«jÄm VictoriaMetrics Single Node. TÄlÄk mÄs pÄrejam uz VictoriaMetrics klastera versiju.
Å eit mums ir brÄ«vas rokas, lai atdalÄ«tu dažÄdus pakalpojumus VictoriaMetrics atkarÄ«bÄ no tÄ, ar ko tie darbosies un kÄdus resursus tie patÄrÄs. Tas ir ļoti elastÄ«gs un Ärts risinÄjums. MÄs to izmantojÄm sev.
VictoriaMetrics Cluster Version galvenie komponenti ir vmstsorage. To var bÅ«t N skaits. MÅ«su gadÄ«jumÄ lÄ«dz Å”im ir 2 no tiem.
Un ir vminsert. Å is ir starpniekserveris, kas ļauj mums: sakÄrtot sadalÄ«Å”anu starp visÄm krÄtuvÄm, par kurÄm mÄs tam teicÄm, kÄ arÄ« ļauj izveidot repliku, t.i., jums bÅ«s gan sadalÄ«Å”ana, gan kopija.
Vminsert atbalsta OpenTSDB, Graphite, InfluxDB un Prometheus protokolus remoteWrite.
Ir arÄ« vmselect. TÄs galvenais uzdevums ir doties uz vmstorage, saÅemt no tiem datus, dedublÄt Å”os datus un nodot tos klientam.
Ir brÄ«niŔķīga lieta, ko sauc par vmagent. ViÅa mums ļoti patÄ«k. Tas ļauj konfigurÄt tieÅ”i tÄpat kÄ Prometheus un joprojÄm darÄ«t visu tieÅ”i tÄpat kÄ Prometejs. Tas nozÄ«mÄ, ka tas apkopo dažÄdu entÄ«tiju un pakalpojumu metriku un nosÅ«ta tos vminsert. Tad viss ir atkarÄ«gs no jums.
VÄl viens lielisks pakalpojums ir vmalert, kas ļauj izmantot VictoriaMetrics kÄ aizmugursistÄmu, saÅemt apstrÄdÄtos datus no vminsert un nosÅ«tÄ«t tos vmselect. TÄ apstrÄdÄ paÅ”us brÄ«dinÄjumus, kÄ arÄ« noteikumus. BrÄ«dinÄjumu gadÄ«jumÄ mÄs saÅemam brÄ«dinÄjumu, izmantojot brÄ«dinÄjumu pÄrvaldnieku.
Ir wmauth komponents. MÄs varam vai nevaram (mÄs par to vÄl neesam izlÄmuÅ”i) izmantot to kÄ autorizÄcijas sistÄmu kopu vairÄku Ä«res versiju versijai. Tas atbalsta Prometheus RemoteWrite un var autorizÄt, pamatojoties uz URL vai drÄ«zÄk tÄ otro daļu, kur var vai nevar rakstÄ«t.
Ir arÄ« vmbackup, vmrestore. TÄ bÅ«tÄ«bÄ ir visu datu atjaunoÅ”ana un dublÄÅ”ana. Var darÄ«t S3, GCS, failu.
PirmÄ mÅ«su klastera atkÄrtoÅ”ana tika veikta karantÄ«nas laikÄ. TajÄ laikÄ nebija nevienas kopijas, tÄpÄc mÅ«su iterÄcija sastÄvÄja no divÄm dažÄdÄm un neatkarÄ«giem klasteriem, kuros mÄs saÅÄmÄm datus, izmantojot remoteWrite.
Å eit es izdarÄ«Å”u atrunu, ka, pÄrejot no VictoriaMetrics Single Node uz VictoriaMetrics Cluster Version, mÄs joprojÄm palikÄm ar tiem paÅ”iem patÄrÄtajiem resursiem, t.i., galvenais ir atmiÅa. ApmÄram Å”Ädi tika sadalÄ«ti mÅ«su dati, t.i., resursu patÄriÅÅ”.
Å eit jau ir pievienota kopija. MÄs to visu apvienojÄm vienÄ salÄ«dzinoÅ”i lielÄ klasterÄ«. Visi mÅ«su dati ir gan sadalÄ«ti, gan replicÄti.
Visam klasterim ir N ieejas punkti, t.i., Prometheus var pievienot datus, izmantojot HAPROXY. Šeit mums ir Ŕis ieejas punkts. Un caur Ŕo ieejas punktu jūs varat pieteikties no Grafana.
MÅ«su gadÄ«jumÄ HAPROXY ir vienÄ«gais ports, kas nodroÅ”ina starpniekserveri atlasi, ievietoÅ”anu un citus pakalpojumus Å”ajÄ klasterÄ«. MÅ«su gadÄ«jumÄ nebija iespÄjams izveidot vienu adresi, bija jÄizveido vairÄki ieejas punkti, jo paÅ”as virtuÄlÄs maŔīnas, kurÄs darbojas VictoriaMetrics klasteris, atrodas viena un tÄ paÅ”a mÄkoÅa nodroÅ”inÄtÄja dažÄdÄs zonÄs, t.i., nevis mÅ«su mÄkoÅa iekÅ”pusÄ, bet gan ÄrpusÄ. .
Mums ir brÄ«dinÄjums. MÄs to izmantojam. MÄs izmantojam Alertmanager no Prometheus. MÄs izmantojam Opsgenie un Telegram kÄ brÄ«dinÄjuma piegÄdes kanÄlu. TelegramÄ viÅi ielien no dev, varbÅ«t kaut ko no prod, bet pÄrsvarÄ kaut ko statistisku, kas vajadzÄ«gs inženieriem. Un Opsgenie ir kritisks. Tie ir zvani, incidentu vadÄ«ba.
Mūžīgais jautÄjums: "Kas uzrauga monitoringu?" MÅ«su gadÄ«jumÄ monitorings uzrauga paÅ”u pÄrraudzÄ«bu, jo mÄs izmantojam vmagent katrÄ mezglÄ. Un tÄ kÄ mÅ«su mezgli ir sadalÄ«ti dažÄdos viena un tÄ paÅ”a pakalpojumu sniedzÄja datu centros, katram datu centram ir savs kanÄls, tie ir neatkarÄ«gi, un pat tad, ja ieradÄ«sies sadalÄ«tas smadzenes, mÄs joprojÄm saÅemsim brÄ«dinÄjumus. JÄ, to bÅ«s vairÄk, taÄu labÄk ir saÅemt vairÄk brÄ«dinÄjumu nekÄ nekÄdu.
MÄs beidzam savu sarakstu ar HA ievieÅ”anu.
Un tÄlÄk es vÄlÄtos atzÄ«mÄt pieredzi, sazinoties ar VictoriaMetrics kopienu. Tas izrÄdÄ«jÄs ļoti pozitÄ«vi. PuiÅ”i ir atsaucÄ«gi. ViÅi cenÅ”as iedziļinÄties katrÄ gadÄ«jumÄ, kas tiek piedÄvÄts.
Es sÄku problÄmas ar GitHub. Tie tika atrisinÄti ļoti Ätri. Ir vÄl pÄris problÄmas, kas nav pilnÄ«bÄ aizvÄrtas, taÄu jau pÄc koda redzu, ka darbs Å”ajÄ virzienÄ notiek.
Man galvenÄ sÄpe iterÄciju laikÄ bija tÄ, ka ja aizslÄdzu kÄdu node, tad pirmÄs 30 sekundes vminsert nevarÄja saprast, ka backend nav. Tagad tas ir izlemts. Un burtiski sekundes vai divu laikÄ dati tiek Åemti no visiem atlikuÅ”ajiem mezgliem, un pieprasÄ«jums pÄrstÄj gaidÄ«t Å”o trÅ«kstoÅ”o mezglu.
KÄdÄ brÄ«dÄ« mÄs vÄlÄjÄmies, lai VictoriaMetrics bÅ«tu VictoriaMetrics operators. MÄs viÅu gaidÄ«jÄm. Tagad mÄs aktÄ«vi veidojam ietvaru, lai VictoriaMetrics operators varÄtu Åemt visus iepriekÅ” aprÄÄ·inÄtos noteikumus utt. Prometheus, jo mÄs diezgan aktÄ«vi izmantojam noteikumus, kas nÄk ar Prometheus operatoru.
Ir priekÅ”likumi klastera ievieÅ”anas uzlaboÅ”anai. Es tos izklÄstÄ«ju iepriekÅ”.
Un es patieÅ”Äm vÄlos samazinÄt izlasi. MÅ«su gadÄ«jumÄ izlases samazinÄÅ”ana ir nepiecieÅ”ama tikai tendenÄu skatÄ«Å”anai. Aptuveni man pa dienu pietiek ar vienu metriku. Å Ä«s tendences ir vajadzÄ«gas gadu, trÄ«s, piecus, desmit gadus. Un pilnÄ«gi pietiek ar vienu metrikas vÄrtÄ«bu.
- MÄs esam zinÄjuÅ”i sÄpes, tÄpat kÄ daži mÅ«su kolÄÄ£i, lietojot Prometheus.
- MÄs sev izvÄlÄjÄmies VictoriaMetrics.
- Tas mÄrogojas diezgan labi gan vertikÄli, gan horizontÄli.
- MÄs varam izplatÄ«t dažÄdus komponentus dažÄdam klastera mezglu skaitam, ierobežot tos ar atmiÅu, pievienot atmiÅu utt.
MÄjÄs izmantosim VictoriaMetrics, jo mums ļoti patika. Tas ir tas, kas bija un kas ir kļuvis.
PÄris QR kodi VictoriaMetrics tÄrzÄÅ”anai, mani kontakti, LeroyMerlin tehniskais radars.
Avots: www.habr.com