VictoriaMetrics huwa DBMS veloċi u skalabbli għall-ħażna u l-ipproċessar tad-dejta fil-forma ta’ serje ta’ żmien (rekord jikkonsisti f’ħin u sett ta’ valuri li jikkorrispondu għal dan iż-żmien, pereżempju, miksuba permezz ta’ stħarriġ perjodiku tal-istatus tas-sensuri jew ġbir ta’ metriċi).
Jisimni Kolobaev Pavel. DevOps, SRE, LeroyMerlin, kollox huwa bħal kodiċi - huwa kollox dwarna: dwari u dwar impjegati oħra ta 'LeroyMerlin.
Hemm sħaba bbażata fuq OpenStack. Hemm rabta żgħira mar-radar tekniku.
Hija mibnija fuq il-ħardwer Kubernetes, kif ukoll fuq is-servizzi kollha relatati għall-OpenStack u l-illoggjar.
Din hija l-iskema li kellna fl-iżvilupp. Meta konna qed niżviluppaw dan kollu, kellna operatur Prometheus li ħażen id-dejta ġewwa l-cluster K8s innifsu. Huwa awtomatikament isib dak li jeħtieġ li jitnaddaf u jpoġġih taħt saqajh, bejn wieħed u ieħor.
Ser ikollna nċaqalqu d-dejta kollha barra l-cluster Kubernetes, għax jekk jiġri xi ħaġa, irridu nifhmu x’u fejn.
L-ewwel soluzzjoni hija li nużaw il-federazzjoni meta jkollna Prometheus ta 'parti terza, meta mmorru fil-cluster Kubernetes permezz tal-mekkaniżmu tal-federazzjoni.
Iżda hawn xi problemi żgħar. Fil-każ tagħna, il-problemi bdew meta kellna 250 metrika, u meta kien hemm 000 metrika, indunajna li ma stajniex naħdmu hekk. Żidna scrape_timeout għal 400 sekonda.
Għaliex kellna nagħmlu dan? Prometheus jibda jgħodd il-timeout mill-bidu tal-ilqugħ. Ma jimpurtax li d-dejta għadha tiċċirkola. Jekk matul dan il-perjodu speċifikat ta 'żmien id-dejta ma tiġix magħquda u s-sessjoni ma tingħalaqx permezz ta' http, allura s-sessjoni titqies li falliet u d-dejta ma tidħolx fil-Prometheus innifsu.
Kulħadd huwa familjari mal-graffs li jkollna meta xi wħud mid-dejta tkun nieqsa. L-iskedi huma mqattgħin u m'aħniex kuntenti b'dan.
L-għażla li jmiss hija sharding ibbażata fuq żewġ Prometheus differenti permezz tal-istess mekkaniżmu ta 'federazzjoni.
Per eżempju, ħudhom biss u sqattilhom b'isimhom. Dan jista 'jintuża wkoll, iżda ddeċidejna li nimxu' l quddiem.
Issa se jkollna nipproċessaw dawn il-frak b'xi mod. Tista 'tieħu promxy, li tmur fiż-żona shard u timmultiplika d-data. Jaħdem b'żewġ shards bħala punt ta 'dħul wieħed. Dan jista 'jiġi implimentat permezz ta' promxy, iżda għadu diffiċli wisq.
L-ewwel għażla hija li rridu nabbandunaw il-mekkaniżmu tal-federazzjoni għax huwa bil-mod ħafna.
L-iżviluppaturi tal-Prometheus qed jgħidu b'mod ċar, "Guys, uża TimescaleDB differenti għax mhux se nappoġġjaw il-ħażna fit-tul tal-metriċi." Dan mhux il-kompitu tagħhom.
Nikteb fuq biċċa karta li għad għandna bżonn inħottu barra, biex ma naħżnux kollox f'post wieħed.
It-tieni żvantaġġ huwa l-konsum tal-memorja. Iva, nifhem li ħafna se jgħidu li fl-2020 koppja ta 'gigabytes ta' memorja jiswew ċenteżmu, iżda xorta waħda.
Issa għandna ambjent dev u prod. F'dev huwa madwar 9 gigabytes għal 350 metrika. Fil-prodott huwa 000-il gigabytes u ftit aktar minn 14 metrika. Fl-istess ħin, il-ħin ta 'żamma tagħna huwa biss 780 minuta. Dan huwa ħażin. U issa se nispjega għaliex.
Nagħmlu kalkolu, jiġifieri, b'metrika ta 'miljun u nofs, u diġà qegħdin qrib tagħhom, fl-istadju tad-disinn nikbru 35-37 gigabytes ta' memorja. Iżda diġà 4 miljun metrika jeħtieġu madwar 90 gigabytes ta 'memorja. Jiġifieri, ġie kkalkulat bl-użu tal-formula pprovduta mill-iżviluppaturi Prometheus. Ħarsa lejn il-korrelazzjoni u rrealizzajna li ma ridniex inħallsu ftit miljuni għal server biss għall-monitoraġġ.
Aħna mhux biss se nżidu n-numru ta 'magni, aħna wkoll qed nissorveljaw il-magni virtwali nfushom. Għalhekk, aktar ma jkun hemm magni virtwali, aktar metriċi ta' diversi tipi, eċċ. Se jkollna tkabbir speċjali tal-cluster tagħna f'termini ta' metriċi.
Bl-ispazju tad-disk, mhux kollox huwa daqshekk ħażin hawn, imma nixtieq intejjeb. Irċevejna total ta '15 gigabytes fi 120-il jum, li minnhom 100 huma data kkompressata, 20 huma data mhux kompressata, iżda dejjem irridu inqas.
Għaldaqstant, nikteb punt ieħor - dan huwa konsum kbir ta 'riżorsi, li xorta rridu nsalvaw, għaliex ma rridux li l-cluster ta' monitoraġġ tagħna jikkonsma aktar riżorsi mill-cluster tagħna, li jamministra OpenStack.
Hemm żvantaġġ ieħor ta 'Prometheus, li identifikajna għalina nfusna, dan huwa għall-inqas xi tip ta' limitazzjoni tal-memorja. Ma 'Prometheus, kollox huwa ħafna agħar hawn, għaliex m'għandu l-ebda tidwir bħal dawn. L-użu ta 'limitu fid-docker mhuwiex għażla wkoll. Jekk f'daqqa waħda l-RAF tiegħek waqa 'u hemm 20-30 gigabytes, allura se jieħu żmien twil ħafna biex jiżdied.
Din hija raġuni oħra għaliex Prometheus mhuwiex adattat għalina, jiġifieri ma nistgħux nillimitaw il-konsum tal-memorja.
Ikun possibbli li toħroġ bi skema bħal din. Neħtieġu din l-iskema sabiex norganizzaw cluster HA. Irridu li l-metriċi tagħna jkunu disponibbli dejjem u kullimkien, anke jekk is-server li jaħżen dawn il-metriċi jiġġarraf. U b’hekk ikollna nibnu skema bħal din.
Din l-iskema tgħid li se jkollna duplikazzjoni ta 'frak, u, għaldaqstant, duplikazzjoni tal-ispejjeż tar-riżorsi kkunsmati. Jista 'jiġi skalat kważi orizzontalment, iżda madankollu l-konsum tar-riżorsi se jkun hellish.
Żvantaġġi fl-ordni fil-forma li ktibnahom għalina nfusna:
- Jeħtieġ ittella 'metriċi esternament.
- Konsum għoli tar-riżorsi.
- M'hemm l-ebda mod kif jiġi limitat il-konsum tal-memorja.
- Implimentazzjoni kumplessa u intensiva tar-riżorsi tal-HA.
Għalina nfusna, iddeċidejna li qed nitbiegħdu minn Prometheus bħala faċilità ta 'ħażna.
Aħna identifikajna rekwiżiti addizzjonali għalina nfusna li għandna bżonn. Dan:
- Dan huwa appoġġ promql, għax diġà nkitbu ħafna affarijiet għal Prometheus: mistoqsijiet, twissijiet.
- U mbagħad għandna Grafana, li diġà hija miktuba eżattament bl-istess mod għal Prometheus bħala backend. Ma rridx nikteb mill-ġdid dashboards.
- Irridu nibnu arkitettura HA normali.
- Irridu nnaqqsu l-konsum ta 'kwalunkwe riżorsi.
- Hemm sfumatura żgħira oħra. Ma nistgħux nużaw diversi tipi ta’ sistemi ta’ ġbir ta’ metriċi tas-sħab. Għadna ma nafux x'se jaqa 'f'dawn il-metriċi. U peress li kollox jista 'jtir hemmhekk, irridu nillimitaw ruħna għal tqegħid lokali.
Ftit kien hemm għażla. Ġbarna dak kollu li kellna esperjenza miegħu. Ħarsa lejn il-paġna tal-Prometheus fit-taqsima tal-integrazzjoni, qrajna mazz ta 'artikli, u rajna x'kien hemm barra. U għalina nfusna, għażilna VictoriaMetrics bħala sostitut għal Prometheus.
Għaliex? Minħabba li:
- Jista 'jagħmel promql.
- Hemm arkitettura modulari.
- Ma jeħtieġx bidliet għal Grafana.
- U l-aktar importanti, aħna probabbilment se nipprovdu l-ħażna tal-metriċi fi ħdan il-kumpanija tagħna bħala servizz, għalhekk qed inħarsu bil-quddiem lejn restrizzjonijiet ta 'diversi tipi sabiex l-utenti jkunu jistgħu jużaw ir-riżorsi kollha tal-cluster b'xi mod limitat, minħabba li hemm ċans. li se multitenancy.
Ejja nagħmlu l-ewwel paragun. Nieħdu l-istess Prometheus ġewwa l-cluster, Prometheus estern imur għalih. Żid permezz remoteWrite VictoriaMetrics.
Immedjatament se nagħmel riżerva li hawn qbidna żieda żgħira fil-konsum tas-CPU minn VictoriaMetrics. Il-wiki VictoriaMetrics tgħidlek liema parametri huma l-aħjar. Aħna ċċekkjawhom. Huma naqqsu l-konsum tas-CPU tajjeb ħafna.
Fil-każ tagħna, il-konsum tal-memorja ta 'Prometheus, li jinsab fil-cluster Kubernetes, ma żdiedx b'mod sinifikanti.
Aħna nqabblu żewġ sorsi ta 'dejta tal-istess dejta. Fi Prometheus naraw l-istess data nieqsa. Kollox tajjeb fil-VictoriaMetrics.
Riżultati tat-test tal-ispazju tad-disk. Aħna fil-Prometheus irċevejna 120 gigabytes b'kollox. Fil-VictoriaMetrics diġà nirċievu 4 gigabytes kuljum. Hemm mekkaniżmu kemmxejn differenti minn dak li mdorrijin naraw fi Prometheus. Jiġifieri, id-dejta diġà hija kkompressata pjuttost tajjeb f'ġurnata, f'nofs siegħa. Diġà nħasdu sew f’ġurnata, f’nofs siegħa, minkejja li d-data xorta se tintilef aktar tard. Bħala riżultat, aħna ffrankati fuq l-ispazju disk.
Aħna niffrankaw ukoll il-konsum tar-riżorsi tal-memorja. Fiż-żmien tal-ittestjar, kellna Prometheus skjerat fuq magna virtwali - 8 cores, 24 gigabytes. Prometheus jiekol kważi kollox. Huwa waqa 'fuq OOM Killer. Fl-istess ħin, 900 metrika attiva biss tferragħ fiha. Dan huwa madwar 000-25 metrika kull sekonda.
Aħna mexxa VictoriaMetrics fuq magna virtwali dual-core bi 8 gigabytes ta 'RAM. Irnexxielna nġibu lil VictoriaMetrics taħdem tajjeb billi niddejqu bi ftit affarijiet fuq magna 8GB. Bħala riżultat, żammejna għal 7 gigabytes. Fl-istess ħin, il-veloċità tat-twassil tal-kontenut, jiġifieri l-metriċi, kienet saħansitra ogħla minn dik ta 'Prometheus.
Is-CPU sar ħafna aħjar meta mqabbel ma 'Prometheus. Hawnhekk Prometheus jikkonsma 2,5 cores, u VictoriaMetrics jikkonsma biss 0,25 cores. Fil-bidu - 0,5 qlub. Hekk kif tgħaqqad, tilħaq qalba waħda, iżda dan huwa estremament, estremament rari.
Fil-każ tagħna, l-għażla waqgħet fuq VictoriaMetrics għal raġunijiet ovvji; ridna niffrankaw il-flus u għamilna.
Ejja naqsbu żewġ punti minnufih - it-tlugħ ta 'metriċi u l-konsum għoli ta' riżorsi. U rridu niddeċiedu biss żewġ punti li għad fadlilna għalina.
Hawnhekk se nagħmel riserva mill-ewwel, inqisu VictoriaMetrics bħala ħażna ta 'metriċi. Iżda peress li x'aktarx se nipprovdu VictoriaMetrics bħala ħażna għal Leroy kollu, jeħtieġ li nillimitaw lil dawk li se jużaw dan il-cluster sabiex ma jagħtuhiex lilna.
Hemm parametru mill-isbaħ li jippermettilek tillimita biż-żmien, bil-volum ta 'data u bil-ħin ta' eżekuzzjoni.
Hemm ukoll għażla eċċellenti li tippermettilna nillimitaw il-konsum tal-memorja, u b'hekk nistgħu nsibu l-bilanċ stess li jippermettilna niksbu veloċità operattiva normali u konsum adegwat tar-riżorsi.
Minus punt ieħor, jiġifieri aqsam il-punt - ma tistax tillimita l-konsum tal-memorja.
Fl-ewwel iterazzjonijiet, ittestjajna VictoriaMetrics Single Node. Imbagħad ngħaddu għal VictoriaMetrics Cluster Version.
Hawnhekk għandna idejn ħielsa biex nisseparaw servizzi differenti f’VictoriaMetrics skont fuq xiex se jaħdmu u x’riżorsi se jikkunsmaw. Din hija soluzzjoni flessibbli u konvenjenti ħafna. Użajna dan fuqna nfusna.
Il-komponenti ewlenin ta' VictoriaMetrics Cluster Version huma vmstsorage. Jista 'jkun hemm numru N minnhom. Fil-każ tagħna s'issa hemm 2 minnhom.
U hemm vminsert. Dan huwa proxy server li jippermettilna: nirranġaw sharding bejn il-ħażniet kollha li għedna dwarhom, u jippermetti wkoll replika, jiġifieri jkollok kemm sharding kif ukoll replika.
Vminsert jappoġġja protokolli OpenTSDB, Graphite, InfluxDB u remoteWrite minn Prometheus.
Hemm ukoll vmselect. Il-kompitu ewlieni tiegħu huwa li jmur f'vmstorage, jirċievi dejta minnhom, idduplika din id-dejta u jagħtiha lill-klijent.
Hemm ħaġa sabiħa msejħa vmagent. Inħobbha ħafna. Jippermettilek tikkonfigura eżattament bħal Prometheus u xorta tagħmel kollox eżattament bħal Prometheus. Jiġifieri, jiġbor metriċi minn entitajiet u servizzi differenti u jibgħathom lil vminsert. Imbagħad kollox jiddependi minnek.
Servizz kbir ieħor huwa vmalert, li jippermettilek tuża VictoriaMetrics bħala backend, tirċievi data pproċessata minn vminsert u tibgħatha lil vmselect. Jipproċessa t-twissijiet infushom, kif ukoll ir-regoli. Fil-każ ta’ twissijiet, nirċievu t-twissija permezz ta’ alertmanager.
Hemm komponent wmauth. Nistgħu jew ma nistgħux (għadna ma ddeċidniex dwar dan) nużawha bħala sistema ta 'awtorizzazzjoni għall-verżjoni multitenancy ta' clusters. Jappoġġja remoteWrite għal Prometheus u jista 'jawtorizza abbażi tal-url, jew aħjar it-tieni parti tiegħu, fejn tista' jew ma tistax tikteb.
Hemm ukoll vmbackup, vmrestore. Dan huwa, essenzjalment, ir-restawr u l-backup tad-data kollha. Jista 'jagħmel S3, GCS, fajl.
L-ewwel iterazzjoni tal-cluster tagħna saret waqt il-kwarantina. F'dak iż-żmien, ma kien hemm l-ebda replika, għalhekk l-iterazzjoni tagħna kienet tikkonsisti f'żewġ gruppi differenti u indipendenti li fihom irċevejna data permezz ta' remoteWrite.
Hawnhekk ser nagħmel riżerva li meta qlibna minn VictoriaMetrics Single Node għal VictoriaMetrics Cluster Version, xorta bqajna bl-istess riżorsi kkunsmati, jiġifieri l-prinċipali hija l-memorja. Dan huwa bejn wieħed u ieħor kif tqassmet id-dejta tagħna, jiġifieri l-konsum tar-riżorsi.
Replika diġà ġiet miżjuda hawn. Aħna għaqqadna dan kollu fi cluster wieħed relattivament kbir. Id-dejta kollha tagħna hija kemm sharded kif ukoll replikata.
Il-cluster kollu għandu N punti ta 'dħul, li jfisser li Prometheus jista' jżid dejta permezz ta 'HAPROXY. Hawnhekk għandna dan il-punt tad-dħul. U permezz ta’ dan il-punt tad-dħul tista’ tidħol minn Grafana.
Fil-każ tagħna, HAPROXY huwa l-uniku port li l-prokuri jagħżlu, daħħal u servizzi oħra ġewwa dan il-cluster. Fil-każ tagħna, kien impossibbli li nagħmlu indirizz wieħed; kellna nagħmlu diversi punti ta’ dħul, għaliex il-magni virtwali nfushom li fuqhom jaħdem il-cluster VictoriaMetrics jinsabu f’żoni differenti tal-istess fornitur tas-sħab, jiġifieri mhux ġewwa s-sħab tagħna, iżda barra. .
Għandna twissija. Aħna nużawha. Aħna nużaw alertmanager minn Prometheus. Aħna nużaw Opsgenie u Telegram bħala kanal ta 'kunsinna ta' twissija. F'Telegram jitferrgħu minn dev, forsi xi ħaġa minn prod, iżda l-aktar xi ħaġa statistika, meħtieġa mill-inġiniera. U Opsgenie huwa kritiku. Dawn huma sejħiet, ġestjoni tal-inċidenti.
Il-mistoqsija eterna: "Min jimmonitorja l-monitoraġġ?" Fil-każ tagħna, il-monitoraġġ jimmonitorja l-monitoraġġ innifsu, għaliex nużaw vmagent fuq kull node. U peress li n-nodi tagħna huma mqassma f'ċentri tad-dejta differenti tal-istess fornitur, kull ċentru tad-dejta għandu l-kanal tiegħu, huma indipendenti, u anke jekk jasal moħħ maqsum, xorta se nirċievu twissijiet. Iva, se jkun hemm aktar minnhom, iżda huwa aħjar li tirċievi aktar twissijiet milli xejn.
Nispiċċaw il-lista tagħna b'implimentazzjoni HA.
U aktar nixtieq ninnota l-esperjenza tal-komunikazzjoni mal-komunità VictoriaMetrics. Irriżulta pożittiv ħafna. Il-guys huma reattivi. Jippruvaw jidħlu f’kull każ li jiġi offrut.
Bdejt kwistjonijiet fuq GitHub. Ġew solvuti malajr ħafna. Hemm ftit kwistjonijiet oħra li mhumiex magħluqa kompletament, iżda diġà nista 'nara mill-kodiċi li qed taħdem f'din id-direzzjoni.
L-uġigħ ewlieni għalija waqt l-iterazzjonijiet kien li jekk nagħlaq node, allura għall-ewwel 30 sekonda vminsert ma setax jifhem li ma kienx hemm backend. Dan issa ġie deċiż. U litteralment f'tieni jew tnejn, id-dejta tittieħed min-nodi kollha li fadal, u t-talba tieqaf tistenna dak in-nodu nieqes.
F'xi punt ridna li VictoriaMetrics tkun operatur VictoriaMetrics. Stennieh. Issa qed nibnu qafas b'mod attiv għall-operatur VictoriaMetrics biex jieħu r-regoli kollha ta' qabel il-kalkolu, eċċ. Prometheus, għaliex qed nużaw b'mod pjuttost attiv ir-regoli li jiġu mal-operatur Prometheus.
Hemm proposti biex tittejjeb l-implimentazzjoni tal-clusters. I spjegajthom hawn fuq.
U jien verament irrid inaqqas il-kampjun. Fil-każ tagħna, it-tnaqqis tal-kampjuni huwa meħtieġ esklussivament għat-tendenzi tal-wiri. Bejn wieħed u ieħor, metrika waħda hija biżżejjed għalija matul il-ġurnata. Dawn ix-xejriet huma meħtieġa għal sena, tlieta, ħames, għaxar snin. U valur metriku wieħed huwa pjuttost biżżejjed.
- Aħna magħrufa l-uġigħ, bħal xi wħud mill-kollegi tagħna, meta nużaw Prometheus.
- Aħna għażilna VictoriaMetrics għalina.
- Tiskala pjuttost tajjeb kemm vertikalment kif ukoll orizzontalment.
- Nistgħu nqassmu komponenti differenti għal numri differenti ta 'nodi fil-cluster, nillimitawhom bil-memorja, inżidu memorja, eċċ.
Se nużaw VictoriaMetrics id-dar għax għoġobna ħafna. Dan hu dak li kien u dak li sar.
Koppja ta' kodiċijiet QR għaċ-chat ta' VictoriaMetrics, il-kuntatti tiegħi, ir-radar tekniku LeroyMerlin.
Sors: www.habr.com