Баарына салам. Төмөндө стенограммасы келтирилген .
– ар кандай системалар жана кызматтар үчүн мониторинг системасы, анын жардамы менен системанын администраторлору системалардын учурдагы параметрлери жөнүндө маалыматты чогулта алышат жана системалардын иштөөсүндөгү четтөөлөр жөнүндө билдирүүлөрдү алуу үчүн эскертүүлөрдү орното алышат.
Отчет салыштырууну камтыйт и — Prometheus метрикаларын узак мөөнөттүү сактоо боюнча долбоорлор.
Биринчиден, мен сизге Прометей жөнүндө айтып берейин. Бул белгиленген максаттардан метрикаларды чогултуп, аларды жергиликтүү сактагычка сактаган мониторинг системасы. Prometheus метрикаларды алыскы сактагычка жаздыра алат жана эскертүүлөрдү жана жазуу эрежелерин түзө алат.
Prometheus чектөөлөр:
- Анын глобалдык суроо көрүнүшү жок. Бул сизде прометейдин бир нече көз карандысыз учурлары болгондо. Алар көрсөткүчтөрдү чогултат. Жана сиз ар кандай прометей инстанцияларынан чогултулган бардык бул көрсөткүчтөрдүн үстүнөн сурагыңыз келет. Прометей буга жол бербейт.
- Prometheus менен иштөө бир гана сервер менен чектелет. Prometheus автоматтык түрдө бир нече серверлер боюнча масштабдабайт. Сиз максаттарыңызды бир нече Prometheus ортосунда кол менен гана бөлө аласыз.
- Прометейдеги метрикалардын масштабы бир эле сервер менен чектелген, анткени ал бир нече серверлер боюнча автоматтык түрдө масштаблана албайт.
- Прометейде берилиштердин коопсуздугун уюштуруу анчалык деле оңой эмес.
Бул көйгөйлөрдүн/кыйынчылыктардын чечимдери?
Чечимдер болуп төмөнкүлөр саналат:
Бул чечимдердин баары Prometheus тарабынан чогултулган маалыматтарды алыстан сактоо үчүн. Алар мурунку слайддан алыскы сактоо маселесин ар кандай жолдор менен чечишет. Бул презентацияда мен биринчи эки чечим жөнүндө гана сүйлөшөм: и .
жөнүндө биринчи жолу маалымат тарабынан пайда болгон . Ал жерде архитектура сүрөттөлгөн жана ал кантип иштейт.
Thanos Prometheus сактаган маалыматтарды жергиликтүү дискке алып, S3, үчүн көчүрөт же башка объект сактагычка.
Ошентип, Thanos глобалдык суроо көрүнүшүн камсыз кылат. Объект сактагычында сакталган маалыматтарды бир нече Prometheus инстанцияларынан сурасаңыз болот.
Thanos PromQL жана колдойт .
Thanos маалыматтарды сактоо үчүн Prometheus кодун колдонот.
Thanos Prometheus сыяктуу эле иштеп чыгуучулар тарабынан иштелип чыккан.
боюнча . бул жерде , биз биринчи жолу сүйлөшкөн жери .
VictoriaMetrics бир нече прометейден маалыматтарды алат Прометей тарабынан колдоого алынган протокол.
VictoriaMetrics глобалдык суроо көрүнүшүн камсыз кылат, анткени бир нече Prometheus инстанциялары бир VictoriaMetricsге маалыматтарды жаза алат. Демек, сиз бардык бул маалыматтар боюнча суроо бере аласыз.
VictoriaMetrics ошондой эле Thanos, PromQL жана Prometheus суроо API сыяктуу колдойт.
Thanosтан айырмаланып, VictoriaMetrics булак коду нөлдөн баштап жазылган жана ылдамдык менен ресурстарды керектөө үчүн оптималдаштырылган.
VictoriaMetrics, Thanosтан айырмаланып, тигинен да, туурасынан да масштабдалат. же , вертикалдуу масштабдуу. Сиз бир процессор жана 1 ГБ эстутум менен баштап, бара-бара жүздөгөн процессорлорго жана 1 ТБ эстутумга чейин өсө аласыз. VictoriaMetrics бул ресурстардын баарын колдоно алат. Анын өндүрүмдүүлүгү 100 ядролук системага салыштырмалуу болжол менен 1 эсеге көбөйөт.
Thanosтун тарыхы 2017-жылдын ноябрында, биринчи коомдук комиссия пайда болгондо башталган. Буга чейин Thanos ички түрдө иштелип чыккан .
2019-жылдын июнь айында 0.5.0 релиз чыкты, анда протокол. Ал Thanosтон жакшы ойнобогондуктан четтетилген. Көп учурда Thanos кластери туура эмес иштечү, ушак протоколунан улам түйүндөр туура эмес туташтырылган. Ошондуктан биз аны ошол жерден алып салууну чечтик. Бул туура чечим деп ойлойм.
Ошол эле 2019-жылдын июнь айында алар арыздын номерин жөнөтүшкөн в .
Анан бир нече айдан кийин Танос кабыл алынды Prometheus, Kubernetes жана башка популярдуу долбоорлорду камтыйт.
2018-жылдын январында VictoriaMetrics иштеп чыгуу башталган.
2018-жылдын сентябрында мен биринчи жолу VictoriaMetrics жөнүндө ачык айттым.
2018-жылдын декабрында Бир түйүндүү версиясы басылып чыккан.
-Жылы май 2019 бир түйүндүү жана кластердик версиялардын булактары.
2019-жылдын июнь айында, Thanos сыяктуу, биз CNCF фондуна номер менен арыз тапшырдык . Биз Thanos тапшырганга бир күн калганда кайрылдык.
Бирок, тилекке каршы, бизди ал жакка дагы эле кабыл ала элек. Коомчулуктун жардамы керек.
Thanos жана VictoriaMetrics архитектурасын көрсөткөн эң маанилүү слайддарды карап көрөлү.
Танос менен баштайлы. Сары компоненттер Prometheus компоненттери болуп саналат. Калганынын баары Thanos компоненттери. Эң маанилүү компоненттен баштайлы. Thanos Sidecar ар бир Прометейдин жанында орнотулган компонент. Ал Prometheus маалыматтарын жергиликтүү сактагычтан S3 же башка объект сактагычка жүктөйт.
Thanos Store Gateway деп аталган компонент дагы бар, ал Thanos Queryден түшкөн суроо-талаптар боюнча Объект сактагычынан бул маалыматтарды окуй алат. Thanos Query PromQL жана Prometheus API колдонот. Башкача айтканда, сыртынан Прометейге окшош. PromQL сурамдарын кабыл алат, аларды Thanos Store Gatewayге жөнөтөт, Thanos Store Gateway Object Storageден керектүү маалыматтарды алып, кайра жөнөтөт.
Бирок Thanos Sidecar ишке ашыруунун өзгөчөлүгүнөн улам биз маалыматтарды Object Storage'де акыркы эки саатсыз сактайбыз, ал акыркы эки саатты Object Storage S3ке жүктөй албайт, анткени Prometheus жергиликтүү сактагычта бул эки саатка файлдарды түзө элек.
Сиз муну кантип чечтиңиз? Thanos Query, Thanos Store Gateway'ге суроо-талаптардан тышкары, Prometheus жанында жайгашкан ар бир Thanos Sidecarга параллелдүү суроо-талаптарды жөнөтөт.
Ал эми Thanos Sidecar, өз кезегинде, Прометейге прокси суроо-талаптарды жөнөтүп, акыркы эки сааттын маалыматтарын алат.
Бул компоненттерден тышкары, Thanos жакшы аткара албаган кошумча компонент дагы бар. Бул Thanos Compact, ал объект сактагычындагы кичинекей файлдарды Thanos Sidecars жүктөгөн чоңураак файлдарга бириктирүүгө жооптуу. Thanos Sidecar эки сааттын ичинде ал жерге маалымат файлдарын жүктөйт. Бул файлдар, эгерде алар чоңураак файлдарга бириктирилбесе, алардын саны абдан чоң өсө алат. Мындай файлдар канчалык көп болсо, Thanos Store Gateway үчүн эстутум ошончолук көп керектелет, тармак жана метаберилиштер аркылуу маалыматтарды өткөрүү үчүн ошончолук көп ресурстар керектелет. Thanos Store Gateway натыйжасыз болуп калат. Ошондуктан, Thanos Compactти иштетүү керек, ал кичинекей файлдарды чоңураак файлдарга бириктирет, андыктан мындай файлдар азыраак болуп, Thanos Store Gateway боюнча кошумча чыгымдарды азайтыңыз.
Thanos Ruler сыяктуу бир компонент дагы бар. Ал Prometheus эскертүү эрежелерин аткарат жана Объект сактагычына маалыматтарды кайра жазуу үчүн Prometheus жазуу эрежелерин баалай алат. Бирок бул компонентти колдонуу сунушталбайт, анткени... Ал .
Бул Thanosтун жөнөкөй схемасы.
Эми аны VictoriaMetrics схемасы менен салыштырып көрөлү.
VictoriaMetricsтин 2 версиясы бар: Бир түйүндүү жана кластердик версия. Бир түйүн бир компьютерде иштейт. Single-node бул компоненттерге ээ эмес, болгону бир бинардык. Слайддагы бул бинардык бул квадратка окшош. Квадраттын ичиндеги нерселердин баары бир түйүндүү версия үчүн бинардык файлдын мазмуну. Сиз ал жөнүндө билишиңиздин кереги жок. Сиз жөн гана бинардык иштетип, баары биз үчүн иштейт.
Кластердик версия татаалыраак. Анын ичинде үч түрдүү компонент бар: vmselect, vminsert жана vmstorage. Алардын ар бири эмне менен алектенгени айкын болушу керек. Insert компоненти ар кандай форматтагы маалыматтарды кабыл алат: Prometheus алыстан жазуу API'синен, Influx линиясынын протоколунан, Graphite протоколунан жана OpenTSDB протоколунан. Insert компоненти аларды кабыл алат, талдайт жана маалыматтар мурунтан эле сакталган сактагыч компоненттеринин ортосунда бөлүштүрөт. Select компоненти, өз кезегинде, PromQL сурамдарын кабыл алат. Ал ишке ашырат , ошондой эле Prometheus сураган API жана ал Grafanaдагы Prometheus же башка Prometheus API кардарларынын ордуна колдонулушу мүмкүн. Select promql сурамын кабыл алат, аны талдайт, сактоо түйүндөрүнөн бул суроону аткаруу үчүн керектүү маалыматтарды окуйт, бул маалыматтарды иштеп чыгат жана жооп кайтарат.
Thanos жана VictoriaMetrics орнотуунун татаалдыгын салыштырып көрөлү.
Танос менен баштайлы. Thanos менен иштей баштаардан мурун, Thanos Sidecar ага маалыматтарды жаза алышы үчүн, S3 же GCS сыяктуу Object Storageде чака түзүшүңүз керек.
Андан кийин ар бир Prometheus үчүн Thanos Sidecar орнотуу керек. Буга чейин сиз Prometheus'та маалыматтарды кысууну өчүрүүнү унутпашыңыз керек. Маалыматтарды компакттоо ресурстарды керектөөнү азайтуу үчүн жергиликтүү Prometheus сактагычындагы маалыматтарды мезгил-мезгили менен кысып турат.
Thanos Sidecar'ды Prometheus'уңузга орнотконуңузда, бул маалыматтарды жышоону өчүрүшүңүз керек, анткени Thanos Sidecar маалымат тыгыздоо иштетилгенде туура иштебейт. Бул сиздин Prometheus маалыматыңызды эки сааттык блоктордо сактап баштайт жана ал блокторду чоңураак блокторго бириктирүүнү токтотот дегенди билдирет. Демек, эгер сиз акыркы эки сааттын узактыгынан ашкан сурамдарды жасасаңыз, анда алар маалыматтарды кыстоо иштетилгенде иштей тургандай эффективдүү иштебейт.
Ошондуктан, Thanos көп сандагы кичинекей блоктордун ашыкча чыгымын азайтуу үчүн жергиликтүү сактагычта маалыматтарды сактоо убактысын 6-8 саатка чейин кыскартууну сунуштайт.
Thanos Sidecar орноткондон кийин, ар бир объект сактоочу чака үчүн эки компонентти орнотуу керек. Булар Thanos Compactor жана Thanos Store Gateway.
Андан кийин, Thanos Query орнотуп, аны конфигурациялашыңыз керек, ал сизде болгон бардык Thanos дүкөнүнүн шлюздарына туташып, ошондой эле Thanos Sidecars менен туташа алат.
Бул жерде бир аз көйгөй болушу мүмкүн.
Сиз Thanos Queryден бул компоненттерге ишенимдүү жана коопсуз туташууну конфигурациялашыңыз керек. Ал эми Prometheus ар кандай маалымат борборлорунда же башка VPCтерде жайгашкан болсо, анда аларга сырттан кошулууга тыюу салынат. Бирок Thanos Query иштеши үчүн, сиз кандайдыр бир жол менен ал жердеги байланышты конфигурациялашыңыз керек жана анын жолун табышыңыз керек.
Эгер сизде мындай маалымат борборлору көп болсо, демек, бүт системанын ишенимдүүлүгү төмөндөйт. Thanos Query ар кандай маалымат борборлорунда жайгашкан бардык Thanos Sidecars менен дайыма байланышты кармап турушу керек. Ар бир келген өтүнүч боюнча, ал бардык Thanos Sidecars сурамдарын багыттайт. Туташуу үзгүлтүккө учураса, сиз же толук эмес маалымат топтомун аласыз, же "кластер иштебей калды" деген жооп аласыз.
VictoriaMetricsте баары бир аз жөнөкөй. Single-түйүн версиясы үчүн, сиз жөн гана экиликти иштетишиңиз керек жана бардыгы иштейт.
Кластердик версияда жогоруда көрсөтүлгөн үч типтеги компоненттердин бардыгын каалаган санда иштетүү же колдонуу жетиштүү. Кубернетеде компоненттерди ишке киргизүүнү автоматташтыруу. Биз ошондой эле Kubernetes операторун жасоону пландап жатабыз. Helm диаграммасы кээ бир учурларды камтыбайт жана бутуңузга атууга мүмкүнчүлүк берет. Мисалы, ал маалыматтардын жоголушуна алып келе турган сактоо түйүндөрүнүн санын азайтууга мүмкүндүк берет.
Бир бинардык же кластердик версияны ишке киргизгенден кийин, жөн гана Прометейди конфигурацияга кошушуңуз керек. Ошентип, ал жергиликтүү сактагычка жана алыскы сактоого параллелдүү маалыматтарды жаза баштайт. Көрүнүп тургандай, бул конфигурация Thanos конфигурациясына салыштырмалуу алда канча ишенимдүү иштеши керек. Бизге VictoriaMetricsтен бардык Прометейлерге байланышты сактоонун кереги жок, анткени Прометейдин өзү VictoriaMetrics менен байланышып, маалыматтарды өткөрүп беришет.
Келгиле, Thanos жана VictoriaMetrics колдоосун карап көрөлү.
Thanos объект сактагычына маалыматтарды жүктөөнү токтотпогонуна ынануу үчүн Sidecarды көзөмөлдөшү керек. Алар жүктөө каталарынан улам бул дайындарды жүктөп алууну токтотушу мүмкүн, мисалы, Объект сактагычына тармак туташууңуз убактылуу үзгүлтүккө учураган же Объект сактагычы убактылуу жеткиликсиз. Thanos Sidecar муну байкап, ката жөнүндө кабарлап, бузулуп, анан иштебей калышы мүмкүн. Эгер сиз аны көзөмөлдөбөсөңүз, анда сиз Объект сактагычына маалыматтарды өткөрүүнү токтотосуз. Сактоо убактысы өтүп кетсе (6-8 саат сунушталат), анда сиз Объект сактагычында бүтпөгөн дайындарды жоготосуз.
Thanos компакторлору иштебей калышы мүмкүн . Компакторлор объект сактагычынан маалыматтарды алып, аны чоңураак маалымат бөлүктөрүнө бириктиришет. Компакторлор Sidecars менен синхрондоштурулган эмес болгондуктан, төмөнкүлөр болушу мүмкүн: Sidecar али блокту бүтүрүүгө үлгүрө элек, Compactor бул блок толугу менен жазылган деп чечет. Compactor аны окуй баштайт. Ал блокту толук окубайт жана иштебей калат. чоо-жайын көрүү .
Store Gateway Compactor жана Sidecars ортосундагы жарыштардан улам дал келбеген маалыматтарды кайтарып бериши мүмкүн. Ушул эле нерсе бул жерде болот, анткени Дүкөн шлюзи компакторлор жана капталдар менен синхрондоштурулган эмес. Демек, жарыш шарттары Store Gateway маалыматтардын бир бөлүгүн көрбөгөндө же керексиз маалыматтарды көргөндө пайда болушу мүмкүн.
Thanos'тун Query компоненти демейки боюнча жарым-жартылай жыйынтыкты кайтарат, эгерде кээ бир Sidecars же Store Gateways учурда жеткиликтүү эмес. Сиз маалыматтардын бир бөлүгүн аласыз, жана сиз бардык маалыматтарды албаганыңызды билбей каласыз. Ал демейки боюнча ушундай иштейт. Ушундай эле кырдаалда VictoriaMetrics белгиленген маалыматтарды жарым-жартылай катары кайтарат.
Thanosтан айырмаланып, VictoriaMetrics сейрек маалыматтарды жоготот. Прометейден VictoriaMetricsке туташуу үзгүлтүккө учураса да, бул көйгөй эмес, анткени Прометей келе жаткан жаңы маалыматтарды Write Ahead журналына жазууну улантууда, анын көлөмү 2 саатты түзөт. VictoriaMetrics менен байланышыңызды эки сааттын ичинде калыбына келтирсеңиз, маалыматыңыз жоголбойт. Прометей .
Маалыматтарды объект сактагычка эки сааттан кийин гана жаза турган Thanosтан айырмаланып, Prometheus автоматтык түрдө маалыматтарды алыстан жазуу протоколун колдонуп, VictoriaMetrics сыяктуу алыскы сактагычка көчүрөт. Прометейдеги жергиликтүү сактагычты жоготуп алуудан коркпойсуз. Эгер ал күтүлбөгөн жерден жергиликтүү сактагычты жоготуп алса, эң начар учурда сиз алыскы сактагычка жазууга үлгүрбөгөн акыркы секундадагы маалыматтарды жоготосуз.
Kubernetes Thanosтан айырмаланып кластерди автоматтык түрдө башкарат. VictoriaMetrics кластеринин компоненттеринен айырмаланып, Thanosтун бардык компоненттерин бир Kubernetes кластерине жайгаштыруу кыйын.
VictoriaMetrics жаңы версияга абдан жөнөкөй жаңыртууга ээ. Жөн гана VictoriaMetricsти токтотуп, бинардык файлдарды жаңыртып, аны ишке киргизиңиз. SIGINT сигналы аркылуу токтогондо, бардык VictoriaMetrics бинарлары сонун өчүрүүнү аткарышат. Алар керектүү маалыматтарды туура сактап, эч нерсе жоготпоо үчүн кирген байланыштарды туура жабышат. Ошентип, жаңылоодо эч нерсе жоготпойсуз.
VictoriaMetrics кластерди кеңейтүүнү абдан жеңилдетет. Жөн гана керектүү компоненттерди кошуп, ишти улантыңыз.
Thanos жана VictoriaMetricsдеги тузактар жөнүндө.
Таностун төмөнкүдөй тузактары бар. Prometheus акыркы эки саат үчүн маалыматтарды сактоо керек. Эгер алар жоголуп кетсе, сиз аларды толугу менен жоготосуз, анткени алар S3 сыяктуу Object Storage'ге жазыла элек.
Store Gateway компоненти жана компактор компоненти чоң объект сактагычы менен иштөө үчүн көп эстутумду талап кылышы мүмкүн, эгерде ал жерде сакталган майда файлдар көп болсо. Файлдардын саны жана өлчөмү канчалык көп болсо, метаинформацияны сактоо үчүн ошончолук көп Дүкөн шлюзи жана компактордук оперативдүү эс талап кылынат. Thanosтун буга байланыштуу көптөгөн көйгөйлөрү бар .
Thanos сизде Prometheus көлөмү менен чексиз масштабда жарнамаланат. Бул чындыгында туура эмес. Бардык суроо-талаптар бир эле учурда бардык Store Gateway компоненттерин жана бардык Sidecar компоненттерин сурамжылоону талап кылган Query компоненти аркылуу өткөндүктөн, ал жерден маалыматтарды тартып, анан аны алдын ала иштеп чыгуу керек. Албетте, суроо ылдамдыгы эң жай алсыз шилтеме, эң жай Дүкөн шлюзи же эң жай Sidecar менен чектелет.
Бул компоненттер бирдей эмес жүктөлүшү мүмкүн. Мисалы, сизде Prometheus бар, ал секундасына миллиондогон метрикаларды чогултат. Ал эми секундасына миңдеген метрикаларды чогултуучу Прометей бар. Секундасына миллиондогон метрикаларды чогулткан Prometheus өзү иштеген серверге бир топ жүктү жүктөйт. Демек, Sidecar ал жерде жайыраак иштейт. Ал эми жалпысынан ал жерде баары жай иштейт. Ал эми Query компоненти ал жерден маалыматтарды өтө жай тартат. Демек, бүт кластериңиздин иштеши бул жай Sidecar менен чектелет.
Демейки боюнча, Thanos кээ бир Sidecars жана Store Gateway жеткиликсиз болсо, жарым-жартылай маалыматтарды берет. Мисалы, эгерде сиздин Sidecars дүйнө жүзү боюнча ар кандай маалымат борборлорунда чачырап кетсе, анда туташуунун бузулуу жана компоненттердин жеткиликсиз болуу ыктымалдыгы абдан жогорулайт. Демек, көпчүлүк учурларда сиз билбей туруп жарым-жартылай маалыматтарды аласыз.
VictoriaMetricsтин да тузактары бар. Биринчи тузак VictoriaMetrics кэши үчүн колдонулган RAM көлөмүн чектеген вариант. Демейки боюнча, ал VictoriaMetrics иштеп жаткан машинадагы оперативдүү эстутумдун 60% же Kubernetesтеги VictoriaMetrics подъездинин 60% га барабар.
Эгер сиз бул маанини туура эмес өзгөртсөңүз, VictoriaMetricsтин иштешин бузуп салсаңыз болот. Мисалы, эгер сиз маанини өтө төмөн койсоңуз, маалыматтар VictoriaMetrics кэшине батпай калышы мүмкүн. Ушундан улам ал кошумча жумуш жасап, процессор менен дискти жүктөөгө туура келет. Эгер сиз бул параметрди өтө чоң кылып койсоңуз, анда ал, биринчиден, VictoriaMetrics эстутум катасы менен бузулуп калуу ыктымалдыгын жогорулатат, экинчиден, операциялык тутумдун эс тутумунда оперативдүү эс тутумдун өтө аз калышына алып келет. файл кэш. Ал эми VictoriaMetrics аткаруу үчүн файл кэшине таянат. Бул жетишсиз болсо, дисктеги жүк абдан көбөйүшү мүмкүн. Ошондуктан, кеңеш: өтө зарыл болбосо, параметрди өзгөртпөңүз.
Экинчи вариант. Бул сактоо мөөнөтү - демейки боюнча 1 айга белгиленген мөөнөт. Бул VictoriaMetrics маалыматтарды сактоонун узактыгы. Бул мөөнөт өткөндөн кийин, VictoriaMetrics маалыматтарды жок кылат.
Көптөгөн адамдар VictoriaMetricsти бул параметрсиз иштетип, бир ай бою маалыматтарды жазышат. Анан алар сурашат: эмне үчүн өткөн айдын маалыматтары жок болду? Анткени демейки сактоо мөөнөтү 1 ай. Ошондуктан, туура сактоо мөөнөтүн билип, орнотуу керек.
Келгиле, уникалдуу өзгөчөлүктөрүн карап көрөлү.
Thanos'тун төмөндөгүдөй өзгөчөлүгү бар: көбүнчө 5 мүнөттүк жана сааттык интервалдар . Эгер сиз Google'де издеп, алардын маселесин github'та карасаңыз, анда бул төмөндөтүүгө байланыштуу көптөгөн маселелер бар, ал кээде туура иштебейт же колдонуучулар күткөндөй иштебейт.
Thanosто Prometheus HA жуптары үчүн берилиштерди жокко чыгаруу бар. Эки Prometheus бирдей көрсөткүчтөрдү бир эле максаттардан чогултканда жана Thanos аларды Object Storageде сактайт. Thanos VictoriaMetricsтен айырмаланып, бул маалыматтарды туура дедупликациялай алат.
Thanosтун Thanos схемасында болгон сергек компоненти бар. Бирок ал .
Таностун артыкчылыгы Thanos менен Prometheus бирдей кодду бөлүшөт. Thanos жана Prometheus бир эле иштеп чыгуучулар тарабынан иштелип чыккан. Танос же Прометейди жакшыртуу менен экинчи тарап жеңет.
VictoriaMetrics'тин негизги өзгөчөлүгү - MetricsQL. Бул PromQL үчүн VictoriaMetrics кеңейтүүлөрү, алар жөнүндө мен мурунку чоң мониторинг жолугушуусунда айтканмын.
VictoriaMetrics көптөгөн ар кандай протоколдорду колдонуу менен маалыматтарды жүктөөнү колдойт. VictoriaMetrics Прометейден маалыматтарды гана кабыл албастан, Influx, OpenTSDB жана Graphite протоколдору аркылуу да кабыл алат.
VictoriaMetrics маалыматтары Thanos жана Prometheus менен салыштырганда бир топ аз орунду ээлейт.
Эгер сиз чыныгы маалыматтарды жазсаңыз, колдонуучулар Prometheus жана Thanos менен салыштырганда дисктеги маалыматтардын көлөмү 2-5 эсеге кыскарганын айтышат.
VictoriaMetricsтин дагы бир артыкчылыгы - ал ылдамдык үчүн оптималдаштырылган.
Инфраструктуранын баасын карап көрөлү.
Thanosтун артыкчылыктарынын бири - бул объект сактагычында маалыматтарды сактайт, бул салыштырмалуу арзан.
Объект сактагычында маалыматтарды сактоодо, сиз маалыматтарды жазуу жана окуу операциялары үчүн төлөшүңүз керек (бир миллион операция үчүн $10). Объект сактагычына маалыматтарды жазганда, сиз Интернетке маалыматтарды жүктөө үчүн хостинг чыгымдарыңызды төлөйсүз, эгерде сиздин кластериңиз AWSде болбосо, ал жерде акысыз. Дайындарды окуганыңызда 10 ТБ үчүн 230 доллардан 1 долларга чейин төлөйсүз. Эгер сиз Thanos кластеринен тарыхый маалыматтарды тез-тез сурап турсаңыз, бул маанилүү болушу мүмкүн.
Thanos кластери үчүн сиз Compact, Store Gateway, көп эстутумду талап кылган Query компоненттери жана чоң көлөмдөгү маалымат үчүн CPU үчүн серверлер үчүн төлөшүңүз керек.
VictoriaMetrics төмөнкү чыгымдарды камтыйт. Эгер сиз маалыматтарды GCE HDD дисктеринде сактасаңыз, анда ал 40ТБ үчүн 1 долларга чейин чыгат. VictoriaMetrics үчүн кадимки HDD дисктери жетиштүү эмес, баасы беш эсе кымбат. VictoriaMetrics HDD үчүн оптималдаштырылган.
VictoriaMetrics компоненттер үчүн серверлерди талап кылат: Thanos компоненттеринен айырмаланып, CPU жана оперативдүү эстутум бир топ азыраак талап кылынган жалгыз же кластердик компоненттер - жана ошого жараша арзаныраак болот.
Ишке ашыруунун мисалдары.
Thanosтун Gitlabда ишке ашыруу мисалы бар. Gitlab толугу менен Thanosто иштейт. Бирок ал жерде баары ушунчалык жылмакай эмес. Аларды карасаң , анда алар дайыма кээ бир бар экенин көрө аласыз : Store Gateway же Query компоненттери үчүн эстутум жетишсиз. Алар дайыма эс көлөмүн көбөйтүү керек.
Мындан улам бул көйгөйлөрдү чечүүгө кеткен чыгымдар көбөйүүдө.
Ийгиликтүү болушу мүмкүн болгон экинчи ишке ашыруу Thanosту иштеп чыгууну баштаган Improbable компаниясы. Алар Thanos булак кодун жарыялашты. Improbable - бул оюн кыймылдаткычтарын иштеп чыгуучу компания.
VictoriaMetrics коомдук ишке ашыруу мисалдары бар:
- wix.com веб-сайт куруучусу
- Adidas VictoriaMetricsти ишке ашырууда жана ал тургай акыркы PromCon 2019да презентация жасады
- TrafficStars - жарнама тармагы
- Seznam.cz популярдуу Чех издөө системасы болуп саналат.
Анан мен азыр атай албай турган эч кандай аты жок компаниялар болгон. Алар макул болгон жок.
- Бир негизги оюн иштеп чыгуучу. Improbable караганда чоңураак.
- Негизги графикалык программалык камсыздоону иштеп чыгуучу.
- Россиянын ири банкы.
- VictoriaMetricsти ийгиликтүү сынаган европалык шамал турбинасы өндүрүүчүсү. Бул өндүрүүчү шамал турбиналарынан чогултулган маалыматтарды сенсоруна секундасына 50 үлгүлөрдү көзөмөлдөө үчүн VictoriaMetrics программасын ишке ашырып жатат. Ар бир шамал турбинасында бир нече жүз датчиктер бар. Аларда бир нече жүздөгөн шамал турбиналары бар.
- VictoriaMetrics ишке ашырууну каалаган орус авиакомпаниялары, бирок дагы эле мүмкүн эмес. Биз алар менен келишим стадиясында турабыз.
Корутунду.
VictoriaMetrics жана Thanos окшош маселелерди чечет, бирок ар кандай жолдор менен:
- Глобалдык суроо көрүнүшү
- горизонталдуу масштабдоо
- өзүм билемдик менен кармоо
рахмат.
Биз сизди биздин сайтта күтөбүз .
Сурамжылоого катталган колдонуучулар гана катыша алышат. , өтүнөмүн.
Prometheus үчүн узак мөөнөттүү сактоо катары эмнени колдоносуз?
35,3%Thanos6
0,0%Cortex0
0,0%M3DB0
41,2%VictoriaMetrics7
23,5%башка4
17 колдонуучу добуш берди. 16 колдонуучу добуш берүүдөн баш тартты.
Source: www.habr.com
