د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

سلام و ټولو ته. لاندې نقل دی د لوی څارنې غونډې 4 راپور.

Prometheus - د مختلف سیسټمونو او خدماتو لپاره د څارنې سیسټم چې د سیسټم مدیران کولی شي د سیسټمونو اوسني پیرامیټونو په اړه معلومات راټول کړي او د سیسټمونو په عملیاتو کې د انحراف په اړه خبرتیا ترلاسه کولو لپاره خبرتیاوې تنظیم کړي.

په راپور کې به پرتله کول شامل وي Thanos и ویکتوریا میټریک - د پرومیټیوس میټریکونو اوږدمهاله ذخیره کولو پروژې.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

لومړی، زه به تاسو ته د Prometheus په اړه ووایم. دا د څارنې سیسټم دی چې د ټاکل شوي هدفونو څخه میټریکونه راټولوي او محلي ذخیره کې یې خوندي کوي. پرومیټیوس کولی شي لیرې ذخیره کولو لپاره میټریک ثبت کړي او کولی شي خبرتیاوې او د ثبت کولو قواعد رامینځته کړي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د پرومیتیس محدودیتونه:

  • دا د نړیوالې پوښتنې لید نلري. دا هغه وخت دی چې تاسو د پرومیتیس ډیری خپلواک مثالونه لرئ. دوی میټریکونه راټولوي. او تاسو غواړئ د دې ټولو میټریکونو په سر کې پوښتنه وکړئ چې د مختلف پرومیتیس مثالونو څخه راټول شوي. پرومیتیوس دا اجازه نه ورکوي.
  • د پرومیتیس سره، فعالیت یوازې یو سرور پورې محدود دی. Prometheus په اتوماتيک ډول په څو سرورونو کې اندازه نه کوي. تاسو کولی شئ یوازې په لاسي ډول خپل هدفونه د څو پرومیتیوس ترمینځ وویشئ.
  • په پرومیټیوس کې د میټریکونو ساحه د ورته دلیل لپاره یوازې یو سرور پورې محدوده ده چې دا نشي کولی په اتوماتيک ډول په ډیری سرورونو کې اندازه شي.
  • په Prometheus کې د معلوماتو خوندیتوب تنظیم کول دومره اسانه ندي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د دې ستونزو او ننګونو د حل لارې؟

د حل لارې یې دا دي:

دا ټول حلونه د پرومیټیوس لخوا راټول شوي ډیټا لیرې ذخیره کولو لپاره دي. دوی د تیرو سلایډ څخه د ریموټ ذخیره کولو ستونزه په بیلابیلو لارو حل کوي. پدې پریزنټشن کې به زه یوازې د لومړي دوه حلونو په اړه وغږیږم: Thanos и ویکتوریا میټریک.

د لومړي ځل لپاره په اړه معلومات Thanos لخوا ښکاره شو دا لینک. معماري هلته تشریح شوې ده Thanos او دا څنګه کار کوي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

تانوس هغه معلومات اخلي چې پرومیټیوس محلي ډیسک ته خوندي کړي او S3 ته یې کاپي کوي. GCS یا بل شی ذخیره کولو ته.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

په دې توګه Thanos د نړیوالې پوښتنې لید وړاندې کوي. تاسو کولی شئ د ډیری پرومیټیوس مثالونو څخه د اعتراض ذخیره کې ذخیره شوي ډیټا پوښتنه وکړئ.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

Thanos د PromQL ملاتړ کوي او Prometheus querying API.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

Thanos د معلوماتو ذخیره کولو لپاره پرومیتیس کوډ کاروي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

تانوس د پرومیټیوس په څیر د ورته پراختیا کونکو لخوا رامینځته شوی.

په ویکتوریا میټریک. دلته لینک، چیرې چې موږ لومړی په اړه خبرې وکړې ویکتوریا میټریک.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

VictoriaMetrics د څو prometheus څخه معلومات ترلاسه کوي ریموټ لیکل API پروتوکول د Prometheus لخوا ملاتړ شوی.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

VictoriaMetrics د نړیوالې پوښتنې لید وړاندې کوي، ځکه چې ډیری پرومیتیوس مثالونه کولی شي یو ویکتوریا میټریک ته ډاټا ولیکي. په دې اساس، تاسو کولی شئ د دې ټولو معلوماتو په اړه پوښتنې وکړئ.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

VictoriaMetrics هم ملاتړ کوي، لکه Thanos، PromQL او Prometheus querying API.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د Thanos برعکس، د VictoriaMetrics سرچینې کوډ له سکریچ څخه لیکل شوی او د سرعت او سرچینې مصرف لپاره غوره شوی.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

VictoriaMetrics، د Thanos برعکس، دواړه عمودی او افقی اندازه کوي. خوړل د واحد نوډ نسخه، کوم چې په عمودی توګه اندازه کیږي. تاسو کولی شئ د یو پروسیسر او 1 GB حافظې سره پیل کړئ او په تدریج سره سل پروسیسرونو او 1 TB حافظې ته وده ورکړئ. VictoriaMetrics کولی شي دا ټولې سرچینې وکاروي. د دې فعالیت به د 100 کور سیسټم په پرتله شاوخوا 1 ځله زیات شي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د تانوس تاریخ د نومبر په 2017 کې پیل شو ، کله چې لومړی عامه ژمنې څرګندې شوې. مخکې له دې، Thanos په داخلي توګه وده کړې وه improbable.io.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د 2019 په جون کې د 0.5.0 یو تاریخي خپرونه وه، په کوم کې لرې شوی خفه پروتوکول هغه د تاانوس څخه لیرې شو ځکه چې هغه ښه کار نه کاوه. ډیری وختونه د Thanos کلستر په سمه توګه کار نه کاوه، نوډونه د ګپ شپ پروتوکول له امله په غلط ډول سره وصل شوي. له همدې امله، موږ پریکړه وکړه چې هغه له هغه ځایه لرې کړو. زما په اند دا سمه پریکړه ده.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

په ورته جون 2019 کې، دوی د غوښتنلیک شمیره واستوله 256 в د بادل اصلي کمپیوټري بنسټ.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

او د څو میاشتو وروسته تانوس ومنل شو د بادل اصلي کمپیوټري بنسټپه کوم کې چې پرومیتیوس، کبرنیټس او نورې مشهورې پروژې شاملې دي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د جنوري په 2018 کې، د ویکتوریا میټریک پراختیا پیل شوه.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

په سپتمبر 2018 کې، ما په عامه توګه د لومړي ځل لپاره ویکتوریا میټریک یادونه وکړه.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

په دسمبر 2018 کې، یو واحد نوډ نسخه خپره شوه.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د مې په میاشت کې خپاره شول د دواړو واحد نوډ او کلستر نسخو سرچینې.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د 2019 په جون کې، د تانوس په څیر، موږ د شمیرې لاندې د CNCF بنسټ ته یو غوښتنلیک وړاندې کړ 255. موږ یوه ورځ مخکې د Thanos غوښتنه وکړه.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

مګر، له بده مرغه، موږ لاهم هلته نه دي منل شوي. د ټولنې مرستې ته اړتیا ده.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

راځئ چې خورا مهم سلایډونه وګورو چې د تانوس او ویکتوریا میټریک جوړښت ښیې.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

راځئ چې د Thanos سره پیل وکړو. ژیړ اجزا د Prometheus اجزا دي. نور هرڅه د Thanos اجزا دي. راځئ چې د خورا مهم برخې سره پیل وکړو. Thanos Sidecar یوه برخه ده چې د هر Prometheus تر څنګ نصب شوی. دا د محلي ذخیرې څخه S3 یا بل آبجیکٹ ذخیره کې د Prometheus ډیټا باروي.

د Thanos Store Gateway په نوم یوه برخه هم شتون لري، کوم چې کولی شي دا ډاټا د Thanos Query څخه د راتلونکو غوښتنو په اړه د آبجیکٹ ذخیره څخه ولولي. Thanos Query PromQL او Prometheus API پلي کوي. دا دی، له بهر څخه دا د Prometheus په څیر ښکاري. د PromQL پوښتنې ترلاسه کوي، د Thanos Store Gateway ته لیږي، د Thanos Store Gateway د آبجیکٹ ذخیره څخه اړین معلومات ترلاسه کوي، بیرته لیږي.

مګر موږ د Thanos Sidecar پلي کولو ځانګړتیا له امله په تیرو دوه ساعتونو کې پرته د آبجیکٹ ذخیره کې ډاټا ذخیره کوو ، کوم چې نشي کولی وروستي دوه ساعته د آبجیکٹ ذخیره S3 ته اپلوډ کړي ، ځکه چې پرومیټیوس لاهم په ځایی ذخیره کې د دې دوه ساعتونو لپاره فایلونه ندي رامینځته کړي.

تاسو څنګه پریکړه وکړه چې د دې شاوخوا ترلاسه کړئ؟ د Thanos Query، د Thanos Store ګیټ وے ته د غوښتنو سربیره، هر Thanos Sidecar ته موازي غوښتنې لیږي، کوم چې د پرومیتیس تر څنګ موقعیت لري.

او Thanos Sidecar، په بدل کې، پراکسي پرومیټیوس ته نور غوښتنه کوي، او د تیرو دوو ساعتونو لپاره ډاټا بیرته ترلاسه کوي.

د دې اجزاو سربیره ، یو اختیاري برخه هم شتون لري چې پرته یې Thanos به ښه فعالیت ونه کړي. دا د Thanos تړون دی، کوم چې د آبجیکٹ ذخیره کې کوچني فایلونه په لویو فایلونو کې یوځای کولو مسولیت لري چې دلته د Thanos Sidecars لخوا اپلوډ شوي. Thanos Sidecar هلته په دوه ساعتونو کې د ډیټا فایلونه اپلوډ کوي. دا فایلونه، که دوی په لویو فایلونو کې یوځای نشي، نو د دوی شمیر خورا د پام وړ وده کولی شي. هرڅومره چې دا ډول فایلونه ، د Thanos Store Gateway لپاره ډیرې حافظې ته اړتیا وي ، په شبکه او میټاډاټا کې د ډیټا لیږدولو لپاره ډیرو سرچینو ته اړتیا ده. د تانوس پلورنځي دروازه غیر مؤثره کیږي. له همدې امله ، دا اړینه ده چې د Thanos Compact چل کړئ ، کوم چې کوچني فایلونه په لویو کې سره یوځای کوي ، ترڅو دا ډول فایلونه لږ وي او د Thanos Store Gateway کې د سر سر کم کړي.

د Thanos Ruler په څیر داسې برخه هم شتون لري. دا د پرومیتیس خبرتیا مقررات اجرا کوي او کولی شي د پرومیتیس ثبت کولو قواعد ارزونه وکړي ترڅو ډاټا بیرته د آبجیکٹ ذخیره ته ولیکي. مګر دا اجزا د کارولو سپارښتنه نه کیږي، ځکه چې ... هغه نامکمل معلومات بیرته راګرځوي.

دا د Thanos ساده سکیم دی.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

اوس راځئ چې دا د ویکتوریا میټریکس سکیم سره پرتله کړو.

VictoriaMetrics دوه نسخې لري: واحد نوډ او کلستر نسخه. واحد نوډ په یو کمپیوټر کې چلیږي. واحد نوډ دا اجزا نلري، یوازې یو بائنری. په سلایډ کې دا بائنری د دې مربع په څیر ښکاري. هرڅه چې د مربع دننه دي د واحد نوډ نسخه لپاره د بائنری فایل مینځپانګه ده. تاسو اړتیا نلرئ د هغه په ​​​​اړه پوه شئ. تاسو یوازې بائنری چلوئ او هرڅه زموږ لپاره کار کوي.

د کلستر نسخه خورا پیچلې ده. د دې دننه درې مختلف برخې شتون لري: vmselect، vminsert او vmstorage. د دوی له نوم څخه دا باید روښانه شي چې هر یو یې څه کوي. د داخلولو برخه په مختلف شکلونو کې ډاټا مني: د پرومیټیوس ریموټ رائټ API څخه، د انفلوکس لاین پروتوکول، د ګرافیټ پروتوکول او د OpenTSDB پروتوکول. د داخلولو برخه دوی مني، تحلیلوي او د موجوده ذخیره کولو اجزاوو ترمنځ یې ویشي، چیرته چې ډاټا دمخه زیرمه شوې. د انتخاب برخه، په بدل کې، د PromQL پوښتنې مني. هغه پلي کوي PromQL، په بیله بیا د Prometheus پوښتنې API، او دا په Grafana یا نورو Prometheus API مراجعینو کې د Prometheus لپاره د بدیل په توګه کارول کیدی شي. انتخاب د promql غوښتنه مني، تجزیه کوي، د ذخیره کولو نوډونو څخه د دې غوښتنې پلي کولو لپاره اړین معلومات لولي، دا ډاټا پروسس کوي او ځواب بیرته راولي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

راځئ چې د Thanos او VictoriaMetrics نصبولو پیچلتیا پرتله کړو.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

راځئ چې د Thanos سره پیل وکړو. مخکې لدې چې تاسو د Thanos سره کار پیل کړئ ، تاسو اړتیا لرئ د آبجیکٹ ذخیره کې یو بالټ رامینځته کړئ ، لکه S3 یا GCS ، ترڅو Thanos Sidecar دې ته ډیټا ولیکي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

بیا د هر پرومیټیوس لپاره تاسو اړتیا لرئ د تانوس سایډکار نصب کړئ. مخکې له دې، تاسو باید په یاد ولرئ چې په Prometheus کې د ډیټا کمپیکیشن غیر فعال کړئ. د ډیټا کمپیکشن په دوره توګه د سرچینې مصرف کمولو لپاره په محلي پرومیتیوس ذخیره کې ډیټا کمپریس کوي.

کله چې تاسو په خپل Prometheus کې Thanos Sidecar نصب کړئ، تاسو باید د دې ډیټا کمپیکیشن غیر فعال کړئ ځکه چې Thanos Sidecar د ډیټا کمپیکیشن فعال شوي سره سم کار نه کوي. دا پدې مانا ده چې ستاسو پرومیټیوس په دوه ساعتونو بلاکونو کې د معلوماتو خوندي کول پیل کوي او په لویو بلاکونو کې د دې بلاکونو یوځای کول ودروي. په دې اساس، که تاسو داسې پوښتنې وکړئ چې د تیرو دوه ساعتونو مودې څخه زیاتې وي، نو دوی به په اغیزمنه توګه کار ونکړي لکه څنګه چې دوی کولی شي کار وکړي که د ډیټا کمپیکیشن فعال شوی وي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

له همدې امله، Thanos وړاندیز کوي چې په محلي ذخیره کې د معلوماتو ساتلو وخت 6-8 ساعتونو ته راټیټ کړي ترڅو د لوی شمیر کوچني بلاکونو سر کم کړي.

یوځل چې تاسو د Thanos Sidecar نصب کړئ، تاسو باید د هر آبجیکٹ ذخیره کولو بالټ لپاره دوه برخې نصب کړئ. دا د Thanos Compactor او Thanos Store Gateway دي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

له هغې وروسته ، تاسو اړتیا لرئ د Thanos Query نصب کړئ او تنظیم یې کړئ ترڅو دا وکولی شي د تاانوس پلورنځي ټولو ګیټ ویزونو سره وصل شي چې تاسو یې لرئ ، او کولی شي د ټانوس سایډکارونو سره هم وصل شي.

دلته ممکن یو څه ستونزه وي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

تاسو اړتیا لرئ د Thanos Query څخه دې برخو ته د اعتماد وړ او خوندي پیوستون تنظیم کړئ. او که ستاسو پرومیټیوس په مختلف ډیټا مرکزونو کې موقعیت لري ، یا په مختلف VPCs کې ، نو بیا له بهر څخه دوی سره اړیکې منع دي. مګر د Thanos پوښتنې د کار کولو لپاره ، تاسو اړتیا لرئ په یو ډول هلته پیوستون تنظیم کړئ ، او تاسو باید یوه لاره ومومئ.

که تاسو ډیری داسې ډیټا مرکزونه لرئ، نو بیا، د ټول سیسټم اعتبار کمیږي. له هغه ځایه چې د Thanos پوښتنې باید په دوامداره توګه د مختلف ډیټا مرکزونو کې موقعیت لرونکي ټولو Thanos Sidecars سره اړیکې وساتي. د هرې راتلوونکي غوښتنې لپاره ، دا به د ټانوس سایډکار ټولو ته غوښتنې واستوي. که پیوستون ودرول شي، نو تاسو به یا د معلوماتو نیمګړتیا ترلاسه کړئ، یا تاسو به د "کلستر ښکته دی" ځواب ترلاسه کړئ.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

په ویکتوریا میټریکس کې هرڅه یو څه ساده دي. د واحد نوډ نسخه لپاره ، تاسو اړتیا لرئ یو بائنری چل کړئ او هرڅه کار کوي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

په کلستر نسخه کې، دا کافي ده چې پورته ټول درې ډوله اجزا په هر مقدار کې چې تاسو ورته اړتیا لرئ چل کړئ، یا کاروئ. هیلم چارټ په Kubernetes کې د اجزاوو لانچ اتومات کول. موږ په پام کې لرو چې د کوبرنیټس آپریټر جوړ کړو. د هیلم چارټ ځینې قضیې نه پوښي او تاسو ته اجازه درکوي خپل ځان په پښو ډزې وکړئ. د مثال په توګه، دا تاسو ته اجازه درکوي د ذخیره کولو نوډونو شمیر کم کړئ، کوم چې به د معلوماتو ضایع کیدو المل شي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

وروسته له دې چې تاسو یو بائنری یا کلستر شوی نسخه په لاره واچوله، تاسو اړتیا لرئ چې پرومیټیوس په ترتیب کې اضافه کړئ د ریموټ لیکلو یو آر ایل لپاره تنظیم کولنو دا د ځایی ذخیره کولو او لیرې ذخیره کولو سره موازي د معلوماتو لیکل پیل کوي. لکه څنګه چې تاسو لیدلی شئ، دا ترتیب باید د Thanos ترتیب په پرتله خورا ډیر د باور وړ ترسره کړي. موږ اړتیا نلرو چې د ویکتوریا میټریکس څخه ټول پرومیتیس سره اړیکه وساتو ، ځکه چې پرومیټیوس پخپله د ویکتوریا میټریکس سره وصل کیږي او ډیټا لیږدوي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

راځئ چې د Thanos او VictoriaMetrics ملاتړ په پام کې ونیسو.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

Thanos اړتیا لري د سایډکار څارنه وکړي ترڅو ډاډ ترلاسه کړي چې دوی د آبجیکٹ ذخیره کې د ډیټا بارولو مخه نه نیسي. دوی ممکن د ډاونلوډ غلطیو له امله دا ډیټا ډاونلوډ ودروي، د بیلګې په توګه ستاسو د شبکې اتصال د آبجیکٹ ذخیره کولو سره په موقتي توګه مداخله شوې، یا د آبجیکٹ ذخیره په لنډمهاله توګه شتون نلري. Thanos Sidecar به پدې وخت کې دا خبر کړي، د یوې تېروتنې راپور ورکړي، کیدای شي ټکر شي او بیا کار ودروي. که تاسو دا څارنه ونه کړئ، نو تاسو به د آبجیکٹ ذخیره ته د معلوماتو لیږد ودروئ. که د ساتلو وخت تیر شي (6-8 ساعته وړاندیز شوی)، نو تاسو به هغه معلومات له لاسه ورکړئ چې د آبجیکٹ ذخیره کې پای ته نه رسیدلي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د Thanos کمپیکټرونه ممکن د دې له امله کار ودروي د Sidecar سره ریس. کمپیکټرونه د آبجیکٹ ذخیره کولو څخه ډاټا اخلي او د ډیټا لویو ټوټو کې یې یوځای کوي. څرنګه چې کمپیکټرونه د Sidecars سره همغږي شوي ندي، نو دا پیښ کیدی شي: Sidecar لاهم د بلاک بشپړولو لپاره وخت نه لري، کمپیکټر پریکړه کوي چې دا بلاک په بشپړ ډول لیکل شوی. کمپیکټر یې په لوستلو پیل کوي. دا بلاک په بشپړ ډول نه لوستل کیږي او کار بندوي. تفصيلات وګورئ دلته.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د پلورنځي ګیټ وے ممکن د کمپیکټر او سایډکارونو ترمینځ د ریسونو له امله متضاد معلومات بیرته راولي. دا دلته ورته شی دی ، ځکه چې د پلورنځي ګیټ ویز په هیڅ ډول د کمپیکټرونو او سایډکارونو سره همغږي ندي. په دې اساس، د ریس شرایط ممکن واقع شي کله چې د پلورنځي ګیټ وے د معلوماتو برخه ونه ګوري یا غیر ضروري معلومات وګوري.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

په Thanos کې د پوښتنو برخه په ډیفالټ ډول یوه برخه پایله بیرته راګرځوي که چیرې ځینې سایډ کار یا د پلورنځي ګیټ ویز اوس مهال شتون نلري. تاسو به د معلوماتو برخه ترلاسه کړئ، او تاسو به حتی نه پوهیږئ چې تاسو ټول معلومات ندي ترلاسه کړي. دا څنګه د ډیفالټ په واسطه کار کوي. په ورته حالت کې، VictoriaMetrics د جزوي په توګه نښه شوي ډاټا بیرته راولي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د Thanos برعکس، VictoriaMetrics په ندرت سره ډاټا له لاسه ورکوي. حتی که چیرې د پرومیټیوس څخه ویکتوریا میټریکس پورې اړیکه مداخله وي ، دا کومه ستونزه نده ، ځکه چې پرومیټیوس د رایټ ایډ لاګ کې راتلونکي نوي ډیټا ثبتولو ته دوام ورکوي ، چې اندازه یې 2 ساعته ده. که تاسو په دوه ساعتونو کې د VictoriaMetrics سره خپل اړیکه بحال کړئ، ستاسو ډاټا به له لاسه ورنکړي. Prometheus د VictoriaMetrics سره د پیوستون له بحالولو وروسته ډاټا اضافه کولی شي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د Thanos برعکس، کوم چې یوازې دوه ساعته وروسته د اعتراض ذخیره کولو لپاره ډاټا لیکي، پرومیټیوس په اتوماتيک ډول د ریموټ لیکلو پروتوکول په کارولو سره د ریموټ ذخیره کولو لپاره ډاټا نقلوي، لکه VictoriaMetrics. تاسو په Prometheus کې د ځایی ذخیره له لاسه ورکولو څخه ویره نلرئ. که چیرې هغه ناڅاپه ځایی ذخیره له لاسه ورکړي، نو په بدترین حالت کې به تاسو د وروستي ثانیو ډاټا له لاسه ورکړي چې په لیرې ذخیره کې د ثبت کولو وخت نه درلود.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

Kubernetes په اتوماتيک ډول کلستر اداره کوي، د Thanos برعکس. دا ستونزمنه ده چې د Thanos ټولې برخې په یو Kubernetes کلستر کې ځای په ځای کړئ، برعکس د VictoriaMetrics کلستر اجزا.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

VictoriaMetrics نوې نسخه ته خورا ساده تازه معلومات لري. یوازې VictoriaMetrics ودروئ، بائنری تازه کړئ او پیل یې کړئ. کله چې د SIGINT سیګنال له لارې ودرول شي، ټول VictoriaMetrics بائنریز په زړه پورې بند ترسره کوي. دوی په سمه توګه اړین معلومات خوندي کوي، راتلونکي اړیکې په سمه توګه وتړي ترڅو هیڅ شی له لاسه ورنکړي. نو تاسو به د نوي کولو پرمهال هیڅ شی له لاسه ورنکړئ.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

VictoriaMetrics د کلستر پراخول خورا اسانه کوي. یوازې اړین برخې اضافه کړئ او کار ته دوام ورکړئ.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

په Thanos او VictoriaMetrics کې د زیانونو په اړه.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

Thanos لاندې نیمګړتیاوې لري. Prometheus باید د تیرو دوو ساعتونو لپاره ډاټا ذخیره کړي. که دوی ورک شي نو تاسو به یې په بشپړ ډول له لاسه ورکړئ ځکه چې دوی لاهم د S3 په څیر د آبجیکٹ ذخیره کې ندي لیکل شوي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د سټور ګیټ وے اجزا او کمپیکټر اجزا کولی شي د لوی آبجیکٹ ذخیره کولو سره کار کولو لپاره ډیری حافظې ته اړتیا ولري که چیرې هلته ډیری کوچني فایلونه زیرمه شوي وي. هرڅومره چې د فایلونو شمیر او اندازه زیاته وي ، هومره د سټور ګیټ وے او کمپیکټر RAM د میټین معلومات ذخیره کولو لپاره اړین دي. تانوس د دې حقیقت په اړه ډیری مسلې لري د ثبت شوي معلوماتو اوسط حجم سره د ګیټ وے او کمپیکټر حادثې ذخیره کړئ.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

Thanos اعلان شوی ترڅو د پرومیتیس مقدار سره چې تاسو یې لرئ په غیر مستقیم ډول اندازه کړئ. دا په حقیقت کې ریښتیا نه ده. له هغه ځایه چې ټولې غوښتنې د پوښتنې برخې له لارې تیریږي، کوم چې باید په ورته وخت کې د سټور ګیټس ټولې برخې او د سایډکار ټولې برخې رایه ورکړي، له هغه ځایه ډاټا راوباسئ او بیا یې پری پروسس کړئ. په ښکاره ډول ، د غوښتنې سرعت د خورا ورو ضعیف لینک لخوا محدود دی ، ترټولو ورو سټور ګیټ وے یا ورو سایډ کار.

دا اجزا ممکن په غیر مساوي ډول بار شوي وي. د مثال په توګه، تاسو Prometheus لرئ، کوم چې په هره ثانیه کې ملیونونه میټریکونه راټولوي. او دلته پرومیتیوس شتون لري، چې په هره ثانیه کې زرګونه میترونه راټولوي. Prometheus، چې په هره ثانیه کې ملیونونه میټریکونه راټولوي، په هغه سرور باندې ډیر لوړ بار اچوي چې دا پرمخ ځي. په دې اساس، Sidecar هلته ورو کار کوي. او په عموم کې هرڅه په ورو ورو کار کوي. او د پوښتنې جز به له هغه ځایه ډیر ورو ورو ډیټا راوباسي. په دې اساس، ستاسو د ټول کلستر فعالیت به د دې ورو سایډکار لخوا محدود وي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د ډیفالټ په واسطه، Thanos جزوي معلومات ورکوي که چیرې ځینې سایډکارونه او یا د پلورنځي ګیټ وے شتون نلري. د مثال په توګه، که ستاسو سایډکارونه د نړۍ په مختلفو ډیټا مرکزونو کې ویشل شوي وي، نو د پیوستون ناکامۍ او د برخې نشتوالي احتمال خورا ډیریږي. په دې اساس، په ډیری قضیو کې تاسو به حتی د پوهیدو پرته جزوي معلومات ترلاسه کړئ.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

ویکتوریا میټریکس هم زیانونه لري. لومړی زیان هغه اختیار دی چې د ویکتوریا میټریکس کیچ لپاره کارول شوي رام مقدار محدودوي. په ډیفالټ ، دا په ماشین کې د RAM 60٪ سره مساوي دی چیرې چې ویکتوریا میټریکس چلیږي یا په کوبرنیټس کې د ویکتوریا میټریکس پوډ 60٪ رام سره.

که تاسو دا ارزښت په غلط ډول بدل کړئ، تاسو کولی شئ د ویکتوریا میټریک فعالیت خراب کړئ. د مثال په توګه، که تاسو ارزښت ډیر ټیټ کړئ، ډاټا ممکن نور د ویکتوریا میټریک کیچ کې مناسب نه وي. د دې له امله، هغه باید اضافي کار وکړي او پروسیسر او ډیسک بار کړي. که تاسو دا اختیار خورا لوی کړئ ، نو دا به ډیریږي ، لومړی ، د ویکتوریا میټریک احتمال به د حافظې څخه بهر د غلطۍ سره ټکر شي ، او دوهم ، دا به د دې حقیقت لامل شي چې د عملیاتي سیسټم حافظه کې به خورا لږ RAM پاتې وي. د فایل زیرمه. او VictoriaMetrics د فعالیت لپاره د فایل کیچ باندې تکیه کوي. که دا کافي نه وي، په ډیسک کې بار کولی شي خورا زیات شي. له همدې امله، مشوره: پیرامیټر مه بدلوئ پرته لدې چې بالکل اړین وي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

دوهم انتخاب. دا د ساتلو موده ده - یوه دوره چې د ډیفالټ لخوا 1 میاشت ټاکل شوې. دا د وخت اوږدوالی دی VictoriaMetrics ډاټا ذخیره کوي. د دې مودې وروسته، VictoriaMetrics ډاټا حذف کوي.

ډیری خلک د دې پیرامیټر پرته VictoriaMetrics چلوي او د یوې میاشتې لپاره ډاټا ثبتوي. او بیا دوی پوښتنه کوي: ولې د تیرې میاشتې معلومات ورک شوي؟ ځکه چې د اصلي ساتلو موده 1 میاشت ده. له همدې امله، تاسو اړتیا لرئ چې پوه شئ او د ساتلو سمه موده وټاکئ.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

راځئ چې د ځانګړو ځانګړتیاوو په اړه یو نظر وګورو.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

Thanos یو ځانګړتیا لري چې د ښکته نمونې په نوم یادیږي: 5 دقیقې او ساعت وقفې، چې ډیری وختونه په سمه توګه کار نه کوي. که تاسو ګوګل وکړئ او د دوی مسله په ګیتوب کې وګورئ ، د دې ښکته نمونې پورې اړوند ډیری مسلې شتون لري ، چې دا ځینې وختونه سم کار نه کوي ، یا لکه څنګه چې کارونکي تمه کوي کار نه کوي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

Thanos د Prometheus HA جوړه لپاره د ډیټا ډیپلیکیشن لري. کله چې دوه پرومیتیوس د ورته هدفونو څخه ورته میټریک راټولوي او تانوس یې د آبجیکٹ ذخیره کې ذخیره کوي. Thanos کولی شي دا ډاټا په سمه توګه نقل کړي، د VictoriaMetrics برعکس.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

Thanos د خبرتیا برخه لري چې د Thanos سکیمیک کې وه. خو هغه په تولید کې د کارولو لپاره سپارښتنه نه کیږي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

Thanos ګټه لري چې Thanos او Prometheus ورته کوډ شریکوي. Thanos او Prometheus د ورته پراختیا کونکو لخوا رامینځته شوي. د تانوس یا پرومیتیس د پرمختګونو سره، بل اړخ وګټي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د VictoriaMetrics اصلي ځانګړتیا MetricsQL دی. دا د PromQL لپاره د VictoriaMetrics توسیعونه دي، کوم چې ما د تیر لوی څارنې په اړه خبرې وکړې.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

VictoriaMetrics د ډیری مختلف پروتوکولونو په کارولو سره د ډیټا بارولو ملاتړ کوي. VictoriaMetrics نه یوازې د Prometheus څخه ډاټا مني، بلکه د انفلوکس، OpenTSDB او Graphite پروتوکولونو له لارې هم.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د VictoriaMetrics ډاټا د Thanos او Prometheus په پرتله خورا لږ ځای نیسي.

که تاسو ریښتیني ډاټا ثبت کړئ ، کارونکي د پرومیټیوس او ټانوس په پرتله په ډیسک کې د ډیټا اندازه کې د 2-5 ځله کمیدو په اړه خبرې کوي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د VictoriaMetrics بله ګټه دا ده چې دا د سرعت لپاره مطلوب دی.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

راځئ چې د زیربنا لګښت وګورو.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د Thanos یوه ګټه دا ده چې دا د شیانو ذخیره کې ډاټا ذخیره کوي، کوم چې نسبتا ارزانه دی.

کله چې د شیانو ذخیره کې ډاټا ذخیره کړئ، تاسو باید د معلوماتو لیکلو او لوستلو عملیاتو لپاره پیسې ورکړئ (په هر ملیون عملیاتو کې $ 10). کله چې تاسو د اعتراض ذخیره کولو لپاره ډاټا ولیکئ، تاسو انټرنیټ ته د معلوماتو اپلوډ کولو لپاره د کوربه کولو لګښتونه تادیه کوئ؛ که ستاسو کلستر په AWS کې نه وي، دا هلته وړیا دی. کله چې تاسو ډاټا ولولئ، تاسو په هر 10TB کې $ 230 او $ 1 تادیه کوئ. دا د پام وړ کیدی شي که تاسو په مکرر ډول د Thanos کلستر څخه تاریخي معلومات وپوښتئ.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د Thanos کلستر لپاره، تاسو اړتیا لرئ چې د کمپیکٹ، سټور ګیټ وے، د پوښتنو اجزاو لپاره سرورونو ته پیسې ورکړئ چې ډیری حافظې ته اړتیا لري، او CPU د ډیرو معلوماتو لپاره.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

VictoriaMetrics لاندې لګښتونه لري. که تاسو د GCE HDD ډرایو کې ډاټا ذخیره کړئ، نو دا د 40TB لپاره $ 1 ته راځي. د VictoriaMetrics لپاره، عادي HDD ډرایوونه کافي دي؛ هیڅ SSDs، چې پنځه چنده ډیر لګښت لري، اړتیا نلري. ویکتوریا میټریکس د HDD لپاره مطلوب دی.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

VictoriaMetrics د اجزاوو لپاره سرورونو ته اړتیا لري: یا هم واحد نوډ یا کلستر شوي اجزاوې، کوم چې د Thanos اجزاوو برعکس، خورا لږ CPU او RAM ته اړتیا لري - او په دې اساس به ارزانه وي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

د تطبیق مثالونه.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

Thanos په ګیټلاب کې د تطبیق مثال لري. Gitlab په بشپړ ډول په تانوس کې پرمخ ځي. مګر دلته هرڅه دومره اسانه ندي. که تاسو دوی ته وګورئ مسلې، بیا تاسو لیدلی شئ چې دوی په دوامداره توګه یو څه لري د Thanos سره عملیاتي ستونزې: د پلورنځي ګیټ وے یا پوښتنې اجزاو لپاره کافي حافظه شتون نلري. دوی باید په دوامداره توګه د حافظې اندازه زیاته کړي.

له دې امله، د دې ستونزو د حل لګښتونه لوړیږي.

دوهم پلي کول ، کوم چې ممکن ډیر بریالي وي ، د نامناسب شرکت دی ، کوم چې د تانوس پراختیا پیل کړې. دوی د Thanos سرچینې کوډ خپور کړ. ناممکن یو شرکت دی چې د لوبې انجنونه رامینځته کوي.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

VictoriaMetrics د عامه پلي کولو مثالونه لري:

  • wix.com ویب پاڼه جوړونکی
  • اډیډاس د ویکتوریا میټریکس پلي کوي او حتی په وروستي PromCon 2019 کې یو پریزنټشن وړاندې کوي
  • ټرافیک سټارز - د اعلان شبکه
  • Seznam.cz یو مشهور چک د لټون انجن دی.

او بیا دلته هیڅ نوم شرکتونه شتون نلري چې زه یې اوس نوم نشم کولی. دوی موافقه ونه کړه.

  • یو لوی د لوبې پراختیا کونکی. د im improbable څخه لوی.
  • لوی ګرافیک سافټویر جوړونکی.
  • د روسیې لوی بانک.
  • د اروپا د باد توربین جوړونکی چې په بریالیتوب سره یې د ویکتوریا میټریک ازموینه کړې. دا جوړونکی د ویکټوریا میټریک پلي کوي ترڅو د باد توربینونو څخه راټول شوي ډیټا په هر سینسر کې په ثانیه کې د 50 نمونو په نرخ څارنه وکړي. د باد هر توربین څو سوه سینسرونه لري. دوی څو سوه د باد توربینونه لري.
  • د روسیې هوایی شرکتونه چې غواړي VictoriaMetrics پلي کړي، مګر لاهم نشي کولی. موږ له دوی سره د تړون په مرحله کې یو.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکسپایلې

VictoriaMetrics او Thanos ورته ستونزې حل کوي، مګر په مختلفو لارو:

  • د نړیوالې پوښتنې لید
  • افقي اندازه کول
  • په خپله خوښه ساتل

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

سپوږمکۍ.

موږ ستاسو په تمه یو د ټیلیګرام چینل.

د پرومیتیوس لپاره د ډیټا ذخیره غوره کول: تانوس vs ویکتوریا میټریکس

یوازې راجستر شوي کاروونکي کولی شي په سروې کې برخه واخلي. ننوزئمهرباني وکړئ

تاسو د Prometheus لپاره د اوږدې مودې ذخیره کولو په توګه څه کاروئ؟

  • ۸۵٪تانوس۶

  • ۸۵٪Cortex0

  • ۸۵٪M3DB0

  • ۸۵٪ویکتوریا میټریکس 7

  • ۸۵٪نور4

17 کاروونکو رایه ورکړه. 16 کاروونکي منع شوي.

سرچینه: www.habr.com

Add a comment