هيلو سڀ. هيٺ ڏنل نقل آهي .
- مختلف نظامن ۽ خدمتن لاءِ هڪ مانيٽرنگ سسٽم، جنهن جي مدد سان سسٽم ايڊمنسٽريٽر سسٽم جي موجوده پيٽرول بابت معلومات گڏ ڪري سگهن ٿا ۽ سسٽم جي آپريشن ۾ انحراف بابت اطلاع حاصل ڪرڻ لاءِ الرٽ قائم ڪري سگهن ٿا.
رپورٽ ۾ هڪ مقابلو شامل هوندو и - پروميٿيوس ميٽرڪس جي ڊگھي مدت جي اسٽوريج لاءِ منصوبا.
پهرين، مان توهان کي پروميٿيس بابت ٻڌايان ٿو. هي هڪ مانيٽرنگ سسٽم آهي جيڪو مخصوص هدفن مان ميٽرڪ گڏ ڪري ٿو ۽ انهن کي مقامي اسٽوريج ۾ محفوظ ڪري ٿو. Prometheus ريموٽ اسٽوريج تائين ميٽرڪ رڪارڊ ڪري سگهي ٿو ۽ الرٽ ۽ رڪارڊنگ قاعدا ٺاهي سگھي ٿو.
Prometheus حدون:
- ان ۾ عالمي سوال جو ڏيک ڪونهي. اهو تڏهن آهي جڏهن توهان وٽ پرومٿيس جا ڪيترائي آزاد مثال آهن. اهي ميٽرڪ گڏ ڪن ٿا. ۽ توھان پڇڻ چاھيو ٿا انھن مڙني ميٽرڪ جي مٿان جيڪي مختلف پرومٿيوس مثالن مان گڏ ڪيا ويا آھن. Prometheus ان جي اجازت نٿو ڏئي.
- prometheus سان، ڪارڪردگي صرف هڪ سرور تائين محدود آهي. Prometheus ڪيترن ئي سرورن تي خودڪار طريقي سان ماپ نٿو ڪري. توھان صرف دستي طور تي پنھنجي ھدف کي ڪيترن ئي پروميٿيوس جي وچ ۾ ورهائي سگھو ٿا.
- Prometheus ۾ ميٽرڪس جو دائرو صرف هڪ سرور تائين محدود آهي ساڳئي سبب اهو آهي ته اهو خود بخود ڪيترن ئي سرورن تي ماپ نٿو ڪري سگهي.
- اهو Prometheus ۾ ڊيٽا جي حفاظت کي منظم ڪرڻ ايترو آسان ناهي.
انهن مسئلن / چئلينجن جو حل؟
حل آهن:
اهي سڀ حل Prometheus پاران گڏ ڪيل ڊيٽا جي ريموٽ اسٽوريج لاءِ آهن. اهي مختلف طريقن سان پوئين سلائڊ کان ريموٽ اسٽوريج مسئلو حل ڪن ٿا. هن پيشڪش ۾ آئون صرف پهرين ٻن حلن بابت ڳالهائيندس: и .
جي باري ۾ پهريون ڀيرو ڄاڻ پاران ظاهر ٿيو . اتي فن تعمير جو ذڪر ڪيو ويو آهي ۽ اهو ڪيئن ڪم ڪري ٿو.
ٿانوس اهو ڊيٽا وٺي ٿو جيڪو پروميٿيوس مقامي ڊسڪ ۾ محفوظ ڪيو ۽ ان کي S3 ڏانهن نقل ڪري ٿو، يا ڪنهن ٻئي شئي جي اسٽوريج تي.
اهڙيء طرح Thanos هڪ عالمي سوال جو ڏيک مهيا ڪري ٿو. توھان سوال ڪري سگھوٿا ڊيٽا اسٽوريج ۾ ذخيرو ٿيل شيون ڪيترن ئي پروميٿيوس مثالن مان.
Thanos PromQL ۽ .
Thanos ڊيٽا کي ذخيرو ڪرڻ لاء Prometheus ڪوڊ استعمال ڪري ٿو.
Thanos ساڳئي ڊولپرز پاران ترقي ڪئي وئي آهي جيئن پروميٿيس.
تي . هتي ، جتي اسان پهرين بابت ڳالهايو .
VictoriaMetrics ڪيترن ئي prometheus کان ڊيٽا حاصل ڪري ٿي Protocol Prometheus جي حمايت ڪئي.
VictoriaMetrics هڪ عالمي سوال جو ڏيک مهيا ڪري ٿو، ڇاڪاڻ ته ڪيترن ئي Prometheus مثالن کي هڪ VictoriaMetrics ڏانهن ڊيٽا لکي سگهي ٿو. انهي جي مطابق، توهان هن سڀني ڊيٽا تي سوال ڪري سگهو ٿا.
VictoriaMetrics پڻ سپورٽ ڪري ٿو، جهڙوڪ Thanos، PromQL ۽ Prometheus querying API.
Thanos جي برعڪس، VictoriaMetrics سورس ڪوڊ شروع کان لکيو ويو آهي ۽ رفتار ۽ وسيلن جي استعمال لاءِ بهتر ڪيو ويو آهي.
VictoriaMetrics، Thanos جي برعڪس، عمودي ۽ افقي طور تي ماپ ڪري ٿو. کائو ، جيڪو عمودي طور تي ماپ ڪري ٿو. توھان شروع ڪري سگھو ٿا ھڪڙي پروسيسر ۽ 1 GB ميموري سان ۽ ھلندي وڌو ٿا سوين پروسيسرز ۽ 1 TB ميموري تائين. VictoriaMetrics اهي سڀئي وسيلا استعمال ڪري سگهن ٿا. ان جي ڪارڪردگي 100-ڪور سسٽم جي مقابلي ۾ اٽڪل 1 ڀيرا وڌي ويندي.
Thanos جي تاريخ نومبر 2017 ۾ شروع ٿي، جڏهن پهريون عوامي عزم ظاهر ٿيو. ان کان اڳ، Thanos اندروني طور تي ترقي ڪئي وئي .
جون 2019 ۾ هڪ تاريخي رليز 0.5.0 هئي، جنهن ۾ پروٽوڪول هن کي ٿانوس مان هٽايو ويو ڇاڪاڻ ته هن سٺو پرفارم نه ڪيو. گهڻو ڪري Thanos ڪلستر صحيح ڪم نه ڪيو، گپ شپ پروٽوڪول جي ڪري ان سان غلط طور تي ڳنڍيل نوڊس. تنهن ڪري، اسان کيس اتان هٽائڻ جو فيصلو ڪيو. مان سمجهان ٿو ته اهو صحيح فيصلو آهي.
ساڳئي جون 2019 ۾، انهن درخواست نمبر موڪليو в .
۽ ڪجهه مهينن کان پوء، Thanos ۾ قبول ڪيو ويو جنهن ۾ Prometheus، Kubernetes ۽ ٻيا مشهور منصوبا شامل آهن.
جنوري 2018 ۾، VictoriaMetrics جي ترقي شروع ٿي.
سيپٽمبر 2018 ۾، مون عوامي طور تي پهريون ڀيرو VictoriaMetrics جو ذڪر ڪيو.
ڊسمبر 2018 ۾، هڪ سنگل نوڊ ورزن شايع ڪيو ويو.
مئي 2019 ۾ ٻنهي سنگل نوڊ ۽ ڪلستر ورجن جا ذريعا.
جون 2019 ۾، ٿانوس وانگر، اسان نمبر تحت CNCF فائونڊيشن کي درخواست جمع ڪرائي . اسان Thanos لاڳو ڪرڻ کان هڪ ڏينهن اڳ لاڳو ڪيو.
پر، بدقسمتي سان، اسان اڃا تائين قبول نه ڪيو ويو آهي. ڪميونٽي جي مدد جي ضرورت آهي.
اچو ته سڀ کان اهم سلائڊ ڏسو ٿانوس ۽ وڪٽوريا ميٽرڪس جي فن تعمير کي ڏيکاريندي.
اچو ته ٿانوس سان شروع ڪريون. پيلو جزا Prometheus جزا آهن. باقي سڀ ڪجھ Thanos اجزاء آهي. اچو ته سڀ کان اهم جزو سان شروع ڪريون. Thanos Sidecar هڪ جزو آهي جيڪو هر Prometheus جي اڳيان نصب ٿيل آهي. اهو Prometheus ڊيٽا کي مقامي اسٽوريج مان لوڊ ڪري ٿو S3 يا ٻي شئي اسٽوريج ۾.
Thanos Store Gateway نالي هڪ جزو پڻ آهي، جيڪو هن ڊيٽا کي پڙهي سگهي ٿو Object Storage مان ايندڙ درخواستن تي Thanos Query. Thanos Query PromQL ۽ Prometheus API لاڳو ڪري ٿو. اهو آهي، ٻاهران اهو پروميٿيس وانگر ڏسڻ ۾ اچي ٿو. PromQL سوالن کي وصول ڪري ٿو، انهن کي ٿانوس اسٽور گيٽ وي ڏانهن موڪلي ٿو، ٿانوس اسٽور گيٽ وي آبجیکٹ اسٽوريج مان ضروري ڊيٽا حاصل ڪري ٿو، ان کي واپس موڪلي ٿو.
پر اسان Thanos Sidecar عمل درآمد جي خصوصيت جي ڪري آخري ٻن ڪلاڪن کان سواءِ Object Storage ۾ ڊيٽا محفوظ ڪريون ٿا، جيڪي آخري ٻن ڪلاڪن کي Object S3 تي اپلوڊ نٿا ڪري سگهن، ڇو ته Prometheus اڃا تائين مقامي اسٽوريج ۾ انهن ٻن ڪلاڪن لاءِ فائلون نه ٺاهيون آهن.
توهان هن جي چوڌاري حاصل ڪرڻ جو فيصلو ڪيئن ڪيو؟ Thanos Query، Thanos اسٽور گيٽ وي جي درخواستن کان علاوه، هر Thanos Sidecar کي متوازي درخواستون موڪلي ٿو، جيڪو Prometheus جي اڳيان واقع آهي.
۽ ٿانوس سائڊڪر، موڙ ۾، پراڪسز وڌيڪ پروميٿيس کي درخواست ڪري ٿو، ۽ آخري ٻن ڪلاڪن لاء ڊيٽا حاصل ڪري ٿو.
انهن اجزاء کان علاوه، هڪ اختياري جزو پڻ آهي جنهن کان سواء Thanos سٺو ڪم نه ڪندو. هي Thanos Compact آهي، جيڪو ذميدار آهي ننڍين فائلن کي Object Storage تي ضم ڪرڻ لاءِ وڏين فائلن ۾ جيڪي هتي اپلوڊ ڪيون ويون آهن Thanos Sidecars. Thanos Sidecar اتي ٻن ڪلاڪن ۾ ڊيٽا فائلون اپلوڊ ڪري ٿو. اهي فائلون، جيڪڏهن انهن کي وڏين فائلن ۾ ضم نه ڪيو وڃي، ته پوءِ انهن جو تعداد تمام گهڻو وڌي سگهي ٿو. وڌيڪ اهڙيون فائلون، Thanos اسٽور گيٽ وي لاء وڌيڪ ميموري جي ضرورت آهي، نيٽ ورڪ ۽ ميٽا ڊيٽا تي ڊيٽا کي منتقل ڪرڻ لاء وڌيڪ وسيلن جي ضرورت آهي. ٿانوس اسٽور گيٽ وي غير موثر ٿي ويو. تنهن ڪري، Thanos Compact کي هلائڻ ضروري آهي، جيڪا ننڍين فائلن کي وڏين فائلن ۾ ضم ڪري ٿي، ته جيئن اهڙيون فائلون گهٽ هجن ۽ ٿانوس اسٽور گيٽ وي تي اوور هيڊ کي گهٽايو وڃي.
اتي پڻ ھڪڙو جزو آھي تھنوس حڪمران. اهو Prometheus الرٽ قاعدن تي عمل ڪري ٿو ۽ ڊيٽا کي واپس Object Storage ڏانهن لکڻ لاءِ Prometheus رڪارڊنگ قاعدن جو جائزو وٺي سگھي ٿو. پر هي جزو استعمال ڪرڻ جي سفارش نه ڪئي وئي آهي، ڇاڪاڻ ته ... هن .
هي Thanos جي سادي اسڪيم آهي.
هاڻي اچو ته ان جو مقابلو VictoriaMetrics اسڪيم سان ڪريون.
VictoriaMetrics وٽ 2 ورجن آھن: سنگل نوڊ ۽ ڪلستر ورزن. سنگل نوڊ هڪ ڪمپيوٽر تي هلندو آهي. سنگل نوڊ ۾ اهي حصا نه آهن، صرف هڪ بائنري. سلائڊ تي هي بائنري هن چورس وانگر نظر اچي ٿو. هر شيء جيڪا چورس جي اندر آهي، واحد نوڊ ورزن لاء بائنري فائل جو مواد آهي. توهان کي هن جي باري ۾ ڄاڻڻ جي ضرورت ناهي. توهان صرف بائنري هلائيندا آهيو ۽ هر شي اسان لاء ڪم ڪري ٿي.
ڪلستر نسخو وڌيڪ پيچيده آهي. ان جي اندر ٽي مختلف حصا آهن: vmselect، vminsert ۽ vmstorage. انهن جي نالي مان اهو واضح ٿيڻ گهرجي ته انهن مان هر هڪ ڇا ڪندو آهي. Insert component ڊيٽا کي مختلف فارميٽ ۾ قبول ڪري ٿو: Prometheus remote write API کان، انفلڪس لائن پروٽوڪول، گرافائٽ پروٽوڪول ۽ OpenTSDB پروٽوڪول. Insert component انھن کي قبول ڪري ٿو، انھن کي پارس ڪري ٿو ۽ انھن کي موجود اسٽوريج حصن جي وچ ۾ ورهائي ٿو، جتي ڊيٽا اڳ ۾ ئي محفوظ ٿيل آھي. منتخب جزو، موڙ ۾، قبول ڪري ٿو PromQL سوالن کي. هو لاڳو ڪري ٿو , انهي سان گڏ Prometheus querying API، ۽ اهو Grafana يا ٻين Prometheus API ڪلائنٽ ۾ Prometheus جي متبادل طور استعمال ڪري سگھجي ٿو. چونڊيو هڪ promql جي درخواست کي قبول ڪري ٿو، ان کي پارس ڪري ٿو، اسٽوريج نوڊس مان هن درخواست کي عمل ڪرڻ لاء ضروري ڊيٽا پڙهي ٿو، هن ڊيٽا کي پروسيس ڪري ٿو ۽ جواب واپس ڪري ٿو.
اچو ته Thanos ۽ VictoriaMetrics انسٽال ڪرڻ جي پيچيدگي جو مقابلو ڪريو.
اچو ته ٿانوس سان شروع ڪريون. ان کان اڳ توھان ٿانوس سان ڪم ڪرڻ شروع ڪريو، توھان کي ھڪڙي بالٽ ٺاھڻ جي ضرورت آھي Object Storage ۾، جھڙوڪ S3 يا GCS، تہ جيئن Thanos Sidecar ان تي ڊيٽا لکي سگھي.
پوء هر Prometheus لاء توهان کي انسٽال ڪرڻو پوندو Thanos Sidecar. هن کان اڳ، توهان کي ياد رکڻ جي ضرورت آهي ته Prometheus ۾ ڊيٽا گڏ ڪرڻ کي بند ڪرڻ. ڊيٽا گڏ ڪرڻ وقتي طور تي مقامي Prometheus اسٽوريج ۾ ڊيٽا کي دٻائڻ لاء وسيلن جي استعمال کي گھٽائڻ لاء.
جڏهن توهان پنهنجي Prometheus تي Thanos Sidecar انسٽال ڪريو ٿا، توهان کي هن ڊيٽا ڪمپيڪشن کي غير فعال ڪرڻ گهرجي، ڇاڪاڻ ته Thanos Sidecar صحيح طريقي سان ڪم نه ڪندو آهي ڊيٽا ڪمپيڪشن فعال ٿيڻ سان. ان جو مطلب اهو آهي ته توهان جو Prometheus ڊيٽا کي ٻن ڪلاڪن جي بلاڪن ۾ محفوظ ڪرڻ شروع ڪري ٿو ۽ انهن بلاڪن کي وڏن ۾ ضم ڪرڻ بند ڪري ٿو. ان جي مطابق، جيڪڏهن توهان سوال ڪندا آهيو جيڪي آخري ٻن ڪلاڪن جي مدي کان وڌي ويندا آهن، ته پوءِ اهي ڪم نه ڪندا اوترو ڪارائتو جيئن اهي ڪم ڪري سگھن ٿا جيڪڏهن ڊيٽا ڪمپيڪشن کي فعال ڪيو ويو هجي.
تنهن ڪري، ٿانوس سفارش ڪري ٿو ته مقامي اسٽوريج ۾ ڊيٽا جي برقرار رکڻ واري وقت کي 6-8 ڪلاڪن تائين گھٽائڻ لاءِ وڏي تعداد ۾ ننڍن بلاڪن جي مٿي کي گهٽائڻ لاءِ.
هڪ دفعو توهان Thanos Sidecar انسٽال ڪيو آهي، توهان کي هر شئي اسٽوريج بالٽ لاء ٻه اجزاء انسٽال ڪرڻ گهرجن. اهي آهن ٿانوس ڪمپيڪٽر ۽ ٿانوس اسٽور گيٽ وي.
ان کان پوء، توهان کي انسٽال ڪرڻ جي ضرورت آهي Thanos Query ۽ ان کي ترتيب ڏيو ته جيئن اهو سڀني ٿانوس اسٽور گيٽ ويز سان ڳنڍي سگھي ٿو جيڪي توهان وٽ آهن، ۽ پڻ سڀني ٿانوس سائڊ ڪارز سان ڳنڍي سگهن ٿيون.
هتي شايد ٿورڙي مسئلو ٿي سگهي ٿي.
توھان کي ھڪڙي قابل اعتماد ۽ محفوظ ڪنيڪشن کي ترتيب ڏيڻ جي ضرورت آھي Thanos Query کان انھن حصن تائين. ۽ جيڪڏھن توھان جو Prometheus مختلف ڊيٽا مرڪزن ۾، يا مختلف VPCs ۾ واقع آھي، ته پوءِ انھن سان ڪنيڪشن ممنوع آھن. پر Thanos Query ڪم ڪرڻ لاءِ، توھان کي ڪنھن طرح سان ڪنيڪشن ترتيب ڏيڻ جي ضرورت آھي، ۽ توھان کي ھڪڙو طريقو معلوم ڪرڻو پوندو.
جيڪڏهن توهان وٽ ڪيترائي اهڙا ڊيٽا مرڪز آهن، پوء، مطابق، سڄي سسٽم جي اعتبار گھٽجي ٿي. Thanos Query کان وٺي مختلف ڊيٽا سينٽرن ۾ واقع سڀني Thanos Sidecars سان مسلسل لاڳاپا برقرار رکڻ گهرجن. هر ايندڙ درخواست لاء، اهو رستو سڀني Thanos Sidecars ڏانهن درخواستون ڏيندو. جيڪڏهن ڪنيڪشن ۾ خلل پوي ٿو، توهان کي يا ته ڊيٽا جو هڪ نامڪمل سيٽ ملندو، يا توهان کي "ڪلسٽر هيٺ آهي" جواب ملندو.
VictoriaMetrics ۾ هر شي ٿورو سادو آهي. سنگل نوڊ ورزن لاءِ، توهان کي صرف هڪ بائنري هلائڻ جي ضرورت آهي ۽ هر شي ڪم ڪري ٿي.
ڪلستر ورزن ۾، اهو ڪافي آهي ته مٿين ٽن قسمن جي اجزاء کي ڪنهن به مقدار ۾ هلائڻ لاءِ توهان کي گهربل هجي، يا استعمال ڪريو. Kubernetes ۾ اجزاء جي لانچ کي خودڪار ڪرڻ لاء. اسان پڻ هڪ Kubernetes آپريٽر ٺاهڻ جي منصوبابندي ڪري رهيا آهيون. هيلم چارٽ ڪجهه ڪيسن کي ڍڪي نه ٿو ڏئي ۽ توهان کي پنهنجي پيرن ۾ گولي هڻڻ جي اجازت ڏئي ٿي. مثال طور، اهو توهان کي اسٽوريج نوڊس جو تعداد گهٽائڻ جي اجازت ڏئي ٿو، جيڪو ڊيٽا جي نقصان جي ڪري ٿي.
توهان هڪ بائنري يا ڪلستر ٿيل ورزن شروع ڪرڻ کان پوءِ، توهان کي صرف پروميٿيوس کي ترتيب ڏيڻ جي ضرورت آهي. انهي ڪري ته اهو مقامي اسٽوريج ۽ ريموٽ اسٽوريج جي متوازي ۾ ڊيٽا لکڻ شروع ڪري ٿو. جئين توهان ڏسي سگهو ٿا، هن تشڪيل کي Thanos ترتيب جي مقابلي ۾ وڌيڪ معتبر طور تي انجام ڏيڻ گهرجي. اسان کي VictoriaMetrics کان سڀني Prometheus سان ڪنيڪشن برقرار رکڻ جي ضرورت ناهي، ڇاڪاڻ ته Prometheus پاڻ VictoriaMetrics سان ڳنڍي ٿو ۽ ڊيٽا منتقل ڪري ٿو.
اچو ته Thanos ۽ VictoriaMetrics جي حمايت تي غور ڪريو.
ٿانوس کي سائڊڪر جي نگراني ڪرڻ جي ضرورت آهي انهي کي يقيني بڻائڻ لاءِ اهي ڊيٽا کي لوڊ ڪرڻ بند نه ڪندا آبجیکٹ اسٽوريج ۾. اهي ڊائون لوڊ جي غلطين جي ڪري هن ڊيٽا جي ڊائون لوڊ کي روڪي سگهن ٿا، مثال طور آبجیکٹ اسٽوريج سان توهان جو نيٽ ورڪ ڪنيڪشن عارضي طور تي روڪيو ويو آهي، يا Object Storage عارضي طور تي دستياب ناهي. Thanos Sidecar هن وقت هن کي نوٽيس ڪندو، هڪ غلطي جي رپورٽ ڪري، حادثي ٿي سگهي ٿو ۽ پوء ڪم ڪرڻ بند ڪري. جيڪڏهن توهان ان جي نگراني نه ڪندا، ته پوءِ توهان ڊيٽا کي Object Storage ڏانهن منتقل ڪرڻ بند ڪندا. جيڪڏهن برقرار رکڻ جو وقت گذري ٿو (6-8 ڪلاڪ تجويز ڪيل)، ته پوءِ توهان ڊيٽا وڃائي ويهندا جيڪو اعتراض اسٽوريج ۾ ختم نه ٿيو.
Thanos compactors جي ڪري ڪم ڪرڻ بند ڪري سگهو ٿا . Compactors Object Storage مان ڊيٽا وٺي ٿو ۽ ان کي ڊيٽا جي وڏن ٽڪرن ۾ ضم ڪري ٿو. جيئن ته ڪمپيڪٽرز Sidecars سان هم وقت سازي نه ڪيا ويا آهن، هيٺيان ٿي سگهن ٿا: سائڊڪر اڃا تائين بلاڪ کي مڪمل ڪرڻ جو وقت نه ڏنو آهي، ڪمپيڪٽر فيصلو ڪري ٿو ته هي بلاڪ مڪمل طور تي لکيو ويو آهي. ڪمپيڪٽر ان کي پڙهڻ شروع ڪري ٿو. اهو مڪمل طور تي بلاڪ نه پڙهي ٿو ۽ ڪم ڪرڻ بند ڪري ٿو. تفصيل ڏسو .
اسٽور گيٽ وي واپس ڪري سگھي ٿو متضاد ڊيٽا ڪمپيڪٽر ۽ سائڊ ڪارز جي وچ ۾ نسلن جي ڪري. ساڳي شيء هتي ٿئي ٿي، ڇاڪاڻ ته اسٽور گيٽ وي ڪنهن به طريقي سان ڪمپيڪٽرز ۽ سائڊ ڪارن سان هم وقت سازي نه ڪئي وئي آهي. ان جي مطابق، نسل جون حالتون ٿي سگهن ٿيون جڏهن اسٽور گيٽ وي ڊيٽا جو حصو نه ڏسي يا غير ضروري ڊيٽا ڏسي.
Thanos ۾ سوال جو حصو ڊفالٽ طور تي ھڪڙو جزوي نتيجو ڏئي ٿو جيڪڏھن ڪجھ سائڊ ڪارز يا اسٽور گيٽ ويز موجود نه آھن. توھان ڊيٽا جو حصو وصول ڪندا، ۽ توھان کي خبر به نه پوندي ته توھان سڄي ڊيٽا حاصل نه ڪئي آھي. اهو ڪيئن ڪم ڪري ٿو ڊفالٽ طرفان. ساڳئي صورتحال ۾، VictoriaMetrics نشان لڳل ڊيٽا کي جزوي طور واپس ڪري ٿو.
Thanos جي برعڪس، VictoriaMetrics گھٽ ۾ گھٽ ڊيٽا وڃائي ٿو. جيتوڻيڪ Prometheus کان VictoriaMetrics تائين ڪنيڪشن ۾ خلل پوي ٿو، اهو ڪو مسئلو ناهي، ڇو ته Prometheus ايندڙ نئين ڊيٽا کي Write Ahead Log ۾ رڪارڊ ڪرڻ جاري رکي ٿو، جنهن جي ماپ 2 ڪلاڪ آهي. جيڪڏھن توھان پنھنجي ڪنيڪشن کي VictoriaMetrics سان ٻن ڪلاڪن اندر بحال ڪندا، توھان جو ڊيٽا گم نه ٿيندو. پروميٿيس .
Thanos جي برعڪس، جيڪو صرف ٻن ڪلاڪن کان پوءِ اعتراض واري اسٽوريج لاءِ ڊيٽا لکي ٿو، Prometheus خود بخود ريموٽ رائٽ پروٽوڪول استعمال ڪندي ڊيٽا کي ريموٽ اسٽوريج ڏانهن نقل ڪري ٿو، جهڙوڪ VictoriaMetrics. توهان Prometheus ۾ مقامي اسٽوريج وڃائڻ کان ڊپ نه آهيو. جيڪڏهن هن اوچتو مقامي اسٽوريج وڃائي ڇڏيو، پوء بدترين صورت ۾ توهان ڊيٽا جي آخري سيڪنڊن کي وڃائي ڇڏيو جيڪو دور دراز اسٽوريج ۾ رڪارڊ ٿيڻ جو وقت نه هو.
Kubernetes خودڪار طريقي سان ڪلستر کي منظم ڪري ٿو، Thanos جي برعڪس. اهو تمام ڏکيو آهي Thanos اجزاء کي هڪ Kubernetes ڪلستر ۾ رکڻ، برعڪس VictoriaMetrics ڪلستر اجزاء.
VictoriaMetrics نئين ورزن لاءِ هڪ تمام سادي اپڊيٽ آهي. بس VictoriaMetrics کي روڪيو، بائنري کي اپڊيٽ ڪريو ۽ ان کي لانچ ڪريو. جڏهن هڪ SIGINT سگنل ذريعي روڪيو ويو، سڀ VictoriaMetrics بائنري هڪ شاندار شٽ ڊائون انجام ڏين ٿا. اهي صحيح طور تي ضروري ڊيٽا کي محفوظ ڪن ٿا، ايندڙ ڪنيڪشن کي صحيح طور تي بند ڪريو جيئن ڪجهه به نه وڃايو. تنهنڪري توهان کي اپڊيٽ ڪرڻ وقت ڪجھ به نه وڃايو ويندو.
VictoriaMetrics ڪلستر کي وڌائڻ لاءِ تمام آسان بڻائي ٿو. بس ضروري اجزاء شامل ڪريو ۽ ڪم جاري رکو.
Thanos ۽ VictoriaMetrics ۾ نقصانن بابت.
ٿانوس کي ھيٺيون خاميون آھن. Prometheus کي آخري ٻن ڪلاڪن لاءِ ڊيٽا ذخيرو ڪرڻ گهرجي. جيڪڏهن اهي گم ٿي ويا، توهان انهن کي مڪمل طور تي وڃائي ڇڏيندؤ ڇو ته اهي اڃا تائين S3 وانگر Object Storage ڏانهن نه لکيا ويا آهن.
اسٽور گيٽ وي جزو ۽ ڪمپيڪٽر جزو کي وڏي آبجیکٹ اسٽوريج سان ڪم ڪرڻ لاءِ تمام گھڻي ميموري جي ضرورت ٿي سگھي ٿي جيڪڏھن اتي ڪيتريون ئي ننڍيون فائلون ذخيرو ٿيل آھن. فائلن جو تعداد ۽ سائيز جيترو وڏو هوندو، اوترو ئي وڌيڪ اسٽور گيٽ وي ۽ ڪمپيڪٽر ريم جي ضرورت هوندي آهي ميٽانفارميشن کي ذخيرو ڪرڻ لاءِ. ٿانوس کي حقيقت جي حوالي سان ڪيترائي مسئلا آهن .
ٿانوس کي اشتهار ڏنو ويو آهي غير معين حد تائين پيماني تي پروميٿيس جي مقدار سان جيڪو توهان وٽ آهي. هي اصل ۾ سچ ناهي. جيئن ته سڀئي درخواستون پڇا ڳاڇا جزو جي ذريعي وڃن ٿيون، جنهن کي لازمي طور تي سڀني اسٽور گيٽ وي اجزاء ۽ سڀني سائڊ ڪار اجزاء کي پول ڪرڻ گهرجي، اتان کان ڊيٽا ڪڍو ۽ پوء ان کي اڳڀرائي ڪريو. ظاهر آهي، درخواست جي رفتار محدود آهي سست ترين ڪمزور لنڪ، سستي اسٽور گيٽ وي يا سستي سائڊ ڪار.
اهي جزا اڻ برابري سان لوڊ ٿي سگهن ٿا. مثال طور، توهان وٽ Prometheus آهي، جيڪو في سيڪنڊ لکين ميٽرڪ گڏ ڪري ٿو. ۽ اتي Prometheus آهي، جيڪو هر سيڪنڊ ۾ هزارين ميٽرڪ گڏ ڪري ٿو. Prometheus، جيڪو هر سيڪنڊ ۾ لکين ميٽرڪ گڏ ڪري ٿو، اهو سرور تي تمام گهڻو لوڊ ڪري ٿو جيڪو اهو هلندو آهي. ان جي مطابق، Sidecar اتي سست ڪم ڪري ٿو. ۽ عام طور تي هر شيء اتي سست ڪم ڪري ٿو. ۽ سوال جو حصو اتان کان ڊيٽا کي تمام سستي سان ڪڍندو. انهي جي مطابق، توهان جي پوري ڪلستر جي ڪارڪردگي هن سست سائڊ ڪار طرفان محدود ٿي ويندي.
ڊفالٽ طور، Thanos جزوي ڊيٽا ڏئي ٿو جيڪڏهن ڪجهه سائڊ ڪارز ۽ يا ته اسٽور گيٽ وي دستياب نه آهن. مثال طور، جيڪڏهن توهان جا سائڊ ڪار دنيا جي مختلف ڊيٽا سينٽرن ۾ پکڙيل آهن، ته پوءِ ڪنيڪشن جي ناڪامي ۽ جزو جي غير موجودگيءَ جو امڪان تمام گهڻو وڌي ٿو. ان جي مطابق، اڪثر ڪيسن ۾ توهان جزوي ڊيٽا حاصل ڪندا بغير ڄاڻڻ کان سواء.
VictoriaMetrics ۾ پڻ نقصان آهن. پهريون نقصان اهو اختيار آهي جيڪو VictoriaMetrics ڪيش لاءِ استعمال ٿيل رام جي مقدار کي محدود ڪري ٿو. ڊفالٽ طور، اها مشين تي ريم جي 60٪ جي برابر آهي جتي VictoriaMetrics هلي رهي آهي يا ڪبرنيٽس ۾ VictoriaMetrics پوڊ جي رام جو 60٪.
جيڪڏهن توهان هن قيمت کي غلط طريقي سان تبديل ڪيو ٿا، ته توهان VictoriaMetrics جي ڪارڪردگي کي برباد ڪري سگهو ٿا. مثال طور، جيڪڏهن توهان قيمت تمام گهٽ مقرر ڪيو ٿا، ته ڊيٽا هاڻي VictoriaMetrics ڪيش ۾ مناسب نه ٿي سگهي. انهي جي ڪري، هن کي اضافي ڪم ڪرڻو پوندو ۽ پروسيسر ۽ ڊسڪ لوڊ ڪرڻو پوندو. جيڪڏهن توهان هن آپشن کي تمام وڏو ڪريو ٿا، اهو وڌندو آهي، پهريون، امڪان اهو آهي ته VictoriaMetrics هڪ آئوٽ آف ميموري جي غلطي سان حادثو ٿيندو، ۽ ٻيو، اهو ان حقيقت ڏانهن وڌندو ته آپريٽنگ سسٽم جي ميموري ۾ تمام گهٽ رام رهجي ويندي. فائل ڪيش. ۽ VictoriaMetrics ڪارڪردگي لاءِ فائل ڪيش تي ڀاڙي ٿو. جيڪڏهن اهو ڪافي نه آهي، ته ڊسڪ تي لوڊ تمام گهڻو وڌي سگهي ٿو. تنهن ڪري، صلاح: پيٽرولر کي تبديل نه ڪريو جيستائين بلڪل ضروري نه هجي.
ٻيو اختيار. هي آهي برقرار رکڻ وارو عرصو - هڪ عرصو جيڪو مقرر ڪيو ويو آهي 1 مهيني لاءِ ڊفالٽ. اهو وقت جو ڊگهو آهي VictoriaMetrics ڊيٽا کي ذخيرو ڪري ٿو. هن عرصي کان پوء، VictoriaMetrics ڊيٽا کي ختم ڪري ٿو.
ڪيترائي ماڻهو VictoriaMetrics هلائيندا آهن بغير هن پيٽرول جي ۽ هڪ مهيني لاءِ ڊيٽا رڪارڊ ڪريو. ۽ پوءِ اهي پڇن ٿا: گذريل مهيني جي ڊيٽا ڇو غائب ٿي وئي؟ ڇاڪاڻ ته ڊفالٽ برقرار رکڻ جو مدو 1 مهينو آهي. تنهن ڪري، توهان کي ڄاڻڻ جي ضرورت آهي ۽ صحيح برقرار رکڻ جي مدت مقرر ڪريو.
اچو ته منفرد خصوصيتن تي هڪ نظر رکون.
Thanos ۾ ھڪڙي خاصيت آھي جنھن کي ھيٺان نموني سڏيو ويندو آھي: 5 منٽ ۽ ڪلاڪ وقفو، جيڪو اڪثر ڪري ٿو . جيڪڏهن توهان گوگل ڪريو ۽ انهن جي مسئلي کي گٿب تي ڏسو، اتي هن نموني سان لاڳاپيل تمام گهڻا مسئلا آهن، ته اهو ڪڏهن ڪڏهن صحيح ڪم نٿو ڪري، يا ڪم نه ڪندو آهي جيئن صارفين جي توقع آهي.
Thanos وٽ Prometheus HA جوڑوں لاءِ ڊيٽا جي نقل آھي. جڏهن ٻه Prometheus ساڳين مقصدن مان ساڳيا ميٽرڪ گڏ ڪن ٿا ۽ ٿانوس انهن کي Object Storage ۾ محفوظ ڪري ٿو. Thanos هن ڊيٽا کي صحيح طور تي نقل ڪري سگهي ٿو، VictoriaMetrics جي برعڪس.
Thanos وٽ ھڪڙو خبرداري جزو آھي جيڪو Thanos اسڪيمي ۾ ھو. پر هن کي .
ٿانوس جو فائدو آهي ته ٿانوس ۽ پروميٿيس ساڳيو ڪوڊ شيئر ڪن. Thanos ۽ Prometheus ساڳيا ڊولپرز پاران ٺاهيا ويا آهن. Thanos يا Prometheus کي سڌارڻ سان، ٻئي طرف جيت.
VictoriaMetrics جي مکيه خصوصيت MetricsQL آهي. اهي آهن VictoriaMetrics Extensions for PromQL، جن بابت مون اڳئين وڏي مانيٽرنگ ميٽ اپ تي ڳالهايو.
VictoriaMetrics ڪيترن ئي مختلف پروٽوڪول استعمال ڪندي ڊيٽا لوڊ ڪرڻ جي حمايت ڪري ٿو. VictoriaMetrics نه رڳو Prometheus کان ڊيٽا قبول ڪري سگهي ٿي، پر انفڪس، OpenTSDB ۽ Graphite پروٽوڪول ذريعي پڻ.
VictoriaMetrics ڊيٽا Thanos ۽ Prometheus جي مقابلي ۾ تمام گھٽ جاءِ وٺي ٿي.
جيڪڏهن توهان حقيقي ڊيٽا کي رڪارڊ ڪريو ٿا، صارفين کي ڊسڪ تي ڊيٽا جي سائيز ۾ 2-5 ڀيرا گھٽتائي جي باري ۾ ڳالهائي ٿو Prometheus ۽ Thanos جي مقابلي ۾.
VictoriaMetrics جو ٻيو فائدو اهو آهي ته اها رفتار لاءِ بهتر آهي.
اچو ته انفراسٹرڪچر جي قيمت تي نظر رکون.
Thanos جي فائدن مان هڪ اهو آهي ته اهو ڊيٽا کي اعتراض اسٽوريج ۾ محفوظ ڪري ٿو، جيڪو نسبتا سستو آهي.
جڏهن اعتراض اسٽوريج ۾ ڊيٽا کي ذخيرو ڪرڻ، توهان کي ڊيٽا لکڻ ۽ پڙهڻ جي عملن لاء ادا ڪرڻو پوندو ($ 10 في ملين آپريشن). جڏهن توهان ڊيٽا کي اعتراض جي اسٽوريج تي لکندا آهيو، توهان انٽرنيٽ تي ڊيٽا کي اپلوڊ ڪرڻ لاء پنهنجي هوسٽنگ جي قيمت ادا ڪندا آهيو؛ جيڪڏهن توهان جو ڪلستر AWS ۾ ناهي، اهو اتي مفت آهي. جڏهن توهان ڊيٽا پڙهندا آهيو، توهان $10 ۽ $230 في 1TB جي وچ ۾ ادا ڪندا آهيو. اهو اهم ٿي سگهي ٿو جيڪڏهن توهان گهڻو ڪري Thanos ڪلستر کان تاريخي ڊيٽا پڇو.
Thanos ڪلستر لاءِ، توھان کي ادا ڪرڻو پوندو سرورز لاءِ ڪمپيڪٽ، اسٽور گيٽ وي، پڇا ڳاڇا اجزاء جن کي تمام گھڻي ميموري جي ضرورت آھي، ۽ ڊيٽا جي وڏي مقدار لاءِ سي پي يو.
VictoriaMetrics ھيٺ ڏنل خرچ آھن. جيڪڏهن توهان GCE HDD ڊرائيو تي ڊيٽا ذخيرو ڪريو ٿا، پوء اهو اچي ٿو $40 لاءِ 1TB. VictoriaMetrics لاءِ، عام HDD ڊرائيو ڪافي آهن؛ ڪابه SSDs، جن جي قيمت پنج ڀيرا وڌيڪ آهي، گهربل ناهي. VictoriaMetrics HDD لاءِ بهتر آهي.
VictoriaMetrics کي اجزاء لاءِ سرور جي ضرورت آهي: يا ته سنگل نوڊ يا ڪلسٽر ٿيل جزا، جيڪي، ٿانوس حصن جي برعڪس، تمام گهٽ سي پي يو ۽ رام جي ضرورت هونديون آهن - ۽ مطابق سستا هوندا.
عملدرآمد جا مثال.
ٿانوس گٽلاب ۾ عمل درآمد جو مثال آهي. Gitlab مڪمل طور تي Thanos تي هلندو آهي. پر اتي هر شيء ايترو آسان ناهي. جيڪڏھن توھان انھن کي ڏسندا , پوء توهان ڏسي سگهو ٿا ته اهي مسلسل ڪجهه آهن : اسٽور گيٽ وي يا پڇا ڳاڇا اجزاء لاء ڪافي ياداشت نه آهي. انهن کي مسلسل ياداشت جي مقدار کي وڌائڻو پوندو.
انهي جي ڪري، انهن مسئلن کي حل ڪرڻ جي قيمت وڌائي ٿي.
ٻيو عمل، جيڪو وڌيڪ ڪامياب ٿي سگهي ٿو، ناممڪن ڪمپني آهي، جنهن Thanos کي ترقي ڪرڻ شروع ڪيو. انهن شايع ڪيو ٿانوس سورس ڪوڊ. Improbable هڪ ڪمپني آهي جيڪا ترقي ڪري ٿي گيم انجڻ.
VictoriaMetrics ۾ عوامي عمل درآمد جا مثال آھن:
- wix.com ويب سائيٽ بلڊر
- Adidas VictoriaMetrics تي عمل ڪري رهيو آهي ۽ آخري PromCon 2019 تي هڪ پريزنٽيشن به ڪئي
- TrafficStars - اشتهار نيٽ ورڪ
- Seznam.cz هڪ مشهور چيڪ سرچ انجڻ آهي.
۽ پوءِ اتي ڪا به نالي واري ڪمپنيون نه هيون جن جو مان هاڻي نالو نٿو رکي سگهان. انهن راضي نه ڪيو.
- ھڪڙو وڏو راند ڊولپر. Improbable کان وڏو.
- مکيه گرافڪس سافٽ ويئر ڊولپر.
- وڏي روسي بئنڪ.
- يورپي ونڊ ٽربائن ٺاهيندڙ جيڪو ڪاميابيءَ سان آزمايو آهي VictoriaMetrics. هي ڪارخانو VictoriaMetrics تي عمل ڪري رهيو آهي ونڊ ٽربائن مان گڏ ڪيل ڊيٽا جي نگراني ڪرڻ لاءِ 50 نمونن في سيڪنڊ في سينسر جي شرح تي. هر ونڊ ٽربائن ۾ ڪيترائي سؤ سينسر هوندا آهن. انهن وٽ ڪيترائي سؤ ونڊ ٽربائنون آهن.
- روسي ايئر لائنز جيڪي VictoriaMetrics کي لاڳو ڪرڻ چاهين ٿيون، پر اڃا تائين نٿا ڪري سگهن. اسان انهن سان معاهدي جي مرحلي ۾ آهيون.
نتيجو.
VictoriaMetrics ۽ Thanos ساڳيا مسئلا حل ڪن ٿا، پر مختلف طريقن سان:
- گلوبل سوال جو ڏيک
- افقي ماپڻ
- خودمختياري برقرار رکڻ
مهرباني
اسان توهان جي لاء انتظار ڪري رهيا آهيون .
صرف رجسٽرڊ استعمال ڪندڙ سروي ۾ حصو وٺي سگهن ٿا. ، توهان جي مهرباني.
Prometheus لاءِ ڊگھي مدي واري اسٽوريج جي طور تي توهان ڇا استعمال ڪندا آهيو؟
-
35,3٪ٿانو 6
-
0,0٪Cortex0
-
0,0٪M3DB0
-
41,2٪VictoriaMetrics7
-
23,5٪ٻيا 4
17 صارفين ووٽ ڏنو. 16 استعمال ڪندڙن کي روڪيو ويو.
جو ذريعو: www.habr.com