VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

وڪٽوريا ميٽرڪس هڪ تيز ۽ اسڪيلبل ڊي بي ايم ايس آهي جيڪو ٽائيم سيريز ڊيٽا کي محفوظ ڪرڻ ۽ پروسيس ڪرڻ لاءِ آهي (هڪ رڪارڊ هڪ وقت ۽ ان وقت سان لاڳاپيل قدرن جي هڪ سيٽ جي نمائندگي ڪري ٿو، مثال طور، سينسر اسٽيٽس يا ميٽرڪ ڪليڪشن جي وقتي پولنگ ذريعي حاصل ڪيل).


ويڊيو وڊيو

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

منهنجو نالو پاول ڪولوبايف آهي. ڊيو اوپس، ايس آر اي، ليروئي مرلن، ڪوڊ وانگر سڀ ڪجهه - اهو سڀ ڪجهه اسان بابت آهي: مان ۽ ٻيا ليروئي مرلن ملازم.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

https://bit.ly/3jf1fIK

اتي هڪ اوپن اسٽيڪ تي ٻڌل ڪلائوڊ آهي. ٽيڪ ريڊار جو هڪ ننڍڙو لنڪ آهي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اهو ڪبرنيٽس هارڊويئر تي ٺهيل آهي، انهي سان گڏ سڀني سان گڏ اوپن اسٽيڪ ۽ لاگنگ سروسز تي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

هي اهو سيٽ اپ آهي جيڪو اسان ڊولپمينٽ دوران ڪيو هو. جڏهن اسان هي سڀ ڪجهه ڊولپ ڪري رهيا هئاسين، اسان وٽ هڪ پروميٿيس آپريٽر هو جيڪو K8s ڪلسٽر اندر ڊيٽا محفوظ ڪندو هو. اهو خودڪار طريقي سان ڳولي ٿو جيڪو اسڪريپ ڪرڻ جي ضرورت آهي ۽ ان کي اسٽور ڪري ٿو، تقريبن ڳالهائڻ.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اسان کي سڀ ڊيٽا ڪبرنيٽس ڪلسٽر کان ٻاهر منتقل ڪرڻ جي ضرورت پوندي، ڇاڪاڻ ته جيڪڏهن ڪجهه ٿئي ٿو، ته اسان کي سمجهڻ جي ضرورت آهي ته ڇا ۽ ڪٿي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

پهريون حل اهو آهي ته اسان فيڊريشن استعمال ڪندا آهيون جڏهن اسان وٽ ٽئين پارٽي پروميٿيس هجي، جڏهن اسان فيڊريشن ميڪانيزم ذريعي ڪبرنيٽس ڪلسٽر ڏانهن وڃون ٿا.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

پر هتي ڪجهه معمولي مسئلا آهن. اسان جي صورت ۾، مسئلا تڏهن شروع ٿيا جڏهن اسان وٽ 250,000 ميٽرڪ هئا، ۽ جڏهن اسان 400,000 ميٽرڪ تائين پهتاسين، اسان کي احساس ٿيو ته اسان اهڙي طرح ڪم نه ٿا ڪري سگهون. اسان scrape_timeout کي 25 سيڪنڊن تائين وڌايو.

اسان کي اهو ڇو ڪرڻو پيو؟ پروميٿيئس ڊيٽا گڏ ڪرڻ جي وقت کان وقت ختم ٿيڻ جي ڳڻپ شروع ڪري ٿو. اهو فرق نٿو پوي ته ڊيٽا اڃا تائين وهي رهيو آهي يا نه. جيڪڏهن ڊيٽا هن مخصوص وقت اندر گڏ نه ڪيو ويو آهي ۽ سيشن HTTP ذريعي بند نه ڪيو ويو آهي، ته سيشن کي ناڪام سمجهيو ويندو آهي ۽ ڊيٽا پاڻ پروميٿيئس ڏانهن نه موڪليو ويندو آهي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اسان سڀ انهن گرافن کان واقف آهيون جيڪي اسان کي ڪجهه ڊيٽا غائب ٿيڻ تي ملن ٿا. گراف جاگرافيدار آهن، ۽ اسان ان سان خوش نه آهيون.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

ايندڙ آپشن ساڳئي فيڊريشن ميڪانيزم ذريعي ٻن مختلف پروميٿيئس جي بنياد تي شارڊنگ آهي.

مثال طور، اسان انهن کي صرف نالو کڻي ٽڪرا ٽڪرا ڪري سگهون ٿا. اهو پڻ استعمال ڪري سگهجي ٿو، پر اسان اڳتي وڌڻ جو فيصلو ڪيو.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

هاڻي اسان کي انهن شارڊس کي ڪنهن نه ڪنهن طرح سنڀالڻو پوندو. اسان پرامڪسي استعمال ڪري سگهون ٿا، جيڪو شارڊ ايريا تائين رسائي ڪري ٿو ۽ ڊيٽا کي ضرب ڏئي ٿو. اهو ٻن شارڊس سان هڪ واحد داخلا پوائنٽ طور ڪم ڪري ٿو. اهو پرامڪسي استعمال ڪندي لاڳو ڪري سگهجي ٿو، پر اهو هاڻي لاءِ تمام پيچيده آهي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

پهريون آپشن اهو آهي ته اسان فيڊريشن ميڪانيزم کي ڇڏڻ چاهيون ٿا ڇاڪاڻ ته اهو تمام سست آهي.

پروميٿيس ڊولپرز واضح طور تي چئي رهيا آهن، "دوست، ٻيا ٽائم اسڪيل ڊي بي استعمال ڪريو ڇو ته اسان ڊگهي مدت جي ميٽرڪ اسٽوريج جي حمايت نه ڪنداسين." اهو انهن جو ڪم ناهي. VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اسين ڪاغذ جي هڪ ٽڪري تي لکون ٿا ته اسان کي اڃا تائين ان کي ٻاهر ڪڍڻ جي ضرورت آهي، ته جيئن هر شيءِ هڪ جاءِ تي ذخيرو نه ٿئي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

ٻيو نقصان ياداشت جي استعمال جو آهي. ها، مان سمجهان ٿو ته ڪيترائي چوندا ته 2020 ۾، ڪجهه گيگا بائيٽ ياداشت پئسن جي قيمت آهي، پر تڏهن به.

اسان وٽ هن وقت هڪ ڊولپمينٽ ۽ هڪ پروڊڪٽ ماحول آهي. ڊولپمينٽ ۾، اهو 350,000 ميٽرڪس سان لڳ ڀڳ 9 گيگا بائيٽ آهي. پروڊڪٽ ۾، اهو 780,000 ميٽرڪس سان 14 گيگا بائيٽ کان ٿورو وڌيڪ آهي. ساڳئي وقت، اسان جو برقرار رکڻ جو وقت صرف 30 منٽ آهي. اهو خراب آهي. مان وضاحت ڪندس ته ڇو.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اسين حساب ڪري رهيا آهيون، مطلب ته 1.5 ملين ميٽرڪس سان - ۽ اسين اڳ ۾ ئي ان جي ويجهو آهيون - ڊيزائن جي مرحلي تي، اسان کي 35-37 گيگا بائيٽ ميموري ملندي آهي. پر 4 ملين ميٽرڪس سان، ميموري جي ضرورت اڳ ۾ ئي 90 گيگا بائيٽ جي لڳ ڀڳ آهي. يعني، اهو پروميٿيس ڊولپرز پاران مهيا ڪيل فارمولا استعمال ڪندي حساب ڪيو ويو. اسان رابطي کي ڏٺو ۽ محسوس ڪيو ته اسان صرف نگراني لاءِ سرور لاءِ ڪجهه ملين ادا ڪرڻ نٿا چاهيون.

اسين صرف مشينن جو تعداد نه وڌائينداسين؛ اسين ورچوئل مشينن جي پاڻ نگراني پڻ ڪنداسين. تنهن ڪري، اسان وٽ جيتريون وڌيڪ ورچوئل مشينون هونديون، اوترو وڌيڪ ميٽرڪ اسان وٽ هوندو، وغيره. اسان ميٽرڪ جي لحاظ کان پنهنجي ڪلسٽر ۾ مخصوص واڌ ڏسنداسين.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

ڊسڪ جي جاءِ تمام خراب ناهي، پر اسان ڪجهه بهتري استعمال ڪري سگهون ٿا. اسان کي 15 ڏينهن ۾ ڪل 120 گيگا بائيٽ مليا، جن مان 100 ڪمپريسڊ ڊيٽا هو ۽ 20 ان ڪمپريسڊ هو، پر توهان هميشه گهٽ چاهيو ٿا.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

انهيءَ مطابق، اسان هڪ ٻيو نقطو لکون ٿا - هي وسيلن جو هڪ وڏو استعمال آهي، جنهن کي اسان اڃا تائين بچائڻ چاهيون ٿا، ڇاڪاڻ ته اسان نٿا چاهيون ته اسان جو مانيٽرنگ ڪلسٽر اسان جي ڪلسٽر کان وڌيڪ وسيلا کائي جيڪو اوپن اسٽيڪ کي منظم ڪري ٿو.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

پروميٿيئس ۾ هڪ ٻي خرابي آهي جيڪا اسان سڃاڻپ ڪئي آهي: ڪنهن به قسم جي ياداشت جي حد. پروميٿيئس سان، شيون تمام گهڻيون خراب آهن ڇاڪاڻ ته ان ۾ اهڙا ڪي به ڪنٽرول نه آهن. ڊاڪر ۾ حد استعمال ڪرڻ به ڪو آپشن ناهي. جيڪڏهن توهان جو RAF ڪريش ٿئي ٿو ۽ اهو 20-30 گيگا بائيٽ آهي، ته ان کي بحال ٿيڻ ۾ تمام گهڻو وقت لڳندو.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

هي هڪ ٻيو سبب آهي جو پروميٿيئس اسان لاءِ مناسب ناهي، يعني ياداشت جي استعمال کي محدود ڪرڻ ممڪن ناهي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اسان هن طرح جي ڊيزائن ٺاهي سگهون ٿا. اسان کي HA ڪلسٽر قائم ڪرڻ لاءِ هن ڊيزائن جي ضرورت آهي. اسان چاهيون ٿا ته اسان جا ميٽرڪس ڪٿي به، ڪنهن به وقت دستياب هجن، جيتوڻيڪ انهن کي اسٽور ڪندڙ سرور ڪريش ٿي وڃي. تنهن ڪري، اسان کي هن طرح جي ڊيزائن ٺاهڻي پوندي.

هي اسڪيم ظاهر ڪري ٿي ته اسان وٽ نقل ٿيل شارڊ هوندا، ۽ تنهن ڪري نقل ٿيل وسيلن جو استعمال. اهو تقريبن افقي طور تي اسڪيلبل آهي، پر وسيلن جو استعمال اڃا تائين تمام گهڻو هوندو.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

نقصانات جيئن اسان پاڻ لکيا آهن:

  • ميٽرڪس کي ٻاهرين ملڪن ڏانهن برآمد ڪرڻ ضروري آهي.
  • وسيلن جو وڌيڪ استعمال.
  • ياداشت جي استعمال کي محدود ڪرڻ ممڪن ناهي.
  • ايڇ اي جو پيچيده ۽ وسيلن تي ٻڌل عمل درآمد.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اسان پاڻ لاءِ فيصلو ڪيو ته اسين اسٽوريج حل جي طور تي پروميٿيئس کان پري ٿي رهيا آهيون.

اسان پاڻ لاءِ اضافي گهرجن جي نشاندهي ڪئي آهي. اهي آهن:

  • هي promql سپورٽ آهي، ڇاڪاڻ ته Prometheus لاءِ اڳ ۾ ئي ڪيتريون ئي شيون لکيون ويون آهن: سوال، الرٽ.
  • ۽ پوءِ اسان وٽ گرافانا آهي، جيڪو پروميٿيئس لاءِ پڻ هڪ پس منظر جي طور تي لکيو ويو آهي. مان ڊيش بورڊ کي ٻيهر لکڻ نٿو چاهيان.
  • اسان هڪ عام HA آرڪيٽيڪچر ٺاهڻ چاهيون ٿا.
  • اسان ڪنهن به وسيلن جي استعمال کي گهٽائڻ چاهيون ٿا.
  • هڪ ٻي ننڍڙي تفصيل آهي. اسان ڪنهن به قسم جي ڪلائوڊ تي ٻڌل ميٽرڪس ڪليڪشن سسٽم استعمال نٿا ڪري سگهون. اسان کي اڃا تائين خبر ناهي ته انهن ميٽرڪس ۾ ڇا ٿيندو. ۽ جيئن ته ڪجهه به اتي ختم ٿي سگهي ٿو، اسان کي پاڻ کي مقامي هوسٽنگ تائين محدود رکڻو پوندو.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

چونڊ محدود هئي. اسان هر شيءِ گڏ ڪئي جنهن سان اسان کي تجربو هو. اسان انٽيگريشن سيڪشن ۾ پروميٿيس صفحي تي نظر وڌي، ڪيترائي مضمون پڙهيا، ۽ ڏٺو ته ڇا موجود هو. ۽ اسان وڪٽوريا ميٽرڪس کي پنهنجي پروميٿيس جي متبادل طور چونڊيو.

ڇو؟ ڇاڪاڻ ته:

  • پرامڪ ايل استعمال ڪري سگهو ٿا.
  • هڪ ماڊيولر آرڪيٽيڪچر آهي.
  • گرافانا ۾ ڪا به تبديلي گهربل ناهي.
  • ۽ سڀ کان اهم ڳالهه ته، اسان شايد پنهنجي ڪمپني اندر ميٽرڪس اسٽوريج کي هڪ خدمت طور فراهم ڪري رهيا آهيون، تنهن ڪري اسان مختلف قسمن جي پابندين جي منتظر آهيون ته جيئن صارف ڪلسٽر جي سڀني وسيلن کي ڪجهه محدود طريقي سان استعمال ڪري سگهن، ڇاڪاڻ ته هڪ موقعو آهي ته اهو ڪيترن ئي ڪرائيدارن لاءِ هوندو.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اچو ته پنهنجو پهريون مقابلو ڪريون. اسين ڪلسٽر اندر ساڳيو پروميٿيئس استعمال ڪنداسين، جيڪو هڪ ٻاهرين پروميٿيئس تائين پهچندو. اسين ريموٽ رائٽ ذريعي وڪٽوريا ميٽرڪس شامل ڪنداسين.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

مون کي فوري طور تي واضح ڪرڻ ڏيو ته اسان هتي VictoriaMetrics کان CPU جي استعمال ۾ معمولي واڌ ڏٺي آهي. VictoriaMetrics وڪي وضاحت ڪري ٿي ته ڪهڙيون سيٽنگون بهترين آهن. اسان انهن کي آزمايو، ۽ انهن CPU جي استعمال کي خاص طور تي گهٽايو.

اسان جي صورت ۾، پروميٿيئس جي ياداشت جي استعمال ۾، جيڪو ڪبرنيٽس ڪلسٽر ۾ واقع آهي، خاص طور تي اضافو نه ٿيو.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اسين ساڳئي ڊيٽا لاءِ ٻن ڊيٽا ذريعن جو مقابلو ڪري رهيا آهيون. پروميٿيئس ۾، اسان ساڳيو گم ٿيل ڊيٽا ڏسون ٿا. وڪٽوريا ميٽرڪس ۾، سڀ ڪجهه ٺيڪ آهي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

ڊسڪ اسپيس ٽيسٽ جا نتيجا. اسان کي پروميٿيئس ۾ ڪل 120 گيگا بائيٽ مليا. وڪٽوريا ميٽرڪس ۾، اسان اڳ ۾ ئي 4 گيگا بائيٽ في ڏينهن حاصل ڪري رهيا آهيون. انهن وٽ پروميٿيئس ۾ استعمال ٿيندڙ طريقن کان ٿورو مختلف طريقو آهي. اهو آهي، ڊيٽا اڳ ۾ ئي هڪ ڏينهن اندر، اڌ ڪلاڪ اندر ڪافي چڱي طرح دٻجي ويو آهي. اهو اڳ ۾ ئي هڪ ڏينهن اندر، اڌ ڪلاڪ اندر چڱي طرح دٻجي ويو آهي، جيتوڻيڪ اسان بعد ۾ ڊيٽا کي ضم ڪنداسين. نتيجي طور، اسان ڊسڪ اسپيس تي بچت ڪئي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اسان ياداشت جي استعمال تي پڻ بچت ڪريون ٿا. جاچ جي وقت، پروميٿيس کي هڪ ورچوئل مشين تي لڳايو ويو هو - 8 ڪور، 24 گيگا بائيٽ. پروميٿيس تقريبن هر شيءِ استعمال ڪري ٿو. اهو OOM ڪلر جي ڪري ڪريش ٿيو. جڏهن ته، اهو صرف 900,000 فعال ميٽرڪس حاصل ڪري رهيو هو. اهو تقريباً 25,000-27,000 ميٽرڪس في سيڪنڊ آهي.

اسان 8 GB ريم سان گڏ ڊبل ڪور ورچوئل مشين تي وڪٽوريا ميٽرڪس هلائي. اسان 8 GB مشين تي ڪجھ شين کي ٽوئڪ ڪندي وڪٽوريا ميٽرڪس کي سٺي ڪارڪردگي ڏيڻ ۾ ڪامياب ٿياسين. آخرڪار، اسان سسٽم کي 7 GB کان گهٽ رکڻ ۾ ڪامياب ٿياسين. ساڳئي وقت، اسان مواد پهچائڻ جي رفتار حاصل ڪئي، يعني، ميٽرڪس، جيڪي پروميٿيس کان به وڌيڪ هيون.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

پروميٿيئس جي مقابلي ۾ سي پي يو جي ڪارڪردگي ۾ ڪافي بهتري آئي آهي. هتي، پروميٿيئس 2,5 ڪور استعمال ڪري ٿو، جڏهن ته وڪٽوريا ميٽرڪس صرف 0,25 ڪور استعمال ڪري ٿو. لانچ تي، اهو 0,5 ڪور هو. جيئن مرج اڳتي وڌندو آهي، اهو هڪ ڪور تائين پهچي ٿو، پر اهو انتهائي ناياب آهي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اسان جي صورت ۾، اسان واضح سببن جي ڪري وڪٽوريا ميٽرڪس چونڊيو: اسان پئسا بچائڻ چاهيندا هئاسين، ۽ اسان ائين ڪيو.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اسين فوري طور تي ٻن مسئلن کي حل ڪنداسين: ميٽرڪس ڊائون لوڊنگ ۽ وسيلن جي وڌيڪ استعمال. ۽ اسان کي اڃا تائين ٻه مسئلا حل ڪرڻا آهن.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

مون کي فوري طور تي وضاحت ڪرڻ ڏيو: اسان وڪٽوريا ميٽرڪس کي ميٽرڪس ريپوزٽري طور ڏسون ٿا. پر جيئن ته اسان ممڪن طور تي وڪٽوريا ميٽرڪس کي سڄي ليروئي لاءِ هڪ ريپوزٽري طور فراهم ڪنداسين، اسان کي محدود ڪرڻ جي ضرورت آهي ته ڪير هن ڪلسٽر کي استعمال ڪري ٿو ته جيئن انهن کي ان کي حذف ڪرڻ کان روڪيو وڃي.

هڪ بهترين پيرا ميٽر آهي جيڪو توهان کي وقت، ڊيٽا جي مقدار ۽ عمل جي وقت جي لحاظ کان محدود ڪرڻ جي اجازت ڏئي ٿو.

هتي هڪ بهترين آپشن پڻ آهي جيڪو توهان کي ياداشت جي استعمال کي محدود ڪرڻ جي اجازت ڏئي ٿو، اسان کي مڪمل توازن ڳولڻ جي اجازت ڏئي ٿو جيڪو اسان کي عام آپريٽنگ رفتار ۽ مناسب وسيلن جي استعمال حاصل ڪرڻ جي اجازت ڏيندو.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

هڪ ٻيو نقطو گھٽايو، يعني اسان نقطي کي پار ڪريون ٿا - ياداشت جي استعمال کي محدود ڪرڻ ناممڪن آهي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اسان جي پهرين ورزن ۾، اسان وڪٽوريا ميٽرڪس سنگل نوڊ کي آزمايو. اڳتي، اسان وڪٽوريا ميٽرڪس ڪلسٽر ورزن ڏانهن وڌنداسين.

هي اسان کي وڪٽوريا ميٽرڪس اندر مختلف خدمتن کي الڳ ڪرڻ جي آزادي ڏئي ٿو ان جي بنياد تي ته اهي ڪهڙين شين تي هلندا ۽ ڪهڙا وسيلا استعمال ڪندا. اهو هڪ تمام لچڪدار ۽ آسان حل آهي. اسان پاڻ ان کي استعمال ڪيو آهي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

وڪٽوريا ميٽرڪس ڪلسٽر ورزن جا مکيه جزا vmstsorage آهن. انهن مان N ٿي سگهن ٿا. اسان جي صورت ۾، هن وقت ٻه آهن.

۽ اتي vminsert آهي. اهو هڪ پراڪسي سرور آهي جيڪو اسان کي انهن سڀني اسٽوريج جي وچ ۾ شارڊنگ سيٽ اپ ڪرڻ جي اجازت ڏئي ٿو جن بابت اسان ان کي ٻڌايون ٿا، ۽ اهو ريپليڪيشن جي پڻ اجازت ڏئي ٿو، مطلب ته توهان وٽ شارڊنگ ۽ ريپليڪيشن ٻئي هوندا.

Vminsert OpenTSDB، Graphite، InfluxDB، ۽ Prometheus جي remoteWrite پروٽوڪول کي سپورٽ ڪري ٿو.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

هتي vmselect پڻ آهي. ان جو مکيه ڪم vmstorage تائين رسائي حاصل ڪرڻ، ان مان ڊيٽا حاصل ڪرڻ، ان کي ڊيڊپليڪيٽ ڪرڻ، ۽ ان کي ڪلائنٽ ڏانهن واپس ڪرڻ آهي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

هڪ شاندار شيءِ آهي جنهن کي vmagent سڏيو ويندو آهي. اسان کي اهو واقعي پسند آهي. اهو توهان کي پروميٿيئس وانگر ترتيب ڏيڻ جي اجازت ڏئي ٿو ۽ اڃا تائين هر شي کي پروميٿيئس وانگر بلڪل ڪري ٿو. يعني، اهو مختلف ادارن ۽ خدمتن کان ميٽرڪس گڏ ڪري ٿو ۽ انهن کي vminsert ڏانهن موڪلي ٿو. اتان کان، اهو توهان تي منحصر آهي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

ٻي بهترين سروس vmalert آهي، جيڪا VictoriaMetrics کي بيڪ اينڊ طور استعمال ڪري ٿي، vminsert کان ڊيٽا وصول ڪري ٿي، ۽ پروسيس ٿيل ڊيٽا vmselect ڏانهن موڪلي ٿي. اهو الرٽس ۽ قاعدن کي پروسيس ڪري ٿو. الرٽس لاءِ، اسان انهن کي alertmanager ذريعي وصول ڪريون ٿا.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

هڪ wmauth جزو آهي. اسان ان کي ملٽي ٽيننسي ڪلسٽرز لاءِ اختيار ڏيڻ واري نظام جي طور تي استعمال ڪري سگهون ٿا يا نه ڪري سگهون ٿا (اسان اڃا تائين فيصلو نه ڪيو آهي). اهو پروميٿيئس لاءِ ريموٽ رائٽ کي سپورٽ ڪري ٿو ۽ هڪ URL جي بنياد تي اختيار ڏئي سگهي ٿو، يا وڌيڪ صحيح طور تي، ان جو ٻيو حصو، جيڪو بيان ڪري ٿو ته توهان ڪٿي لکي سگهو ٿا يا نه لکي سگهو ٿا.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

هتي vmbackup ۽ vmrestore پڻ آهن. اهي بنيادي طور تي توهان جي سڀني ڊيٽا کي بحال ۽ بيڪ اپ ڪن ٿا. S3، GCS، ۽ فائل کي سپورٽ ڪن ٿا.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اسان جي ڪلسٽر جو پهريون ورجاءُ قرنطين دوران ٺاهيو ويو هو. ان وقت، ڪا به نقل نه هئي، تنهن ڪري اسان جي ورجاءُ ۾ ٻه الڳ ۽ آزاد ڪلسٽر شامل هئا، جيڪي ريموٽ رائٽ ذريعي ڊيٽا حاصل ڪندا هئا.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

هتي مون کي واضح ڪرڻ ڏيو ته جڏهن اسان وڪٽوريا ميٽرڪس سنگل نوڊ کان وڪٽوريا ميٽرڪس ڪلسٽر ورزن ڏانهن سوئچ ڪيو، اسان ساڳئي وسيلن جي استعمال جي حد اندر رهياسين، مطلب ته ياداشت بنيادي وسيلو هئي. اهو تقريبن اسان جي ڊيٽا جي ورڇ، يعني وسيلن جي استعمال، کي ڪيئن ورهايو ويو.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

هتي هڪ نقل اڳ ۾ ئي شامل ڪئي وئي آهي. اسان هر شيءِ کي هڪ نسبتاً وڏي ڪلسٽر ۾ گڏ ڪيو آهي. اسان جو سڀ ڊيٽا شارڊ ۽ نقل ٿيل آهي.

پوري ڪلسٽر ۾ N داخلا پوائنٽ آهن، مطلب ته پروميٿيس HAPROXY ذريعي ڊيٽا شامل ڪري سگهي ٿو. هي اسان جو داخلا پوائنٽ آهي. ۽ گرافانا هن داخلا پوائنٽ ذريعي ان تائين رسائي ڪري سگهي ٿو.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اسان جي صورت ۾، HAPROXY اهو واحد پورٽ آهي جيڪو پراڪسي هن ڪلسٽر ۾ چونڊيندا، داخل ڪندا، ۽ ٻيون خدمتون ڏيندا آهن. اسان جي صورت ۾، هڪ واحد پتو ٺاهڻ ممڪن نه هو؛ اسان کي ڪيترائي داخلا پوائنٽ ٺاهڻا پيا ڇاڪاڻ ته وڪٽوريا ميٽرڪس ڪلسٽر هلائيندڙ ورچوئل مشينون هڪ ئي ڪلائوڊ فراهم ڪندڙ جي مختلف زونن ۾ واقع آهن، مطلب ته اهي اسان جي ڪلائوڊ اندر نه آهن، پر ان کان ٻاهر آهن.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اسان وٽ الرٽنگ آهي. اسان ان کي استعمال ڪريون ٿا. اسان پروميٿيئس کان الرٽ مئنيجر استعمال ڪريون ٿا. اسان الرٽس لاءِ ڊليوري چينل طور اوپسجيني ۽ ٽيليگرام استعمال ڪريون ٿا. ٽيليگرام کي ڊيو کان الرٽ ملن ٿا، شايد ڪجهه پروڊڪٽ کان، پر گهڻو ڪري اهو شمارياتي مواد آهي جنهن جي انجنيئرن کي ضرورت آهي. اوپسجيني وڌيڪ نازڪ آهي. اهو ڪالن ۽ واقعن جي انتظام کي سنڀاليندو آهي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

پراڻو سوال: "مانيٽرنگ جي نگراني ڪير ڪندو آهي؟" اسان جي صورت ۾، نگراني پاڻ نگراني جي نگراني ڪري ٿي، ڇاڪاڻ ته اسان هر نوڊ تي vMagent استعمال ڪندا آهيون. ۽ جيئن ته اسان جا نوڊ هڪ ئي فراهم ڪندڙ جي مختلف ڊيٽا سينٽرن ۾ ورهايل آهن، هر ڊيٽا سينٽر جو پنهنجو چينل آهي، اهي آزاد آهن، ۽ جيتوڻيڪ هڪ ورهايل دماغ ٿئي ٿو، اسان کي اڃا تائين الرٽ ملندا. ها، انهن مان وڌيڪ هوندا، پر ڪنهن به الرٽ نه هجڻ کان بهتر آهي ته وڌيڪ الرٽ هجن.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

اسان پنهنجي فهرست کي HA لاڳو ڪرڻ سان ختم ڪريون ٿا.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

مان وڪٽوريا ميٽرڪس ڪميونٽي سان پنهنجي تجربي کي به اجاگر ڪرڻ چاهيندس. اهو تمام گهڻو مثبت هو. اهي تمام گهڻا جوابدار آهن ۽ پيش ڪيل هر ڪيس کي سمجهڻ جي ڪوشش ڪندا آهن.

مون GitHub تي مسئلا کوليا. اهي تمام جلدي حل ٿي ويا. اڃا تائين ڪجھ مسئلا آهن جيڪي مڪمل طور تي حل نه ٿيا آهن، پر مان اڳ ۾ ئي ڪوڊ مان ڏسي سگهان ٿو ته ڪم جاري آهي.

مون لاءِ ورهاڱي دوران مکيه تڪليف واري ڳالهه اها هئي ته جيڪڏهن مان هڪ نوڊ بند ڪريان ٿو، ته vminsert پهرين 30 سيڪنڊن تائين اهو محسوس نه ڪندو ته بيڪ اينڊ بند آهي. اهو هاڻي حل ٿي ويو آهي. لفظي طور تي هڪ يا ٻن سيڪنڊن اندر، ڊيٽا باقي سڀني نوڊس مان حاصل ڪيو ويندو آهي، ۽ درخواست گم ٿيل نوڊ جي انتظار ۾ بند ٿي ويندي آهي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

ڪنهن موقعي تي، اسان چاهيون ٿا ته وڪٽوريا ميٽرڪس وڪٽوريا ميٽرڪس آپريٽر لاڳو ڪري. اسان آخرڪار اهو حاصل ڪيو. اسان هن وقت فعال طور تي وڪٽوريا ميٽرڪس آپريٽر جي چوڌاري هڪ ريپر ٺاهي رهيا آهيون ته جيئن سڀني اڳ-ڳڻپيوڪر قاعدن وغيره کي پروميٿيئس ۾ ضم ڪري سگهجي، ڇاڪاڻ ته اسان پروميٿيئس آپريٽر سان گڏ ايندڙ قاعدن کي ڪافي فعال طور تي استعمال ڪندا آهيون.

ڪلسٽر جي عملدرآمد کي بهتر بڻائڻ لاءِ تجويزون آهن. مون انهن کي مٿي بيان ڪيو آهي.

مان واقعي ڊائون سيمپلنگ چاهيان ٿو. اسان جي صورت ۾، ڊائون سيمپلنگ صرف رجحانات ڏسڻ لاءِ ضروري آهي. عام طور تي، هڪ ميٽرڪ منهنجي لاءِ هڪ ڏينهن لاءِ ڪافي آهي. اهي رجحانات هڪ سال، ٽي، پنج، ڏهه سالن لاءِ گهربل آهن. ۽ هڪ ميٽرڪ ويليو ڪافي آهي.
VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

  • اسان کي تڪليف محسوس ٿي آهي، جيئن اسان جي ڪجهه ساٿين کي، پروميٿيس استعمال ڪندي.
  • اسان پاڻ لاءِ وڪٽوريا ميٽرڪس چونڊيو.
  • اهو عمودي ۽ افقي طور تي چڱي طرح ماپي ٿو.
  • اسان ڪلسٽر ۾ مختلف حصن کي مختلف نوڊس ۾ ورهائي سگهون ٿا، انهن جي ياداشت جي گنجائش کي محدود ڪري سگهون ٿا، ياداشت جي مختص کي وڌائي سگهون ٿا، وغيره.

اسين وڪٽوريا ميٽرڪس استعمال ڪنداسين ڇاڪاڻ ته اسان کي اهو تمام گهڻو پسند آهي. هتي اهو ڇا هو ۽ هاڻي ڪيئن آهي.

VictoriaMetrics ۽ نجي بادل جي نگراني. Pavel Kolobaev

https://t.me/VictoriaMetrics_ru1

وڪٽوريا ميٽرڪس چيٽ، منهنجا رابطا، ۽ ليروئي مرلن ٽيڪ ريڊار لاءِ ڪجهه QR ڪوڊ.

جو ذريعو: www.habr.com

DDoS تحفظ سان سائيٽن لاءِ قابل اعتماد هوسٽنگ خريد ڪريو، VPS VDS سرور 🔥 DDoS تحفظ سان قابل اعتماد ويب سائيٽ هوسٽنگ خريد ڪريو، VPS VDS سرورز | ProHoster