اچو ته ياد رکون ته لچڪدار اسٽيڪ غير لاڳاپو Elasticsearch ڊيٽابيس تي ٻڌل آهي، ڪبانا ويب انٽرفيس ۽ ڊيٽا گڏ ڪندڙ ۽ پروسيسرز (سڀ کان مشهور Logstash، مختلف بيٽس، APM ۽ ٻيا). پوري لسٽ ڪيل پراڊڪٽ اسٽيڪ ۾ هڪ سٺو اضافو آهي ڊيٽا جو تجزيو مشين لرننگ الگورتھم استعمال ڪندي. مضمون ۾ اسان سمجھندا آهيون ته اهي الگورتھم ڇا آهن. مهرباني ڪري ٻلي هيٺ.
مشين لرننگ شيئر ويئر لچڪدار اسٽيڪ جي ادا ڪيل خصوصيت آهي ۽ ايڪس پيڪ ۾ شامل آهي. ان کي استعمال ڪرڻ شروع ڪرڻ لاءِ، انسٽاليشن کان پوءِ صرف 30 ڏينهن جي آزمائش کي چالو ڪريو. آزمائشي مدت ختم ٿيڻ کان پوء، توھان ان کي وڌائڻ يا رڪنيت خريد ڪرڻ لاءِ مدد جي درخواست ڪري سگھو ٿا. سبسڪرپشن جي قيمت حساب ڪئي وئي آهي ڊيٽا جي مقدار جي بنياد تي نه، پر استعمال ٿيل نوڊس جي تعداد تي. نه، ڊيٽا جو مقدار، يقينا، گهربل نوڊس جي تعداد کي متاثر ڪري ٿو، پر اڃا تائين لائسنس ڏيڻ جو اهو طريقو ڪمپني جي بجيٽ جي حوالي سان وڌيڪ انساني آهي. جيڪڏهن اعلي پيداوار جي ضرورت ناهي، توهان پئسا بچائي سگهو ٿا.
لچڪدار اسٽيڪ ۾ ML C ++ ۾ لکيل آهي ۽ JVM کان ٻاهر هلندو آهي، جنهن ۾ Elasticsearch پاڻ هلندو آهي. اهو آهي، اهو عمل (رستي سان، ان کي آٽو ڊيٽڪٽ سڏيو ويندو آهي) هر شيء کي کائي ٿو جيڪو JVM نگل نه ٿو ڪري. ڊيمو اسٽينڊ تي اهو ايترو نازڪ ناهي، پر پيداوار واري ماحول ۾ اهو ضروري آهي ته ML ڪمن لاءِ الڳ نوڊس مختص ڪيا وڃن.
مشين لرننگ الگورتھم ٻن ڀاڱن ۾ اچي وڃن ٿا - и . لچڪدار اسٽيڪ ۾، الورورٿم "غير نگراني" درجي ۾ آهي. پاران توھان ڏسي سگھو ٿا رياضياتي اپريٽس مشين لرننگ الگورتھم.
تجزيو انجام ڏيڻ لاءِ، مشين لرننگ الگورٿم استعمال ڪري ٿو ڊيٽا کي محفوظ ڪيل Elasticsearch indexes ۾. توهان تجزيي لاءِ ڪم ٺاهي سگهو ٿا ٻنهي کان ڪبانا انٽرفيس ۽ API ذريعي. جيڪڏھن توھان ھي ڪندا آھيو Kibana ذريعي، پوء توھان کي ڪجھ شيون ڄاڻڻ جي ضرورت نه آھي. مثال طور، اضافي انڊيڪسس جيڪي الگورتھم ان جي آپريشن دوران استعمال ڪن ٿا.
تجزيي جي عمل ۾ استعمال ٿيل اضافي اشارا.ml-state - شمارياتي ماڊل بابت ڄاڻ (تجزيي سيٽنگون)؛
.ml-anomalies-* - ML الگورتھم جا نتيجا؛
.ml-notifications — سيٽنگون نوٽيفڪيشن لاءِ تجزيو نتيجن جي بنياد تي.
Elasticsearch ڊيٽابيس ۾ ڊيٽا جي جوڙجڪ انڊيڪسس ۽ دستاويزن تي مشتمل آهي انهن ۾ ذخيرو ٿيل. جڏهن هڪ تعلقي ڊيٽابيس جي مقابلي ۾، هڪ انڊيڪس ڊيٽابيس اسڪيما سان مقابلو ڪري سگهجي ٿو، ۽ هڪ دستاويز کي ٽيبل ۾ رڪارڊ ڪرڻ لاء. ھي مقابلو مشروط آھي ۽ انھن لاءِ وڌيڪ مواد جي سمجھ کي آسان ڪرڻ لاءِ مهيا ڪيو ويو آھي جن صرف Elasticsearch بابت ٻڌو آھي.
ساڳي ڪارڪردگي API جي ذريعي دستياب آهي جيئن ويب انٽرفيس ذريعي، تنهنڪري مفهوم جي وضاحت ۽ سمجھڻ لاء، اسان ڏيکارينداسين ته ڪيئن ان کي ڪبانا ذريعي ترتيب ڏيو. مينيو ۾ کاٻي پاسي هڪ مشين لرننگ سيڪشن آهي جتي توهان هڪ نئين نوڪري ٺاهي سگهو ٿا. Kibana انٽرفيس ۾ اهو هيٺ ڏنل تصوير وانگر ڏسڻ ۾ اچي ٿو. ھاڻي اسين ھر قسم جي ڪم جو تجزيو ڪنداسين ۽ ڏيکارينداسين تجزيو جا قسم جيڪي ھتي ٺاھي سگھجن ٿا.
سنگل ميٽرڪ - هڪ ميٽرڪ جو تجزيو، ملٽي ميٽرڪ - ٻن يا وڌيڪ ميٽرڪ جو تجزيو. ٻنهي صورتن ۾، هر ميٽرڪ هڪ الڳ ماحول ۾ تجزيو ڪيو ويندو آهي، يعني. الورورٿم متوازي تجزياتي ميٽرڪس جي رويي کي حساب ۾ نٿو رکي، جيئن اهو لڳي سگهي ٿو ملٽي ميٽرڪ جي صورت ۾. حساب ڪتاب ڪرڻ لاءِ مختلف ميٽرڪس جي باهمي تعلق کي مدنظر رکندي، توهان استعمال ڪري سگهو ٿا آبادي جو تجزيو. ۽ ترقي يافته آهي الورورٿم کي ڪجهه خاص ڪمن لاءِ اضافي اختيارن سان.
سنگل ميٽرڪ
ھڪڙي ھڪڙي ميٽرڪ ۾ تبديلين جو تجزيو ڪرڻ تمام سادو شيء آھي جيڪو ھتي ڪري سگھجي ٿو. Create Job تي ڪلڪ ڪرڻ کان پوءِ، الورورٿم بي ضابطگين کي ڳوليندو.
جي ميدان ۾ مجموعي توهان هڪ طريقه اختيار چونڊي سگهو ٿا غير معموليات جي ڳولا لاءِ. مثال طور، جڏهن منٽ عام قدرن کان هيٺ ڏنل قدر غير معمولي سمجهيا ويندا. کائو وڌ ۾ وڌ، وڏو، گهٽ، مطلب، الڳ ۽ ٻيا. سڀني ڪمن جا تفصيل ڳولي سگهجن ٿا .
جي ميدان ۾ جو ميدان دستاويز ۾ عددي فيلڊ کي اشارو ڪري ٿو جنهن تي اسين تجزيو ڪنداسين.
جي ميدان ۾ - ٽائيم لائن تي وقفن جي گرينولرٽي جنهن سان تجزيو ڪيو ويندو. توهان خودڪار طريقي سان ڀروسو ڪري سگهو ٿا يا دستي طور تي چونڊيو. هيٺ ڏنل تصوير هڪ مثال آهي گرينولرٽي تمام گهٽ هجڻ جو - توهان شايد انمولي کي ياد ڪري سگهو ٿا. ھن سيٽنگ کي استعمال ڪندي، توھان تبديل ڪري سگھو ٿا حساسيت الورورٿم جي غير معموليات کي.
گڏ ڪيل ڊيٽا جي مدت هڪ اهم شيء آهي جيڪا تجزيي جي اثرائتي کي متاثر ڪري ٿي. تجزيي دوران، الورورٿم ورجائيندڙ وقفن جي نشاندهي ڪري ٿو، اعتماد جي وقفن (بنيادي خطن) کي ڳڻائي ٿو ۽ غير معموليات جي سڃاڻپ ڪري ٿو - ميٽرڪ جي معمولي رويي کان غير معمولي انحراف. صرف مثال طور:
ڊيٽا جي هڪ ننڍڙي ٽڪڙي سان بيس لائين:
جڏهن الورورٿم وٽ ڪجهه سکڻ لاءِ آهي، بيس لائين هن طرح نظر اچي ٿو:
ڪم شروع ڪرڻ کان پوء، الورورٿم معمول کان غير معمولي انحراف کي طئي ڪري ٿو ۽ انهن کي هڪ بي ترتيب جي امڪان جي مطابق درجه بندي ڪري ٿو (لاڳاپيل ليبل جو رنگ قوس ۾ اشارو ڪيو ويو آهي):
خبردار (نيرو): 25 کان گهٽ
ننڍو (پيلو): 25-50
ميجر (نارنگي): 50-75
نازڪ (ڳاڙهو): 75-100
هيٺ ڏنل گراف ڏيکاري ٿو هڪ مثال جي غير معموليات جو مليو.
هتي توهان ڏسي سگهو ٿا نمبر 94، جيڪو ظاهر ڪري ٿو هڪ انمولي جي امڪاني. اهو واضح آهي ته قيمت 100 جي ويجهو آهي، ان جو مطلب اهو آهي ته اسان وٽ هڪ غير معمولي آهي. گراف جي هيٺان ڪالم ڏيکاري ٿو ته 0.000063634٪ جو امڪاني طور تي ننڍڙو امڪان موجود آهي.
ان کان سواءِ انمولز کي ڳولهڻ لاءِ، توهان هلائي سگهو ٿا اڳڪٿي ڪرڻ Kibana ۾. اهو آسانيءَ سان ڪيو ويندو آهي ۽ ساڳئي نظر کان انموليز - بٽڻ سان اڳڪٿي مٿي ساڄي ڪنڊ ۾.
اڳڪٿي ڪئي وئي آهي وڌ ۾ وڌ 8 هفتا اڳ ۾. جيتوڻيڪ توهان واقعي چاهيو ٿا، اهو هاڻي ممڪن ناهي ڊزائن طرفان.
ڪجهه حالتن ۾، پيش گوئي تمام مفيد ثابت ٿيندي، مثال طور، جڏهن انفراسٽرڪچر تي صارف جي لوڊ جي نگراني ڪندي.
ملٽي ميٽرڪ
اچو ته اڳتي وڌون ML خصوصيت ڏانھن لچڪدار اسٽيڪ ۾ - ھڪڙي بيچ ۾ ڪيترن ئي ميٽرڪ جو تجزيو ڪرڻ. پر هن جو مطلب اهو ناهي ته هڪ ميٽرڪ جو انحصار ٻئي تي تجزيو ڪيو ويندو. اهو ساڳيو آهي سنگل ميٽرڪ، پر هڪ اسڪرين تي گهڻن ميٽرڪ سان گڏ هڪ ٻئي جي اثر جي آسان مقابلي لاءِ. اسان آبادي واري حصي ۾ هڪ ميٽرڪ جي ٻئي تي انحصار جو تجزيو ڪرڻ بابت ڳالهائينداسين.
ملٽي ميٽرڪ سان اسڪوائر تي ڪلڪ ڪرڻ کان پوءِ، سيٽنگن سان گڏ ونڊو ظاهر ٿيندي. اچو ته انهن کي وڌيڪ تفصيل سان ڏسو.
پهرين توهان کي انهن تي تجزيو ۽ ڊيٽا گڏ ڪرڻ لاءِ فيلڊ چونڊڻ جي ضرورت آهي. هتي گڏ ڪرڻ جا اختيار ساڳيا آهن جيئن سنگل ميٽرڪ (وڌ ۾ وڌ، وڏو، گهٽ، مطلب، الڳ ۽ ٻيا). وڌيڪ، جيڪڏهن گهربل هجي، ڊيٽا کي ورهايو ويو آهي هڪ فيلڊ (فيلڊ ورهايو ڊيٽا). مثال طور، اسان هن فيلڊ ذريعي ڪيو OriginAirportID. نوٽ ڪريو ته ساڄي پاسي ميٽرڪس گراف هاڻي ڪيترن ئي گرافس طور پيش ڪيو ويو آهي.
ميدان اهم ميدان (اثر ڪندڙ) سڌو سنئون متاثر ٿيل غير معموليات کي متاثر ڪري ٿو. ڊفالٽ طور، اتي هميشه گهٽ ۾ گهٽ هڪ قدر هوندي، ۽ توهان اضافو ڪري سگهو ٿا. الورورٿم انهن شعبن جي اثر کي حساب ۾ وٺندو جڏهن تجزيو ڪيو ويندو ۽ ڏيکاريندو سڀ کان وڌيڪ ”بااثر“ قدر.
لانچ کان پوء، هن وانگر ڪجهه ظاهر ٿيندو Kibana انٽرفيس ۾.
هن کي سڏيو ويندو آهي هر فيلڊ جي قيمت لاءِ بي ضابطگين جو گرمي نقشو OriginAirportID، جنهن ۾ اسان اشارو ڪيو آهي ورهايو ڊيٽا. جيئن سنگل ميٽرڪ سان، رنگ اشارو ڪري ٿو غير معمولي انحراف جي سطح. اهو ساڳيو تجزيو ڪرڻ آسان آهي، مثال طور، ڪم اسٽيشنن تي انهن کي ٽريڪ ڪرڻ لاء جيڪي مشڪوڪ طور تي وڏي تعداد ۾ اختيارات وغيره. اسان اڳ ۾ ئي لکيو آهي ، جنهن کي پڻ گڏ ڪري سگهجي ٿو ۽ هتي تجزيو ڪري سگهجي ٿو.
گرمي جي نقشي جي هيٺان هڪ فهرست آهي اضطراب جي، هر هڪ مان توهان تبديل ڪري سگهو ٿا سنگل ميٽرڪ ڏيک ۾ تفصيلي تجزيو لاءِ.
آبادي
مختلف ماپن جي وچ ۾ لاڳاپن جي وچ ۾ انسائيڪلوپيڊيا ڳولڻ لاء، لچڪدار اسٽيڪ هڪ خاص آبادي جو تجزيو ڪيو آهي. اهو ان جي مدد سان آهي ته توهان ٻين جي مقابلي ۾ سرور جي ڪارڪردگي ۾ غير معمولي قدر ڳولي سگهو ٿا، مثال طور، ٽارگيٽ سسٽم ڏانهن درخواستن جو تعداد وڌائي ٿو.
ھن مثال ۾، آبادي جو ميدان اشارو ڪري ٿو قدر جنھن سان تجزيو ڪيل ميٽرڪ تعلق رکندو. انهي صورت ۾ اهو عمل جو نالو آهي. نتيجي طور، اسان ڏسندا سين ته هر پروسيس جي پروسيسر لوڊ هڪ ٻئي تي اثر انداز ڪيو.
مهرباني ڪري نوٽ ڪريو ته تجزيو ڪيل ڊيٽا جو گراف سنگل ميٽرڪ ۽ ملٽي ميٽرڪ سان ڪيسن کان مختلف آهي. اهو تجزيو ڪيل ڊيٽا جي قدرن جي ورڇ جي بهتر تصور لاءِ ڊيزائن ذريعي ڪيو ويو.
گراف ڏيکاري ٿو ته عمل غير معمولي طور تي عمل ڪيو دٻاء (رستي جي ذريعي، هڪ خاص افاديت پاران ٺاهيل) سرور تي پوپ، جيڪو متاثر ڪيو (يا هڪ اثر ڪندڙ بڻجي ويو) هن انمولي جي واقعن کي.
اعلي درجي
نفيس ٽيوننگ سان تجزياتي. ترقي يافته تجزيي سان، اضافي سيٽنگون ڪبيانا ۾ ظاهر ٿيندا آهن. ٺاھڻ واري مينيو ۾ ايڊوانسڊ ٽائل تي ڪلڪ ڪرڻ کان پوءِ، ھي ونڊو ٽئب سان گڏ ظاهر ٿيندي. ٽئب نوڪري جا تفصيل اسان ان کي مقصد تي ڇڏي ڏنو، اتي بنيادي سيٽنگون آھن جيڪي سڌو سنئون تجزيو قائم ڪرڻ سان لاڳاپيل نه آھن.
В summary_count_field_name اختياري طور، توھان بيان ڪري سگھو ٿا ھڪڙي فيلڊ جو نالو دستاويزن مان جن ۾ مجموعي قدر شامل آھن. هن مثال ۾، في منٽ واقعن جو تعداد. IN دستاويز مان هڪ فيلڊ جو نالو ۽ قيمت ڏيکاري ٿو جنهن ۾ ڪجهه متغير قيمت شامل آهي. هن فيلڊ تي ماسڪ استعمال ڪندي، توهان تجزيو ڪيل ڊيٽا کي سبسٽس ۾ ورهائي سگهو ٿا. بٽڻ تي ڌيان ڏيو ڊيڪٽر شامل ڪريو اڳئين مثال ۾. ھيٺ ڏنل آھي ھن بٽڻ کي دٻائڻ جو نتيجو.
هتي هڪ خاص ڪم لاءِ انمولي ڊيڪٽر کي ترتيب ڏيڻ لاءِ سيٽنگن جو هڪ اضافي بلاڪ آهي. اسان هيٺ ڏنل مضمونن ۾ مخصوص استعمال جي ڪيسن (خاص طور تي سيڪيورٽي وارن) تي بحث ڪرڻ جو منصوبو ڪريون ٿا. مثال طور، جدا ٿيل ڪيسن مان هڪ. اهو ناياب طور تي ظاهر ٿيندڙ قدرن جي ڳولا سان لاڳاپيل آهي ۽ لاڳو ڪيو ويو آهي .
جي ميدان ۾ فعل توهان هڪ مخصوص فنڪشن کي منتخب ڪري سگهو ٿا غير معمولي ڳولڻ لاء. سواءِ ناياب، اتي ڪجھ وڌيڪ دلچسپ ڪم آھن - . اهي سڄي ڏينهن يا هفتي ۾ ميٽرڪ جي رويي ۾ ترتيب جي نشاندهي ڪن ٿا. ٻيا تجزيي جا ڪم .
В فيلڊ_نالو دستاويز جي فيلڊ کي اشارو ڪري ٿو جنهن تي تجزيو ڪيو ويندو. طرفان_field_name هتي بيان ڪيل دستاويز جي فيلڊ جي هر انفرادي قيمت لاءِ تجزيو نتيجن کي الڳ ڪرڻ لاءِ استعمال ڪري سگهجي ٿو. جيڪڏهن توهان ڀريو over_field_name توھان حاصل ڪريو آبادي جو تجزيو جيڪو اسان مٿي بيان ڪيو آھي. جيڪڏهن توهان هڪ قدر بيان ڪيو آهي partition_field_name، پوءِ دستاويز جي هن فيلڊ لاءِ هر قيمت لاءِ الڳ بيس لائينز ڳڻيا ويندا (قيمت ٿي سگهي ٿي، مثال طور، سرور جو نالو يا سرور تي عمل). IN exclude_frequent چونڊي سگهو ٿا سڀ يا ڪو، جنهن جو مطلب هوندو خارج ڪرڻ (يا شامل ڪرڻ) بار بار موجود دستاويز جي فيلڊ قدر.
هن آرٽيڪل ۾، اسان ممڪن طور تي هڪ مختصر خيال ڏيڻ جي ڪوشش ڪئي آهي ايلسٽڪ اسٽيڪ ۾ مشين لرننگ جي صلاحيتن جي باري ۾؛ اڃا به تمام گهڻو تفصيل آهي پردي جي پويان. اسان کي تبصرن ۾ ٻڌايو ته توهان ڪهڙن ڪيسن کي حل ڪرڻ جو انتظام ڪيو آهي لچڪدار اسٽيڪ استعمال ڪندي ۽ ڪهڙن ڪمن لاءِ توهان ان کي استعمال ڪندا آهيو. اسان سان رابطو ڪرڻ لاء، توهان Habré يا تي ذاتي پيغام استعمال ڪري سگهو ٿا .
جو ذريعو: www.habr.com