لچکدار اسٹیک میں مشین لرننگ کو سمجھنا (عرف Elasticsearch، عرف ELK)

آئیے یاد کریں کہ لچکدار اسٹیک غیر متعلقہ Elasticsearch ڈیٹا بیس، کبانا ویب انٹرفیس اور ڈیٹا اکٹھا کرنے والے اور پروسیسرز (سب سے مشہور Logstash، مختلف Beats، APM اور دیگر) پر مبنی ہے۔ تمام درج شدہ پروڈکٹ اسٹیک میں ایک اچھا اضافہ مشین لرننگ الگورتھم کا استعمال کرتے ہوئے ڈیٹا کا تجزیہ ہے۔ مضمون میں ہم سمجھتے ہیں کہ یہ الگورتھم کیا ہیں۔ براہ کرم بلی کے نیچے۔

مشین لرننگ شیئر ویئر ایلاسٹک اسٹیک کی ایک ادا شدہ خصوصیت ہے اور ایکس پیک میں شامل ہے۔ اس کا استعمال شروع کرنے کے لیے، تنصیب کے بعد صرف 30 دن کی آزمائش کو چالو کریں۔ آزمائشی مدت ختم ہونے کے بعد، آپ اسے بڑھانے یا سبسکرپشن خریدنے کے لیے سپورٹ کی درخواست کر سکتے ہیں۔ سبسکرپشن کی لاگت کا حساب ڈیٹا کے حجم کی بنیاد پر نہیں بلکہ استعمال شدہ نوڈس کی تعداد پر لگایا جاتا ہے۔ نہیں، ڈیٹا کا حجم، یقیناً مطلوبہ نوڈس کی تعداد کو متاثر کرتا ہے، لیکن پھر بھی کمپنی کے بجٹ کے حوالے سے لائسنس دینے کا یہ طریقہ زیادہ انسانی ہے۔ اگر اعلی پیداوری کی ضرورت نہیں ہے، تو آپ پیسے بچا سکتے ہیں۔

لچکدار اسٹیک میں ML C++ میں لکھا جاتا ہے اور JVM سے باہر چلتا ہے، جس میں Elasticsearch خود چلتا ہے۔ یعنی، عمل (ویسے، اسے آٹو ڈیٹیکٹ کہا جاتا ہے) ہر وہ چیز کھاتا ہے جسے جے وی ایم نگل نہیں پاتا۔ ڈیمو اسٹینڈ پر یہ اتنا اہم نہیں ہے، لیکن پیداواری ماحول میں ایم ایل کاموں کے لیے علیحدہ نوڈس مختص کرنا ضروری ہے۔

مشین لرننگ الگورتھم دو زمروں میں آتے ہیں۔ استاد کے ساتھ и استاد کے بغیر. لچکدار اسٹیک میں، الگورتھم "غیر زیر نگرانی" زمرے میں ہے۔ کی طرف سے اس لنک آپ مشین لرننگ الگورتھم کا ریاضیاتی اپریٹس دیکھ سکتے ہیں۔

تجزیہ کرنے کے لیے، مشین لرننگ الگورتھم Elasticsearch اشاریہ جات میں ذخیرہ کردہ ڈیٹا کا استعمال کرتا ہے۔ آپ کبانا انٹرفیس اور API کے ذریعے تجزیہ کے لیے کام بنا سکتے ہیں۔ اگر آپ یہ کبانہ کے ذریعے کرتے ہیں، تو آپ کو کچھ چیزیں جاننے کی ضرورت نہیں ہے۔ مثال کے طور پر، اضافی اشاریہ جات جو الگورتھم اپنے آپریشن کے دوران استعمال کرتا ہے۔

تجزیہ کے عمل میں استعمال ہونے والے اضافی اشاریہ جات.ml-state — شماریاتی ماڈلز کے بارے میں معلومات (تجزیہ کی ترتیبات)؛
.ml-inomalies-* — ML الگورتھم کے نتائج؛
.ml-notifications — تجزیہ کے نتائج پر مبنی اطلاعات کے لیے ترتیبات۔

Elasticsearch ڈیٹا بیس میں ڈیٹا کا ڈھانچہ انڈیکسز اور ان میں محفوظ دستاویزات پر مشتمل ہوتا ہے۔ جب ایک رشتہ دار ڈیٹا بیس سے موازنہ کیا جائے تو، انڈیکس کا موازنہ ڈیٹا بیس اسکیما سے کیا جا سکتا ہے، اور ایک دستاویز کا ٹیبل میں موجود ریکارڈ سے کیا جا سکتا ہے۔ یہ موازنہ مشروط ہے اور ان لوگوں کے لیے مزید مواد کی تفہیم کو آسان بنانے کے لیے فراہم کیا گیا ہے جنہوں نے صرف Elasticsearch کے بارے میں سنا ہے۔

وہی فعالیت API کے ذریعے دستیاب ہے جیسا کہ ویب انٹرفیس کے ذریعے، اس لیے تصورات کی وضاحت اور تفہیم کے لیے، ہم دکھائیں گے کہ اسے Kibana کے ذریعے ترتیب دینے کا طریقہ۔ بائیں جانب مینو میں مشین لرننگ کا ایک سیکشن ہے جہاں آپ ایک نئی جاب بنا سکتے ہیں۔ کبانا انٹرفیس میں یہ نیچے کی تصویر کی طرح لگتا ہے۔ اب ہم ہر قسم کے کام کا تجزیہ کریں گے اور تجزیہ کی وہ اقسام دکھائیں گے جو یہاں کی جا سکتی ہیں۔

سنگل میٹرک - ایک میٹرک کا تجزیہ، ملٹی میٹرک - دو یا زیادہ میٹرکس کا تجزیہ۔ دونوں صورتوں میں، ہر میٹرک کا تجزیہ الگ تھلگ ماحول میں کیا جاتا ہے، یعنی الگورتھم متوازی تجزیہ شدہ میٹرکس کے رویے کو مدنظر نہیں رکھتا، جیسا کہ ملٹی میٹرک کے معاملے میں ایسا لگتا ہے۔ مختلف میٹرکس کے باہمی تعلق کو مدنظر رکھتے ہوئے حساب کتاب کرنے کے لیے، آپ آبادی کا تجزیہ استعمال کر سکتے ہیں۔ اور ایڈوانسڈ مخصوص کاموں کے لیے اضافی اختیارات کے ساتھ الگورتھم کو ٹھیک کر رہا ہے۔

سنگل میٹرک

ایک واحد میٹرک میں تبدیلیوں کا تجزیہ کرنا سب سے آسان کام ہے جو یہاں کیا جا سکتا ہے۔ تخلیق جاب پر کلک کرنے کے بعد، الگورتھم بے ضابطگیوں کو تلاش کرے گا۔

کے خانے میں مجموعی آپ بے ضابطگیوں کو تلاش کرنے کے لیے ایک طریقہ منتخب کر سکتے ہیں۔ مثال کے طور پر، جب کم سے کم عام اقدار سے نیچے کی قدروں کو غیر معمولی سمجھا جائے گا۔ کھاؤ زیادہ سے زیادہ، اعلیٰ، کم، اوسط، الگ اور دوسرے. تمام افعال کی تفصیل مل سکتی ہے۔ ссылке по.

کے خانے میں فیلڈ دستاویز میں عددی فیلڈ کی نشاندہی کرتا ہے جس پر ہم تجزیہ کریں گے۔

کے خانے میں بالٹی کا دورانیہ - ٹائم لائن پر وقفوں کی گرانولیریٹی جس کے ساتھ تجزیہ کیا جائے گا۔ آپ آٹومیشن پر بھروسہ کر سکتے ہیں یا دستی طور پر انتخاب کر سکتے ہیں۔ نیچے دی گئی تصویر گرینولاریٹی کے بہت کم ہونے کی ایک مثال ہے - آپ کو بے ضابطگی یاد آسکتی ہے۔ اس ترتیب کو استعمال کرتے ہوئے، آپ الگورتھم کی حساسیت کو بے ضابطگیوں میں تبدیل کر سکتے ہیں۔

جمع کردہ ڈیٹا کی مدت ایک اہم چیز ہے جو تجزیہ کی تاثیر کو متاثر کرتی ہے۔ تجزیہ کے دوران، الگورتھم دہرائے جانے والے وقفوں کی نشاندہی کرتا ہے، اعتماد کے وقفوں (بیس لائنز) کا حساب لگاتا ہے اور بے ضابطگیوں کی نشاندہی کرتا ہے - میٹرک کے معمول کے رویے سے غیر معمولی انحراف۔ صرف مثال کے طور پر:

ڈیٹا کے ایک چھوٹے سے ٹکڑے کے ساتھ بنیادی خطوط:

جب الگورتھم سے سیکھنے کے لیے کچھ ہوتا ہے، تو بیس لائن اس طرح نظر آتی ہے:

کام شروع کرنے کے بعد، الگورتھم معمول سے بے قاعدہ انحرافات کا تعین کرتا ہے اور ان کو بے ضابطگی کے امکان کے مطابق درجہ بندی کرتا ہے (متعلقہ لیبل کا رنگ قوسین میں ظاہر ہوتا ہے):

وارننگ (نیلے): 25 سے کم
معمولی (پیلا): 25-50
میجر (نارنج): 50-75
نازک (سرخ): 75-100

نیچے کا گراف پایا جانے والی بے ضابطگیوں کی ایک مثال دکھاتا ہے۔

یہاں آپ نمبر 94 دیکھ سکتے ہیں، جو بے ضابطگی کے امکان کو ظاہر کرتا ہے۔ یہ واضح ہے کہ چونکہ قدر 100 کے قریب ہے، اس کا مطلب ہے کہ ہمارے پاس ایک بے ضابطگی ہے۔ گراف کے نیچے کا کالم وہاں ظاہر ہونے والی میٹرک ویلیو کے 0.000063634% کا غیر معمولی طور پر چھوٹا امکان ظاہر کرتا ہے۔

بے ضابطگیوں کو تلاش کرنے کے علاوہ، آپ کبانا میں پیشن گوئی چلا سکتے ہیں۔ یہ آسانی سے اور بے ضابطگیوں کے ساتھ ایک ہی نقطہ نظر سے کیا جاتا ہے - بٹن پیشن گوئی اوپری دائیں کونے میں۔

پیشن گوئی زیادہ سے زیادہ 8 ہفتے پہلے کی جاتی ہے۔ یہاں تک کہ اگر آپ واقعی چاہتے ہیں، تو یہ اب ڈیزائن کے ذریعہ ممکن نہیں ہے۔

کچھ حالات میں، پیشن گوئی بہت مفید ہو گی، مثال کے طور پر، انفراسٹرکچر پر صارف کے بوجھ کی نگرانی کرتے وقت۔

ملٹی میٹرک

آئیے لچکدار اسٹیک میں اگلی ML خصوصیت پر چلتے ہیں - ایک بیچ میں کئی میٹرکس کا تجزیہ کرتے ہوئے۔ لیکن اس کا مطلب یہ نہیں ہے کہ ایک میٹرک کے دوسرے پر انحصار کا تجزیہ کیا جائے گا۔ یہ سنگل میٹرک جیسا ہی ہے، لیکن ایک اسکرین پر ایک سے دوسرے کے اثرات کا آسان موازنہ کرنے کے لیے ایک سے زیادہ میٹرکس کے ساتھ۔ ہم آبادی کے سیکشن میں ایک میٹرک کے دوسرے پر انحصار کا تجزیہ کرنے کے بارے میں بات کریں گے۔

ملٹی میٹرک والے مربع پر کلک کرنے کے بعد، ترتیبات کے ساتھ ایک ونڈو ظاہر ہوگی۔ آئیے ان کو مزید تفصیل سے دیکھتے ہیں۔

پہلے آپ کو ان پر تجزیہ اور ڈیٹا اکٹھا کرنے کے لیے فیلڈز کو منتخب کرنے کی ضرورت ہے۔ یہاں جمع کرنے کے اختیارات وہی ہیں جیسے سنگل میٹرک (زیادہ سے زیادہ، اعلیٰ، کم، اوسط، الگ اور دوسرے). مزید، اگر مطلوب ہو تو، ڈیٹا کو فیلڈز میں سے ایک میں تقسیم کیا جاتا ہے (فیلڈ ڈیٹا تقسیم کریں۔)۔ مثال کے طور پر، ہم نے یہ فیلڈ کے ذریعے کیا۔ OriginAirportID. نوٹ کریں کہ دائیں طرف میٹرکس گراف اب ایک سے زیادہ گراف کے طور پر پیش کیا گیا ہے۔

فیلڈ کلیدی فیلڈز (اثرانداز) دریافت شدہ بے ضابطگیوں کو براہ راست متاثر کرتا ہے۔ پہلے سے طے شدہ طور پر یہاں ہمیشہ کم از کم ایک قدر ہو گی، اور آپ اضافی اضافہ کر سکتے ہیں۔ الگورتھم تجزیہ کرتے وقت ان شعبوں کے اثر و رسوخ کو مدنظر رکھے گا اور سب سے زیادہ "با اثر" اقدار کو ظاہر کرے گا۔

لانچ کے بعد، Kibana انٹرفیس میں کچھ ایسا ہی نظر آئے گا۔

یہ نام نہاد ہے ہر فیلڈ ویلیو کے لیے بے ضابطگیوں کا ہیٹ میپ OriginAirportIDجس کا ہم نے اشارہ کیا ہے۔ ڈیٹا تقسیم کریں۔. سنگل میٹرک کی طرح، رنگ غیر معمولی انحراف کی سطح کو ظاہر کرتا ہے۔ اسی طرح کا تجزیہ کرنا آسان ہے، مثال کے طور پر، ورک سٹیشنوں پر مشتبہ طور پر بڑی تعداد میں اجازت نامے رکھنے والوں کو ٹریک کرنا وغیرہ۔ ہم پہلے ہی لکھ چکے ہیں۔ ایونٹ لاگ ونڈوز میں مشکوک واقعات کے بارے میں، جسے یہاں جمع اور تجزیہ بھی کیا جا سکتا ہے۔

گرمی کے نقشے کے نیچے بے ضابطگیوں کی ایک فہرست ہے، ہر ایک سے آپ تفصیلی تجزیہ کے لیے سنگل میٹرک ویو پر جا سکتے ہیں۔

آبادی

مختلف میٹرکس کے درمیان ارتباط کے درمیان بے ضابطگیوں کو تلاش کرنے کے لیے، لچکدار اسٹیک میں آبادی کا ایک خصوصی تجزیہ ہوتا ہے۔ یہ اس کی مدد سے ہے کہ آپ دوسروں کے مقابلے میں سرور کی کارکردگی میں غیر معمولی اقدار کو تلاش کر سکتے ہیں جب، مثال کے طور پر، ٹارگٹ سسٹم کی درخواستوں کی تعداد بڑھ جاتی ہے۔

اس مثال میں، آبادی کا فیلڈ اس قدر کی نشاندہی کرتا ہے جس سے تجزیہ شدہ میٹرکس کا تعلق ہوگا۔ اس صورت میں یہ عمل کا نام ہے۔ نتیجے کے طور پر، ہم دیکھیں گے کہ ہر عمل کے پروسیسر لوڈ نے ایک دوسرے کو کیسے متاثر کیا۔

براہ کرم نوٹ کریں کہ تجزیہ کردہ ڈیٹا کا گراف سنگل میٹرک اور ملٹی میٹرک والے کیسز سے مختلف ہے۔ یہ کبانا میں تجزیہ کردہ ڈیٹا کی قدروں کی تقسیم کے بہتر تصور کے لیے ڈیزائن کے ذریعے کیا گیا تھا۔

گراف سے پتہ چلتا ہے کہ اس عمل نے غیر معمولی سلوک کیا۔ کشیدگی (ویسے، ایک خصوصی افادیت کے ذریعہ تیار کردہ) سرور پر poipu، جس نے اس بے ضابطگی کی موجودگی کو متاثر کیا (یا اثر انگیز نکلا)۔

اعلی درجے کی

ٹھیک ٹیوننگ کے ساتھ تجزیات۔ جدید تجزیہ کے ساتھ، اضافی ترتیبات کبانا میں ظاہر ہوتی ہیں۔ تخلیق کے مینو میں ایڈوانسڈ ٹائل پر کلک کرنے کے بعد، ٹیبز کے ساتھ یہ ونڈو ظاہر ہوتی ہے۔ ٹیب کام کی تفصیلات ہم نے اسے جان بوجھ کر چھوڑ دیا، بنیادی ترتیبات ہیں جو براہ راست تجزیہ ترتیب دینے سے متعلق نہیں ہیں۔

В summary_count_field_name اختیاری طور پر، آپ جمع شدہ اقدار پر مشتمل دستاویزات سے کسی فیلڈ کا نام بتا سکتے ہیں۔ اس مثال میں، فی منٹ واقعات کی تعداد۔ میں زمرہ بندی_فیلڈ_نام دستاویز سے کسی فیلڈ کے نام اور قدر کی نشاندہی کرتا ہے جس میں کچھ متغیر قدر ہوتی ہے۔ اس فیلڈ پر ماسک کا استعمال کرتے ہوئے، آپ تجزیہ کردہ ڈیٹا کو ذیلی سیٹوں میں تقسیم کر سکتے ہیں۔ بٹن پر توجہ دیں۔ ڈیٹیکٹر شامل کریں۔ پچھلی مثال میں۔ ذیل میں اس بٹن پر کلک کرنے کا نتیجہ ہے۔

کسی خاص کام کے لیے بے ضابطگی کا پتہ لگانے والے کو ترتیب دینے کے لیے ترتیبات کا ایک اضافی بلاک یہ ہے۔ ہم مندرجہ ذیل مضامین میں استعمال کے مخصوص معاملات (خاص طور پر حفاظتی معاملات) پر بات کرنے کا ارادہ رکھتے ہیں۔ مثال کے طور پر، دیکھو الگ کیے گئے معاملات میں سے ایک۔ یہ شاذ و نادر ہی ظاہر ہونے والی اقدار کی تلاش سے وابستہ ہے اور اسے نافذ کیا جاتا ہے۔ نایاب تقریب.

کے خانے میں تقریب آپ بے ضابطگیوں کو تلاش کرنے کے لیے ایک مخصوص فنکشن منتخب کر سکتے ہیں۔ سوائے نایاب، کچھ اور دلچسپ افعال ہیں - دن کا وقت и ہفتے کا_وقت. وہ بالترتیب پورے دن یا ہفتے میں میٹرکس کے رویے میں بے ضابطگیوں کی نشاندہی کرتے ہیں۔ تجزیہ کے دیگر افعال دستاویزات میں ہے.

В فیلڈ_نام دستاویز کے فیلڈ کی نشاندہی کرتا ہے جس پر تجزیہ کیا جائے گا۔ بذریعہ_فیلڈ_نام یہاں بیان کردہ دستاویز فیلڈ کی ہر انفرادی قدر کے لیے تجزیہ کے نتائج کو الگ کرنے کے لیے استعمال کیا جا سکتا ہے۔ اگر آپ بھریں۔ over_field_name آپ کو آبادی کا وہ تجزیہ ملتا ہے جس پر ہم نے اوپر بات کی ہے۔ اگر آپ اس میں قدر بتاتے ہیں۔ پارٹیشن_فیلڈ_نام، پھر دستاویز کے اس فیلڈ کے لیے ہر قدر کے لیے الگ بیس لائنز کا حساب لگایا جائے گا (قدر، مثال کے طور پر، سرور کا نام یا سرور پر عمل ہو سکتا ہے)۔ میں exclude_frequent منتخب کر سکتے ہیں تمام یا کوئی نہیں، جس کا مطلب ہوگا اکثر ہونے والی دستاویز کی فیلڈ ویلیوز کو چھوڑ کر (یا شامل کرنا)۔

اس مضمون میں، ہم نے لچکدار اسٹیک میں مشین لرننگ کی صلاحیتوں کے بارے میں ممکنہ حد تک مختصر خیال دینے کی کوشش کی؛ پردے کے پیچھے بہت ساری تفصیلات ابھی باقی ہیں۔ ہمیں تبصروں میں بتائیں کہ آپ نے لچکدار اسٹیک کے استعمال سے کن معاملات کو حل کیا اور آپ اسے کن کاموں کے لیے استعمال کرتے ہیں۔ ہم سے رابطہ کرنے کے لیے، آپ Habré یا پر ذاتی پیغامات استعمال کر سکتے ہیں۔ ویب سائٹ پر فیڈ بیک فارم.

ماخذ: www.habr.com