په لچک لرونکي سټیک کې د ماشین زده کړې پوهیدل (ارف ایلاسټیکسرچ ، عرف ELK)

راځئ چې په یاد ولرو چې Elastic Stack د غیر اړونده Elasticsearch ډیټابیس پر بنسټ والړ دی، د کبانا ویب انٹرفیس او د معلوماتو راټولونکي او پروسیسرونه (خورا مشهور لوګسټاش، مختلف بیټس، APM او نور). د ټول لیست شوي محصول سټیک کې یو له غوره اضافو څخه د ماشین زده کړې الګوریتمونو په کارولو سره د معلوماتو تحلیل دی. په مقاله کې موږ پوهیږو چې دا الګوریتمونه څه دي. مهرباني وکړئ د پیشو لاندې.

د ماشین زده کړه د شریکولو لچک لرونکي سټیک یوه تادیه شوې ځانګړتیا ده او په ایکس پیک کې شامله ده. د دې کارولو پیل کولو لپاره ، یوازې د نصبولو وروسته د 30 ورځو آزموینې فعال کړئ. د محاکمې دورې پای ته رسیدو وروسته، تاسو کولی شئ د دې د غزولو یا ګډون اخیستلو لپاره د ملاتړ غوښتنه وکړئ. د ګډون لګښت د ډیټا حجم پراساس نه محاسبه کیږي ، مګر د کارول شوي نوډونو شمیر پراساس. نه، د معلوماتو حجم، البته، د اړتیا وړ نوډونو شمیر اغیزه کوي، مګر بیا هم د جواز ورکولو لپاره دا طریقه د شرکت د بودیجې په اړه خورا انساني ده. که چیرې لوړ تولید ته اړتیا نشته، تاسو کولی شئ پیسې خوندي کړئ.

په لچکدار سټیک کې ML په C++ کې لیکل شوی او د JVM څخه بهر تیریږي ، په کوم کې چې Elasticsearch پخپله پرمخ ځي. دا دی، پروسه (په لاره کې، دا د اتوماتیک په نامه یادېږي) هر هغه څه مصرفوي چې JVM یې نه تیروي. په ډیمو موقف کې دا دومره مهم ندی، مګر د تولید چاپیریال کې دا مهمه ده چې د ML دندو لپاره جلا نوډونه تخصیص کړئ.

د ماشین زده کړې الګوریتمونه په دوه کټګوریو کې راځي - له ښوونکي سره и له ښوونکي پرته. په لچک لرونکي سټیک کې، الګوریتم د "غیر څارل شوي" کټګورۍ کې دی. لخوا دا لینک تاسو کولی شئ د ماشین زده کړې الګوریتم ریاضيکي وسایل وګورئ.

د تحلیل ترسره کولو لپاره، د ماشین زده کړې الګوریتم د Elasticsearch شاخصونو کې زیرمه شوي ډاټا کاروي. تاسو کولی شئ د کیبانا انٹرفیس او د API له لارې د تحلیل لپاره دندې رامینځته کړئ. که تاسو دا د کبانا له لارې ترسره کوئ، نو تاسو اړتیا نلرئ په ځینو شیانو پوه شئ. د مثال په توګه، اضافي شاخصونه چې الګوریتم یې د عملیاتو په جریان کې کاروي.

اضافي شاخصونه چې د تحلیل په پروسه کې کارول کیږي.ml-state — د احصایوي ماډلونو په اړه معلومات (د تحلیل تنظیمات)؛
.ml-anomalies-* — د ML الګوریتم پایلې؛
.ml-اطلاعات - د تحلیل پایلو پراساس د خبرتیاو لپاره تنظیمات.

د Elasticsearch ډیټابیس کې د معلوماتو جوړښت د شاخصونو او اسنادو څخه جوړ دی چې په دوی کې زیرمه شوي. کله چې د اړونده ډیټابیس سره پرتله شي، یو شاخص د ډیټابیس سکیما سره پرتله کیدی شي، او یو سند په میز کې ریکارډ ته. دا پرتله کول مشروط دي او د هغو کسانو لپاره چې یوازې د Elasticsearch په اړه اوریدلي دي د نورو موادو د پوهاوي ساده کولو لپاره چمتو شوي.

ورته فعالیت د API له لارې شتون لري لکه څنګه چې د ویب انٹرفیس له لارې شتون لري ، نو د مفاهیمو روښانه کولو او پوهیدو لپاره ، موږ به وښیو چې دا څنګه د کبانا له لارې تنظیم کړو. په کیڼ اړخ کې مینو کې د ماشین زده کړې برخه شتون لري چیرې چې تاسو کولی شئ نوې دنده رامینځته کړئ. په کبانا انٹرفیس کې دا د لاندې عکس په څیر ښکاري. اوس به موږ هر ډول کار تحلیل کړو او د تحلیل ډولونه به وښیو چې دلته رامینځته کیدی شي.

واحد میټریک - د یو میټریک تحلیل، څو میټریک - د دوه یا ډیرو میټریکونو تحلیل. په دواړو حالتونو کې، هر میټریک په یو جلا چاپیریال کې تحلیل کیږي، د بیلګې په توګه. الګوریتم د موازي تحلیل شوي میټریک چلند په پام کې نه نیسي، لکه څنګه چې دا د ملټي میټریک په قضیه کې ښکاري. د مختلفو میټریکونو ارتباط په پام کې نیولو سره د محاسبې ترسره کولو لپاره، تاسو کولی شئ د نفوس تحلیل وکاروئ. او پرمختللي د ځانګړو دندو لپاره د اضافي اختیارونو سره د الګوریتمونو ښه تنظیم کول دي.

واحد میټریک

په یو واحد میټریک کې د بدلونونو تحلیل ترټولو ساده شی دی چې دلته ترسره کیدی شي. د کار پیدا کولو باندې کلیک کولو وروسته، الګوریتم به بې نظمۍ وګوري.

په ساحه راغونډول تاسو کولی شئ د ګډوډۍ لټون کولو لپاره لاره غوره کړئ. د مثال په توګه، کله چې Min د عادي ارزښتونو لاندې ارزښتونه به غیر معمولي وګڼل شي. خوړل اعظمي، لوړ مطلب، ټيټ، مانا، بېل او نور. د ټولو دندو توضیحات موندل کیدی شي مخونه.

په ساحه ساحوي په سند کې عددي ساحه په ګوته کوي چې موږ به یې تحلیل ترسره کړو.

په ساحه د سطل موده - په مهال ویش کې د وقفو کثافات چې تحلیل به ترسره شي. تاسو کولی شئ په اتوماتیک باور وکړئ یا په لاسي ډول غوره کړئ. لاندې عکس د ګرانولریت خورا ټیټ مثال دی - تاسو ممکن بې نظمۍ له لاسه ورکړئ. د دې ترتیب په کارولو سره، تاسو کولی شئ د الګوریتم حساسیت بې نظمۍ ته بدل کړئ.

د راټول شوي معلوماتو موده یو مهم شی دی چې د تحلیل اغیزمنتوب اغیزه کوي. د تحلیل په جریان کې، الګوریتم تکرار وقفې پیژني، د باور وقفې محاسبه کوي (بیس لاینونه) او ګډوډي پیژني - د میټریک د معمول چلند څخه غیر معمولي انحرافات. یوازې د مثال په توګه:

د معلوماتو د یوې کوچنۍ برخې سره اساسات:

کله چې الګوریتم د زده کړې لپاره یو څه ولري، بیس لاین داسې ښکاري:

د کار پیل کولو وروسته، الګوریتم د نورم څخه غیر معمولي انحرافات ټاکي او د انډولۍ احتمال سره سم یې درجه بندي کوي (د اړوند لیبل رنګ په قوس کې ښودل شوی):

خبرتیا (نیلي): له 25 څخه کم
کوچني (ژېړ): 25-50
لوی (نارنج): 50-75
نازک (سرخ): 75-100

لاندې ګراف د موندلو بې نظمیو یوه بیلګه ښیې.

دلته تاسو کولی شئ 94 شمیره وګورئ، کوم چې د بې نظمۍ احتمال په ګوته کوي. دا روښانه ده چې له هغه وخته چې ارزښت 100 ته نږدې دی، دا پدې مانا ده چې موږ بې نظمۍ لرو. د ګراف لاندې کالم د میټریک ارزښت 0.000063634٪ احتمالي کوچنی احتمال ښیې چې هلته څرګندیږي.

د ګډوډۍ لټون کولو سربیره ، تاسو کولی شئ په کبانا کې وړاندوینې پرمخ وړئ. دا په ساده ډول ترسره کیږي او د ورته لید څخه د انډولیز - تڼۍ سره وړاندوینه په پورتنۍ ښیې کونج کې.

وړاندوینه د اعظمي حد څخه 8 اونۍ دمخه ترسره کیږي. حتی که تاسو واقعیا غواړئ، دا نور د ډیزاین له لارې امکان نلري.

په ځینو حاالتو کې، وړاندوینه به ډیره ګټوره وي، د بیلګې په توګه، کله چې په زیربنا کې د کاروونکي بار څارنه کوي.

ملټي میټریک

راځئ چې په لچک لرونکي سټیک کې راتلونکي ML ځانګړتیا ته لاړ شو - په یوه بسته کې د څو میټریکونو تحلیل. مګر دا پدې معنی ندي چې د یو میټریک انحصار به په بل باندې تحلیل شي. دا د واحد میټریک په څیر دی ، مګر په یو سکرین کې د یو بل باندې د اغیزې اسانه پرتله کولو لپاره د ډیری میټریکونو سره. موږ به د نفوس په برخه کې په بل باندې د یو میټریک انحصار تحلیل په اړه وغږیږو.

د ملټي میټریک سره مربع باندې کلیک کولو وروسته ، د ترتیباتو سره یوه کړکۍ به څرګند شي. راځئ چې دوی په ډیر تفصیل سره وګورو.

لومړی تاسو اړتیا لرئ د تحلیل او معلوماتو راټولولو لپاره ساحې وټاکئ. دلته د راټولولو اختیارونه د واحد میټریک لپاره ورته دي (اعظمي، لوړ مطلب، ټيټ، مانا، بېل او نور). برسېره پردې، که وغواړي، ډاټا په یوه ساحه ویشل کیږي (فیلډ د معلوماتو ویش). په مثال کې، موږ دا د ساحې په واسطه ترسره کړل اصلي هوايي ډګر ID. په یاد ولرئ چې په ښي خوا کې د میټریک ګراف اوس د څو ګرافونو په توګه وړاندې کیږي.

ډګر کلیدي ساحې ( نفوذ کوونکي ) په مستقیم ډول کشف شوي عوارض اغیزه کوي. په ډیفالټ کې به تل دلته لږترلږه یو ارزښت وي، او تاسو کولی شئ اضافي اضافه کړئ. الګوریتم به د دې ساحو نفوذ په پام کې ونیسي کله چې تحلیل کوي او خورا "اغیزمن" ارزښتونه ښیې.

د لانچ وروسته، د دې په څیر یو څه به د کبانا انٹرفیس کې ښکاره شي.

دا تش په نامه دی د هرې ساحې ارزښت لپاره د انډولیز تودوخې نقشه اصلي هوايي ډګر ID، کوم چې موږ په کې اشاره کړې د معلوماتو ویش. لکه څنګه چې د واحد میټریک سره، رنګ د غیر معمولي انحراف کچه په ګوته کوي. دا مناسبه ده چې ورته تحلیل ترسره کړئ، د بیلګې په توګه، په کاري سټیشنونو کې د شکمنو لوی شمیر واکونو سره د تعقیب لپاره، او داسې نور. موږ لا دمخه لیکلي په EventLog وینډوز کې د شکمنو پیښو په اړه، چې دلته هم راټول او تحلیل کیدی شي.

د تودوخې نقشې لاندې د بې نظمیو لیست دی، له هر یو څخه تاسو کولی شئ د مفصل تحلیل لپاره واحد میټریک لید ته لاړ شئ.

د وګړو

د مختلفو میټریکونو تر مینځ د اړیکو تر مینځ د انډولونو د موندلو لپاره، لچک لرونکي سټیک د نفوس ځانګړي تحلیل لري. دا د دې په مرسته ده چې تاسو کولی شئ د نورو په پرتله د سرور فعالیت کې غیر معمولي ارزښتونه وګورئ کله چې د مثال په توګه ، د هدف سیسټم ته د غوښتنو شمیر ډیریږي.

په دې انځور کې، د نفوس ساحه هغه ارزښت ته اشاره کوي چې تحلیل شوي میټریکونه به ورسره تړاو ولري. په دې حالت کې دا د پروسې نوم دی. د پایلې په توګه، موږ به وګورو چې څنګه د هرې پروسې پروسیسر بار یو بل اغیزه کوي.

مهرباني وکړئ په یاد ولرئ چې د تحلیل شوي معلوماتو ګراف د واحد میټریک او څو میټریک سره قضیو څخه توپیر لري. دا په کبانا کې د تحلیل شوي ډیټا ارزښتونو توزیع د ښه لید لپاره ډیزاین لخوا ترسره شوی.

ګراف ښیې چې پروسه غیر معمولي چلند کوي فشار (په لاره کې، د یو ځانګړي کارونې لخوا تولید شوی) په سرور کې poipu، چا چې د دې بې نظمۍ پیښې اغیزمنې کړې (یا یو نفوذ کونکی شو).

ژور

د ښه ټینګ سره تحلیلونه. د پرمختللي تحلیل سره، اضافي ترتیبات په کبانا کې ښکاري. د جوړولو مینو کې د پرمختللي ټایل کلیک کولو وروسته ، دا کړکۍ د ټبونو سره څرګندیږي. ټب د دندې جزئیات موږ دا په هدف پریښودل ، دلته لومړني ترتیبات شتون لري چې مستقیم د تحلیل تنظیم کولو پورې اړه نلري.

В لنډیز_شمیره_فیلډ_نوم په اختیاري توګه، تاسو کولی شئ د هغو اسنادو څخه د ساحې نوم مشخص کړئ چې راټول شوي ارزښتونه لري. په دې مثال کې، په یوه دقیقه کې د پیښو شمیر. IN طبقه بندي_فیلډ_نوم د سند څخه د ساحې نوم او ارزښت په ګوته کوي چې ځینې متغیر ارزښت لري. په دې ساحه کې د ماسک په کارولو سره، تاسو کولی شئ تحلیل شوي ډاټا په فرعي برخو ویشئ. تڼۍ ته پام وکړئ کشف کونکی اضافه کړئ په مخکینی انځور کې. لاندې د دې تڼۍ د کلیک کولو پایله ده.

دلته د ځانګړي دندې لپاره د انومالي کشف کونکي تنظیم کولو لپاره د ترتیباتو اضافي بلاک دی. موږ پلان لرو چې په لاندې مقالو کې د ځانګړي کارونې قضیې (په ځانګړي توګه امنیت) باندې بحث وکړو. د مثال په ډول، یو نظر واخله یو له جلا شویو قضیو څخه. دا د نادر څرګند ارزښتونو لټون سره تړاو لري او پلي کیږي نادر فعالیت.

په ساحه دنده تاسو کولی شئ د ګډوډۍ لټون کولو لپاره یو ځانګړی فعالیت وټاکئ. پرته نادره، یو څو نورې په زړه پورې دندې شتون لري - د_ورځې_وخت и د اونۍ_وخت. دوی په ترتیب سره د ورځې یا اونۍ په اوږدو کې د میټریکونو چلند کې ګډوډي پیژني. د تحلیل نورې دندې په اسنادو کې دی.

В د ساحې_نوم د سند ساحه په ګوته کوي په کوم کې چې تحلیل به ترسره شي. د_فیلډ_نوم لخوا دلته د مشخص شوي سند ساحې د هر انفرادي ارزښت لپاره د تحلیل پایلې جلا کولو لپاره کارول کیدی شي. که تاسو ډک کړئ over_field_name تاسو د نفوس تحلیل ترلاسه کوئ چې موږ پورته بحث وکړ. که تاسو په کې یو ارزښت مشخص کړئ partition_field_name، بیا د سند د دې ساحې لپاره به د هر ارزښت لپاره جلا اساسات محاسبه شي (ارزښت کیدی شي د مثال په توګه د سرور نوم یا په سرور کې پروسې). IN استخراج_frequent انتخاب کولی شي ټول او یا هيڅ، کوم چې به د اسنادو ساحې ارزښتونه په مکرر ډول پیښیږي (یا په شمول) پرته وي.

په دې مقاله کې، موږ هڅه وکړه چې په لچک لرونکي سټیک کې د ماشین زده کړې وړتیاو په اړه د امکان تر حده لنډ نظر ورکړو؛ لاهم د پردې شاته ډیری توضیحات پاتې دي. موږ ته په نظرونو کې ووایاست چې تاسو د لچک لرونکي سټیک په کارولو سره کومې قضیې حل کړې او د کومو دندو لپاره یې کاروئ. له موږ سره د تماس لپاره، تاسو کولی شئ په Habré یا شخصي پیغامونو کې وکاروئ په ویب پاڼه کې د فیډبیک فورمه.

سرچینه: www.habr.com