సాగే స్టాక్‌లో మెషిన్ లెర్నింగ్‌ను అర్థం చేసుకోవడం (ఎలాస్టిక్‌సెర్చ్, అకా ELK)

సాగే స్టాక్ నాన్-రిలేషనల్ ఎలాస్టిక్‌సెర్చ్ డేటాబేస్, కిబానా వెబ్ ఇంటర్‌ఫేస్ మరియు డేటా కలెక్టర్లు మరియు ప్రాసెసర్‌లు (అత్యంత ప్రసిద్ధ లాగ్‌స్టాష్, వివిధ బీట్స్, APM మరియు ఇతరాలు) ఆధారంగా రూపొందించబడిందని మనం గుర్తుచేసుకుందాం. మెషీన్ లెర్నింగ్ అల్గారిథమ్‌లను ఉపయోగించి డేటా విశ్లేషణ మొత్తం జాబితా చేయబడిన ఉత్పత్తి స్టాక్‌కు మంచి చేర్పులలో ఒకటి. ఈ అల్గోరిథంలు ఏమిటో వ్యాసంలో మనం అర్థం చేసుకున్నాము. దయచేసి పిల్లి కింద.

మెషిన్ లెర్నింగ్ అనేది షేర్‌వేర్ ఎలాస్టిక్ స్టాక్ యొక్క చెల్లింపు లక్షణం మరియు X-ప్యాక్‌లో చేర్చబడింది. దీన్ని ఉపయోగించడం ప్రారంభించడానికి, ఇన్‌స్టాలేషన్ తర్వాత 30-రోజుల ట్రయల్‌ని యాక్టివేట్ చేయండి. ట్రయల్ వ్యవధి ముగిసిన తర్వాత, మీరు దానిని పొడిగించడానికి లేదా సభ్యత్వాన్ని కొనుగోలు చేయడానికి మద్దతును అభ్యర్థించవచ్చు. సబ్‌స్క్రిప్షన్ ధర డేటా వాల్యూమ్ ఆధారంగా కాకుండా ఉపయోగించిన నోడ్‌ల సంఖ్య ఆధారంగా లెక్కించబడుతుంది. లేదు, డేటా పరిమాణం, అవసరమైన నోడ్‌ల సంఖ్యను ప్రభావితం చేస్తుంది, అయితే ఇప్పటికీ కంపెనీ బడ్జెట్‌కు సంబంధించి లైసెన్సింగ్‌కు ఈ విధానం మరింత మానవత్వంతో ఉంటుంది. అధిక ఉత్పాదకత అవసరం లేకపోతే, మీరు డబ్బు ఆదా చేయవచ్చు.

ఎలాస్టిక్ స్టాక్‌లోని ML అనేది C++లో వ్రాయబడింది మరియు JVM వెలుపల నడుస్తుంది, దీనిలో ఎలాస్టిక్‌సెర్చ్ కూడా నడుస్తుంది. అంటే, ప్రక్రియ (మార్గం ద్వారా, దీనిని ఆటోడెటెక్ట్ అంటారు) JVM మింగని ప్రతిదాన్ని వినియోగిస్తుంది. డెమో స్టాండ్‌లో ఇది అంత క్లిష్టమైనది కాదు, కానీ ఉత్పత్తి వాతావరణంలో ML టాస్క్‌ల కోసం ప్రత్యేక నోడ్‌లను కేటాయించడం ముఖ్యం.

మెషిన్ లెర్నింగ్ అల్గోరిథంలు రెండు వర్గాలలోకి వస్తాయి - గురువుతో и గురువు లేకుండా. సాగే స్టాక్‌లో, అల్గోరిథం "పర్యవేక్షించబడని" వర్గంలో ఉంది. ద్వారా ఈ లింక్ మీరు మెషిన్ లెర్నింగ్ అల్గారిథమ్‌ల గణిత ఉపకరణాన్ని చూడవచ్చు.

విశ్లేషణను నిర్వహించడానికి, మెషిన్ లెర్నింగ్ అల్గోరిథం సాగే శోధన సూచికలలో నిల్వ చేయబడిన డేటాను ఉపయోగిస్తుంది. మీరు కిబానా ఇంటర్‌ఫేస్ నుండి మరియు API ద్వారా విశ్లేషణ కోసం టాస్క్‌లను సృష్టించవచ్చు. మీరు కిబానా ద్వారా దీన్ని చేస్తే, మీరు కొన్ని విషయాలు తెలుసుకోవాల్సిన అవసరం లేదు. ఉదాహరణకు, అల్గోరిథం దాని ఆపరేషన్ సమయంలో ఉపయోగించే అదనపు సూచికలు.

విశ్లేషణ ప్రక్రియలో ఉపయోగించే అదనపు సూచికలు.ml-state — గణాంక నమూనాల గురించి సమాచారం (విశ్లేషణ సెట్టింగ్‌లు);
.ml-anomalies-* — ML అల్గారిథమ్‌ల ఫలితాలు;
.ml-notifications — విశ్లేషణ ఫలితాల ఆధారంగా నోటిఫికేషన్‌ల కోసం సెట్టింగ్‌లు.

ఎలాస్టిక్‌సెర్చ్ డేటాబేస్‌లోని డేటా నిర్మాణం వాటిలో నిల్వ చేయబడిన సూచికలు మరియు పత్రాలను కలిగి ఉంటుంది. రిలేషనల్ డేటాబేస్‌తో పోల్చినప్పుడు, సూచికను డేటాబేస్ స్కీమాతో మరియు డాక్యుమెంట్‌ను పట్టికలోని రికార్డ్‌తో పోల్చవచ్చు. ఈ పోలిక షరతులతో కూడుకున్నది మరియు సాగే శోధన గురించి మాత్రమే విన్న వారి కోసం తదుపరి విషయాలపై అవగాహనను సులభతరం చేయడానికి అందించబడింది.

వెబ్ ఇంటర్‌ఫేస్ ద్వారా అదే కార్యాచరణ API ద్వారా అందుబాటులో ఉంది, కాబట్టి భావనల యొక్క స్పష్టత మరియు అవగాహన కోసం, మేము కిబానా ద్వారా దీన్ని ఎలా కాన్ఫిగర్ చేయాలో చూపుతాము. ఎడమ వైపున ఉన్న మెనులో మీరు కొత్త ఉద్యోగాన్ని సృష్టించగల మెషిన్ లెర్నింగ్ విభాగం ఉంది. కిబానా ఇంటర్‌ఫేస్‌లో ఇది క్రింది చిత్రం వలె కనిపిస్తుంది. ఇప్పుడు మేము ప్రతి రకమైన పనిని విశ్లేషిస్తాము మరియు ఇక్కడ నిర్మించగల విశ్లేషణ రకాలను చూపుతాము.

సింగిల్ మెట్రిక్ - ఒక మెట్రిక్ యొక్క విశ్లేషణ, మల్టీ మెట్రిక్ - రెండు లేదా అంతకంటే ఎక్కువ కొలమానాల విశ్లేషణ. రెండు సందర్భాల్లో, ప్రతి మెట్రిక్ ఒక వివిక్త వాతావరణంలో విశ్లేషించబడుతుంది, అనగా. మల్టీ మెట్రిక్ విషయంలో కనిపించే విధంగా, అల్గోరిథం సమాంతరంగా విశ్లేషించబడిన కొలమానాల ప్రవర్తనను పరిగణనలోకి తీసుకోదు. వివిధ కొలమానాల సహసంబంధాన్ని పరిగణనలోకి తీసుకొని గణనలను నిర్వహించడానికి, మీరు జనాభా విశ్లేషణను ఉపయోగించవచ్చు. మరియు అడ్వాన్స్‌డ్ అనేది నిర్దిష్ట పనుల కోసం అదనపు ఎంపికలతో అల్గారిథమ్‌లను చక్కగా ట్యూన్ చేస్తుంది.

సింగిల్ మెట్రిక్

ఒకే మెట్రిక్‌లో మార్పులను విశ్లేషించడం అనేది ఇక్కడ చేయగలిగే సులభమైన విషయం. క్రియేట్ జాబ్‌పై క్లిక్ చేసిన తర్వాత, అల్గారిథమ్ అసమానతల కోసం చూస్తుంది.

ఫీల్డ్ లో అగ్రిగేషన్ మీరు క్రమరాహిత్యాల కోసం శోధించడానికి ఒక విధానాన్ని ఎంచుకోవచ్చు. ఉదాహరణకు, ఎప్పుడు min సాధారణ విలువల క్రింద ఉన్న విలువలు అసాధారణమైనవిగా పరిగణించబడతాయి. తినండి గరిష్టం, అధిక సగటు, తక్కువ, సగటు, విభిన్నమైనది మరియు ఇతరులు. అన్ని ఫంక్షన్ల వివరణలను కనుగొనవచ్చు లింక్.

ఫీల్డ్ లో ఫీల్డ్ మేము విశ్లేషణను నిర్వహించే పత్రంలోని సంఖ్యా క్షేత్రాన్ని సూచిస్తుంది.

ఫీల్డ్ లో బకెట్ స్పాన్ - విశ్లేషణ నిర్వహించబడే కాలక్రమంపై విరామాల కణిక. మీరు ఆటోమేషన్‌ను విశ్వసించవచ్చు లేదా మాన్యువల్‌గా ఎంచుకోవచ్చు. దిగువన ఉన్న చిత్రం గ్రాన్యులారిటీ చాలా తక్కువగా ఉందనడానికి ఒక ఉదాహరణ - మీరు క్రమరాహిత్యాన్ని కోల్పోవచ్చు. ఈ సెట్టింగ్‌ని ఉపయోగించి, మీరు అల్గారిథమ్ యొక్క సున్నితత్వాన్ని క్రమరాహిత్యాలకు మార్చవచ్చు.

సేకరించిన డేటా యొక్క వ్యవధి విశ్లేషణ యొక్క ప్రభావాన్ని ప్రభావితం చేసే కీలకమైన విషయం. విశ్లేషణ సమయంలో, అల్గోరిథం పునరావృత విరామాలను గుర్తిస్తుంది, విశ్వాస అంతరాలను (బేస్‌లైన్‌లు) గణిస్తుంది మరియు మెట్రిక్ యొక్క సాధారణ ప్రవర్తన నుండి క్రమరాహిత్యాలు-విలక్షణమైన వ్యత్యాసాలను గుర్తిస్తుంది. కేవలం ఉదాహరణకు:

చిన్న డేటాతో బేస్‌లైన్‌లు:

అల్గోరిథం నుండి నేర్చుకోవలసినది ఏదైనా ఉన్నప్పుడు, బేస్‌లైన్ ఇలా కనిపిస్తుంది:

పనిని ప్రారంభించిన తర్వాత, అల్గోరిథం కట్టుబాటు నుండి క్రమరహిత విచలనాలను నిర్ణయిస్తుంది మరియు క్రమరాహిత్యం యొక్క సంభావ్యత ప్రకారం వాటిని ర్యాంక్ చేస్తుంది (సంబంధిత లేబుల్ యొక్క రంగు కుండలీకరణాల్లో సూచించబడుతుంది):

హెచ్చరిక (నీలం): 25 కంటే తక్కువ
మైనర్ (పసుపు): 25-50
మేజర్ (నారింజ): 50-75
క్రిటికల్ (ఎరుపు): 75-100

దిగువ గ్రాఫ్ కనుగొనబడిన క్రమరాహిత్యాల ఉదాహరణను చూపుతుంది.

ఇక్కడ మీరు 94 సంఖ్యను చూడవచ్చు, ఇది క్రమరాహిత్యం యొక్క సంభావ్యతను సూచిస్తుంది. విలువ 100కి దగ్గరగా ఉన్నందున, మనకు అసాధారణత ఉందని అర్థం. గ్రాఫ్ దిగువన ఉన్న నిలువు వరుస అక్కడ కనిపించే మెట్రిక్ విలువలో 0.000063634% యొక్క చిన్న సంభావ్యతను చూపుతుంది.

క్రమరాహిత్యాల కోసం శోధించడంతో పాటు, మీరు కిబానాలో అంచనాను అమలు చేయవచ్చు. ఇది క్రమరాహిత్యాలతో సరళంగా మరియు అదే వీక్షణ నుండి చేయబడుతుంది - బటన్ సూచన ఎగువ కుడి మూలలో.

సూచన గరిష్ఠంగా 8 వారాల ముందుగానే చేయబడుతుంది. మీరు నిజంగా కోరుకున్నప్పటికీ, డిజైన్ ద్వారా ఇకపై సాధ్యం కాదు.

కొన్ని పరిస్థితులలో, సూచన చాలా ఉపయోగకరంగా ఉంటుంది, ఉదాహరణకు, ఇన్‌ఫ్రాస్ట్రక్చర్‌పై వినియోగదారు లోడ్‌ను పర్యవేక్షించేటప్పుడు.

మల్టీ మెట్రిక్

సాగే స్టాక్‌లోని తదుపరి ML ఫీచర్‌కి వెళ్దాం - ఒక బ్యాచ్‌లో అనేక కొలమానాలను విశ్లేషించడం. కానీ ఒక మెట్రిక్ మరొకదానిపై ఆధారపడటం విశ్లేషించబడుతుందని దీని అర్థం కాదు. ఇది సింగిల్ మెట్రిక్ మాదిరిగానే ఉంటుంది, అయితే ఒక స్క్రీన్‌పై ఒకదానిపై మరొకదాని ప్రభావాన్ని సులభంగా పోల్చడానికి బహుళ కొలమానాలతో ఉంటుంది. జనాభా విభాగంలో ఒక మెట్రిక్ మరొకదానిపై ఆధారపడటాన్ని విశ్లేషించడం గురించి మేము మాట్లాడుతాము.

మల్టీ మెట్రిక్‌తో కూడిన స్క్వేర్‌పై క్లిక్ చేసిన తర్వాత, సెట్టింగ్‌లతో కూడిన విండో కనిపిస్తుంది. వాటిని మరింత వివరంగా పరిశీలిద్దాం.

ముందుగా మీరు వాటిపై విశ్లేషణ మరియు డేటా అగ్రిగేషన్ కోసం ఫీల్డ్‌లను ఎంచుకోవాలి. ఇక్కడ అగ్రిగేషన్ ఎంపికలు సింగిల్ మెట్రిక్ (గరిష్టం, అధిక సగటు, తక్కువ, సగటు, విభిన్నమైనది మరియు ఇతరులు). ఇంకా, కావాలనుకుంటే, డేటా ఫీల్డ్‌లలో ఒకటిగా విభజించబడింది (ఫీల్డ్ స్ప్లిట్ డేటా) ఉదాహరణలో, మేము దీన్ని ఫీల్డ్ ద్వారా చేసాము OriginAirportID. కుడివైపున ఉన్న కొలమానాల గ్రాఫ్ ఇప్పుడు బహుళ గ్రాఫ్‌లుగా ప్రదర్శించబడిందని గమనించండి.

ఫీల్డ్ ముఖ్య ఫీల్డ్‌లు (ప్రభావశీలులు) గుర్తించిన క్రమరాహిత్యాలను నేరుగా ప్రభావితం చేస్తుంది. డిఫాల్ట్‌గా ఇక్కడ ఎల్లప్పుడూ కనీసం ఒక విలువ ఉంటుంది మరియు మీరు అదనపు వాటిని జోడించవచ్చు. అల్గోరిథం విశ్లేషణ సమయంలో ఈ ఫీల్డ్‌ల ప్రభావాన్ని పరిగణనలోకి తీసుకుంటుంది మరియు అత్యంత "ప్రభావవంతమైన" విలువలను చూపుతుంది.

ప్రారంభించిన తర్వాత, కిబానా ఇంటర్‌ఫేస్‌లో ఇలాంటివి కనిపిస్తాయి.

ఇది పిలవబడేది ప్రతి ఫీల్డ్ విలువకు సంబంధించిన క్రమరాహిత్యాల హీట్ మ్యాప్ OriginAirportID, దీనిలో మేము సూచించాము స్ప్లిట్ డేటా. సింగిల్ మెట్రిక్ మాదిరిగా, రంగు అసాధారణ విచలనం స్థాయిని సూచిస్తుంది. ఇదే విధమైన విశ్లేషణ చేయడం సౌకర్యంగా ఉంటుంది, ఉదాహరణకు, వర్క్‌స్టేషన్‌లలో అనుమానాస్పదంగా పెద్ద సంఖ్యలో అధికారాలు ఉన్నవారిని ట్రాక్ చేయడం మొదలైనవి. మేము ఇప్పటికే వ్రాసాము EventLog విండోస్‌లో అనుమానాస్పద సంఘటనల గురించి, ఇక్కడ కూడా సేకరించి విశ్లేషించవచ్చు.

హీట్ మ్యాప్ క్రింద క్రమరాహిత్యాల జాబితా ఉంది, ప్రతి దాని నుండి మీరు వివరణాత్మక విశ్లేషణ కోసం సింగిల్ మెట్రిక్ వీక్షణకు మారవచ్చు.

జనాభా

వివిధ కొలమానాల మధ్య సహసంబంధాల మధ్య క్రమరాహిత్యాల కోసం వెతకడానికి, సాగే స్టాక్ ప్రత్యేక జనాభా విశ్లేషణను కలిగి ఉంది. దాని సహాయంతో మీరు ఇతరులతో పోలిస్తే సర్వర్ పనితీరులో క్రమరహిత విలువలను చూడవచ్చు, ఉదాహరణకు, లక్ష్య వ్యవస్థకు అభ్యర్థనల సంఖ్య పెరిగినప్పుడు.

ఈ ఉదాహరణలో, పాపులేషన్ ఫీల్డ్ విశ్లేషించబడిన కొలమానాలకు సంబంధించిన విలువను సూచిస్తుంది. ఈ సందర్భంలో, ఇది ప్రక్రియ యొక్క పేరు. ఫలితంగా, ప్రతి ప్రక్రియ యొక్క ప్రాసెసర్ లోడ్ ఒకదానికొకటి ఎలా ప్రభావితం చేసిందో మనం చూస్తాము.

విశ్లేషించబడిన డేటా యొక్క గ్రాఫ్ సింగిల్ మెట్రిక్ మరియు మల్టీ మెట్రిక్ కేసుల నుండి భిన్నంగా ఉంటుందని దయచేసి గమనించండి. విశ్లేషించబడిన డేటా యొక్క విలువల పంపిణీ యొక్క మెరుగైన అవగాహన కోసం రూపకల్పన ద్వారా ఇది కిబానాలో జరిగింది.

ప్రక్రియ అసాధారణంగా ప్రవర్తించిందని గ్రాఫ్ చూపిస్తుంది ఒత్తిడి (మార్గం ద్వారా, ఒక ప్రత్యేక ప్రయోజనం ద్వారా రూపొందించబడింది) సర్వర్‌లో పోయిపు, ఈ క్రమరాహిత్యాన్ని ఎవరు ప్రభావితం చేసారు (లేదా ప్రభావశీలిగా మారారు).

అధునాతన

చక్కటి ట్యూనింగ్‌తో విశ్లేషణలు. అధునాతన విశ్లేషణతో, కిబానాలో అదనపు సెట్టింగ్‌లు కనిపిస్తాయి. సృష్టి మెనులోని అధునాతన టైల్‌పై క్లిక్ చేసిన తర్వాత, ట్యాబ్‌లతో కూడిన ఈ విండో కనిపిస్తుంది. ట్యాబ్ ఉద్యోగ వివరాలు మేము దానిని ఉద్దేశపూర్వకంగా దాటవేసాము, విశ్లేషణను సెటప్ చేయడానికి నేరుగా సంబంధం లేని ప్రాథమిక సెట్టింగ్‌లు ఉన్నాయి.

В సారాంశం_కౌంట్_ఫీల్డ్_పేరు ఐచ్ఛికంగా, మీరు సమగ్ర విలువలను కలిగి ఉన్న పత్రాల నుండి ఫీల్డ్ పేరును పేర్కొనవచ్చు. ఈ ఉదాహరణలో, నిమిషానికి ఈవెంట్‌ల సంఖ్య. IN వర్గీకరణ_ఫీల్డ్_పేరు కొంత వేరియబుల్ విలువను కలిగి ఉన్న పత్రం నుండి ఫీల్డ్ పేరు మరియు విలువను సూచిస్తుంది. ఈ ఫీల్డ్‌లో మాస్క్‌ని ఉపయోగించి, మీరు విశ్లేషించబడిన డేటాను ఉపసమితులుగా విభజించవచ్చు. బటన్‌పై శ్రద్ధ వహించండి డిటెక్టర్‌ని జోడించండి మునుపటి దృష్టాంతంలో. ఈ బటన్‌ను క్లిక్ చేయడం వల్ల వచ్చే ఫలితం క్రింద ఉంది.

నిర్దిష్ట పని కోసం క్రమరాహిత్య డిటెక్టర్‌ను కాన్ఫిగర్ చేయడానికి ఇక్కడ అదనపు సెట్టింగుల బ్లాక్ ఉంది. మేము ఈ క్రింది కథనాలలో నిర్దిష్ట ఉపయోగ సందర్భాలను (ముఖ్యంగా భద్రతాపరమైనవి) చర్చించాలని ప్లాన్ చేస్తున్నాము. ఉదాహరణకి, ఒకసారి చూడండి విడదీయబడిన కేసులలో ఒకటి. ఇది అరుదుగా కనిపించే విలువల కోసం శోధనతో అనుబంధించబడింది మరియు అమలు చేయబడుతుంది అరుదైన ఫంక్షన్.

ఫీల్డ్ లో ఫంక్షన్ మీరు క్రమరాహిత్యాల కోసం శోధించడానికి నిర్దిష్ట ఫంక్షన్‌ను ఎంచుకోవచ్చు. తప్ప అరుదైన, మరికొన్ని ఆసక్తికరమైన విధులు ఉన్నాయి - రోజు_సమయం и వారం_సమయం. వారు వరుసగా రోజు లేదా వారంలో కొలమానాల ప్రవర్తనలో క్రమరాహిత్యాలను గుర్తిస్తారు. ఇతర విశ్లేషణ విధులు డాక్యుమెంటేషన్‌లో ఉంది.

В క్షేత్రనామం విశ్లేషణ నిర్వహించబడే పత్రం యొక్క ఫీల్డ్‌ను సూచిస్తుంది. ద్వారా_ఫీల్డ్_పేరు ఇక్కడ పేర్కొన్న డాక్యుమెంట్ ఫీల్డ్ యొక్క ప్రతి వ్యక్తిగత విలువ కోసం విశ్లేషణ ఫలితాలను వేరు చేయడానికి ఉపయోగించవచ్చు. మీరు నింపితే పైగా_ఫీల్డ్_పేరు మేము పైన చర్చించిన జనాభా విశ్లేషణను మీరు పొందుతారు. మీరు విలువను పేర్కొన్నట్లయితే విభజన_ఫీల్డ్_పేరు, అప్పుడు పత్రం యొక్క ఈ ఫీల్డ్ కోసం ప్రతి విలువకు ప్రత్యేక బేస్‌లైన్‌లు లెక్కించబడతాయి (విలువ, ఉదాహరణకు, సర్వర్ పేరు లేదా సర్వర్‌లోని ప్రాసెస్ కావచ్చు). IN మినహాయించండి_తరచుగా ఎంచుకోవచ్చు అన్ని లేదా ఎవరూ, అంటే తరచుగా సంభవించే డాక్యుమెంట్ ఫీల్డ్ విలువలను మినహాయించడం (లేదా సహా) అని అర్థం.

ఈ ఆర్టికల్‌లో, ఎలాస్టిక్ స్టాక్‌లో మెషిన్ లెర్నింగ్ సామర్థ్యాల గురించి సాధ్యమైనంత సంక్షిప్తమైన ఆలోచనను అందించడానికి మేము ప్రయత్నించాము; ఇంకా చాలా వివరాలు తెరవెనుక మిగిలి ఉన్నాయి. మీరు సాగే స్టాక్‌ని ఉపయోగించి ఏ కేసులను పరిష్కరించగలిగారు మరియు మీరు దాన్ని ఏ పనుల కోసం ఉపయోగిస్తున్నారో వ్యాఖ్యలలో మాకు తెలియజేయండి. మమ్మల్ని సంప్రదించడానికి, మీరు Habréలో వ్యక్తిగత సందేశాలను ఉపయోగించవచ్చు లేదా వెబ్‌సైట్‌లో ఫీడ్‌బ్యాక్ ఫారం.

మూలం: www.habr.com