సాఫ్ట్‌వేర్ సిస్టమ్‌ల యొక్క పారిశ్రామిక అభివృద్ధికి తుది ఉత్పత్తి యొక్క తప్పు సహనంపై చాలా శ్రద్ధ అవసరం, అలాగే వైఫల్యాలు మరియు వైఫల్యాలు సంభవించినట్లయితే వాటికి వేగంగా స్పందించడం అవసరం. పర్యవేక్షణ, వాస్తవానికి, వైఫల్యాలు మరియు వైఫల్యాలకు మరింత సమర్థవంతంగా మరియు త్వరగా స్పందించడానికి సహాయపడుతుంది, కానీ సరిపోదు. మొదట, పెద్ద సంఖ్యలో సర్వర్‌లను ట్రాక్ చేయడం చాలా కష్టం - పెద్ద సంఖ్యలో వ్యక్తులు అవసరం. రెండవది, అప్లికేషన్ దాని స్థితిని అంచనా వేయడానికి ఎలా పని చేస్తుందనే దానిపై మీకు మంచి అవగాహన ఉండాలి. అందువల్ల, మనం అభివృద్ధి చేస్తున్న సిస్టమ్‌లు, వాటి పనితీరు మరియు లక్షణాలపై మంచి అవగాహన ఉన్న వ్యక్తులు చాలా మంది అవసరం. మీరు దీన్ని చేయడానికి సిద్ధంగా ఉన్నంత మందిని కనుగొన్నప్పటికీ, వారికి శిక్షణ ఇవ్వడానికి ఇంకా చాలా సమయం పడుతుందని అనుకుందాం.
ఏం చేయాలి? ఇక్కడే కృత్రిమ మేధస్సు మనకు సహాయం చేస్తుంది. వ్యాసం గురించి మాట్లాడుతుంది (అంచనా నిర్వహణ). ఈ విధానం చురుకుగా ప్రజాదరణ పొందుతోంది. హబ్రేతో సహా పెద్ద సంఖ్యలో కథనాలు వ్రాయబడ్డాయి. పెద్ద కంపెనీలు తమ సర్వర్‌ల పనితీరును నిర్వహించడానికి ఈ విధానాన్ని పూర్తిగా ఉపయోగించుకుంటాయి. పెద్ద సంఖ్యలో కథనాలను అధ్యయనం చేసిన తర్వాత, మేము ఈ విధానాన్ని ప్రయత్నించాలని నిర్ణయించుకున్నాము. దాని వల్ల ఏమి వచ్చింది?
పరిచయం
అభివృద్ధి చెందిన సాఫ్ట్‌వేర్ సిస్టమ్ త్వరగా లేదా తరువాత ఆపరేషన్‌లోకి వస్తుంది. సిస్టమ్ వైఫల్యాలు లేకుండా పనిచేయడం వినియోగదారుకు ముఖ్యం. అత్యవసర పరిస్థితి సంభవించినట్లయితే, అది కనిష్ట ఆలస్యంతో పరిష్కరించబడాలి.
సాఫ్ట్‌వేర్ సిస్టమ్ యొక్క సాంకేతిక మద్దతును సులభతరం చేయడానికి, ప్రత్యేకించి చాలా సర్వర్లు ఉన్నట్లయితే, మానిటరింగ్ ప్రోగ్రామ్‌లు సాధారణంగా అమలులో ఉన్న సాఫ్ట్‌వేర్ సిస్టమ్ నుండి కొలమానాలను తీసుకుంటాయి, దాని పరిస్థితిని నిర్ధారించడం మరియు వైఫల్యానికి సరిగ్గా కారణమేమిటో గుర్తించడంలో సహాయపడతాయి. ఈ ప్రక్రియను సాఫ్ట్‌వేర్ సిస్టమ్ మానిటరింగ్ అంటారు.
మూర్తి 1. గ్రాఫానా పర్యవేక్షణ ఇంటర్ఫేస్
మెట్రిక్‌లు అనేది సాఫ్ట్‌వేర్ సిస్టమ్, దాని అమలు వాతావరణం లేదా మెట్రిక్‌లను స్వీకరించిన క్షణం యొక్క టైమ్‌స్టాంప్‌తో సిస్టమ్ రన్ అవుతున్న భౌతిక కంప్యూటర్ యొక్క వివిధ సూచికలు. స్థిర విశ్లేషణలో, ఈ కొలమానాలను సమయ శ్రేణి అంటారు. సాఫ్ట్‌వేర్ సిస్టమ్ యొక్క స్థితిని పర్యవేక్షించడానికి, కొలమానాలు గ్రాఫ్‌ల రూపంలో ప్రదర్శించబడతాయి: సమయం X అక్షం మీద ఉంటుంది మరియు విలువలు Y అక్షం వెంట ఉంటాయి (మూర్తి 1). నడుస్తున్న సాఫ్ట్‌వేర్ సిస్టమ్ నుండి (ప్రతి నోడ్ నుండి) అనేక వేల కొలమానాలను తీసుకోవచ్చు. అవి కొలమానాల ఖాళీని ఏర్పరుస్తాయి (బహుళ డైమెన్షనల్ సమయ శ్రేణి).
సంక్లిష్ట సాఫ్ట్‌వేర్ సిస్టమ్‌ల కోసం పెద్ద సంఖ్యలో కొలమానాలు సేకరించబడినందున, మాన్యువల్ పర్యవేక్షణ కష్టమైన పని అవుతుంది. అడ్మినిస్ట్రేటర్ ద్వారా విశ్లేషించబడిన డేటా మొత్తాన్ని తగ్గించడానికి, మానిటరింగ్ సాధనాలు సాధ్యమయ్యే సమస్యలను స్వయంచాలకంగా గుర్తించడానికి సాధనాలను కలిగి ఉంటాయి. ఉదాహరణకు, ఖాళీ డిస్క్ స్థలం పేర్కొన్న థ్రెషోల్డ్ కంటే తక్కువగా ఉన్నప్పుడు మీరు కాల్చడానికి ట్రిగ్గర్‌ను కాన్ఫిగర్ చేయవచ్చు. మీరు సర్వర్ షట్‌డౌన్ లేదా సేవా వేగంలో క్లిష్టమైన మందగమనాన్ని కూడా స్వయంచాలకంగా నిర్ధారించవచ్చు. ఆచరణలో, పర్యవేక్షణ సాధనాలు ఇప్పటికే సంభవించిన వైఫల్యాలను గుర్తించడం లేదా భవిష్యత్ వైఫల్యాల యొక్క సాధారణ లక్షణాలను గుర్తించడం వంటి మంచి పనిని చేస్తాయి, అయితే సాధారణంగా, సాధ్యమయ్యే వైఫల్యాన్ని అంచనా వేయడం వాటిని పగులగొట్టడానికి కఠినమైన గింజగా మిగిలిపోయింది. కొలమానాల మాన్యువల్ విశ్లేషణ ద్వారా అంచనా వేయడానికి అర్హత కలిగిన నిపుణుల ప్రమేయం అవసరం. ఇది తక్కువ ఉత్పాదకత. చాలా సంభావ్య వైఫల్యాలు గుర్తించబడవు.
ఇటీవల, సాఫ్ట్‌వేర్ సిస్టమ్‌ల ప్రిడిక్టివ్ మెయింటెనెన్స్ అని పిలవబడేది పెద్ద IT సాఫ్ట్‌వేర్ డెవలప్‌మెంట్ కంపెనీలలో బాగా ప్రాచుర్యం పొందింది. ఈ విధానం యొక్క సారాంశం ఏమిటంటే, కృత్రిమ మేధస్సును ఉపయోగించి, విఫలమయ్యే ముందు, ప్రారంభ దశల్లో సిస్టమ్ క్షీణతకు దారితీసే సమస్యలను కనుగొనడం. ఈ విధానం సిస్టమ్ యొక్క మాన్యువల్ పర్యవేక్షణను పూర్తిగా మినహాయించదు. ఇది మొత్తం పర్యవేక్షణ ప్రక్రియకు సహాయకరంగా ఉంటుంది.
ముందస్తు నిర్వహణను అమలు చేయడానికి ప్రధాన సాధనం సమయ శ్రేణిలో క్రమరాహిత్యాల కోసం శోధించడం ఒక క్రమరాహిత్యం సంభవించినప్పుడు డేటాలో కొంత సమయం తర్వాత అధిక సంభావ్యత ఉంది వైఫల్యం లేదా వైఫల్యం ఉంటుంది. క్రమరాహిత్యం అనేది సాఫ్ట్‌వేర్ సిస్టమ్ పనితీరులో నిర్దిష్ట విచలనం, ఒక రకమైన అభ్యర్థన యొక్క అమలు వేగంలో క్షీణతను గుర్తించడం లేదా క్లయింట్ సెషన్‌ల స్థిరమైన స్థాయిలో సర్వీస్డ్ అభ్యర్థనల సగటు సంఖ్య తగ్గడం వంటివి.
సాఫ్ట్‌వేర్ సిస్టమ్‌ల కోసం క్రమరాహిత్యాల కోసం శోధించే పని దాని స్వంత ప్రత్యేకతలను కలిగి ఉంది. సిద్ధాంతంలో, ప్రతి సాఫ్ట్‌వేర్ సిస్టమ్‌కు ఇప్పటికే ఉన్న పద్ధతులను అభివృద్ధి చేయడం లేదా మెరుగుపరచడం అవసరం, ఎందుకంటే క్రమరాహిత్యాల కోసం శోధన అది నిర్వహించబడే డేటాపై చాలా ఆధారపడి ఉంటుంది మరియు సిస్టమ్‌ను అమలు చేసే సాధనాలపై ఆధారపడి సాఫ్ట్‌వేర్ సిస్టమ్‌ల డేటా చాలా తేడా ఉంటుంది. , ఇది ఏ కంప్యూటర్‌లో రన్ అవుతోంది.
సాఫ్ట్‌వేర్ సిస్టమ్‌ల వైఫల్యాలను అంచనా వేసేటప్పుడు క్రమరాహిత్యాల కోసం శోధించే పద్ధతులు
అన్నింటిలో మొదటిది, వైఫల్యాలను అంచనా వేసే ఆలోచన వ్యాసం ద్వారా ప్రేరణ పొందిందని చెప్పడం విలువ . క్రమరాహిత్యాల కోసం స్వయంచాలక శోధనతో విధానం యొక్క ప్రభావాన్ని పరీక్షించడానికి, వెబ్-కన్సాలిడేషన్ సాఫ్ట్‌వేర్ సిస్టమ్ ఎంపిక చేయబడింది, ఇది NPO క్రిస్టా కంపెనీ యొక్క ప్రాజెక్ట్‌లలో ఒకటి. గతంలో, అందుకున్న కొలమానాల ఆధారంగా దాని కోసం మాన్యువల్ పర్యవేక్షణ నిర్వహించబడింది. సిస్టమ్ చాలా క్లిష్టంగా ఉన్నందున, దాని కోసం పెద్ద సంఖ్యలో కొలమానాలు తీసుకోబడ్డాయి: JVM సూచికలు (చెత్త కలెక్టర్ లోడ్), కోడ్ అమలు చేయబడిన OS యొక్క సూచికలు (వర్చువల్ మెమరీ, % OS CPU లోడ్), నెట్వర్క్ సూచికలు (నెట్వర్క్ లోడ్ ), సర్వర్ స్వయంగా (CPU లోడ్ , మెమరీ), వైల్డ్‌ఫ్లై మెట్రిక్‌లు మరియు అన్ని క్లిష్టమైన సబ్‌సిస్టమ్‌ల కోసం అప్లికేషన్ యొక్క స్వంత కొలమానాలు.
గ్రాఫైట్ ఉపయోగించి సిస్టమ్ నుండి అన్ని కొలమానాలు తీసుకోబడ్డాయి. ప్రారంభంలో, విష్పర్ డేటాబేస్ గ్రాఫానాకు ప్రామాణిక పరిష్కారంగా ఉపయోగించబడింది, అయితే క్లయింట్ బేస్ పెరిగేకొద్దీ, DC డిస్క్ సబ్‌సిస్టమ్ యొక్క సామర్థ్యాన్ని పూర్తి చేయడంతో గ్రాఫైట్ ఇకపై భరించలేకపోయింది. దీని తరువాత, మరింత ప్రభావవంతమైన పరిష్కారాన్ని కనుగొనాలని నిర్ణయించారు. ఎంపిక అనుకూలంగా జరిగింది , ఇది డిస్క్ సబ్‌సిస్టమ్‌పై లోడ్‌ను మాగ్నిట్యూడ్ క్రమం ద్వారా తగ్గించడం మరియు ఆక్రమిత డిస్క్ స్థలాన్ని ఐదు నుండి ఆరు రెట్లు తగ్గించడం సాధ్యం చేసింది. గ్రాఫైట్+క్లిక్‌హౌస్ (మూర్తి 2)ని ఉపయోగించి కొలమానాలను సేకరించే మెకానిజం యొక్క రేఖాచిత్రం క్రింద ఉంది.
మూర్తి 2. కొలమానాలను సేకరించే పథకం
రేఖాచిత్రం అంతర్గత డాక్యుమెంటేషన్ నుండి తీసుకోబడింది. ఇది గ్రాఫానా (మేము ఉపయోగించే పర్యవేక్షణ UI) మరియు గ్రాఫైట్ మధ్య కమ్యూనికేషన్‌ను చూపుతుంది. అప్లికేషన్ నుండి కొలమానాలను తీసివేయడం ప్రత్యేక సాఫ్ట్‌వేర్ ద్వారా చేయబడుతుంది - . అతను వాటిని గ్రాఫైట్‌లో ఉంచాడు.
వెబ్ కన్సాలిడేషన్ సిస్టమ్ వైఫల్యాలను అంచనా వేయడానికి సమస్యలను సృష్టించే అనేక లక్షణాలను కలిగి ఉంది:
- ట్రెండ్ తరచుగా మారుతుంది. ఈ సాఫ్ట్‌వేర్ సిస్టమ్ కోసం వివిధ వెర్షన్‌లు అందుబాటులో ఉన్నాయి. వాటిలో ప్రతి ఒక్కటి సిస్టమ్ యొక్క సాఫ్ట్‌వేర్ భాగానికి మార్పులను తెస్తుంది. దీని ప్రకారం, ఈ విధంగా, డెవలపర్లు ఇచ్చిన సిస్టమ్ యొక్క కొలమానాలను నేరుగా ప్రభావితం చేయవచ్చు మరియు ధోరణి మార్పుకు కారణం కావచ్చు;
- అమలు లక్షణం, అలాగే క్లయింట్లు ఈ వ్యవస్థను ఉపయోగించే ప్రయోజనాల కోసం, తరచుగా మునుపటి అధోకరణం లేకుండా క్రమరాహిత్యాలకు కారణమవుతాయి;
- మొత్తం డేటా సెట్‌కు సంబంధించి క్రమరాహిత్యాల శాతం చిన్నది (< 5%);
- సిస్టమ్ నుండి సూచికలను స్వీకరించడంలో ఖాళీలు ఉండవచ్చు. కొన్ని తక్కువ వ్యవధిలో, మానిటరింగ్ సిస్టమ్ మెట్రిక్‌లను పొందడంలో విఫలమవుతుంది. ఉదాహరణకు, సర్వర్ ఓవర్‌లోడ్ అయినట్లయితే. న్యూరల్ నెట్‌వర్క్‌కు శిక్షణ ఇవ్వడానికి ఇది కీలకం. కృత్రిమంగా ఖాళీలను పూరించాల్సిన అవసరం ఉంది;
- క్రమరాహిత్యాలతో కూడిన కేసులు తరచుగా నిర్దిష్ట తేదీ/నెల/సమయం (సీజనాలిటీ)కి మాత్రమే సంబంధించినవి. ఈ సిస్టమ్ వినియోగదారులచే దాని ఉపయోగం కోసం స్పష్టమైన నిబంధనలను కలిగి ఉంది. దీని ప్రకారం, కొలమానాలు నిర్దిష్ట సమయానికి మాత్రమే సంబంధితంగా ఉంటాయి. సిస్టమ్ నిరంతరం ఉపయోగించబడదు, కానీ కొన్ని నెలల్లో మాత్రమే: సంవత్సరాన్ని బట్టి ఎంపిక చేయబడుతుంది. ఒక సందర్భంలో కొలమానాల యొక్క అదే ప్రవర్తన సాఫ్ట్‌వేర్ సిస్టమ్ యొక్క వైఫల్యానికి దారితీసినప్పుడు పరిస్థితులు తలెత్తుతాయి, కానీ మరొకటి కాదు.
ప్రారంభించడానికి, సాఫ్ట్‌వేర్ సిస్టమ్‌ల పర్యవేక్షణ డేటాలో క్రమరాహిత్యాలను గుర్తించే పద్ధతులు విశ్లేషించబడ్డాయి. ఈ అంశంపై కథనాలలో, మిగిలిన డేటా సెట్‌తో పోలిస్తే క్రమరాహిత్యాల శాతం తక్కువగా ఉన్నప్పుడు, ఇది చాలా తరచుగా న్యూరల్ నెట్‌వర్క్‌లను ఉపయోగించడానికి ప్రతిపాదించబడింది.
న్యూరల్ నెట్వర్క్ డేటాను ఉపయోగించి క్రమరాహిత్యాల కోసం శోధించే ప్రాథమిక తర్కం మూర్తి 3లో చూపబడింది:
మూర్తి 3. న్యూరల్ నెట్‌వర్క్‌ని ఉపయోగించి క్రమరాహిత్యాల కోసం శోధించడం
మెట్రిక్స్ యొక్క ప్రస్తుత ప్రవాహం యొక్క విండో యొక్క సూచన లేదా పునరుద్ధరణ ఫలితంగా, నడుస్తున్న సాఫ్ట్‌వేర్ సిస్టమ్ నుండి స్వీకరించబడిన దాని నుండి విచలనం లెక్కించబడుతుంది. సాఫ్ట్‌వేర్ సిస్టమ్ మరియు న్యూరల్ నెట్వర్క్ నుండి పొందిన కొలమానాల మధ్య పెద్ద వ్యత్యాసం ఉంటే, ప్రస్తుత డేటా సెగ్మెంట్ క్రమరహితంగా ఉందని మేము నిర్ధారించగలము. న్యూరల్ నెట్‌వర్క్‌ల ఉపయోగం కోసం క్రింది వరుస సమస్యలు తలెత్తుతాయి:
- స్ట్రీమింగ్ మోడ్‌లో సరిగ్గా పని చేయడానికి, న్యూరల్ నెట్వర్క్ నమూనాల శిక్షణ కోసం డేటా తప్పనిసరిగా “సాధారణ” డేటాను మాత్రమే కలిగి ఉండాలి;
- సరైన గుర్తింపు కోసం నవీనమైన నమూనాను కలిగి ఉండటం అవసరం. కొలమానాలలో మారుతున్న ట్రెండ్‌లు మరియు కాలానుగుణత మోడల్‌లో పెద్ద సంఖ్యలో తప్పుడు పాజిటివ్‌లకు కారణం కావచ్చు. దీన్ని నవీకరించడానికి, మోడల్ పాతది అయిన సమయాన్ని స్పష్టంగా నిర్ణయించడం అవసరం. మీరు మోడల్‌ను తర్వాత లేదా ముందుగా అప్‌డేట్ చేస్తే, చాలా మటుకు, పెద్ద సంఖ్యలో తప్పుడు పాజిటివ్‌లు అనుసరించబడతాయి.
తప్పుడు పాజిటివ్‌లు తరచుగా సంభవించకుండా శోధించడం మరియు నిరోధించడం గురించి కూడా మనం మరచిపోకూడదు. అవి చాలా తరచుగా అత్యవసర పరిస్థితుల్లో సంభవిస్తాయని భావించబడుతుంది. అయినప్పటికీ, అవి తగినంత శిక్షణ లేకపోవడం వల్ల న్యూరల్ నెట్వర్క్ లోపం యొక్క పర్యవసానంగా కూడా ఉండవచ్చు. మోడల్ యొక్క తప్పుడు పాజిటివ్‌ల సంఖ్యను తగ్గించడం అవసరం. లేకపోతే, తప్పుడు అంచనాలు సిస్టమ్‌ను తనిఖీ చేయడానికి ఉద్దేశించిన నిర్వాహకుడి సమయాన్ని చాలా వృధా చేస్తాయి. త్వరలో లేదా తరువాత నిర్వాహకుడు "పారానోయిడ్" పర్యవేక్షణ వ్యవస్థకు ప్రతిస్పందించడం ఆపివేస్తారు.
పునరావృత నాడీ నెట్వర్క్
సమయ శ్రేణిలో క్రమరాహిత్యాలను గుర్తించడానికి, మీరు ఉపయోగించవచ్చు LSTM మెమరీతో. ఒకే సమస్య ఏమిటంటే ఇది అంచనా వేసిన సమయ శ్రేణికి మాత్రమే ఉపయోగించబడుతుంది. మా విషయంలో, అన్ని కొలమానాలు ఊహించదగినవి కావు. RNN LSTMని సమయ శ్రేణికి వర్తింపజేయడానికి చేసిన ప్రయత్నం మూర్తి 4లో చూపబడింది.
మూర్తి 4. LSTM మెమరీ సెల్‌లతో పునరావృతమయ్యే న్యూరల్ నెట్‌వర్క్‌కు ఉదాహరణ
మూర్తి 4 నుండి చూడగలిగినట్లుగా, RNN LSTM ఈ సమయంలో క్రమరాహిత్యాల శోధనను ఎదుర్కోగలిగింది. ఫలితం అధిక అంచనా లోపం (సగటు లోపం) ఉన్న చోట, సూచికలలో అసమానత వాస్తవంగా సంభవించింది. ఒకే RNN LSTMని ఉపయోగించడం స్పష్టంగా సరిపోదు, ఎందుకంటే ఇది తక్కువ సంఖ్యలో కొలమానాలకు వర్తిస్తుంది. క్రమరాహిత్యాల కోసం శోధించడానికి సహాయక పద్ధతిగా ఉపయోగించవచ్చు.
వైఫల్యం అంచనా కోసం ఆటోఎన్‌కోడర్
- ముఖ్యంగా ఒక కృత్రిమ న్యూరల్ నెట్వర్క్. ఇన్‌పుట్ లేయర్ ఎన్‌కోడర్, అవుట్‌పుట్ లేయర్ డీకోడర్. ఈ రకమైన అన్ని న్యూరల్ నెట్‌వర్క్‌ల యొక్క ప్రతికూలత ఏమిటంటే అవి క్రమరాహిత్యాలను బాగా స్థానికీకరించవు. సింక్రోనస్ ఆటోఎన్‌కోడర్ ఆర్కిటెక్చర్ ఎంచుకోబడింది.
మూర్తి 5. ఆటోఎన్‌కోడర్ ఆపరేషన్ యొక్క ఉదాహరణ
ఆటోఎన్‌కోడర్‌లు సాధారణ డేటాపై శిక్షణ పొంది, మోడల్‌కు అందించిన డేటాలో ఏదైనా అసాధారణమైనదాన్ని కనుగొంటారు. ఈ పని కోసం మీకు కావలసినది. ఈ టాస్క్‌కి ఏ ఆటోఎన్‌కోడర్ సరిపోతుందో ఎంచుకోవడం మాత్రమే మిగిలి ఉంది. ఆటోఎన్‌కోడర్ యొక్క నిర్మాణపరంగా సరళమైన రూపం ఫార్వర్డ్, నాన్-రిటర్నింగ్ న్యూరల్ నెట్వర్క్, ఇది చాలా పోలి ఉంటుంది (మల్టీలేయర్ పర్సెప్ట్రాన్, MLP), ఇన్‌పుట్ లేయర్, అవుట్‌పుట్ లేయర్ మరియు వాటిని కనెక్ట్ చేసే ఒకటి లేదా అంతకంటే ఎక్కువ దాచిన లేయర్‌లతో.
అయితే, ఆటోఎన్‌కోడర్‌లు మరియు MLPల మధ్య తేడాలు ఏమిటంటే, ఆటోఎన్‌కోడర్‌లో, అవుట్‌పుట్ లేయర్ ఇన్‌పుట్ లేయర్‌కు సమానమైన నోడ్‌లను కలిగి ఉంటుంది మరియు ఇన్‌పుట్ X ద్వారా ఇవ్వబడిన లక్ష్య విలువ Yని అంచనా వేయడానికి శిక్షణ ఇవ్వడానికి బదులుగా, ఆటోఎన్‌కోడర్ శిక్షణ పొందింది. దాని స్వంత Xలను పునర్నిర్మించడానికి. కాబట్టి, ఆటోఎన్‌కోడర్‌లు పర్యవేక్షించబడని అభ్యాస నమూనాలు.
ఆటోఎన్‌కోడర్ యొక్క పని ఏమిటంటే, ఇన్‌పుట్ వెక్టర్ Xలోని క్రమరహిత మూలకాలకు సంబంధించిన సమయ సూచికలు r0 ... rn కనుగొనడం. ఈ ప్రభావం స్క్వేర్డ్ లోపం కోసం శోధించడం ద్వారా సాధించబడుతుంది.
మూర్తి 6. సింక్రోనస్ ఆటోఎన్‌కోడర్
ఆటోఎన్‌కోడర్ కోసం ఎంపిక చేయబడింది . దీని ప్రయోజనాలు: స్ట్రీమింగ్ ప్రాసెసింగ్ మోడ్‌ని ఉపయోగించగల సామర్థ్యం మరియు ఇతర ఆర్కిటెక్చర్‌లతో పోలిస్తే తక్కువ సంఖ్యలో న్యూరల్ నెట్వర్క్ పారామితులు.
తప్పుడు పాజిటివ్‌లను తగ్గించడానికి మెకానిజం
వివిధ అసాధారణ పరిస్థితులు తలెత్తుతున్నందున, అలాగే న్యూరల్ నెట్వర్క్ యొక్క తగినంత శిక్షణ లేని పరిస్థితి కారణంగా, క్రమరాహిత్య గుర్తింపు నమూనా అభివృద్ధి చేయబడుతోంది, తప్పుడు పాజిటివ్‌లను తగ్గించడానికి ఒక యంత్రాంగాన్ని అభివృద్ధి చేయడం అవసరమని నిర్ణయించారు. ఈ మెకానిజం అడ్మినిస్ట్రేటర్ ద్వారా వర్గీకరించబడిన టెంప్లేట్ బేస్ మీద ఆధారపడి ఉంటుంది.
(DTW అల్గోరిథం, ఇంగ్లీష్ డైనమిక్ టైమ్ వార్పింగ్ నుండి) సమయ శ్రేణుల మధ్య సరైన అనురూపాన్ని కనుగొనడానికి మిమ్మల్ని అనుమతిస్తుంది. స్పీచ్ రికగ్నిషన్‌లో మొదట ఉపయోగించబడింది: రెండు స్పీచ్ సిగ్నల్‌లు ఒకే అసలు మాట్లాడే పదబంధాన్ని ఎలా సూచిస్తాయో గుర్తించడానికి ఉపయోగిస్తారు. తదనంతరం, ఇతర ప్రాంతాలలో దాని కోసం దరఖాస్తు కనుగొనబడింది.
న్యూరల్ నెట్‌వర్క్‌లను ఉపయోగించి గుర్తించిన అనుమానాస్పద కేసులను వర్గీకరించే ఆపరేటర్ సహాయంతో ప్రమాణాల డేటాబేస్‌ను సేకరించడం తప్పుడు పాజిటివ్‌లను తగ్గించే ప్రధాన సూత్రం. తరువాత, వర్గీకృత ప్రమాణం సిస్టమ్ గుర్తించిన కేసుతో పోల్చబడుతుంది మరియు కేసు తప్పుదా లేదా వైఫల్యానికి దారితీస్తుందా అనే దాని గురించి ఒక నిర్ధారణ చేయబడుతుంది. రెండు సమయ శ్రేణులను పోల్చడానికి DTW అల్గోరిథం ఖచ్చితంగా ఉపయోగించబడుతుంది. ప్రధాన కనిష్టీకరణ సాధనం ఇప్పటికీ వర్గీకరణ. పెద్ద సంఖ్యలో రిఫరెన్స్ కేసులను సేకరించిన తర్వాత, చాలా సందర్భాలలో సారూప్యత మరియు సారూప్యమైన వాటి సంభవించిన కారణంగా సిస్టమ్ ఆపరేటర్‌ని తక్కువగా అడగడం ప్రారంభిస్తుందని భావిస్తున్నారు.
ఫలితంగా, పైన వివరించిన న్యూరల్ నెట్వర్క్ పద్ధతుల ఆధారంగా, "వెబ్-కన్సాలిడేషన్" సిస్టమ్ యొక్క వైఫల్యాలను అంచనా వేయడానికి ఒక ప్రయోగాత్మక ప్రోగ్రామ్ నిర్మించబడింది. ఈ ప్రోగ్రామ్ యొక్క లక్ష్యం మా సాఫ్ట్‌వేర్ సిస్టమ్‌ల కోసం ఈ విధానం యొక్క సామర్థ్యాన్ని మూల్యాంకనం చేయడం, మానిటరింగ్ డేటా మరియు మునుపటి వైఫల్యాల గురించి సమాచారాన్ని ఇప్పటికే ఉన్న ఆర్కైవ్‌ని ఉపయోగించడం. ప్రోగ్రామ్ యొక్క పథకం మూర్తి 7 లో క్రింద ప్రదర్శించబడింది.
మూర్తి 7. మెట్రిక్ స్పేస్ విశ్లేషణ ఆధారంగా వైఫల్యం అంచనా పథకం
రేఖాచిత్రంలో, రెండు ప్రధాన బ్లాక్‌లను వేరు చేయవచ్చు: మానిటరింగ్ డేటా స్ట్రీమ్ (కొలమానాలు)లో క్రమరహిత కాలాల కోసం శోధన మరియు తప్పుడు పాజిటివ్‌లను తగ్గించే విధానం. గమనిక: ప్రయోగాత్మక ప్రయోజనాల కోసం, గ్రాఫైట్ దానిని సేవ్ చేసే డేటాబేస్ నుండి JDBC కనెక్షన్ ద్వారా డేటా పొందబడుతుంది.
అభివృద్ధి ఫలితంగా పొందిన పర్యవేక్షణ వ్యవస్థ యొక్క ఇంటర్ఫేస్ క్రిందిది (మూర్తి 8).
మూర్తి 8. ప్రయోగాత్మక పర్యవేక్షణ వ్యవస్థ యొక్క ఇంటర్ఫేస్
ఇంటర్ఫేస్ స్వీకరించిన కొలమానాల ఆధారంగా క్రమరాహిత్య శాతాన్ని ప్రదర్శిస్తుంది. మా విషయంలో, రసీదు అనుకరణ చేయబడింది. మేము ఇప్పటికే చాలా వారాల పాటు మొత్తం డేటాను కలిగి ఉన్నాము మరియు వైఫల్యానికి దారితీసే క్రమరాహిత్యం కేసును తనిఖీ చేయడానికి క్రమంగా లోడ్ చేస్తున్నాము. దిగువ స్థితి పట్టీ ఒక నిర్దిష్ట సమయంలో డేటా క్రమరాహిత్యం యొక్క మొత్తం శాతాన్ని ప్రదర్శిస్తుంది, ఇది ఆటోఎన్‌కోడర్‌ని ఉపయోగించి నిర్ణయించబడుతుంది. అలాగే, అంచనా వేసిన కొలమానాల కోసం ప్రత్యేక శాతం ప్రదర్శించబడుతుంది, ఇది RNN LSTM ద్వారా గణించబడుతుంది.
RNN LSTM న్యూరల్ నెట్వర్క్ (Figure 9)ని ఉపయోగించి CPU పనితీరు ఆధారంగా క్రమరాహిత్య గుర్తింపుకు ఉదాహరణ.
మూర్తి 9. RNN LSTM ఆవిష్కరణ
చాలా సరళమైన కేసు, ముఖ్యంగా సాధారణ అవుట్‌లియర్, కానీ సిస్టమ్ వైఫల్యానికి దారితీసింది, RNN LSTMని ఉపయోగించి విజయవంతంగా లెక్కించబడుతుంది. ఈ కాలంలో క్రమరాహిత్య సూచిక 85-95%; 80% పైన ఉన్న ప్రతిదీ (థ్రెషోల్డ్ ప్రయోగాత్మకంగా నిర్ణయించబడింది) అసాధారణంగా పరిగణించబడుతుంది.
అప్‌డేట్ తర్వాత సిస్టమ్ బూట్ చేయలేనప్పుడు క్రమరాహిత్య గుర్తింపుకు ఉదాహరణ. ఈ పరిస్థితి ఆటోఎన్‌కోడర్ ద్వారా కనుగొనబడింది (మూర్తి 10).
మూర్తి 10. ఆటోఎన్‌కోడర్ డిటెక్షన్ యొక్క ఉదాహరణ
మీరు ఫిగర్ నుండి చూడగలిగినట్లుగా, PermGen ఒక స్థాయిలో నిలిచిపోయింది. ఇంతకు ముందెన్నడూ చూడని కారణంగా ఆటోఎన్‌కోడర్ దీన్ని వింతగా గుర్తించింది. సిస్టమ్ పని చేసే స్థితికి తిరిగి వచ్చే వరకు ఇక్కడ క్రమరాహిత్యం 100% ఉంటుంది. అన్ని కొలమానాలకు అసాధారణత ప్రదర్శించబడుతుంది. ముందే చెప్పినట్లుగా, ఆటోఎన్‌కోడర్ క్రమరాహిత్యాలను స్థానికీకరించదు. ఈ పరిస్థితులలో ఈ ఫంక్షన్‌ను నిర్వహించడానికి ఆపరేటర్‌ని పిలుస్తారు.
తీర్మానం
PC "వెబ్-కన్సాలిడేషన్" అనేక సంవత్సరాలుగా అభివృద్ధిలో ఉంది. సిస్టమ్ చాలా స్థిరమైన స్థితిలో ఉంది మరియు నమోదు చేయబడిన సంఘటనల సంఖ్య తక్కువగా ఉంది. అయినప్పటికీ, వైఫల్యం సంభవించడానికి 5 - 10 నిమిషాల ముందు వైఫల్యానికి దారితీసే క్రమరాహిత్యాలను కనుగొనడం సాధ్యమైంది. కొన్ని సందర్భాల్లో, వైఫల్యం గురించి ముందుగానే తెలియజేయడం "మరమ్మత్తు" పనిని నిర్వహించడానికి కేటాయించిన షెడ్యూల్ సమయాన్ని ఆదా చేయడంలో సహాయపడుతుంది.
నిర్వహించిన ప్రయోగాల ఆధారంగా, తుది తీర్మానాలు చేయడం చాలా తొందరగా ఉంది. ఇప్పటివరకు, ఫలితాలు విరుద్ధంగా ఉన్నాయి. ఒక వైపు, న్యూరల్ నెట్‌వర్క్‌ల ఆధారంగా అల్గోరిథంలు "ఉపయోగకరమైన" క్రమరాహిత్యాలను కనుగొనగలవని స్పష్టంగా తెలుస్తుంది. మరోవైపు, అధిక శాతం తప్పుడు పాజిటివ్‌లు మిగిలి ఉన్నాయి మరియు న్యూరల్ నెట్‌వర్క్‌లో అర్హత కలిగిన నిపుణుడిచే కనుగొనబడిన అన్ని క్రమరాహిత్యాలను గుర్తించడం సాధ్యం కాదు. ప్రతికూలతలు ఇప్పుడు న్యూరల్ నెట్‌వర్క్‌కు సాధారణ ఆపరేషన్ కోసం ఉపాధ్యాయుడితో శిక్షణ అవసరమని వాస్తవం కలిగి ఉంటుంది.
వైఫల్య అంచనా వ్యవస్థను మరింత అభివృద్ధి చేయడానికి మరియు దానిని సంతృప్తికరమైన స్థితికి తీసుకురావడానికి, అనేక మార్గాలను ఊహించవచ్చు. ఇది వ్యవస్థ యొక్క స్థితిని బాగా ప్రభావితం చేసే ముఖ్యమైన కొలమానాల జాబితాకు అదనంగా మరియు దానిని ప్రభావితం చేయని అనవసరమైన వాటిని విస్మరించడం వలన వైఫల్యానికి దారితీసే క్రమరాహిత్యాలతో కూడిన కేసుల యొక్క మరింత వివరణాత్మక విశ్లేషణ. అలాగే, మేము ఈ దిశలో వెళితే, వైఫల్యాలకు దారితీసే క్రమరాహిత్యాలతో మా కేసుల కోసం ప్రత్యేకంగా అల్గారిథమ్‌లను రూపొందించడానికి మేము ప్రయత్నించవచ్చు. మరొక మార్గం ఉంది. ఇది న్యూరల్ నెట్వర్క్ ఆర్కిటెక్చర్‌లలో మెరుగుదల మరియు తద్వారా శిక్షణ సమయం తగ్గింపుతో గుర్తింపు ఖచ్చితత్వాన్ని పెంచుతుంది.
ఈ వ్యాసం యొక్క ఔచిత్యాన్ని వ్రాయడానికి మరియు నిర్వహించడానికి నాకు సహాయం చేసిన నా సహోద్యోగులకు నా కృతజ్ఞతలు తెలియజేస్తున్నాను: మరియు సెర్గీ ఫినోజెనోవ్.
మూలం: www.habr.com