{"id":53531,"date":"2019-12-04T00:00:00","date_gmt":"2019-12-03T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/ishhem-anomalii-i-predskazyvaem-sboi-s-pomoshhyu-nejrosetej"},"modified":"2020-02-18T14:01:26","modified_gmt":"2020-02-18T11:01:26","slug":"ishhem-anomalii-i-predskazyvaem-sboi-s-pomoshhyu-nejrosetej","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/ishhem-anomalii-i-predskazyvaem-sboi-s-pomoshhyu-nejrosetej","title":{"rendered":"Vi letar efter anomalier och f\u00f6ruts\u00e4ger fel med hj\u00e4lp av neurala n\u00e4tverk","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Vi<\/p>\n

<\/p>\n

Industriell utveckling av mjukvarusystem kr\u00e4ver stor uppm\u00e4rksamhet p\u00e5 slutproduktens driftss\u00e4kerhet, liksom snabb respons p\u00e5 fel och avbrott om de skulle intr\u00e4ffa. \u00d6vervakning hj\u00e4lper naturligtvis till att reagera p\u00e5 fel och avbrott mer effektivt och snabbt, men det \u00e4r inte tillr\u00e4ckligt. F\u00f6r det f\u00f6rsta \u00e4r det mycket sv\u00e5rt att h\u00e5lla koll p\u00e5 ett stort antal servrar \u2013 det kr\u00e4vs en stor m\u00e4ngd m\u00e4nniskor. F\u00f6r det andra m\u00e5ste man ha en god f\u00f6rst\u00e5else f\u00f6r hur applikationen \u00e4r strukturerad f\u00f6r att kunna f\u00f6ruts\u00e4ga dess tillst\u00e5nd. F\u00f6ljaktligen beh\u00f6vs m\u00e5nga personer som har god kunskap om de system vi utvecklar, deras parametrar och egenskaper. Anta att vi skulle kunna hitta tillr\u00e4ckligt m\u00e5nga personer som vill arbeta med detta, s\u00e5 kr\u00e4vs det \u00e4nd\u00e5 mycket tid f\u00f6r att utbilda dem.<\/p>\n

<\/p>\n

Vad ska man g\u00f6ra? H\u00e4r kommer artificiell intelligens till v\u00e5r hj\u00e4lp. Artikeln handlar om prediktivt underh\u00e5ll<\/a><\/noindex> (predictive maintenance). Denna metod blir alltmer popul\u00e4r. Det har skrivits ett stort antal artiklar, inklusive p\u00e5 Habr\u00e9. Stora f\u00f6retag anv\u00e4nder den h\u00e4r metoden f\u00f6r att uppr\u00e4tth\u00e5lla sina servrars funktionalitet. Efter att ha studerat m\u00e5nga artiklar beslutade vi att f\u00f6rs\u00f6ka till\u00e4mpa denna metod. Vad blev resultatet? <\/p>\n

<\/a><\/noindex><\/p>\n

Introduktion<\/h2>\n

<\/p>\n

Det utvecklade mjukvarusystemet s\u00e4tts f\u00f6rr eller senare i drift. Det \u00e4r viktigt f\u00f6r anv\u00e4ndaren att systemet fungerar utan avbrott. Om en of\u00f6rutsedd situation trots allt intr\u00e4ffar, b\u00f6r den l\u00f6sas med minsta m\u00f6jliga f\u00f6rseningar. <\/p>\n

<\/p>\n

F\u00f6r att underl\u00e4tta den tekniska supporten av mjukvarusystemet, s\u00e4rskilt om det finns m\u00e5nga servrar, brukar man anv\u00e4nda \u00f6vervakningsprogram som samlar in m\u00e4tv\u00e4rden fr\u00e5n det fungerande mjukvarusystemet, ger m\u00f6jlighet att diagnostisera dess tillst\u00e5nd och hj\u00e4lper till att fastst\u00e4lla vad som orsakade felet. Denna process kallas \u00f6vervakning av mjukvarusystemet.<\/p>\n

\n\"Vi<\/p>\n

Figur 1. Gr\u00e4nssnitt f\u00f6r \u00f6vervakning grafana<\/em><\/p>\n

Metriker \u00e4r olika indikatorer fr\u00e5n det programvarusystem, den k\u00f6rmilj\u00f6 eller den fysiska ber\u00e4kningsmaskin d\u00e4r systemet k\u00f6rs, med en tidsst\u00e4mpel f\u00f6r den tidpunkt d\u00e5 m\u00e4tningarna erh\u00f6lls. I statisk analys kallas m\u00e4tdata f\u00f6r tidsserier. F\u00f6r att \u00f6vervaka tillst\u00e5ndet hos programvarusystemet visas m\u00e4tv\u00e4rden i form av grafer: tid p\u00e5 X-axeln och v\u00e4rden p\u00e5 Y-axeln (figur 1). Ett fungerande programvarusystem kan generera flera tusen m\u00e4tv\u00e4rden (fr\u00e5n varje nod). Dessa bildar ett m\u00e4tutrymme (flerdimensionella tidsserier). <\/p>\n

<\/p>\n

Eftersom komplexa programvarusystem samlar stora m\u00e4ngder m\u00e4tv\u00e4rden blir manuell \u00f6vervakning en utmanande uppgift. F\u00f6r att minska m\u00e4ngden data som administrat\u00f6ren m\u00e5ste analysera inneh\u00e5ller \u00f6vervakningsverktyg funktioner f\u00f6r automatisk identifiering av potentiella problem. Till exempel kan en trigger st\u00e4llas in f\u00f6r att aktiveras n\u00e4r det fria diskutrymmet minskar under en angiven gr\u00e4ns. Serverstopp eller kritisk f\u00f6rs\u00e4mring av serviceniv\u00e5 kan ocks\u00e5 automatiskt diagnostiseras. I praktiken hanterar \u00f6vervakningsverktyg relativt bra att uppt\u00e4cka redan intr\u00e4ffade fel eller identifiera enkla symptom p\u00e5 framtida fel, men \u00f6vergripande f\u00f6rblir f\u00f6ruts\u00e4gelsen av m\u00f6jliga haverier en sv\u00e5r n\u00f6t att kn\u00e4cka. F\u00f6ruts\u00e4gelse genom manuell analys av m\u00e4tningar kr\u00e4ver kvalificerade specialister och \u00e4r oftast ineffektiv. M\u00e5nga potentiella haverier kan f\u00f6rbli ouppt\u00e4ckta.<\/p>\n

<\/p>\n

P\u00e5 senare tid har prediktivt underh\u00e5ll av programvarusystem blivit alltmer popul\u00e4rt bland stora IT-f\u00f6retag som utvecklar mjukvara. K\u00e4rnan i denna metod \u00e4r att identifiera problem som leder till systemdegradering i ett tidigt skede, f\u00f6re haveriet, med hj\u00e4lp av artificiell intelligens. Denna metod utesluter inte helt manuell \u00f6vervakning av systemet. Den \u00e4r ett komplement till \u00f6vervakningsprocessen i sin helhet. <\/p>\n

<\/p>\n

Huvudverktyget f\u00f6r att genomf\u00f6ra prediktivt underh\u00e5ll \u00e4r uppgiften att hitta avvikelser i tidsserier, eftersom vid uppkomsten av en avvikelse<\/strong> i datan \u00e4r sannolikheten stor att om en tid ett fel eller avbrott kommer att intr\u00e4ffa<\/strong>. En avvikelse \u00e4r en viss avvikelse i programvarusystemets indikatorer, s\u00e5som uppt\u00e4ckten av en nedg\u00e5ng i hastigheten f\u00f6r ett visst typ av f\u00f6rfr\u00e5gan eller en minskning av det genomsnittliga antalet hanterade f\u00f6rfr\u00e5gningar vid en konstant niv\u00e5 av kundsessioner.<\/p>\n

<\/p>\n

Uppgiften att uppt\u00e4cka avvikelser i programvarusystem har sin egen specifik. I teorin kr\u00e4vs det att varje programvarusystem utvecklar eller f\u00f6rb\u00e4ttrar sina metoder, eftersom uppt\u00e4ckten av avvikelser \u00e4r starkt beroende av de data i vilka det utf\u00f6rs, och dessa data varierar mycket beroende p\u00e5 vilka verktyg som anv\u00e4nds f\u00f6r att implementera systemet, \u00e4nda ner till vilken typ av ber\u00e4kningsmaskin det k\u00f6rs p\u00e5.<\/p>\n

<\/p>\n

Metoder f\u00f6r att uppt\u00e4cka avvikelser vid prognostisering av fel i programvarusystem<\/h2>\n

<\/p>\n

F\u00f6rst och fr\u00e4mst b\u00f6r det n\u00e4mnas att id\u00e9en om prognostisering av fel inspirerades av artikeln \u00abMaskininl\u00e4rning i IT-\u00f6vervakning\u00bb<\/a><\/noindex>. F\u00f6r att kontrollera effektiviteten av metoden f\u00f6r automatisk uppt\u00e4ckte avvikelser valdes programvarusystemet \u00abWeb-Konsolidering\u00bb, vilket \u00e4r ett av projekten hos NPO \u00abKrista\u00bb. F\u00f6r detta system genomf\u00f6rdes tidigare manuell \u00f6vervakning av de erh\u00e5llna metrikarna. Eftersom systemet \u00e4r ganska komplext samlas det in ett stort antal metrikar: JVM-indikatorer (belastning av skr\u00e4pm\u00e4ngd), indikatorer f\u00f6r det operativsystem som k\u00f6r koden (virtuellt minne, % CPU-belastning), n\u00e4tverksindikatorer (n\u00e4tverksbelastning), servrarna (CPU-belastning, minnesbelastning), wildfly-metrik och egna metrikar f\u00f6r applikationen p\u00e5 alla kritiska delsystem. <\/p>\n

<\/p>\n

Alla metrikar samlas in fr\u00e5n systemet med hj\u00e4lp av graphite. Inledningsvis anv\u00e4ndes databasen whisper som en standardl\u00f6sning f\u00f6r grafana, men med tillv\u00e4xten av kundbasen kunde graphite inte l\u00e4ngre hantera detta, vilket utmattade diskens kapacitet i datacentret. Efter detta fattades beslutet att s\u00f6ka en mer effektiv l\u00f6sning. Valet f\u00f6ll p\u00e5 graphite+clickhouse<\/a><\/noindex>, vilket gjorde det m\u00f6jligt att kraftigt minska belastningen p\u00e5 diskens subsystem och minska det upptagna diskutrymmet fem till sex g\u00e5nger. Nedan visas schemat f\u00f6r mekanismen f\u00f6r att samla in metrikar med hj\u00e4lp av graphite+clickhouse (figur 2).<\/p>\n

\n\"Vi
\n<\/p>\n

Figur 2. Schema f\u00f6r insamling av metrikar<\/em><\/p>\n

Diagrammet \u00e4r h\u00e4mtat fr\u00e5n intern dokumentation. Den visar datakommunikationen mellan grafana (anv\u00e4ndargr\u00e4nssnittet f\u00f6r \u00f6vervakning som vi anv\u00e4nder) och graphite. M\u00e4tningarna fr\u00e5n applikationen g\u00f6rs av en separat programvara \u2013 jmxtrans<\/a><\/noindex>. Den lagrar dem i graphite.
\nSystemet \"Web-Konsolidering\" har ett antal s\u00e4rdrag som skapar problem f\u00f6r felprognoser:<\/p>\n

<\/p>\n

    \n
  1. trender f\u00f6r\u00e4ndras ofta. F\u00f6r detta mjukvarusystem kommer olika versioner ut. Varje version medf\u00f6r f\u00f6r\u00e4ndringar i systemets programdel. D\u00e4rmed p\u00e5verkar utvecklarna direkt m\u00e4tningarna i systemet och kan orsaka trendf\u00f6r\u00e4ndringar; <\/li>\n
  2. implementeringsspecifika s\u00e4rdrag samt anv\u00e4ndningsm\u00e5l f\u00f6r detta system skapar ofta anomalier utan f\u00f6reg\u00e5ende nedgradering; <\/li>\n
  3. andelen anomalier i f\u00f6rh\u00e5llande till hela datam\u00e4ngden \u00e4r l\u00e5g (< 5%); <\/li>\n
  4. det kan uppst\u00e5 avbrott i mottagningen av indikatorer fr\u00e5n systemet. Under korta tidsperioder kan \u00f6vervakningssystemet misslyckas med att f\u00e5 m\u00e4tningar, till exempel om servern \u00e4r \u00f6verbelastad. F\u00f6r att tr\u00e4na neuronn\u00e4tet \u00e4r detta kritiskt. Det finns ett behov av att fylla luckorna syntetiskt;<\/li>\n
  5. Anomalifall \u00e4r ofta relevanta endast f\u00f6r ett specifikt nummer\/m\u00e5nad\/tid (s\u00e4songsbetonat). Detta system har tydliga riktlinjer f\u00f6r hur anv\u00e4ndarna ska anv\u00e4nda det. D\u00e4rf\u00f6r \u00e4r m\u00e4tningarna endast aktuella f\u00f6r en specifik tid. Systemet kan anv\u00e4ndas intermittens, endast under vissa m\u00e5nader, beroende p\u00e5 \u00e5ret. Det uppst\u00e5r situationer d\u00e4r samma beteende hos m\u00e4tningarna i ett fall kan leda till ett fel i mjukvarusystemet, medan det i ett annat inte g\u00f6r det.
    \nF\u00f6rst analyserades metoder f\u00f6r att uppt\u00e4cka anomalier i \u00f6vervakningsdata fr\u00e5n programvarusystem. I artiklar om detta \u00e4mne f\u00f6resl\u00e5s ofta att anv\u00e4nda neuronn\u00e4t vid l\u00e5ga procentandelar av anomalier i f\u00f6rh\u00e5llande till den \u00f6vriga datam\u00e4ngden. <\/li>\n<\/ol>\n

    <\/p>\n

    Den grundl\u00e4ggande logiken f\u00f6r att hitta anomalier med hj\u00e4lp av neuronn\u00e4t presenteras i figur 3:<\/p>\n

    \n\"Vi
    \n<\/p>\n

    Figur 3. S\u00f6kning av anomalier med hj\u00e4lp av neuronn\u00e4t<\/em><\/p>\n

    I resultatet av prognosen eller \u00e5terst\u00e4llningen av det aktuella fl\u00f6det av m\u00e4tv\u00e4rden ber\u00e4knas avvikelsen fr\u00e5n det erh\u00e5llna fr\u00e5n det fungerande programvarusystemet. Vid stor skillnad mellan de erh\u00e5llna m\u00e4tv\u00e4rdena fr\u00e5n programvarusystemet och neurala n\u00e4tverket kan ett uttalande g\u00f6ras om anomaliteten hos det aktuella datasegmentet. F\u00f6ljande problem uppst\u00e5r f\u00f6r anv\u00e4ndningen av neurala n\u00e4tverk:<\/p>\n

    <\/p>\n

      \n
    1. f\u00f6r korrekt funktion i str\u00f6mmande l\u00e4ge m\u00e5ste data f\u00f6r att tr\u00e4na modeller f\u00f6r neurala n\u00e4tverk bara inneh\u00e5lla \"normala\" data; <\/li>\n
    2. det \u00e4r n\u00f6dv\u00e4ndigt att ha en aktuell modell f\u00f6r korrekt detektion. F\u00f6r\u00e4ndring av trender och s\u00e4songsbetonade faktorer i m\u00e4tningar kan orsaka ett stort antal falska positiva resultat f\u00f6r modellen. F\u00f6r att uppdatera den m\u00e5ste man tydligt definiera tidpunkten n\u00e4r modellen \u00e4r f\u00f6r\u00e5ldrad. Om modellen uppdateras f\u00f6r sent eller f\u00f6r tidigt \u00e4r det troligt att m\u00e5nga falska positiva resultat f\u00f6ljer.
      \nMan f\u00e5r inte gl\u00f6mma att s\u00f6ka och f\u00f6rhindra frekventa falska positiva resultat. Det antas att de oftast uppst\u00e5r i icke-standardiserade situationer. Men de kan ocks\u00e5 vara en f\u00f6ljd av ett neuralt n\u00e4tverks fel p\u00e5 grund av otillr\u00e4cklig tr\u00e4ning. Det \u00e4r n\u00f6dv\u00e4ndigt att minimera antalet falska positiva resultat fr\u00e5n modellen. Annars kommer falska prognoser att ta mycket tid fr\u00e5n administrat\u00f6ren som \u00e4r avsedd f\u00f6r system\u00f6vervakning. S\u00e5 sm\u00e5ningom kommer det att leda till att administrat\u00f6ren helt enkelt slutar reagera p\u00e5 det \"paranoida\" \u00f6vervakningssystemet.<\/li>\n<\/ol>\n

      <\/p>\n

      Rekurrent neurala n\u00e4tverk<\/h2>\n

      <\/p>\n

      F\u00f6r att uppt\u00e4cka anomalier i tidsserier kan man anv\u00e4nda rekurrenta neurala n\u00e4tverk <\/a><\/noindex>med LSTM-minne. Problemet \u00e4r endast att det kan till\u00e4mpas endast p\u00e5 f\u00f6ruts\u00e4gbara tidsserier. I v\u00e5rt fall \u00e4r inte alla m\u00e4tningar f\u00f6ruts\u00e4gbara. F\u00f6rs\u00f6ket att till\u00e4mpa RNN LSTM p\u00e5 en tidsserie presenteras i bild 4.<\/p>\n

      \n\"Vi
      \n<\/p>\n

      Bild 4. Exempel p\u00e5 hur ett rekurrent neuralt n\u00e4tverk med LSTM-minnesceller fungerar<\/em><\/p>\n

      Som det framg\u00e5r av figur 4 lyckades RNN LSTM hantera anomalidetektering under denna tidsperiod. D\u00e4r resultatet har en h\u00f6g prognosfel (mean error) intr\u00e4ffade faktiskt en avvikelse i m\u00e4tv\u00e4rdena. Endast att anv\u00e4nda en RNN LSTM kommer tydligt att vara otillr\u00e4ckligt eftersom den \u00e4r till\u00e4mpbar p\u00e5 ett begr\u00e4nsat antal m\u00e4tv\u00e4rden. Den kan anv\u00e4ndas som en hj\u00e4lpmekanism f\u00f6r att hitta avvikelser. <\/p>\n

      <\/p>\n

      Autokodare f\u00f6r felprognoser<\/h2>\n

      <\/p>\n

      Autokodare<\/a><\/noindex> \u2013 \u00e4r i grunden ett artificiellt neuronn\u00e4t. Inmatningslagret \u00e4r encoder, utmatningslagret \u00e4r decoder. Nackdelen med alla neuronn\u00e4t av denna typ \u00e4r att de d\u00e5ligt lokaliserar avvikelser. En arkitektur f\u00f6r synkront autokodare valdes.<\/p>\n

      \n\"Vi
      \n<\/p>\n

      Figur 5. Exempel p\u00e5 autokodare i arbete<\/em><\/p>\n

      Autokodarna tr\u00e4nas p\u00e5 normala data och hittar sedan n\u00e5got avvikande i den data som matas in i modellen. Precis vad som beh\u00f6vs f\u00f6r denna uppgift. Det \u00e5terst\u00e5r bara att v\u00e4lja vilken av autokodarna som \u00e4r l\u00e4mplig f\u00f6r denna uppgift. Den mest arkitektoniskt enkla formen av autokodare \u00e4r ett direkt, icke-cyklist neuronn\u00e4t som liknar flerskiktad perceptron<\/a><\/noindex> (multilayer perceptron, MLP), med ett inmatningslager, ett utmatningslager och ett eller flera dolda lager som f\u00f6rbinder dem.
      \nMen skillnaderna mellan autokodare och MLP ligger i att utg\u00e5ngsniv\u00e5n i autokodaren har samma antal noder som ing\u00e5ngen, och att ist\u00e4llet f\u00f6r att tr\u00e4na f\u00f6r att f\u00f6ruts\u00e4ga ett m\u00e5lv\u00e4rde Y, som ges av ing\u00e5ngen X, tr\u00e4nar autokodaren f\u00f6r att rekonstruera sina egna X. D\u00e4rf\u00f6r \u00e4r autokodare o\u00f6vervakade inl\u00e4rningsmodeller. <\/p>\n

      <\/p>\n

      Autokodarens uppgift \u00e4r att hitta tidsindex r0 \u2026 rn som motsvarar avvikande element i ing\u00e5ngsvektorn X. Denna effekt uppn\u00e5s genom att s\u00f6ka efter kvadratisk fel.<\/p>\n

      \n\"Vi <\/p>\n

      Figur 6. Synkront autokodare<\/em><\/p>\n

      F\u00f6r autokodaren valdes en synkron arkitektur<\/a><\/noindex>. Dess f\u00f6rdelar: m\u00f6jligheten att anv\u00e4nda str\u00f6mmande bearbetning och ett relativt mindre antal parametrar i neuronn\u00e4tet j\u00e4mf\u00f6rt med andra arkitekturer.<\/p>\n

      <\/p>\n

      Mekanismen f\u00f6r att minimera falska larm<\/h2>\n

      <\/p>\n

      Eftersom olika oregelbundna situationer kan uppst\u00e5 och det ocks\u00e5 kan finnas en brist p\u00e5 utbildning av neuraln\u00e4tverket, har det beslutats att utveckla en mekanism f\u00f6r att minimera falska larm f\u00f6r den utvecklade modellen f\u00f6r anomalidetektion. Denna mekanism baseras p\u00e5 en mall databas som klassificeras av administrat\u00f6ren. <\/p>\n

      <\/p>\n

      Algoritm f\u00f6r dynamisk tidsomvandling<\/a><\/noindex> (DTW-algoritm, fr\u00e5n engelska dynamic time warping) g\u00f6r det m\u00f6jligt att hitta den optimala \u00f6verenskommelsen mellan tidsserier. Det till\u00e4mpades f\u00f6rst inom taligenk\u00e4nning: anv\u00e4nts f\u00f6r att best\u00e4mma hur tv\u00e5 talade signaler representerar samma ursprungliga uttalade fras. Senare har det hittat till\u00e4mpningar \u00e4ven inom andra omr\u00e5den.<\/p>\n

      <\/p>\n

      Huvudprincipen f\u00f6r att minimera falska larm \u00e4r insamlingen av en databas av referenser genom en operat\u00f6r som klassificerar misst\u00e4nkta fall uppt\u00e4ckta av neurala n\u00e4tverk. D\u00e4refter j\u00e4mf\u00f6rs den klassificerade referensen med det fall som systemet uppt\u00e4ckte, och det dras slutsatser om fallet tillh\u00f6r falskt larm eller en verklig st\u00f6rning. Algoritmen DTW anv\u00e4nds specifikt f\u00f6r att j\u00e4mf\u00f6ra tv\u00e5 tidsserier. Huvudverktyget f\u00f6r minimisering \u00e4r dock fortfarande klassifikationen. Det antas att efter att ha samlat in ett stort antal referensfall kommer systemet att fr\u00e5ga operat\u00f6ren mindre p\u00e5 grund av likheten hos de flesta fall och uppkomsten av liknande h\u00e4ndelser.<\/p>\n

      <\/p>\n

      Som ett resultat av de ovan beskrivna metoderna f\u00f6r neurala n\u00e4tverk har ett experimentellt program skapats f\u00f6r att f\u00f6ruts\u00e4ga systemfel i \"Web-Konsolidering\". Syftet med detta program var att anv\u00e4nda det existerande arkivet av \u00f6vervakningsdata och information om redan intr\u00e4ffade fel f\u00f6r att utv\u00e4rdera kompetensen hos denna metod f\u00f6r v\u00e5ra programvarusystem. Programschema visas nedan, i figur 7.<\/p>\n

      \n\"Vi <\/p>\n

      Figur 7. Schema f\u00f6r f\u00f6ruts\u00e4gelse av fel baserat p\u00e5 analys av metrikrymden<\/em><\/p>\n

      I schemat kan tv\u00e5 huvudsakliga block identifieras: s\u00f6kandet efter anomala tidssegment i \u00f6vervakningsdata (metrik) och mekanismen f\u00f6r att minimera falska larm. Obs: F\u00f6r experimentella syften erh\u00e5lls data via JDBC-anslutning fr\u00e5n databasen d\u00e4r de lagras graphite.
      \nNedan visas gr\u00e4nssnittet f\u00f6r det system f\u00f6r \u00f6vervakning som utvecklades (figur 8).<\/p>\n

      \n\"Vi<\/p>\n

      Figur 8. Gr\u00e4nssnitt f\u00f6r det experimentella \u00f6vervakningssystemet<\/em><\/p>\n

      P\u00e5 gr\u00e4nssnittet visas procentandelen av anomaliteter f\u00f6r de mottagna m\u00e4tv\u00e4rdena. I v\u00e5rt fall simulerar vi mottagningen. Vi har redan all data fr\u00e5n flera veckor och laddar dem gradvis f\u00f6r att kontrollera fallet med en anomali som leder till ett fel. I den nedre statusf\u00e4ltet visas den totala procentandelen av anomaliteter vid denna tidpunkt, vilket best\u00e4ms av en autoencoder. F\u00f6r de f\u00f6rutsagda m\u00e4tv\u00e4rdena visas ocks\u00e5 en separat procentandel, som ber\u00e4knas av en RNN LSTM.<\/p>\n

      <\/p>\n

      Exempel p\u00e5 anomaliuppt\u00e4ckning baserat p\u00e5 CPU-prestanda med hj\u00e4lp av RNN LSTM-n\u00e4tverket (figur 9).<\/p>\n

      \n\"Vi<\/p>\n

      Figur 9. Uppt\u00e4ckning med RNN LSTM<\/em><\/p>\n

      Ett ganska enkelt fall, i sj\u00e4lva verket en vanlig avvikelse, som dock ledde till ett systemfel, har framg\u00e5ngsrikt ber\u00e4knats med hj\u00e4lp av RNN LSTM. Anomaliniv\u00e5n under denna tidsperiod \u00e4r 85 - 95 %, allt \u00f6ver 80 % (tr\u00f6skelv\u00e4rdet definierat experimentellt) anses vara en anomali.
      \nExempel p\u00e5 anomaliuppt\u00e4ckning n\u00e4r systemet inte kunde starta efter en uppdatering. Denna situation detekteras av autoencodern (figur 10).<\/p>\n

      \n\"Vi<\/p>\n

      Figur 10. Exempel p\u00e5 uppt\u00e4ckning med autoencodern<\/em><\/p>\n

      Som syns i bilden har PermGen fastnat p\u00e5 en niv\u00e5. Autoencodern ans\u00e5g detta vara m\u00e4rkligt, eftersom den tidigare inte hade sett n\u00e5got liknande. H\u00e4r h\u00e5lls anomalitetsniv\u00e5n p\u00e5 100 % tills systemet \u00e5terg\u00e5r till ett fungerande tillst\u00e5nd. Anomaliteter visas \u00f6ver alla m\u00e4tv\u00e4rden. Som n\u00e4mnts tidigare kan autoencodern inte lokalisera anomalier. Operat\u00f6ren \u00e4r avsedd att utf\u00f6ra denna funktion i s\u00e5dana situationer.<\/p>\n

      <\/p>\n

      Slutsats<\/h2>\n

      <\/p>\n

      PC \"Web-Konsolidering\" har utvecklats under flera \u00e5r. Systemet \u00e4r relativt stabilt och antalet registrerade incidenter \u00e4r l\u00e5gt. Trots detta har det varit m\u00f6jligt att uppt\u00e4cka anomalier som leder till ett fel 5 - 10 minuter innan felet intr\u00e4ffar. I vissa fall skulle tidig varning om fel ha hj\u00e4lpt till att spara den planerade tid som avsatts f\u00f6r \"reparationsarbete\".<\/p>\n

      <\/p>\n

      Utifr\u00e5n de experiment som har utf\u00f6rts \u00e4r det fortfarande f\u00f6r tidigt att dra definitiva slutsatser. F\u00f6r n\u00e4rvarande \u00e4r resultaten motstridiga. \u00c5 ena sidan \u00e4r det tydligt att algoritmer baserade p\u00e5 neurala n\u00e4tverk kan hitta \"anv\u00e4ndbara\" anomalier. \u00c5 andra sidan finns det en stor andel falska positiva och inte alla anomalier som en kvalificerad specialist identifierar kan uppt\u00e4ckas av neuronn\u00e4tet. En nackdel \u00e4r ocks\u00e5 att neuronn\u00e4tet f\u00f6r n\u00e4rvarande kr\u00e4ver l\u00e4rande med en l\u00e4rare f\u00f6r att fungera normalt.<\/p>\n

      <\/p>\n

      F\u00f6r att vidareutveckla systemet f\u00f6r att f\u00f6ruts\u00e4ga fel och f\u00e5 det till ett tillfredsst\u00e4llande tillst\u00e5nd kan flera v\u00e4gar \u00f6verv\u00e4gas. En v\u00e4g \u00e4r att g\u00f6ra en mer detaljerad analys av fallen med anomalier som leder till fel, genom att komplettera listan \u00f6ver viktiga m\u00e4tv\u00e4rden som p\u00e5verkar systemets tillst\u00e5nd och filtrera bort de som inte g\u00f6r det. Om man g\u00e5r i denna riktning kan man \u00e4ven f\u00f6rs\u00f6ka specialisera algoritmerna f\u00f6r v\u00e5ra specifika fall med anomalier som leder till fel. Det finns ocks\u00e5 en annan v\u00e4g. Det handlar om att f\u00f6rb\u00e4ttra arkitekturerna f\u00f6r neurala n\u00e4tverk och d\u00e4rigenom \u00f6ka detekteringsnoggrannheten samtidigt som tr\u00e4ningstiden minskar.<\/p>\n

      <\/p>\n

      Jag vill uttrycka min tacksamhet till kollegorna som hj\u00e4lpt mig med att skriva och h\u00e5lla denna artikel aktuell: Viktor Verbitsky<\/a><\/noindex> och Sergey Finogenov.<\/p>\n

      K\u00e4lla: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

      \u041f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u0430\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0440\u0435\u0430\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 \u043e\u0442\u043a\u0430\u0437\u044b \u0438 \u0441\u0431\u043e\u0438, \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u0441\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f. \u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433, \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435, \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0440\u0435\u0430\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u043e\u0442\u043a\u0430\u0437\u044b \u0438 \u0441\u0431\u043e\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u043d\u043e \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043e\u0447\u0435\u043d\u044c \u0441\u043b\u043e\u0436\u043d\u043e \u0443\u0441\u043b\u0435\u0434\u0438\u0442\u044c \u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432 \u2013 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043b\u044e\u0434\u0435\u0439. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043d\u0443\u0436\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u043a\u0430\u043a […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-53531","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Vi s\u00f6ker anomalier och f\u00f6ruts\u00e4ger fel med hj\u00e4lp av neurala n\u00e4tverk | ProHoster","description":"Industriell utveckling.","canonical_url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/ishhem-anomalii-i-predskazyvaem-sboi-s-pomoshhyu-nejrosetej","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sv_SE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0418\u0449\u0435\u043c \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0438 \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0441\u0431\u043e\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 | ProHoster","og:description":"\u041f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u0430\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430.","og:url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/ishhem-anomalii-i-predskazyvaem-sboi-s-pomoshhyu-nejrosetej","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-12-03T21:00:00+00:00","article:modified_time":"2020-02-18T11:01:26+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"53531","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 07:46:24","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:23:55","updated":"2026-01-24 07:46:24","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/53531","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/comments?post=53531"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/53531\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/media?parent=53531"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/categories?post=53531"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/tags?post=53531"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}