{"id":53531,"date":"2019-12-04T00:00:00","date_gmt":"2019-12-03T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/ishhem-anomalii-i-predskazyvaem-sboi-s-pomoshhyu-nejrosetej"},"modified":"2020-02-18T14:01:26","modified_gmt":"2020-02-18T11:01:26","slug":"ishhem-anomalii-i-predskazyvaem-sboi-s-pomoshhyu-nejrosetej","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/ishhem-anomalii-i-predskazyvaem-sboi-s-pomoshhyu-nejrosetej","title":{"rendered":"Otsime anomaaliaid ja ennustame rikkeid n\u00e4rviv\u00f5rkude abil","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Otsime<\/p>\n

<\/p>\n

T\u00f6\u00f6stuslike tarkvas\u00fcsteemide arendamine n\u00f5uab suurt t\u00e4helepanu l\u00f5pptootesi t\u00f5rgetekindlusele ning kiirele reageerimisele, kui riketeid ja t\u00f5rkeid siiski juhtub. J\u00e4lgimine aitab muidugi t\u00f5husamalt ja kiiremini reageerida rikeidele ja t\u00f5rgetele, kuid see pole piisav. Esiteks on v\u00e4ga keeruline j\u00e4lgida suurt hulka servereid - selleks on vajalik suur hulk inimesi. Teiseks, tuleb h\u00e4sti m\u00f5ista, kuidas rakendus t\u00f6\u00f6tab, et prognoosida selle seisukorda. Seega on vaja palju inimesi, kes m\u00f5istavad h\u00e4sti meie arendatavaid s\u00fcsteeme, nende n\u00e4itajaid ja omadusi. Oletame, isegi kui leida piisav hulk inimesi, kes on valmis sellega tegelema, vajab nende koolitamine samuti palju aega.<\/p>\n

<\/p>\n

Mis siis teha? Siin tuleb meile appi tehisintellekt. Artiklis k\u00e4sitletakse ennustavat hooldust<\/a><\/noindex> (ennustav hooldus). See l\u00e4henemine kasvab aktiivselt populaarsust. On kirjutatud palju artikleid, sealhulgas ka Habras. Suured ettev\u00f5tted kasutavad seda l\u00e4henemist oma serverite t\u00f6\u00f6v\u00f5imekuse tagamiseks. P\u00e4rast suurte artiklite uurimist otsustasime proovida seda l\u00e4henemist. Mis sellest v\u00e4lja tuli? <\/p>\n

<\/a><\/noindex><\/p>\n

Sissejuhatus<\/h2>\n

<\/p>\n

Arendatud tarkvaras\u00fcsteem j\u00f5uab varem v\u00f5i hiljem kasutusse. Kasutajale on oluline, et s\u00fcsteem t\u00f6\u00f6tab t\u00f5rgeteta. Kui siiski juhtub erakorraline olukord, peab see olema k\u00f5rvaldatud minimaalsete viivitustega. <\/p>\n

<\/p>\n

Tarkvaras\u00fcsteemi tehnilise toe lihtsustamiseks, eriti kui servereid on palju, kasutatakse tavaliselt j\u00e4lgimisprogramme, mis koguvad t\u00f6\u00f6tava tarkvaras\u00fcsteemi m\u00f5\u00f5dikud, v\u00f5imaldavad diagnoosida selle seisundit ja aitavad kindlaks teha, mis t\u00e4pselt p\u00f5hjustas rikke. Seda protsessi nimetatakse tarkvaras\u00fcsteemi j\u00e4lgimiseks.<\/p>\n

\n\"Otsime<\/p>\n

Joonis 1. Grafana j\u00e4lgimisliides<\/em><\/p>\n

Metrika on erinevad n\u00e4itajad tarkvaras\u00fcsteemis, selle k\u00e4itamis keskkonnas v\u00f5i f\u00fc\u00fcsilises arvutustehnoloogias, mille all s\u00fcsteem t\u00f6\u00f6tas, ajam\u00e4rgistusega, mis n\u00e4itab aega, mil m\u00f5\u00f5dud saadud. Staatilises anal\u00fc\u00fcsis nimetatakse m\u00f5\u00f5duteabe ajakuvanditeks. Tarkvaras\u00fcsteemi oleku j\u00e4lgimiseks esitatakse n\u00e4itajad graafikute kujul: X-teljel on aeg ja Y-teljel on v\u00e4\u00e4rtused (joonis 1). T\u00f6\u00f6tavast tarkvaras\u00fcsteemist saab m\u00f5\u00f5ta mitmeid tuhandeid n\u00e4itajaid (igal s\u00f5lmel). Need loovad m\u00f5\u00f5tmisruumi (mitme m\u00f5\u00f5tmeliste ajakuvandite kompleksi). <\/p>\n

<\/p>\n

Kuna keeruliste tarkvaras\u00fcsteemide puhul kogutakse arvestatav hulk m\u00f5\u00f5dikuid, muutub k\u00e4sitsi j\u00e4lgimine keeruliseks \u00fclesandeks. J\u00e4lgimist\u00f6\u00f6de mahu v\u00e4hendamiseks sisaldavad monitooringuvahendid automaatsete probleemide tuvastamise t\u00f6\u00f6riistu. N\u00e4iteks saab seadistada puhverpinget, mis aktiveerub, kui vaba kettaruumi kogus langeb m\u00e4\u00e4ratud piirini. Samuti saab automaatselt diagnoosida serveri seiskumist v\u00f5i teeninduskiirusel tekkivat kriitilist aeglustumist. Praktikas suudavad monitooringuvahendid \u00fcsna h\u00e4sti tuvastada juba toimunud rikkeid v\u00f5i tuvastada lihtsaid tulevaste riketega seotud s\u00fcmptomeid, kuid \u00fcldiselt j\u00e4\u00e4b v\u00f5imalike rikete ennustamine neile t\u00f5eliseks p\u00e4hkliks. Ennustamine k\u00e4sitsi m\u00f5\u00f5dikute anal\u00fc\u00fcsi teel n\u00f5uab kvalifitseeritud spetsialistide kaasamist. See on madala tootlikkusega. Enamik potentsiaalsed rikked v\u00f5ivad j\u00e4\u00e4da t\u00e4helepanuta.<\/p>\n

<\/p>\n

Viimastel aegadel on suuremate IT-ettev\u00f5tete seas, mis tegelevad tarkvara arendamisega, \u00fcha suuremat populaarsust kogumas nn prognoosiv hooldus tarkvaras\u00fcsteemide jaoks. Selle l\u00e4henemise olemus seisneb probleemide tuvastamises, mis viivad s\u00fcsteemi degradeerumiseni varajases staadiumis, enne selle riket, kasutades tehisintellekti. See l\u00e4henemine ei v\u00e4lista t\u00e4ielikult k\u00e4sitsi s\u00fcsteemi j\u00e4lgimist. See on abistav kogu j\u00e4lgimisprotsessis. <\/p>\n

<\/p>\n

Prognoosiva hoolduse peamine t\u00f6\u00f6riist on anomaaliate leidmise \u00fclesanne ajas\u00fcsteemides, kuna anomaalia tekkimise korral<\/strong> on andmetes suur t\u00f5en\u00e4osus, et m\u00f5ne aja p\u00e4rast esineb t\u00f5rge v\u00f5i rikete<\/strong>. Anomaalia on mingi k\u00f5rvalekalle tarkvaras\u00fcsteemi n\u00e4itajatest, nagu n\u00e4iteks \u00fche t\u00fc\u00fcbi p\u00e4ringu t\u00e4itmise kiirus v\u00f5i keskmise teenindatud p\u00e4ringute arvu v\u00e4henemine konstantse kliendiseansside arvu juures.<\/p>\n

<\/p>\n

Anomaaliate otsimise \u00fclesanne tarkvaras\u00fcsteemides omab oma spetsiifikat. Idee kohaselt on iga tarkvaras\u00fcsteemi jaoks vajalik olemasolevate meetodite v\u00e4ljat\u00f6\u00f6tamine v\u00f5i t\u00e4iustamine, kuna anomaaliate otsimine s\u00f5ltub tugevalt andmetest, milles see toimub, ja tarkvaras\u00fcsteemide andmed varieeruvad oluliselt s\u00f5ltuvalt s\u00fcsteemi rakendamise t\u00f6\u00f6riistadest, isegi s\u00f5ltuvalt sellest, millisel arvutil see k\u00e4ivitatakse.<\/p>\n

<\/p>\n

Anomaaliate otsimise meetodid tarkvaras\u00fcsteemide riketete prognoosimisel<\/h2>\n

<\/p>\n

Esiteks tuleb \u00f6elda, et riketete prognoosimise idee on inspireeritud artiklist \u201eMasin\u00f5pe IT-monitooringus\u201c<\/a><\/noindex>. Aneemaks, et automatiseeritud anomaaliate avastamise meetodi t\u00f5husust kontrollida, valiti tarkvaras\u00fcsteem \u201eWeb-Konsolideerimine\u201c, mis on \u00fcks NPO \u201eKrista\u201c projektest. Varasemalt tehti sellele k\u00e4sitsi seire saadud meetrite p\u00f5hjal. Kuna s\u00fcsteem on piisavalt keeruline, j\u00e4lgitakse selle jaoks suurt hulka meetmeid: JVM n\u00e4itajaid (pr\u00fcgikogumise koormus), operatsioonis\u00fcsteemi n\u00e4itajaid, mille all kood t\u00f6\u00f6tab (virtuaalne m\u00e4lu, protsessori koormus %), v\u00f5rgu n\u00e4itajaid (v\u00f5rgu koormus), serveri n\u00e4itajaid (protsessori koormus, m\u00e4lu), wildfly n\u00e4itajaid ja rakenduse enda meetmeid k\u00f5igi kriitiliste alams\u00fcsteemide kohta. <\/p>\n

<\/p>\n

K\u00f5ik meetmed saadakse s\u00fcsteemist graphite'i abil. Alguses kasutati whisperi andmebaasi kui standardset lahendust grafana jaoks, kuid klientide arvu kasvu t\u00f5ttu l\u00f5petas graphite diskreetse alams\u00fcsteemi l\u00e4bilaskev\u00f5ime koost\u00f6\u00f6d. P\u00e4rast seda tehti otsus otsida t\u00f5husamat lahendust. Valik langes graphite+clickhouse<\/a><\/noindex>, mis v\u00e4hendas oluliselt kettas\u00fcsteemi koormust ja viis kuue kuni viie korra v\u00f5rra v\u00e4hendas kasutatavat kettamahtu. Allpool on esitatud metrikate kogumise mehhanismi skeem, kasutades graphite+clickhouse (joonis 2).<\/p>\n

\n\"Otsime
\n<\/p>\n

Joonis 2. Metriikate kogumise skeem<\/em><\/p>\n

Skeem on v\u00f5etud sisemisest dokumentatsioonist. Sellega on n\u00e4idatud andmevahetust grafana (valdava kasutajaliidese, mida me kasutame) ja graphite'i vahel. Metrikate kogumisega tegeleb eraldi tarkvara \u2013 jmxtrans<\/a><\/noindex>. See salvestab need graphite'i.
\nS\u00fcsteemil \u201eWeb-Konsolideerimine\u201d on mitmeid omadusi, mis tekitavad probleeme rikkeennustamisel:<\/p>\n

<\/p>\n

    \n
  1. trendide vahetus toimub sageli. Selle tarkvaras\u00fcsteemi jaoks v\u00e4ljastatakse erinevaid versioone. Igal neist on muutused s\u00fcsteemi tarkvaras. Seega m\u00f5jutavad arendajad otseselt selle s\u00fcsteemi metriika ja v\u00f5ivad p\u00f5hjustada trendide vahetust; <\/li>\n
  2. rakendamise erip\u00e4ra ja s\u00fcsteemi klientide kasutamise eesm\u00e4rgid tekitavad sageli anomaaliaid ilma eelneva degradeerumiseta; <\/li>\n
  3. anomaaliate protsent kogu andmestikus on madal (< 5%); <\/li>\n
  4. v\u00f5ivad esineda katkestused s\u00fcsteemi n\u00e4itajate saamisel. M\u00f5nel l\u00fchikesel ajavahemikul ei \u00f5nnestu j\u00e4lgimiss\u00fcsteemil m\u00f5\u00f5dikuid saada. N\u00e4iteks, kui server on \u00fcle koormatud. See on n\u00e4rviv\u00f5rgule kriitiline. T\u00f5useb vajadus t\u00e4ita l\u00fcnki s\u00fcnteetiliselt;<\/li>\n
  5. Anomaaliate juhtumid on sageli asjakohased ainult teatud arvu\/kuid\/aja (hooaegsus) osas. Antud s\u00fcsteemil on kasutajate jaoks \u00fcheselt m\u00f5istetav regulatiivne raamistiku. Seega on m\u00f5\u00f5dikud asjakohased ainult teatud aja jaoks. S\u00fcsteem ei pruugi olla pidevas kasutuses, vaid ainult teatud kuudel: valikuliselt s\u00f5ltuvalt aastast. Tekkivad olukorrad, kus sama m\u00f5\u00f5diku k\u00e4itumine \u00fches olukorras v\u00f5ib viia programmide s\u00fcsteemi t\u00f5rkeni, aga teises mitte.
    \nAlguses anal\u00fc\u00fcsiti meetodeid anomaaliate tuvastamiseks tarkvaras\u00fcsteemide j\u00e4lgimisandmetes. Sel teemal kirjutatud artiklites soovitatakse sageli madala anomaaliate protsendi korral v\u00f5rreldes \u00fclej\u00e4\u00e4nud andmestikuga kasutada n\u00e4rviv\u00f5rke. <\/li>\n<\/ol>\n

    <\/p>\n

    P\u00f5hiloogika anomaaliate otsimiseks n\u00e4rviv\u00f5rkude abil on kujutatud joonisel 3:<\/p>\n

    \n\"Otsime
    \n<\/p>\n

    Joonis 3. Anomaaliate otsimine n\u00e4rviv\u00f5rgu abil<\/em><\/p>\n

    Hetke m\u00f5\u00f5tmete voosi prognoosi v\u00f5i taastamise tulemused arvutatakse k\u00f5rvalekalle t\u00f6\u00f6tava tarkvaras\u00fcsteemi saadud n\u00e4itajatest. Kui saadud n\u00e4itajate ja n\u00e4rviv\u00f5rgu tulemuste vahel on suur erinevus, v\u00f5ib teha j\u00e4relduse, et k\u00e4esolev andmep\u00e4devus on anomaalne. Selle t\u00f5ttu tekib rida probleeme n\u00e4rviv\u00f5rkude kasutamiseks:<\/p>\n

    <\/p>\n

      \n
    1. et mudelid t\u00f6\u00f6taksid \u00f5igesti reaalajas, peavad koolitamiseks kasutatavad andmed sisaldama vaid 'normaalseid' n\u00e4itajaid; <\/li>\n
    2. on vajalik omada ajakohast mudelit korrektseks avastamiseks. Suundumuse ja hooaegade muutused n\u00e4itajates v\u00f5ivad p\u00f5hjustada palju valeh\u00e4ireid mudelis. Selleks, et mudelit uuendada, tuleb selgelt m\u00e4\u00e4ratleda aeg, mil mudel on aegunud. Kui mudelit uuendada liiga hilja v\u00f5i vara, j\u00e4\u00e4b t\u00f5en\u00e4oliselt palju valeh\u00e4ireid.
      \nSamuti ei tohiks unustada valeh\u00e4irete otsimist ja ennetamist. Eeldatakse, et need esinevad k\u00f5ige sagedamini erakorralistes olukordades. Siiski v\u00f5ivad need olla tingitud ka n\u00e4rviv\u00f5rgu veast, mis tuleneb selle ebapiisavast koolitamisest. Valeh\u00e4irete arvu tuleb minimeerida. Vastasel juhul kulutab valeprognoos palju aega administraatori jaoks, kes on m\u00e4\u00e4ratud s\u00fcsteemi kontrollimiseks. Varsti v\u00f5i hiljem viib see selleni, et administraator l\u00f5petab lihtsalt \"paranoilise\" j\u00e4lgimisse s\u00fcsteemi reageerimise.<\/li>\n<\/ol>\n

      <\/p>\n

      Rekurrentsne n\u00e4rviv\u00f5rk<\/h2>\n

      <\/p>\n

      Ahnomaliade tuvastamiseks ajareal saab kasutada rekurrentsset n\u00e4rviv\u00f5rku <\/a><\/noindex>LSTM m\u00e4luga. Probleem seisneb vaid selles, et seda saab kasutada ainult prognoositavatele ajarealtele. Meie puhul ei ole k\u00f5ik m\u00f5\u00f5dikud prognoositavad. \u00dcritus rakendada RNN LSTM ajareale on esitatud joonisel 4.<\/p>\n

      \n\"Otsime
      \n<\/p>\n

      Joonis 4. Rekurrentsse n\u00e4rviv\u00f5rgu LSTM m\u00e4lurakkude toimimise n\u00e4ide<\/em><\/p>\n

      Nagu n\u00e4ha joonisel 4, suutis RNN LSTM tuvastada anomaalia antud ajahetkes. Seal, kus tulemus n\u00e4itab suurt ennustamisviga (keskmine viga), leidis t\u00f5epoolest aset anomaalia n\u00e4itajates. Ainult \u00fche RNN LSTM kasutamine ei ole ilmselgelt piisav, kuna see on rakendatav piiratud arvu m\u00f5\u00f5dikute suhtes. Anomaalia otsimise abimeetodina saab kasutada. <\/p>\n

      <\/p>\n

      Autokooder rikete ennustamiseks<\/h2>\n

      <\/p>\n

      Autokooder<\/a><\/noindex> \u2013 p\u00f5him\u00f5tteliselt kunstlike neuronite v\u00f5rk. Sissevoolu kiht \u2013 kodeerija, v\u00e4ljundkiht \u2013 dekodeerija. K\u00f5igi selliste n\u00e4rviv\u00f5rkude puuduseks on halb anomaaliate lokaliseerimine. Valiti s\u00fcnkroonse autokoodri arhitektuur.<\/p>\n

      \n\"Otsime
      \n<\/p>\n

      Joonis 5. Autokoodri t\u00f6\u00f6 n\u00e4ide<\/em><\/p>\n

      Autokooderid \u00f5pivad normaalsest andmestikust ja leiavad siis mudelisse s\u00f6\u00f6detud andmetes midagi anomaalset. Just seda on selle \u00fclesande jaoks vaja. Tuleb ainult valida, milline autokooder sobib antud \u00fclesande jaoks. Arhitektuuriliselt k\u00f5ige lihtsam autokooder on sirge, tagasisaatmata n\u00e4rviv\u00f5rk, mis on v\u00e4ga sarnane kihtedega perzeptronile<\/a><\/noindex> (multilayer perceptron, MLP), sisendtaseme, v\u00e4ljundtaseme ja \u00fche v\u00f5i mitme peidi kihi vaheliste \u00fchendustega.
      \nKuid erinevused autokooderite ja MLP vahel seisnevad selles, et autokoodri v\u00e4ljundtasemel on sama palju s\u00f5lmi kui sisendtasemel ning et autokooder ei \u00f5pi Y sihtv\u00e4\u00e4rtuse prognoosimist, mis on m\u00e4\u00e4ratud X sisendiga, vaid autokooder \u00f5pib rekonstrueerima enda X. Seet\u00f5ttu on autokooderid mittet\u00e4iendavad \u00f5ppemudelid. <\/p>\n

      <\/p>\n

      Autokoodri \u00fclesanne on leida ajatu indeksid r0 \u2026 rn, mis vastavad anomaalsetele elementidele sisendvektoris X. See efekt saavutatakse kvadratiivse vea otsimise kaudu.<\/p>\n

      \n\"Otsime <\/p>\n

      Joonis 6. S\u00fcnkroonsed autokooderid<\/em><\/p>\n

      Autokooderi jaoks valiti s\u00fcnkrooniline arhitektuur<\/a><\/noindex>. Selle eelised: voogude t\u00f6\u00f6tlemise re\u017eiimi kasutamise v\u00f5imalus ja v\u00f5rreldes teiste arhitektuuridega suhteliselt v\u00e4henenud n\u00e4rviv\u00f5rgu parameetrid.<\/p>\n

      <\/p>\n

      Valeh\u00e4irete minimeerimise mehhanism<\/h2>\n

      <\/p>\n

      Kuna erinevaid ebanormaalseid olukordi v\u00f5ib tekkida, samuti v\u00f5ib esineda olukord, kus n\u00e4rviv\u00f5rgu koolitus on ebapiisav, otsustati v\u00e4lja t\u00f6\u00f6tada mehhanism valeh\u00e4irete minimeerimiseks arendatava k\u00f5rvalekalde tuvastamise mudeli jaoks. See mehhanism p\u00f5hineb mallide baasil, mida klassifitseerib administraator. <\/p>\n

      <\/p>\n

      D\u00fcnaamilise ajaskaalat muutmise algoritm<\/a><\/noindex> (DTW-algoritm, inglise keeles dynamic time warping) v\u00f5imaldab leida optimaalse vastavuse ajasekventide vahel. Esmakordselt rakendati h\u00e4\u00e4letuvastuses: seda kasutati selle m\u00e4\u00e4ramiseks, kuidas kaks h\u00e4\u00e4le signaali esindavad \u00fchte ja sama algselt v\u00e4ljendatud fraasi. Hiljem leiti, et seda saab rakendada ka teistes valdkondades.<\/p>\n

      <\/p>\n

      Valevuse minimiseerimise peamine p\u00f5him\u00f5te on referentside kogumine operaatori abil, kes klassifitseerib kahtlased juhtumid, mida tuvastavad n\u00e4rviv\u00f5rgud. Edasi toimub klassifitseeritud referentsi v\u00f5rdlemine juhtumiga, mille s\u00fcsteem avastas, ning tehakse j\u00e4reldus, kas juhtum kuulub vale v\u00f5i t\u00f5rke juhtumite hulka. Just kahte ajaseeriat v\u00f5rreldes kasutatakse DTW algoritmi. Peamiseks vahendiks minimiseerimise osas on siiski klassifitseerimine. Eeldatakse, et p\u00e4rast suure hulga referentsjuhtumite kogumist hakkab s\u00fcsteem operaatorilt v\u00e4hem k\u00fcsima, kuna enamiku juhtumite sarnasus ja sarnaste juhtumite teke v\u00e4heneb.<\/p>\n

      <\/p>\n

      Kokkuv\u00f5ttes rajati \u00fclaltoodud n\u00e4rviv\u00f5rkude meetodite p\u00f5hjal eksperimentaalne programm s\u00fcsteemi \"Web-Konsolideerimise\" t\u00f5rgete prognoosimiseks. Selle programmi eesm\u00e4rk oli, kasutades olemasolevat j\u00e4lgimisandmete arhiivi ja teavet juba toimunud t\u00f5rgete kohta, hinnata k\u00e4esoleva l\u00e4henemise t\u00f5husust meie tarkvaras\u00fcsteemide puhul. Programmi t\u00f6\u00f6 skeem on esitatud allpool, joonisel 7.<\/p>\n

      \n\"Otsime <\/p>\n

      Joonis 7. Rikkete ennustamise skeem, mis p\u00f5hineb m\u00f5\u00f5dikute ruumi anal\u00fc\u00fcsil.<\/em><\/p>\n

      Skeemilt on n\u00e4ha kaks p\u00f5hiblokki: anomaalsete ajavahemike otsimine j\u00e4lgimisandmete (m\u00f5\u00f5dikute) voos ja valeh\u00e4irete minimeerimise mehhanism. M\u00e4rkus: eksperimentaalsetel eesm\u00e4rkidel saadakse andmed JDBC-\u00fchenduse kaudu andmebaasist, kuhu need salvestatakse, graphite.
      \nEdasi on esitatud saadud tulemuste j\u00e4lgimiss\u00fcsteemi arendamise liides (joonis 8).<\/p>\n

      \n\"Otsime<\/p>\n

      Joonis 8. Eksperimentaalse j\u00e4lgimiss\u00fcsteemi liides<\/em><\/p>\n

      Liideses kuvatakse anomaalsuse protsent saadud m\u00f5\u00f5dikutest. Meie puhul simuleeritakse andmete saamist. Meil on juba mitme n\u00e4dala andmed ja laadime neid j\u00e4rk-j\u00e4rgult, et kontrollida anomaaliat, mis viib rikkumiseni. Alumises staatusebaaris kuvatakse andmete \u00fcldine anomaalsuse protsent antud ajahetkel, mille m\u00e4\u00e4rab automaatne kodeerija. Samuti kuvatakse prognoositud m\u00f5\u00f5dikute jaoks eraldi protsent, mille arvutab RNN LSTM.<\/p>\n

      <\/p>\n

      N\u00e4ide anomaalia tuvastamisest CPU n\u00e4itajate p\u00f5hjal RNN LSTM n\u00e4rviv\u00f5rgu abil (joonis 9).<\/p>\n

      \n\"Otsime<\/p>\n

      Joonis 9. RNN LSTM tuvastamine<\/em><\/p>\n

      See on \u00fcsna lihtne juhtum, p\u00f5him\u00f5tteliselt tavaline anomaalia, kuid see p\u00f5hjustas s\u00fcsteemi t\u00f5rke, mille RNN LSTM abil suudeti edukalt tuvastada. Aeganomaalsuse n\u00e4itaja sel ajal on 85-95%; k\u00f5ik, mis \u00fcletab 80% (piir on m\u00e4\u00e4ratud eksperimenteerimise teel), arvatakse anomaaliaks.
      \nAnomaalia tuvastamise n\u00e4ide, kus s\u00fcsteem ei suutnud p\u00e4rast v\u00e4rskendamist k\u00e4ivituda. See olukord tuvastatakse autokooderijaga (joonis 10).<\/p>\n

      \n\"Otsime<\/p>\n

      Joonis 10. N\u00e4ide autokooderija tuvastamisest<\/em><\/p>\n

      Nagu jooniselt n\u00e4ha, on PermGen \u00fchel tasemel kinni. Autokooderija leidis selle kummalisena, kuna ta ei olnud varem midagi sellist n\u00e4inud. Siin p\u00fcsib anomaalsus 100% kuni s\u00fcsteem taastub t\u00f6\u00f6kindlaks. Anomaalsus kuvatakse l\u00e4bi k\u00f5ikide m\u00f5\u00f5dikute. Nagu varem mainitud, ei oska autokooderija anomaaliaid lokaliseerida. Operaatoreid n\u00f5utakse, et t\u00e4ita seda funktsiooni antud olukordades.<\/p>\n

      <\/p>\n

      Kokkuv\u00f5te<\/h2>\n

      <\/p>\n

      PK \u00abWeb-\u041a\u043e\u043dsolideerimine\u00bb on v\u00e4lja t\u00f6\u00f6tatud juba mitu aastat. S\u00fcsteem on piisavalt stabiilses seisundis ning registreeritud intsidentide arv on v\u00e4ike. Siiski on \u00f5nnestunud leida anomaaliaid, mis viivad rikkumiseni 5\u201310 minutit enne rikkumist. Mitmel juhul oleks varajane riketeade aidanud s\u00e4\u00e4sta regulatiivset aega, mis on ette n\u00e4htud \u201eremondi\u201c teostamiseks.<\/p>\n

      <\/p>\n

      K\u00e4idud katsetest on veel vara teha l\u00f5plikke j\u00e4reldusi. Praegu on tulemused vastuolulised. \u00dchest k\u00fcljest on n\u00e4ha, et n\u00e4rviv\u00f5rgup\u00f5hised algoritmid suudavad tuvastada \u201ekasulikke\u201c anomaaliaid. Teiselt poolt j\u00e4\u00e4b suur protsent valeh\u00e4ireid ning mitte k\u00f5ik anomaaliad, mida kvalifitseeritud spetsialist suudab n\u00e4rviv\u00f5rgust leida, ei \u00f5nnestu tuvastada. Puudusteks v\u00f5ib pidada ka seda, et praegu n\u00f5uab n\u00e4rviv\u00f5rk normaalset t\u00f6\u00f6tamist \u00f5petajaga koolitamist.<\/p>\n

      <\/p>\n

      S\u00fcsteemi t\u00f5rgete prognoosimise arendamiseks ja selle viimiseks rahuldavale tasemele on v\u00f5imalik ette n\u00e4ha mitmeid teid. See h\u00f5lmab detailsemat anal\u00fc\u00fcsi anomaaliaga juhtumite osas, mis p\u00f5hjustavad rikkeid, lisades sellega oluliste m\u00f5\u00f5dikute nimekirja, mis m\u00f5jutavad oluliselt s\u00fcsteemi seisukorda, ja k\u00f5rvaldades need, mis ei m\u00f5juta seda. Samuti, kui j\u00e4tkata antud suunas, saame proovida spetsialiseerida algoritme spetsiifiliselt meie anomaaliaga juhtumitele, mis p\u00f5hjustavad rikkeid. On ka teine tee: n\u00e4rviv\u00f5rkude arhitektuuri t\u00e4iustamine ja seel\u00e4bi avastuste t\u00e4psuse suurendamine, l\u00fchendades samal ajal koolitusaega.<\/p>\n

      <\/p>\n

      T\u00e4nan kolleege, kes aitasid mind selle artikli kirjutamisel ja ajakohasena hoidmisel: Viktor Verbitski<\/a><\/noindex> ja Sergei Finogenov.<\/p>\n

      Allikas: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

      \u041f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u0430\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0440\u0435\u0430\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 \u043e\u0442\u043a\u0430\u0437\u044b \u0438 \u0441\u0431\u043e\u0438, \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u0441\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f. \u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433, \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435, \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0440\u0435\u0430\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u043e\u0442\u043a\u0430\u0437\u044b \u0438 \u0441\u0431\u043e\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u043d\u043e \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043e\u0447\u0435\u043d\u044c \u0441\u043b\u043e\u0436\u043d\u043e \u0443\u0441\u043b\u0435\u0434\u0438\u0442\u044c \u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432 \u2013 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043b\u044e\u0434\u0435\u0439. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043d\u0443\u0436\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u043a\u0430\u043a […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-53531","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Otsime anomaaliaid ja ennustame t\u00f5rkeid tehisintellekti abiga | ProHoster","description":"T\u00f6\u00f6stuslike tarkvaras\u00fcsteemide arendamine n\u00f5uab suurt t\u00e4helepanu l\u00f5pptoote talitlush\u00e4irete kindlusele ning kiirele reageerimisele, kui need siiski esinevad. J\u00e4lgimine aitab loomulikult talitlush\u00e4irete ja t\u00f5rgete suhtes t\u00f5husamalt ja kiiremini reageerida, kuid see ei ole piisav. Esiteks, on v\u00e4ga keeruline j\u00e4lgida suurt hulka servereid \u2013 selleks on vajalik suur hulk inimesi. Teiseks tuleb h\u00e4sti m\u00f5ista, kuidas","canonical_url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/ishhem-anomalii-i-predskazyvaem-sboi-s-pomoshhyu-nejrosetej","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"et_EE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0418\u0449\u0435\u043c \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0438 \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0441\u0431\u043e\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 | ProHoster","og:description":"\u041f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u0430\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0440\u0435\u0430\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 \u043e\u0442\u043a\u0430\u0437\u044b \u0438 \u0441\u0431\u043e\u0438, \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u0441\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f. \u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433, \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435, \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0440\u0435\u0430\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u043e\u0442\u043a\u0430\u0437\u044b \u0438 \u0441\u0431\u043e\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u043d\u043e \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043e\u0447\u0435\u043d\u044c \u0441\u043b\u043e\u0436\u043d\u043e \u0443\u0441\u043b\u0435\u0434\u0438\u0442\u044c \u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432 \u2013 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043b\u044e\u0434\u0435\u0439. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043d\u0443\u0436\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u043a\u0430\u043a","og:url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/ishhem-anomalii-i-predskazyvaem-sboi-s-pomoshhyu-nejrosetej","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-12-03T21:00:00+00:00","article:modified_time":"2020-02-18T11:01:26+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"53531","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 07:46:24","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:23:55","updated":"2026-01-24 07:46:24"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/53531","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/comments?post=53531"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/53531\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media?parent=53531"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/categories?post=53531"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/tags?post=53531"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}