L-iżvilupp industrijali tas-sistemi tas-softwer jeħtieġ attenzjoni kbira għat-tolleranza tal-ħsarat tal-prodott finali, kif ukoll rispons rapidu għal fallimenti u fallimenti jekk iseħħu. Il-monitoraġġ, ovvjament, jgħin biex jirrispondi għal fallimenti u fallimenti b'mod aktar effiċjenti u malajr, iżda mhux biżżejjed. L-ewwelnett, huwa diffiċli ħafna li żżomm kont ta 'numru kbir ta' servers - hemm bżonn ta 'numru kbir ta' nies. It-tieni nett, jeħtieġ li jkollok fehim tajjeb ta 'kif taħdem l-applikazzjoni sabiex tbassar l-istat tagħha. Għalhekk, għandna bżonn ħafna nies li għandhom fehim tajjeb tas-sistemi li qed niżviluppaw, il-prestazzjoni u l-karatteristiċi tagħhom. Ejja nassumu li anki jekk issib biżżejjed nies lesti li jagħmlu dan, xorta waħda tieħu ħafna ħin biex tħarreġhom.
X'tagħmel? Dan huwa fejn l-intelliġenza artifiċjali tiġi għall-għajnuna tagħna. L-artiklu se jitkellem dwar (manutenzjoni ta’ tbassir). Dan l-approċċ qed jikseb popolarità b'mod attiv. Inkitbu numru kbir ta’ artikli, fosthom dwar Habré. Kumpaniji kbar jagħmlu użu sħiħ minn dan l-approċċ biex iżommu l-prestazzjoni tas-servers tagħhom. Wara li studjajna numru kbir ta 'artikli, iddeċidejna li nippruvaw dan l-approċċ. X'sar minnha?
Introduzzjoni
Is-sistema ta' softwer żviluppat illum jew għada tibda topera. Huwa importanti għall-utent li s-sistema taħdem mingħajr fallimenti. Jekk isseħħ emerġenza, din għandha tiġi solvuta b'dewmien minimu.
Biex tissimplifika l-appoġġ tekniku ta 'sistema ta' softwer, speċjalment jekk ikun hemm ħafna servers, normalment jintużaw programmi ta 'monitoraġġ li jieħdu metriċi minn sistema ta' softwer li qed taħdem, jagħmluha possibbli li tiġi djanjostikata l-kundizzjoni tagħha u jgħinu jiddeterminaw x'ikkawża eżattament il-falliment. Dan il-proċess jissejjaħ monitoraġġ tas-sistema tas-softwer.
Figura 1. Interface ta' monitoraġġ Grafana
Il-metriċi huma indikaturi varji ta 'sistema ta' softwer, l-ambjent ta 'eżekuzzjoni tagħha, jew il-kompjuter fiżiku li taħtu qed taħdem is-sistema b'timbru taż-żmien tal-mument meta l-metriċi ġew riċevuti. Fl-analiżi statika, dawn il-metriċi jissejħu serje tal-ħin. Biex timmonitorja l-istat tas-sistema tas-softwer, il-metriċi jintwerew fil-forma ta 'graffs: il-ħin huwa fuq l-assi X, u l-valuri huma tul l-assi Y (Figura 1). Diversi eluf ta 'metriċi jistgħu jittieħdu minn sistema ta' softwer li taħdem (minn kull nodu). Huma jiffurmaw spazju ta 'metriċi (serje ta' ħin multidimensjonali).
Peress li numru kbir ta 'metriċi jinġabru għal sistemi ta' softwer kumplessi, il-monitoraġġ manwali jsir kompitu diffiċli. Biex jitnaqqas l-ammont ta 'dejta analizzata mill-amministratur, għodod ta' monitoraġġ fihom għodod biex jidentifikaw awtomatikament problemi possibbli. Per eżempju, tista 'tikkonfigura grillu biex jispara meta l-ispazju ħieles tad-diska jaqa' taħt limitu speċifikat. Tista 'wkoll tiddijanjostika awtomatikament għeluq tas-server jew tnaqqis kritiku fil-veloċità tas-servizz. Fil-prattika, l-għodod ta 'monitoraġġ jagħmlu xogħol tajjeb biex jiskopru fallimenti li jkunu diġà seħħew jew jidentifikaw sintomi sempliċi ta' fallimenti futuri, iżda b'mod ġenerali, it-tbassir ta 'falliment possibbli jibqa' skorfina iebsa biex tinqasam għalihom. Tbassir permezz ta 'analiżi manwali tal-metriċi teħtieġ l-involviment ta' speċjalisti kwalifikati. Hija produttività baxxa. Ħafna mill-fallimenti potenzjali jistgħu jgħaddu inosservati.
Riċentement, l-hekk imsejħa manutenzjoni ta 'tbassir ta' sistemi ta 'softwer saret dejjem aktar popolari fost kumpaniji kbar ta' żvilupp ta 'softwer tal-IT. L-essenza ta 'dan l-approċċ hija li jinstabu problemi li jwasslu għal degradazzjoni tas-sistema fl-istadji bikrija, qabel ma tfalli, bl-użu ta' intelliġenza artifiċjali. Dan l-approċċ ma jeskludix kompletament il-monitoraġġ manwali tas-sistema. Huwa awżiljarju għall-proċess ta 'monitoraġġ kollu kemm hu.
L-għodda ewlenija għall-implimentazzjoni ta 'manutenzjoni ta' tbassir hija l-kompitu ta 'tiftix għal anomaliji f'serje ta' żmien, peress meta sseħħ anomalija fid-data hemm probabbiltà għolja li wara xi żmien se jkun hemm falliment jew falliment. Anomalia hija ċerta devjazzjoni fil-prestazzjoni ta 'sistema ta' softwer, bħall-identifikazzjoni ta 'degradazzjoni fil-veloċità ta' eżekuzzjoni ta 'tip wieħed ta' talba jew tnaqqis fin-numru medju ta 'talbiet servis f'livell kostanti ta' sessjonijiet tal-klijenti.
Il-kompitu tat-tiftix għal anomaliji għal sistemi ta 'softwer għandu l-ispeċifiċitajiet tiegħu stess. Fit-teorija, għal kull sistema ta 'softwer huwa meħtieġ li jiġu żviluppati jew irfinuti metodi eżistenti, peress li t-tfittxija għal anomaliji hija dipendenti ħafna fuq id-dejta li titwettaq fiha, u d-dejta tas-sistemi tas-softwer tvarja ħafna skont l-għodod għall-implimentazzjoni tas-sistema. , sa liema kompjuter qed jaħdem fuqu.
Metodi għat-tfittxija għal anomaliji meta tbassar fallimenti ta 'sistemi ta' softwer
L-ewwelnett, ta 'min jgħid li l-idea ta' tbassir tal-fallimenti kienet ispirata mill-artikolu . Biex tittestja l-effettività tal-approċċ b'tfittxija awtomatika għal anomaliji, intgħażlet is-sistema tas-softwer tal-Web-Consolidation, li hija waħda mill-proġetti tal-kumpanija NPO Krista. Preċedentement, sar monitoraġġ manwali għalih ibbażat fuq il-metriċi riċevuti. Peress li s-sistema hija pjuttost kumplessa, jittieħdu għadd kbir ta 'metriċi għaliha: indikaturi JVM (tagħbija tal-kollettur taż-żibel), indikaturi tal-OS li taħtu jiġi esegwit il-kodiċi (memorja virtwali, % tagħbija tas-CPU tal-OS), indikaturi tan-netwerk (tagħbija tan-netwerk). ), is-server innifsu (tagħbija CPU, memorja), metriċi wildfly u metriċi tal-applikazzjoni stess għas-sottosistemi kritiċi kollha.
Il-metriċi kollha jittieħdu mis-sistema bl-użu tal-grafita. Inizjalment, id-database tal-whisper intużat bħala soluzzjoni standard għal grafana, iżda hekk kif il-bażi tal-klijenti kibret, il-grafita ma setgħetx tlaħħaq aktar, wara li eżawrew il-kapaċità tas-subsistema tad-disk DC. Wara dan, ġie deċiż li tinstab soluzzjoni aktar effettiva. L-għażla saret favur , li għamilha possibbli li titnaqqas it-tagħbija fuq is-subsistema tad-diska b'ordni ta 'kobor u tnaqqas l-ispazju tad-diska okkupat b'ħames sa sitt darbiet. Hawn taħt hemm dijagramma tal-mekkaniżmu għall-ġbir tal-metriċi bl-użu ta 'grafita+clickhouse (Figura 2).
Figura 2. Skema għall-ġbir tal-metriċi
Id-dijagramma hija meħuda minn dokumentazzjoni interna. Juri l-komunikazzjoni bejn grafana (l-UI ta 'monitoraġġ li nużaw) u l-grafita. It-tneħħija tal-metriċi minn applikazzjoni ssir b'softwer separat - . Huwa jpoġġihom fil-grafita.
Is-sistema ta' Konsolidazzjoni tal-Web għandha għadd ta' karatteristiċi li joħolqu problemi għat-tbassir tal-fallimenti:
- It-tendenza ħafna drabi tinbidel. Diversi verżjonijiet huma disponibbli għal din is-sistema tas-softwer. Kull wieħed minnhom iġib bidliet fil-parti tas-softwer tas-sistema. Għaldaqstant, b'dan il-mod, l-iżviluppaturi jinfluwenzaw direttament il-metriċi ta 'sistema partikolari u jistgħu jikkawżaw bidla fit-tendenza;
- il-karatteristika ta 'implimentazzjoni, kif ukoll l-għanijiet li għalihom il-klijenti jużaw din is-sistema, ħafna drabi jikkawżaw anomaliji mingħajr degradazzjoni preċedenti;
- il-perċentwal ta' anomaliji relattiv għas-sett tad-dejta kollu huwa żgħir (< 5%);
- Jista' jkun hemm nuqqasijiet fir-riċeviment ta' indikaturi mis-sistema. F'xi perjodi qosra ta 'żmien, is-sistema ta' monitoraġġ tonqos milli tikseb metriċi. Per eżempju, jekk is-server ikun mgħobbi żżejjed. Dan huwa kritiku għat-taħriġ ta 'netwerk newrali. Hemm bżonn li timla l-lakuni b'mod sintetiku;
- Każijiet b'anomaliji ħafna drabi huma rilevanti biss għal data/xahar/ħin speċifiċi (staġjonalità). Din is-sistema għandha regolamenti ċari għall-użu tagħha mill-utenti. Għaldaqstant, il-metriċi huma rilevanti biss għal żmien speċifiku. Is-sistema ma tistax tintuża b'mod kostanti, iżda biss f'xi xhur: b'mod selettiv skont is-sena. Jinqalgħu sitwazzjonijiet meta l-istess imġieba ta 'metriċi f'każ wieħed jista' jwassal għal falliment tas-sistema tas-softwer, iżda mhux f'ieħor.
Biex tibda, ġew analizzati metodi biex jiġu identifikati anomaliji fil-monitoraġġ tad-dejta tas-sistemi tas-softwer. F'artikoli dwar dan is-suġġett, meta l-persentaġġ ta 'anomaliji huwa żgħir relattiv għall-bqija tas-sett tad-dejta, ħafna drabi huwa propost li jintużaw netwerks newrali.
Il-loġika bażika għat-tiftix ta’ anomaliji bl-użu tad-dejta tan-netwerk newrali tidher fil-Figura 3:
Figura 3. Tiftix għal anomaliji bl-użu ta 'netwerk newrali
Ibbażat fuq ir-riżultat tat-tbassir jew ir-restawr tat-tieqa tal-fluss kurrenti tal-metriċi, id-devjazzjoni minn dik riċevuta mis-sistema tas-softwer li taħdem hija kkalkulata. Jekk hemm differenza kbira bejn il-metriċi miksuba mis-sistema tas-softwer u n-netwerk newrali, nistgħu nikkonkludu li s-segment tad-dejta attwali huwa anomali. Is-serje ta 'problemi li ġejjin jinqalgħu għall-użu ta' netwerks newrali:
- biex taħdem b'mod korrett fil-modalità streaming, id-dejta għat-taħriġ tal-mudelli tan-netwerk newrali għandha tinkludi biss data "normali";
- huwa meħtieġ li jkun hemm mudell aġġornat għal skoperta korretta. It-tendenzi li jinbidlu u l-istaġjonalità fil-metriċi jistgħu jikkawżaw numru kbir ta 'pożittivi foloz fil-mudell. Biex taġġornaha, huwa meħtieġ li jiġi ddeterminat b'mod ċar iż-żmien meta l-mudell ikun skadut. Jekk taġġorna l-mudell aktar tard jew qabel, allura, x'aktarx, se jsegwu numru kbir ta 'pożittivi foloz.
Ma rridux ninsew ukoll li nfittxu u nipprevjenu l-okkorrenza frekwenti ta’ pożittivi foloz. Huwa preżunt li l-aktar spiss iseħħu f'sitwazzjonijiet ta 'emerġenza. Madankollu, jistgħu jkunu wkoll konsegwenza ta' żball tan-netwerk newrali minħabba taħriġ insuffiċjenti. Huwa meħtieġ li jiġi minimizzat in-numru ta 'pożittivi foloz tal-mudell. Inkella, tbassir foloz se jaħlu ħafna ħin amministratur maħsub biex jiċċekkja s-sistema. Illum jew għada l-amministratur sempliċement jieqaf jirrispondi għas-sistema ta 'monitoraġġ "paranojde".
Netwerk newrali rikorrenti
Biex tiskopri anomaliji fis-serje tal-ħin, tista 'tuża bil-memorja LSTM. L-unika problema hija li tista 'tintuża biss għal serje ta' ħin imbassra. Fil-każ tagħna, mhux il-metriċi kollha huma prevedibbli. Tentattiv biex tiġi applikata RNN LSTM għal serje taż-żmien jidher fil-Figura 4.
Figura 4. Eżempju ta 'netwerk newrali rikorrenti b'ċelloli tal-memorja LSTM
Kif jidher mill-Figura 4, RNN LSTM kienet kapaċi tlaħħaq mat-tfittxija għal anomaliji f'dan il-perjodu ta 'żmien. Fejn ir-riżultat ikollu żball ta' tbassir għoli (żball medju), fil-fatt seħħet anomalija fl-indikaturi. L-użu ta' RNN LSTM wieħed b'mod ċar mhux se jkun biżżejjed, peress li huwa applikabbli għal numru żgħir ta 'metriċi. Jista 'jintuża bħala metodu awżiljarju għat-tiftix ta' anomaliji.
Autoencoder għat-tbassir tal-falliment
– essenzjalment netwerk newrali artifiċjali. Is-saff tad-dħul huwa encoder, is-saff tal-output huwa decoder. L-iżvantaġġ tan-netwerks newrali kollha ta 'dan it-tip huwa li ma jillokalizzawx l-anomaliji sew. Intgħażlet arkitettura awtokokoder sinkronika.
Figura 5. Eżempju ta' tħaddim tal-autoencoder
Autoencoders huma mħarrġa fuq dejta normali u mbagħad isibu xi ħaġa anomala fid-dejta mogħtija lill-mudell. Eżatt dak li għandek bżonn għal dan il-kompitu. Li jibqa 'huwa li tagħżel liema autoencoder huwa adattat għal dan il-kompitu. L-aktar forma arkitettonikament sempliċi ta' autoencoder hija netwerk newrali 'l quddiem, li ma jirritornax, li huwa simili ħafna għal (multilayer perceptron, MLP), b'saff ta 'input, saff ta' output, u saff wieħed jew aktar moħbija li jgħaqqduhom.
Madankollu, id-differenzi bejn autoencoders u MLPs huma li f'autoencoder, is-saff tal-output għandu l-istess numru ta 'nodi bħas-saff ta' input, u li minflok ma jkun imħarreġ biex ibassar valur fil-mira Y mogħti minn input X, l-awtoencoder huwa mħarreġ biex tibni mill-ġdid Xs tagħha stess. Għalhekk, Autoencoders huma mudelli ta 'tagħlim mhux sorveljati.
Il-kompitu tal-autoencoder huwa li ssib l-indiċijiet tal-ħin r0 ... rn li jikkorrispondu għall-elementi anomali fil-vettur tal-input X. Dan l-effett jinkiseb billi tfittex l-iżball kwadrat.
Figura 6. Autoencoder sinkroniku
Għall-autoencoder ġie magħżul . Il-vantaġġi tiegħu: il-kapaċità li tuża l-mod ta 'pproċessar ta' streaming u numru relattivament iżgħar ta 'parametri tan-netwerk newrali meta mqabbla ma' arkitetturi oħra.
Mekkaniżmu biex jiġu minimizzati pożittivi foloz
Minħabba l-fatt li jinqalgħu diversi sitwazzjonijiet anormali, kif ukoll sitwazzjoni possibbli ta 'taħriġ insuffiċjenti tan-netwerk newrali, għall-mudell ta' skoperta ta 'anomalija li qed jiġi żviluppat, ġie deċiż li kien meħtieġ li jiġi żviluppat mekkaniżmu biex jiġu minimizzati l-pożittivi foloz. Dan il-mekkaniżmu huwa bbażat fuq database ta' mudell li hija kklassifikata mill-amministratur.
(Algoritmu DTW, mill-time warping dinamiku Ingliż) jippermettilek issib l-aħjar korrispondenza bejn is-sekwenzi tal-ħin. L-ewwel użat fir-rikonoxximent tad-diskors: użat biex jiddetermina kif żewġ sinjali tad-diskors jirrappreżentaw l-istess frażi mitkellma oriġinali. Sussegwentement, instabet applikazzjoni għaliha f'oqsma oħra.
Il-prinċipju ewlieni li jiġu minimizzati l-pożittivi foloz huwa l-ġbir ta’ database ta’ standards bl-għajnuna ta’ operatur li jikklassifika każijiet suspettużi misjuba permezz ta’ netwerks newrali. Sussegwentement, l-istandard klassifikat jitqabbel mal-każ li s-sistema misjuba, u ssir konklużjoni dwar jekk il-każ huwiex falz jew iwassalx għal falliment. L-algoritmu DTW jintuża preċiżament biex iqabbel żewġ serje ta 'żmien. L-għodda ewlenija ta 'minimizzazzjoni għadha l-klassifikazzjoni. Huwa mistenni li wara li tiġbor numru kbir ta’ każijiet ta’ referenza, is-sistema tibda titlob inqas lill-operatur minħabba x-xebh tal-biċċa l-kbira tal-każijiet u l-okkorrenza ta’ oħrajn simili.
Bħala riżultat, ibbażat fuq il-metodi tan-netwerk newrali deskritti hawn fuq, inbena programm sperimentali biex ibassar fallimenti tas-sistema "Web-Consolidation". L-għan ta 'dan il-programm kien, bl-użu tal-arkivju eżistenti ta' dejta ta 'monitoraġġ u informazzjoni dwar fallimenti preċedenti, biex jevalwaw il-kompetenza ta' dan l-approċċ għas-sistemi tas-softwer tagħna. L-iskema tal-programm hija ppreżentata hawn taħt fil-Figura 7.
Figura 7. Skema ta 'tbassir ta' falliment ibbażata fuq analiżi spazjali metrika
Fid-dijagramma, jistgħu jiġu distinti żewġ blokki ewlenin: it-tfittxija għal perjodi ta 'żmien anomali fil-fluss tad-dejta tal-monitoraġġ (metriċi) u l-mekkaniżmu biex jiġu minimizzati pożittivi foloz. Nota: Għal skopijiet sperimentali, id-dejta tinkiseb permezz ta 'konnessjoni JDBC mid-database li fiha l-grafita tissejvjaha.
Dan li ġej huwa l-interface tas-sistema ta 'monitoraġġ miksuba bħala riżultat tal-iżvilupp (Figura 8).
Figura 8. Interface tas-sistema ta 'monitoraġġ sperimentali
L-interface turi l-persentaġġ ta 'anomalija bbażata fuq il-metriċi riċevuti. Fil-każ tagħna, l-irċevuta hija simulata. Diġà għandna d-dejta kollha għal diversi ġimgħat u qed tagħbijaha gradwalment biex niċċekkjaw il-każ ta’ anomalija li twassal għal falliment. Il-bar tal-istatus aktar baxx turi l-perċentwal ġenerali tal-anomalija tad-dejta f'ħin partikolari, li huwa determinat bl-użu ta 'autoencoder. Ukoll, jintwera persentaġġ separat għall-metriċi mbassra, li hija kkalkulata mill-RNN LSTM.
Eżempju ta 'skoperta ta' anomaliji bbażat fuq il-prestazzjoni tas-CPU bl-użu tan-netwerk newrali RNN LSTM (Figura 9).
Figura 9. Skoperta RNN LSTM
Każ pjuttost sempliċi, essenzjalment outlier ordinarju, iżda li wassal għal falliment tas-sistema, ġie kkalkulat b'suċċess bl-użu ta' RNN LSTM. L-indikatur tal-anomalija f'dan il-perjodu ta 'żmien huwa 85-95%; dak kollu 'l fuq minn 80% (il-limitu ġie determinat b'mod sperimentali) huwa meqjus bħala anomalija.
Eżempju ta' skoperta ta' anomalija meta s-sistema ma setgħetx tibda wara aġġornament. Din is-sitwazzjoni tiġi skoperta mill-awtoencoder (Figura 10).
Figura 10. Eżempju ta' skoperta ta' autoencoder
Kif tistgħu taraw mill-figura, PermGen hija mwaħħla f'livell wieħed. L-awtoencoder sab dan stramb għax qatt ma kien ra xi ħaġa bħalu qabel. Hawnhekk l-anomalija tibqa '100% sakemm is-sistema terġa' lura għal stat ta 'ħidma. Tintwera anomalija għall-metriċi kollha. Kif issemma qabel, l-awtoencoder ma jistax jillokalizza anomaliji. L-operatur huwa msejjaħ biex iwettaq din il-funzjoni f'dawn is-sitwazzjonijiet.
Konklużjoni
PC "Web-Consolidation" ilu fl-iżvilupp għal diversi snin. Is-sistema tinsab fi stat pjuttost stabbli, u n-numru ta 'inċidenti rreġistrati huwa żgħir. Madankollu, kien possibbli li jinstabu anomaliji li jwasslu għal falliment 5 - 10 minuti qabel ma seħħet il-falliment. F'xi każijiet, notifika ta 'ħsara bil-quddiem tgħin biex tiffranka l-ħin skedat li huwa allokat għat-twettiq tax-xogħol ta' "tiswija".
Fuq il-bażi tal-esperimenti li saru, għadu kmieni wisq biex jinsiltu konklużjonijiet finali. S'issa, ir-riżultati huma konfliġġenti. Min-naħa waħda, huwa ċar li algoritmi bbażati fuq netwerks newrali huma kapaċi jsibu anomaliji "utli". Min-naħa l-oħra, għad hemm persentaġġ kbir ta 'pożittivi foloz, u mhux l-anomaliji kollha misjuba minn speċjalista kwalifikat f'netwerk newrali jistgħu jiġu skoperti. L-iżvantaġġi jinkludu l-fatt li issa n-netwerk newrali jeħtieġ taħriġ ma 'għalliem għal tħaddim normali.
Biex tkompli tiżviluppa s-sistema ta 'tbassir tal-fallimenti u tinġieb fi stat sodisfaċenti, jistgħu jiġu previsti diversi modi. Din hija analiżi aktar dettaljata ta 'każijiet b'anomaliji li jwasslu għal falliment, minħabba din iż-żieda mal-lista ta' metriċi importanti li jinfluwenzaw ħafna l-istat tas-sistema, u r-rimi ta 'dawk mhux meħtieġa li ma jaffettwawhiex. Ukoll, jekk nimxu f'din id-direzzjoni, nistgħu nagħmlu tentattivi biex nispeċjalizzaw algoritmi speċifikament għall-każijiet tagħna b'anomaliji li jwasslu għal fallimenti. Hemm mod ieħor. Dan huwa titjib fl-arkitetturi tan-netwerk newrali u b'hekk tiżdied l-eżattezza tas-sejbien bi tnaqqis fil-ħin tat-taħriġ.
Nesprimi l-gratitudni tiegħi lill-kollegi tiegħi li għenuni nikteb u nżomm ir-rilevanza ta’ dan l-artiklu: u Sergei Finogenov.
Sors: www.habr.com