Ci gaban masana'antu na tsarin software yana buƙatar kulawa sosai ga haƙurin kuskuren samfurin ƙarshe, da saurin amsawa ga gazawa da gazawa idan sun faru. Kulawa, ba shakka, yana taimakawa wajen amsa gazawar da gazawa cikin inganci da sauri, amma bai isa ba. Da fari dai, yana da matukar wahala a kiyaye yawan adadin sabobin - ana buƙatar adadin mutane masu yawa. Na biyu, kuna buƙatar samun kyakkyawar fahimtar yadda aikace-aikacen ke aiki don kintace yanayinsa. Don haka, muna buƙatar mutane da yawa waɗanda ke da kyakkyawar fahimtar tsarin da muke haɓakawa, ayyukansu da fasali. Bari mu ɗauka cewa ko da kun sami isassun mutanen da suke son yin wannan, har yanzu yana ɗaukar lokaci mai yawa don horar da su.
Me za a yi? Wannan shine inda basirar wucin gadi ke zuwa taimakonmu. Labarin zai yi magana akai (tsawon tsinkaya). Wannan hanya tana samun karbuwa sosai. An rubuta labarai da yawa, gami da kan Habré. Manyan kamfanoni suna yin cikakken amfani da wannan hanyar don kula da aikin sabobin su. Bayan mun yi nazarin talifi da yawa, mun yanke shawarar gwada wannan hanyar. Me ya same ta?
Gabatarwar
Tsarin software da aka haɓaka ba dade ko ba jima ya fara aiki. Yana da mahimmanci ga mai amfani cewa tsarin yana aiki ba tare da gazawa ba. Idan gaggawa ta faru, yakamata a warware shi tare da ɗan jinkiri.
Don sauƙaƙa tallafin fasaha na tsarin software, musamman idan akwai sabar da yawa, ana amfani da shirye-shiryen sa ido galibi waɗanda ke ɗaukar ma'auni daga tsarin software mai gudana, yana ba da damar tantance yanayinsa kuma yana taimakawa gano ainihin abin da ya haifar da gazawar. Ana kiran wannan tsari na saka idanu akan tsarin software.
Hoto 1. Grafana monitoring interface
Ma'auni su ne alamomi daban-daban na tsarin software, yanayin aiwatarwa, ko kwamfutar ta zahiri wacce tsarin ke gudana tare da tambarin lokaci na lokacin da aka karɓi ma'aunin. A cikin bincike na tsaye, ana kiran waɗannan ma'aunin lokaci. Don saka idanu da yanayin tsarin software, ana nuna ma'auni a cikin nau'i na jadawali: lokaci yana kan axis X, kuma ƙimar suna tare da axis Y (Hoto 1). Ana iya ɗaukar ma'auni dubu da yawa daga tsarin software mai gudana (daga kowane kumburi). Suna samar da sarari na ma'auni (jerin lokaci masu yawa).
Tunda ana tattara adadi mai yawa na ma'auni don hadadden tsarin software, saka idanu na hannu ya zama aiki mai wahala. Don rage adadin bayanan da mai gudanarwa ya bincika, kayan aikin sa ido sun ƙunshi kayan aiki don gano matsalolin da za a iya ta atomatik. Misali, zaku iya saita mai kunna wuta lokacin da sarari diski kyauta ya faɗi ƙasa da ƙayyadadden madaidaicin. Hakanan zaka iya tantance kashewar uwar garken ta atomatik ko raguwa mai mahimmanci a cikin saurin sabis. A aikace, kayan aikin sa ido suna yin kyakkyawan aiki na gano gazawar da ta riga ta faru ko kuma gano alamu masu sauƙi na gazawar nan gaba, amma gabaɗaya, tsinkayar gazawar da za ta iya zama ƙwaya mai tsauri don fashe su. Hasashen ta hanyar nazarin awo na hannu yana buƙatar sa hannun kwararrun kwararru. Yana da ƙananan yawan aiki. Yawancin gazawar da za a iya yi ba za a iya lura da su ba.
Kwanan nan, abin da ake kira tsinkaya na tsarin software ya zama sananne a tsakanin manyan kamfanonin haɓaka software na IT. Ma'anar wannan hanya ita ce gano matsalolin da ke haifar da lalacewar tsarin a farkon matakan, kafin ya kasa, ta amfani da basirar wucin gadi. Wannan hanya ba ta keɓe gaba ɗaya sa ido na tsarin ba. Yana da taimako ga tsarin sa ido gaba ɗaya.
Babban kayan aiki don aiwatar da kiyaye tsinkaya shine aikin neman abubuwan da ba su da kyau a cikin jerin lokaci, tun lokacin da anomaly ya faru a cikin bayanan akwai babban yiwuwar cewa bayan wani lokaci za a samu gazawa ko gazawa. Anomaly wani sabani ne a cikin aiwatar da tsarin software, kamar gano ɓarna a cikin saurin aiwatar da nau'in buƙatu ɗaya ko raguwa a matsakaicin adadin buƙatun da aka yi aiki a daidai matakin zaman abokin ciniki.
Ayyukan neman abubuwan da ba su da kyau don tsarin software yana da nasa ƙayyadaddun bayanai. A ka'idar, kowane tsarin software ya zama dole don haɓaka ko kuma daidaita hanyoyin da ake da su, tun da yake neman abubuwan da ba su dace ba sun dogara sosai kan bayanan da ake aiwatar da su, kuma bayanan tsarin software sun bambanta sosai dangane da kayan aikin aiwatar da tsarin. , har zuwa wace kwamfutar da take gudana.
Hanyoyi don neman abubuwan da ba su da kyau yayin tsinkayar gazawar tsarin software
Da farko, yana da daraja a faɗi cewa ra'ayin annabta gazawar an yi wahayi zuwa labarin . Don gwada tasirin tsarin tare da bincike ta atomatik don abubuwan da ba su da kyau, an zaɓi tsarin software na Ƙarfafa Yanar Gizo, wanda shine ɗayan ayyukan kamfanin NPO Krista. A baya can, an gudanar da sa ido a kan hannu bisa ga ma'aunin da aka karɓa. Tun da tsarin yana da rikitarwa, ana ɗaukar ma'auni masu yawa don shi: alamun JVM (nauyin mai tara shara), alamomin OS wanda aka aiwatar da lambar (ƙwaƙwalwar ajiya,% nauyin CPU OS), alamun cibiyar sadarwa (nauyin cibiyar sadarwa). ), uwar garken kanta (Load ɗin CPU, ƙwaƙwalwar ajiya), ma'auni na daji da na'urorin aikace-aikacen don duk ƙananan tsarin.
Ana ɗaukar duk ma'auni daga tsarin ta amfani da graphite. Da farko, an yi amfani da bayanan raɗaɗi a matsayin daidaitaccen bayani don grafana, amma yayin da tushen abokin ciniki ya girma, graphite ba zai iya jurewa ba, bayan ya ƙare ƙarfin tsarin faifan diski na DC. Bayan wannan, an yanke shawarar nemo mafita mafi inganci. An zaɓi zaɓi a cikin ni'ima , wanda ya sa ya yiwu a rage nauyin da ke kan tsarin faifai ta tsari mai girma da kuma rage sararin faifai da aka mamaye da sau biyar zuwa shida. A ƙasa akwai zane na tsarin tattara awo ta amfani da graphite+clickhouse (Hoto 2).
Hoto 2. Tsarin tattara awo
An ɗauko zanen daga takaddun ciki. Yana nuna sadarwa tsakanin grafana (UI mai saka idanu da muke amfani da shi) da graphite. Ana cire ma'auni daga aikace-aikace ta software daban-daban - . Ya sanya su a cikin graphite.
Tsarin Haɗin Yanar Gizo yana da fasali da yawa waɗanda ke haifar da matsala don tsinkayar gazawa:
- Yanayin yakan canza. Akwai nau'ikan iri daban-daban don wannan tsarin software. Kowannen su yana kawo canje-canje ga sashin software na tsarin. Sabili da haka, ta wannan hanyar, masu haɓakawa kai tsaye suna rinjayar ma'auni na tsarin da aka ba su kuma suna iya haifar da canjin yanayi;
- fasalin aiwatarwa, da kuma dalilan da abokan ciniki ke amfani da wannan tsarin, galibi suna haifar da rashin daidaituwa ba tare da lalatawar da ta gabata ba;
- yawan abubuwan rashin daidaituwa dangane da duk saitin bayanan ƙananan ne (< 5%);
- Za a iya samun gibi wajen karɓar alamomi daga tsarin. A cikin ɗan gajeren lokaci, tsarin sa ido ya kasa samun ma'auni. Misali, idan uwar garken ya yi yawa. Wannan yana da mahimmanci don horar da hanyar sadarwa na jijiyoyi. Akwai buƙatar cike giɓi ta hanyar roba;
- Matsalolin da ke da rashin lafiya galibi suna dacewa ne kawai don takamaiman kwanan wata/wata/lokaci (lokacin yanayi). Wannan tsarin yana da fayyace ƙa'idodi don amfani da shi ta masu amfani. Dangane da haka, ma'auni sun dace da takamaiman lokaci kawai. Ba za a iya amfani da tsarin koyaushe ba, amma a cikin wasu watanni: zaɓi dangane da shekara. Yanayi suna tasowa lokacin da halayen ma'auni guda ɗaya na iya haifar da gazawar tsarin software, amma ba a cikin wani ba.
Da farko, an yi nazarin hanyoyin gano abubuwan da ba su da kyau a cikin bayanan sa ido na tsarin software. A cikin labaran kan wannan batu, lokacin da adadin abubuwan da ba su da kyau ba su da yawa dangane da sauran saitin bayanai, galibi ana ba da shawarar yin amfani da hanyoyin sadarwa na jijiyoyi.
Ana nuna ainihin ma'anar neman abubuwan da ba su da kyau ta amfani da bayanan cibiyar sadarwar jijiya a cikin Hoto 3:
Hoto 3. Neman abubuwan da ba su da kyau ta amfani da hanyar sadarwa na jijiyoyi
Dangane da sakamakon hasashe ko maido da taga na kwararar awo na yanzu, ana ƙididdige ɓarna daga abin da aka karɓa daga tsarin software mai gudana. Idan akwai babban bambanci tsakanin ma'aunin da aka samu daga tsarin software da cibiyar sadarwar jijiyoyi, zamu iya yanke shawarar cewa sashin bayanan na yanzu ba shi da kyau. Matsaloli masu zuwa suna tasowa don amfani da hanyoyin sadarwa na jijiyoyi:
- don yin aiki daidai a cikin yanayin gudana, bayanan don horar da ƙirar hanyar sadarwar jijiyoyi dole ne su haɗa da bayanan "al'ada" kawai;
- wajibi ne a sami samfurin zamani don gano daidai. Canje-canjen yanayi da yanayi a cikin ma'auni na iya haifar da adadi mai yawa na ƙimar ƙarya a cikin ƙirar. Don sabunta shi, yana da mahimmanci don ƙayyade lokacin da samfurin ya ƙare. Idan kun sabunta samfurin daga baya ko baya, to, mafi mahimmanci, babban adadin ƙididdiga na ƙarya zai biyo baya.
Har ila yau, ba za mu manta game da neman da kuma hana faruwar abubuwan da ba su dace ba. Ana tsammanin cewa za su fi faruwa a lokuta na gaggawa. Koyaya, suna iya zama sakamakon kuskuren hanyar sadarwar jijiyoyi saboda rashin isasshen horo. Wajibi ne a rage girman adadin ƙididdiga na ƙarya na samfurin. In ba haka ba, tsinkayar karya za ta ɓata lokaci mai yawa na mai gudanarwa da aka yi nufin duba tsarin. Ba dade ko ba dade mai gudanarwa zai daina mayar da martani ga tsarin sa ido na “paranoid”.
Cibiyoyin sadarwa na jijiyoyi akai-akai
Don gano anomalies a cikin jerin lokaci, za ka iya amfani da LSTM memory. Matsalar kawai ita ce za a iya amfani da ita don jerin lokacin hasashen. A cikin yanayinmu, ba duk ma'auni ne ake iya tsinkaya ba. Ana nuna ƙoƙarin yin amfani da RNN LSTM zuwa jerin lokaci a cikin hoto 4.
Hoto 4. Misalin cibiyar sadarwa mai maimaitawa tare da ƙwayoyin ƙwaƙwalwar LSTM
Kamar yadda ake iya gani daga Hoto na 4, RNN LSTM ya sami damar jurewa neman abubuwan da ba su da kyau a wannan lokacin. Inda sakamakon yana da babban kuskuren tsinkaya (kuskuren ma'ana), annamaly a cikin masu nuni a zahiri ya faru. Yin amfani da RNN LSTM guda ɗaya ba zai wadatar a fili ba, tunda ya dace da ƙaramin adadin awo. Ana iya amfani dashi azaman hanyar taimako don neman abubuwan da ba su da kyau.
Autoencoder don tsinkayar gazawa
– ainihin hanyar sadarwa ta wucin gadi. Layer ɗin shigarwa shine mai ɓoyewa, Layer ɗin fitarwa shine mai ƙididdigewa. Rashin lahani na duk hanyoyin sadarwar jijiyoyi na wannan nau'in shine cewa ba sa gano abubuwan da ba su da kyau. An zaɓi tsarin gine-ginen autoencoder na aiki tare.
Hoto 5. Misalin aikin autoencoder
Ana horar da autoencoders akan bayanan al'ada sannan kuma sami wani abu mara kyau a cikin bayanan da aka ciyar da samfurin. Kawai abin da kuke buƙata don wannan aikin. Abin da ya rage shi ne zaɓar wanne autoencoder ya dace da wannan aikin. Mafi sauƙaƙan tsarin gine-gine na autoencoder shine hanyar sadarwa na gaba, mara dawowa, wanda yayi kama da (multilayer perceptron, MLP), tare da abin shigar da Layer, abin fitarwa, da ɗaya ko fiye da ɓoyayyun yadudduka masu haɗa su.
Koyaya, bambance-bambancen da ke tsakanin autoencoders da MLPs shine cewa a cikin autoencoder, Layer ɗin fitarwa yana da adadin nodes iri ɗaya kamar Layer ɗin shigarwa, kuma cewa maimakon a horar da su hasashen ƙimar ƙimar Y da aka bayar ta hanyar shigar da X, an horar da autoencoder. don sake gina nasa Xs. Saboda haka, Autoencoders samfuran koyo ne marasa kulawa.
Ayyukan autoencoder shine nemo fihirisar lokaci r0 ... rn daidai da abubuwan da ba su da kyau a cikin shigarwar vector X. Ana samun wannan tasirin ta hanyar neman kuskuren murabba'i.
Hoto 6. Mai rikodin autoencoder na aiki tare
Domin an zaɓi autoencoder . Fa'idodinsa: ikon yin amfani da yanayin sarrafa yawo da ƙaramin adadin sigogin cibiyar sadarwar jijiyoyi idan aka kwatanta da sauran gine-gine.
Injiniyanci don rage ƙimar ƙarya
Saboda gaskiyar cewa yanayi daban-daban na al'ada sun taso, da kuma yiwuwar yanayi na rashin isasshen horo na hanyar sadarwa na jijiyoyi, don ƙaddamar da samfurin gano anomaly, an yanke shawarar cewa ya zama dole don samar da hanyar da za a iya rage tasirin karya. Wannan tsarin yana dogara ne akan tushen samfuri wanda mai gudanarwa ke rarraba shi.
(DTW algorithm, daga Turanci tsauri lokaci warping) ba ka damar samun mafi kyau duka wasiku tsakanin jerin lokaci. Da farko da aka yi amfani da shi wajen tantance magana: ana amfani da shi don tantance yadda siginar magana guda biyu ke wakiltar ainihin ainihin kalmar magana. Daga baya, an samo masa aikace-aikacen a wasu wurare.
Babban ka'idar rage ƙimar ƙarya shine tattara bayanan ƙididdiga tare da taimakon mai aiki wanda ke rarraba abubuwan da ake tuhuma da aka gano ta amfani da hanyoyin sadarwa na jijiyoyi. Bayan haka, ana kwatanta ƙayyadaddun ma'auni tare da yanayin da tsarin ya gano, kuma an yanke hukunci game da ko shari'ar ƙarya ce ko kuma ta haifar da gazawa. Ana amfani da algorithm na DTW daidai don kwatanta jerin lokuta biyu. Babban kayan aikin rage girman har yanzu shine rarrabuwa. Ana sa ran bayan tattara adadin bayanai masu yawa, tsarin zai fara tambayar ma'aikacin ƙasa kaɗan saboda kamanceceniya da yawancin lokuta da faruwar irin wannan.
A sakamakon haka, dangane da hanyoyin sadarwar jijiyoyi da aka kwatanta a sama, an gina wani shiri na gwaji don tsinkayar gazawar tsarin "Hanyar Yanar Gizo". Manufar wannan shirin ita ce, ta yin amfani da rumbun adana bayanai na sa ido da bayanai game da gazawar da ta gabata, don kimanta cancantar wannan tsarin na tsarin software na mu. An gabatar da tsarin shirin a ƙasa a hoto na 7.
Hoto 7. Matsalolin hasashe na gazawa bisa la'akari da ma'aunin sararin samaniya
A cikin zanen, ana iya bambanta manyan tubalan guda biyu: neman ɓangarorin lokuta masu banƙyama a cikin rafin bayanan sa ido (ma'auni) da tsarin rage ƙimar ƙarya. Lura: Don dalilai na gwaji, ana samun bayanan ta hanyar haɗin JDBC daga rumbun adana bayanai wanda graphite zai adana shi.
Abin da ke biyo baya shine haɗin tsarin tsarin kulawa da aka samu a sakamakon ci gaba (Hoto 8).
Hoto 8. Tsarin tsarin sa ido na gwaji
Mai dubawa yana nuna kashi na rashin daidaituwa dangane da ma'aunin da aka karɓa. A cikin yanayinmu, an kwaikwayi rasidin. Mun riga mun sami duk bayanan tsawon makonni da yawa kuma muna loda shi a hankali don bincika lamarin rashin lafiyar da ke haifar da gazawa. Ƙarƙashin ma'aunin matsayi yana nuna jimlar kashi na rashin daidaituwa na bayanai a wani lokaci, wanda aka ƙaddara ta amfani da autoencoder. Hakanan, ana nuna wani keɓan kashi don ma'aunin da aka annabta, wanda RNN LSTM ke ƙidaya.
Misali na gano ɓarna a kan aikin CPU ta amfani da hanyar sadarwa ta RNN LSTM (Hoto 9).
Hoto 9. RNN LSTM gano
Shari'a mai sauƙi mai sauƙi, da gaske ita ce ta yau da kullun, amma tana haifar da gazawar tsarin, an yi nasarar ƙididdige shi ta amfani da RNN LSTM. Alamar anomaly a cikin wannan lokacin shine 85-95%; duk abin da ke sama da 80% (an ƙididdige kofa ta gwaji) ana ɗaukar anomaly.
Misalin gano rashin lafiya lokacin da tsarin ya kasa yin taya bayan sabuntawa. Ana gano wannan yanayin ta autoencoder (Hoto 10).
Hoto 10. Misalin ganowa na autoencoder
Kamar yadda kake gani daga adadi, PermGen yana makale a matakin ɗaya. Mai rikodin autoencoder ya sami wannan baƙon saboda bai taɓa ganin wani abu makamancin sa ba. Anan anomaly ya kasance 100% har sai tsarin ya dawo yanayin aiki. Ana nuna rashin jin daɗi ga duk ma'auni. Kamar yadda aka ambata a baya, autoencoder ba zai iya gano abubuwan da ba a sani ba. Ana kiran ma'aikacin don yin wannan aikin a cikin waɗannan yanayi.
ƙarshe
PC "Web-Consolidation" yana ci gaba shekaru da yawa. Tsarin yana cikin kwanciyar hankali, kuma adadin abubuwan da aka yi rikodi kadan ne. Koyaya, yana yiwuwa a sami abubuwan da ke haifar da gazawar mintuna 5 - 10 kafin gazawar ta faru. A wasu lokuta, sanarwar gazawar a gaba zai taimaka adana lokacin da aka tsara wanda aka ware don aiwatar da aikin "gyara".
Dangane da gwaje-gwajen da aka yi, ya yi wuri don zana ƙarshe. Ya zuwa yanzu, sakamakon yana cin karo da juna. A gefe guda, a bayyane yake cewa algorithms bisa cibiyoyin sadarwar jijiyoyi suna da ikon gano abubuwan da ba su da amfani "mai amfani". A gefe guda, akwai sauran kaso mai yawa na abubuwan da ba su dace ba, kuma ba duk abubuwan da ƙwararrun ƙwararrun ƙwararru suka gano ba za a iya gano su. Rashin hasara sun haɗa da gaskiyar cewa yanzu cibiyar sadarwar jijiyoyi tana buƙatar horo tare da malami don aiki na yau da kullum.
Don ci gaba da haɓaka tsarin hasashe na gazawar da kuma kawo shi cikin yanayi mai gamsarwa, ana iya hasashen hanyoyi da yawa. Wannan shi ne ƙarin cikakkun bayanai game da shari'o'i tare da abubuwan da ke haifar da gazawa, saboda wannan ƙari ga jerin mahimman ma'auni waɗanda ke tasiri sosai ga yanayin tsarin, da kuma watsar da waɗanda ba su da mahimmanci waɗanda ba su da tasiri. Har ila yau, idan muka matsa a cikin wannan hanya, za mu iya yin yunƙurin ƙware algorithms musamman don shari'o'in mu tare da anomalies da ke haifar da gazawa. Akwai wata hanya kuma. Wannan haɓakawa ne a cikin gine-ginen cibiyar sadarwar jijiyoyi kuma ta haka ne ke haɓaka daidaiton ganowa tare da raguwar lokacin horo.
Ina mika godiyata ga abokan aikina da suka taimaka min wajen rubutawa da kuma kiyaye dacewar wannan labarin: da kuma Sergei Finogenov.
source: www.habr.com