Nts'etsopele ea indasteri ea litsamaiso tsa software e hloka tlhokomelo e kholo ho mamello ea phoso ea sehlahisoa sa ho qetela, hammoho le karabelo e potlakileng ea liphoso le liphoso haeba li etsahala. Ho beha leihlo, ha e le hantle, ho thusa ho arabela ho hlōleha le ho hlōleha ka katleho le ka potlako, empa ha hoa lekana. Taba ea pele, ho thata haholo ho boloka tlaleho ea palo e kholo ea li-server - palo e kholo ea batho e hlokahala. Taba ea bobeli, o hloka ho ba le kutloisiso e ntle ea hore na ts'ebeliso e sebetsa joang ho bolela esale pele boemo ba eona. Ka hona, re hloka batho ba bangata ba nang le kutloisiso e ntle ea litsamaiso tseo re li ntlafatsang, ts'ebetso ea bona le likarolo tsa bona. A re nke hore le haeba u ka fumana batho ba lekaneng ba ikemiselitseng ho etsa sena, ho ntse ho nka nako e ngata ho ba koetlisa.
Se o lokelang ho se etsa? Mona ke moo bohlale ba maiketsetso bo tlang ho re thusa. Sehlooho se tla bua ka (tebelelo ya pele). Mokhoa ona o ntse o fumana botumo ka mafolofolo. Palo e kholo ea lingoliloeng e ngotsoe, ho kenyeletsoa le Habré. Likhamphani tse kholo li sebelisa mokhoa ona ka botlalo ho boloka ts'ebetso ea li-server tsa bona. Ka mor'a ho ithuta lihlooho tse ngata, re ile ra etsa qeto ea ho leka mokhoa ona. Ho tlile joang ka eona?
Selelekela
Sistimi e ntlafalitsoeng ea software haufinyane e qala ho sebetsa. Ho bohlokoa ho mosebelisi hore sistimi e sebetse ntle le liphoso. Haeba boemo ba tšohanyetso bo hlaha, bo lokela ho rarolloa ka tieho e fokolang.
Ho nolofatsa ts'ehetso ea tekheniki ea sistimi ea software, haholo-holo haeba ho na le li-server tse ngata, hangata ho sebelisoa mananeo a ho beha leihlo a nkang metrics ho tsoa ho sistimi e sebetsang ea software, ho etsa hore ho khonehe ho hlahloba boemo ba eona le ho thusa ho tseba hore na hantle-ntle ho hloleha ho bakile eng. Mokhoa ona o bitsoa software monitoring.
Setšoantšo sa 1. Grafana monitoring interface
Metrics ke matšoao a fapaneng a sistimi ea software, tikoloho ea eona ea ts'ebetso, kapa komporo ea 'mele eo sistimi e sebetsang tlas'a eona e nang le setempe sa nako ea nako eo metrics e amoheloang ka eona. Ha ho hlahlojoa static, metrics ena e bitsoa letoto la nako. Ho lekola boemo ba sistimi ea software, metrics e bonts'oa ka sebopeho sa li-graph: nako e ho axis ea X, 'me boleng bo haufi le Y axis (Setšoantšo sa 1). Li-metric tse likete tse 'maloa li ka nkuoa ho sistimi e sebetsang ea software (ho tloha node e' ngoe le e 'ngoe). Ba theha sebaka sa metrics (letoto la nako ea multidimensional).
Kaha palo e kholo ea metrics e bokelloa bakeng sa litsamaiso tse rarahaneng tsa software, ho beha leihlo ka letsoho ho fetoha mosebetsi o boima. Ho fokotsa palo ea lintlha tse hlahlobiloeng ke mookameli, lisebelisoa tsa ho beha leihlo li na le lisebelisoa tsa ho tseba mathata a ka bang teng. Ka mohlala, o ka lokisa "trigger" ho chesa ha sebaka sa mahala sa disk se oela ka tlas'a moeli o boletsoeng. U ka boela ua hlahloba ka bo eona ho koala ha seva kapa ho theoha ho hoholo ha lebelo la ts'ebeletso. Ha e le hantle, lisebelisoa tsa ho hlahloba li etsa mosebetsi o motle oa ho lemoha mefokolo e seng e etsahetse kapa ho khetholla matšoao a bonolo a ho hlōleha ha nako e tlang, empa ka kakaretso, ho bolela esale pele ho hlōleha ho ka 'nang ha e-ba teng e ntse e le nate e thata ho bona. Ho bolela esale pele ka tlhahlobo ea matsoho ea metrics ho hloka ho kenya letsoho ha litsebi tse tšoanelehang. Ke tlhahiso e tlase. Bongata bo ka 'nang ba hlōleha bo ka 'na ba se ke ba hlokomeloa.
Haufinyane tjena, seo ho thoeng ke tlhokomelo ea esale pele ea litsamaiso tsa software e se e tumme haholo har'a lik'hamphani tse kholo tsa nts'etsopele ea software ea IT. Moko oa mokhoa ona ke ho fumana mathata a lebisang ho senyeha ha tsamaiso ka mekhahlelo ea pele, pele e hlōleha, ho sebelisa bohlale ba maiketsetso. Mokhoa ona ha o qhelele ka thoko ho lekola sistimi ka letsoho. E thusa tšebetsong ea ho beha leihlo ka kakaretso.
Sesebelisoa se ka sehloohong sa ho kenya ts'ebetsong tlhokomelo ea ho bolela esale pele ke mosebetsi oa ho batla li-anomalies letotong la nako, kaha ha ho etsahala ntho e makatsang ho data ho na le monyetla o moholo oa hore kamora nako e itseng ho tla ba le ho hloleha kapa ho hloleha. Phapang ke ho kheloha ho itseng ts'ebetsong ea sistimi ea software, joalo ka ho tsebahatsa phokotso ea lebelo la ts'ebetso ea mofuta o le mong oa kopo kapa ho fokotseha ha palo ea palo ea likopo tse sebeletsoang maemong a sa khaotseng a linako tsa bareki.
Mosebetsi oa ho batla li-anomalies bakeng sa litsamaiso tsa software o na le lintlha tsa ona. Ka khopolo, bakeng sa tsamaiso e 'ngoe le e' ngoe ea software hoa hlokahala ho ntshetsa pele kapa ho ntlafatsa mekhoa e teng, kaha ho batla li-anomalies ho itšetlehile haholo ka data eo e etsoang ho eona, 'me lintlha tsa tsamaiso ea software li fapana haholo ho itšetlehile ka lisebelisoa tsa ho kenya ts'ebetsong tsamaiso. , ho fihlela moo e sebetsang ho komporo efeng.
Mekhoa ea ho batla li-anomalies ha u bolela esale pele ho hloleha ha sistimi ea software
Pele ho tsohle, ho bohlokoa ho bolela hore mohopolo oa ho bolela esale pele liphoso o bululetsoe ke sengoloa . E le ho leka katleho ea mokhoa ona ka ho batla ka mokhoa o itekanetseng bakeng sa liphoso, ho ile ha khethoa tsamaiso ea Web-Consolidation software, e leng e 'ngoe ea merero ea k'hamphani ea NPO Krista. Nakong e fetileng, ho ne ho etsoa tlhahlobo ea matsoho bakeng sa eona ho ipapisitsoe le metrics e amohetsoeng. Kaha sistimi e rarahane haholo, palo e kholo ea metrics e nkuoa bakeng sa eona: matšoao a JVM (mojaro oa mokelli oa lithōle), matšoao a OS eo khoutu e etsoang tlas'a eona (memori ea nnete, % OS CPU load), matšoao a marang-rang (mojaro oa marang-rang. ), seva ka boeona (moroalo oa CPU, memori), metrics ea wildfly le metrics ea ts'ebeliso bakeng sa lits'ebetso tsohle tsa bohlokoa.
Li-metrics tsohle li nkuoa ho sistimi e sebelisang graphite. Qalong, database ea whisper e ne e sebelisoa e le tharollo e tloaelehileng bakeng sa grafana, empa ha setsi sa bareki se ntse se hola, graphite e ne e se e sa khone ho sebetsana le boemo, kaha e ne e felisitse matla a sistimi e nyane ea disk ea DC. Ka mor'a sena, ho ile ha etsoa qeto ea ho fumana tharollo e sebetsang haholoanyane. Khetho e entsoe molemong , e leng se entseng hore ho khonehe ho fokotsa mojaro ho disk subsystem ka taelo ea boholo le ho fokotsa sebaka sa disk se tšoaretsoeng ka makhetlo a mahlano ho isa ho a tšeletseng. Ka tlaase mona ke setšoantšo sa mochine oa ho bokella metrics ho sebelisa graphite + clickhouse (Setšoantšo sa 2).
Setšoantšo sa 2. Morero oa ho bokella metrics
Setšoantšo se nkiloe litokomaneng tsa ka hare. E bonts'a puisano lipakeng tsa grafana (UI ea ho beha leihlo eo re e sebelisang) le graphite. Ho tlosa metrics ho ts'ebeliso ho etsoa ke software e arohaneng - . O li kenya ka har'a graphite.
Sistimi ea Khokahanyo ea Marang-rang e na le likarolo tse ngata tse bakang mathata a ho bolela esale pele liphoso:
- Hangata mokhoa ona oa fetoha. Liphetolelo tse fapaneng li teng bakeng sa sistimi ena ea software. E 'ngoe le e' ngoe ea tsona e tlisa liphetoho karolong ea software ea tsamaiso. Ka hona, ka tsela ena, bahlahisi ba susumetsa ka kotloloho metrics ea sistimi e fanoeng mme ba ka baka phetoho ea tloaelo;
- tšobotsi ea ts'ebetsong, hammoho le merero eo bareki ba e sebelisang tsamaiso ena, hangata e baka li-anomalies ntle le ho senyeha pele;
- peresente ea anomalies e amanang le data eohle e behiloeng e nyane (<5%);
- Ho ka 'na ha e-ba le likheo tsa ho amohela matšoao ho tsoa tsamaisong. Ka linako tse ling tse khutšoane, sistimi ea ho beha leihlo e hloleha ho fumana metrics. Ka mohlala, haeba seva e tletse. Sena se bohlokoa bakeng sa ho koetlisa neural network. Ho na le tlhokahalo ea ho tlatsa likheo ka mokhoa oa maiketsetso;
- Linyeoe tse nang le liphoso hangata li sebetsa feela bakeng sa letsatsi/khoeli/nako e itseng (sehla). Sistimi ena e na le melaoana e hlakileng ea tšebeliso ea basebelisi. Ka hona, metrics e sebetsa feela ka nako e itseng. Sistimi e ke ke ea sebelisoa khafetsa, empa ka likhoeli tse ling feela: ka khetho ho latela selemo. Maemo a hlaha ha boitšoaro bo tšoanang ba metrics boemong bo le bong bo ka lebisa ho hloleheng ha sistimi ea software, empa eseng ho e 'ngoe.
Ho qala, ho ile ha sekasekoa mekhoa ea ho bona liphoso tsa ho lekola lintlha tsa sistimi ea software. Lingoliloeng tse mabapi le sehlooho sena, ha liperesente tsa liphoso li le nyane ha li bapisoa le sete ea data, hangata ho khothaletsoa ho sebelisa marang-rang a neural.
Monahano oa mantlha oa ho batla li-anomalies o sebelisa data ea neural network o bontšoa ho Setšoantšo sa 3:
Setšoantšo sa 3. Ho batla li-anomalies ho sebelisa neural network
Ho ipapisitsoe le sephetho sa ponelopele kapa tsosoloso ea fensetere ea phallo ea hona joale ea metrics, ho kheloha ho tsoa ho e amohetsoeng ho tsoa ho sistimi e sebetsang ea software ho baloa. Haeba ho na le phapang e kholo lipakeng tsa metrics e fumanoeng ho tsoa ho sistimi ea software le marang-rang a marang-rang, re ka fihlela qeto ea hore karolo ea hona joale ea data ke ntho e makatsang. Letoto le latelang la mathata le hlaha bakeng sa ts'ebeliso ea marang-rang a neural:
- ho sebetsa ka mokhoa o nepahetseng ka mokhoa oa ho phallela, lintlha tsa ho koetlisa mekhoa ea marang-rang ea neural e tlameha ho kenyelletsa feela data "e tloaelehileng";
- hoa hlokahala ho ba le mohlala oa morao-rao bakeng sa ho fumanoa ka nepo. Ho fetoha ha maemo le linako tsa selemo ho metrics ho ka baka palo e kholo ea maikutlo a fosahetseng moetsong. Ho e ntlafatsa, hoa hlokahala ho tseba ka ho hlaka nako eo mohlala o siiloeng ke nako. Haeba u ntlafatsa mohlala hamorao kapa pejana, joale, ho ka etsahala hore ebe palo e kholo ea lintlha tse fosahetseng e tla latela.
Hape ha rea lokela ho lebala ka ho batla le ho thibela ho hlaha khafetsa ha maikutlo a fosahetseng. Ho nahanoa hore hangata li tla etsahala maemong a tšohanyetso. Leha ho le joalo, e kanna ea ba phello ea phoso ea neural network ka lebaka la koetliso e sa lekaneng. Hoa hlokahala ho fokotsa palo ea lintlha tse fosahetseng tsa mohlala. Ho seng joalo, likhakanyo tsa bohata li tla senya nako e ngata ea motsamaisi e reretsoeng ho hlahloba tsamaiso. Ha nako e ntse e ea, mookameli o tla khaotsa ho arabela tsamaisong ea "paranoid" ea ho shebella.
Neural network e tloaelehileng
Ho bona li-anomalies letotong la nako, u ka li sebelisa ka memori ea LSTM. Bothata feela ke hore e ka sebelisoa feela bakeng sa letoto la nako e boletsoeng esale pele. Tabeng ea rona, ha se metrics eohle e ka lebelloang esale pele. Teko ea ho sebelisa RNN LSTM letotong la nako e bonts'itsoe ho Setšoantšo sa 4.
Setšoantšo sa 4. Mohlala oa marang-rang a tloaelehileng a methapo e nang le lisele tsa memori tsa LSTM
Joalo ka ha ho bonoa ho Setšoantšo sa 4, RNN LSTM e khonne ho sebetsana ka katleho le ho batla li-anomalies nakong ena. Moo sephetho se nang le phoso e phahameng ea ho bolela esale pele (phoso e bolelang), ho bile le phoso ho matšoao. Ho sebelisa RNN LSTM e le 'ngoe ka ho hlaka ho ke ke ha lekana, kaha e sebetsa ho palo e nyane ea metrics. E ka sebelisoa e le mokhoa o thusang oa ho batla li-anomalies.
Autoencoder bakeng sa ho bolela esale pele ho hloleha
- ha e le hantle marang-rang a maiketsetso a methapo ea kutlo. Lera la ho kenya ke encoder, karolo ea tlhahiso ke decoder. Bobebe ba marang-rang ohle a neural a mofuta ona ke hore ha ba behe li-anomalies hantle. Ho ile ha khethoa moralo oa synchronous autoencoder.
Setšoantšo sa 5. Mohlala oa ts'ebetso ea autoencoder
Li-autoencoder li koetliselitsoe ho data e tloaelehileng ebe li fumana ho hong ho makatsang ho data e fepetsoeng mohlala. Feela seo u se hlokang bakeng sa mosebetsi ona. Ho setseng ke ho khetha hore na ke autoencoder efe e loketseng mosebetsi ona. Mokhoa o bonolo ka ho fetesisa oa meralo oa "autoencoder" ke netweke ea methapo e ka pele, e sa khutleleng, e ts'oanang haholo le. (multilayer perceptron, MLP), e nang le lera la ho kenya letsoho, lesela la lihlahisoa, le karolo e le 'ngoe kapa tse ngata tse patiloeng tse li kopanyang.
Leha ho le joalo, phapang lipakeng tsa li-autoencoder le MLPs ke hore ho autoencoder, karolo e hlahisoang e na le palo e lekanang ea li-node le lera la ho kenya, le hore ho e-na le ho koetlisoa ho bolela esale pele boleng ba Y bo fanoeng ke ho kenya X, autoencoder ea koetlisoa. ho iketsetsa li-X tsa eona bocha. Ka hona, Li-Autoencoders ke mehlala ea ho ithuta e sa laoleheng.
Mosebetsi oa "autoencoder" ke ho fumana li-indices tsa nako r0 ... rn e tsamaellanang le lintho tse sa tloaelehang ho vector ea ho kenya X. Phello ena e finyelloa ka ho batla phoso ea squared.
Setšoantšo sa 6. Synchronous autoencoder
Bakeng sa autoencoder e khethiloe . Melemo ea eona: bokhoni ba ho sebelisa mokhoa oa ho sebetsa oa ho phallela le palo e batlang e le nyane ea li-parameter tsa neural network ha li bapisoa le meaho e meng.
Mokhoa oa ho fokotsa maikutlo a fosahetseng
Ka lebaka la hore maemo a sa tšoaneng a sa tloaelehang a hlaha, hammoho le boemo bo ka 'nang ba e-ba teng ba ho hloka koetliso e lekaneng ea marang-rang a marang-rang, bakeng sa mokhoa oa ho lemoha omaly o ntseng o etsoa, ho ile ha etsoa qeto ea hore ho hlokahala hore ho be le mokhoa oa ho fokotsa mekhoa ea bohata. Mochini ona o ipapisitse le motheo oa template o hlophisitsoeng ke motsamaisi.
(DTW algorithm, ho tsoa ho English dynamic time warping) e u lumella ho fumana mangolo a nepahetseng lipakeng tsa tatellano ea nako. Lekhetlo la pele le sebelisitsoeng temohong ea puo: le sebelisetsoa ho fumana hore na mats'oao a mabeli a puo a emela joang poleloana e buuoang ea mantlha. Ka mor'a moo, kopo e ile ea fumanoa libakeng tse ling.
Molao-motheo o ka sehloohong oa ho fokotsa maikutlo a fosahetseng ke ho bokella polokelo ea lintlha tsa litekanyetso ka thuso ea opereishene ea khethollang linyeoe tse belaetsang tse fumanoang li sebelisa marang-rang a neural. Ka mor'a moo, boemo bo hlophisitsoeng bo bapisoa le nyeoe eo tsamaiso e e hlokometseng, 'me ho etsoa qeto ea hore na nyeoe eo ke ea bohata kapa e lebisa ho hloleheng. Algorithm ea DTW e sebelisoa hantle ho bapisa letoto la linako tse peli. Sesebelisoa se seholo sa ho fokotsa e ntse e le lihlopha. Ho lebeletsoe hore ka mor'a ho bokella palo e kholo ea linyeoe tsa litšupiso, tsamaiso e tla qala ho botsa motho ea sebetsang ka tlase ka lebaka la ho tšoana ha linyeoe tse ngata le ho etsahala ha tse tšoanang.
Ka lebaka leo, ho itšetlehile ka mekhoa ea marang-rang ea neural e hlalositsoeng ka holimo, ho ile ha hahoa lenaneo la liteko ho bolela esale pele ho hlōleha ha "Web-Consolidation" tsamaiso. Sepheo sa lenaneo lena e ne e le, ho sebelisa polokelo e teng ea ho lekola lintlha le tlhaiso-leseling mabapi le liphoso tse fetileng, ho lekola bokhoni ba mokhoa ona bakeng sa litsamaiso tsa rona tsa software. Morero oa lenaneo o hlahisoa ka tlase ho Setšoantšo sa 7.
Setšoantšo sa 7. Leano la ho hloleha ho bolela esale pele le ipapisitseng le tlhahlobo ea sebaka sa metric
Setšoantšong, ho ka khetholloa li-blocks tse peli tse ka sehloohong: ho batla nako e sa tloaelehang molemong oa ho shebella data (metrics) le mochine oa ho fokotsa lintlha tse fosahetseng. Tlhokomeliso: Bakeng sa merero ea liteko, lintlha li fumanoa ka khokahanyo ea JDBC ho tsoa sebakeng sa polokelo moo graphite e tla e boloka.
Se latelang ke sebopeho sa tsamaiso ea tlhokomelo e fumanoeng ka lebaka la tsoelo-pele (Setšoantšo sa 8).
Setšoantšo sa 8. Sebopeho sa tsamaiso ea tekolo ea liteko
Khokahano e bonts'a liperesente tse fapaneng tse ipapisitseng le lipalo tse amohetsoeng. Tabeng ea rona, rasiti e etsisoa. Re se re ntse re e-na le data eohle bakeng sa libeke tse 'maloa' me re ntse re e kenya butle-butle ho hlahloba nyeoe ea phoso e lebisang ho hlōleha. Sebaka se tlase sa maemo se bonts'a liperesente tse akaretsang tsa data e sa sebetseng ka nako e itseng, e lekantsoeng ho sebelisoa autoencoder. Hape, peresente e fapaneng e bonts'oa bakeng sa metrics e boletsoeng esale pele, e baloang ke RNN LSTM.
Mohlala oa ho lemoha ka mokhoa o sa tloaelehang ho ipapisitsoe le ts'ebetso ea CPU ho sebelisoa marang-rang a RNN LSTM (Setšoantšo sa 9).
Setšoantšo sa 9. Ho fumanoa ha RNN LSTM
Nyeoe e bonolo, ha e le hantle e le kantle ho naha, empa e lebisang ho hloleheng ha sistimi, e ile ea baloa ka katleho ho sebelisoa RNN LSTM. Letšoao le sa tloaelehang nakong ena ea nako ke 85-95%; ntho e 'ngoe le e' ngoe e ka holimo ho 80% (moeli o ile oa khethoa ka liteko) e nkoa e le ntho e sa tloaelehang.
Mohlala oa tšibollo e sa tloaelehang ha sistimi e sa khone ho qala ka mor'a ntlafatso. Boemo bona bo fumanoa ke autoencoder (Setšoantšo sa 10).
Setšoantšo sa 10. Mohlala oa ho lemoha ha autoencoder
Joalokaha u ka bona ho tloha setšoantšong, PermGen e khomaretsoe boemong bo le bong. Autoencoder e fumane sena se makatsa hobane e ne e qala ho bona ntho e joalo pele. Mona anomaly e sala e le 100% ho fihlela tsamaiso e khutlela boemong bo sebetsang. Ho na le phoso e hlahang bakeng sa metrics eohle. Joalokaha ho boletsoe pejana, autoencoder e ke ke ea tsebahatsa liphapang. Mosebeletsi o bitsetsoa ho etsa mosebetsi ona maemong ana.
fihlela qeto e
PC "Web-Consolidation" e 'nile ea ntlafatsoa ka lilemo tse' maloa. Tsamaiso e boemong bo tsitsitseng, 'me palo ea liketsahalo tse tlalehiloeng e nyenyane. Leha ho le joalo, ho ne ho ka khoneha ho fumana li-anomalies tse lebisang ho hlōleha 5 - 10 metsotso pele ho hlōleha ho etsahala. Maemong a mang, ho tsebisoa esale pele ka ho hlōleha ho ka thusa ho boloka nako e behiloeng bakeng sa ho etsa mosebetsi oa “ho lokisa”.
Ho ipapisitsoe le liteko tse ileng tsa etsoa, ho pele haholo ho fihlela liqeto tsa ho qetela. Ho fihlela joale, liphello lia hanyetsana. Ka lehlakoreng le leng, ho hlakile hore li-algorithms tse thehiloeng ho marang-rang a marang-rang li khona ho fumana li-anomalies tse "molemo". Ka lehlakoreng le leng, ho ntse ho e-na le karolo e kholo ea liphesente tse fosahetseng, 'me ha se liphapang tsohle tse fumanoeng ke setsebi se tšoanelehang ho marang-rang a marang-rang a ka fumanoang. Mefokolo e kenyelletsa taba ea hore hona joale marang-rang a neural a hloka koetliso le mosuoe bakeng sa ts'ebetso e tloaelehileng.
Ho tsoela pele ho nts'etsapele mokhoa oa ho bolela esale pele oa ho hloleha le ho o tlisa boemong bo khotsofatsang, ho ka nahanoa mekhoa e mengata. Ena ke tlhahlobo e qaqileng haholoanyane ea linyeoe tse nang le liphoso tse lebisang ho hloleheng, ka lebaka la tlatsetso ena lethathamong la metrics ea bohlokoa e susumetsang haholo boemo ba tsamaiso, le ho lahla tse sa hlokahaleng tse sa e ameng. Hape, haeba re ka ea ntlheng ena, re ka etsa liteko tsa ho etsa li-algorithms ka ho khetheha bakeng sa linyeoe tsa rona tse nang le liphoso tse lebisang ho hloleheng. Ho na le tsela e 'ngoe. Ena ke ntlafatso ea meralo ea marang-rang ea neural mme ka hona e eketsa ho nepahala ha ho sibolloa ka phokotso ea nako ea koetliso.
Ke leboha basebetsi-'moho le 'na ba nthusitseng ho ngola le ho boloka bohlokoa ba sehlooho sena: le Sergei Finogenov.
Source: www.habr.com