Pono ka hoʻomohala ʻenehana o nā ʻōnaehana polokalamu i ka nānā nui ʻana i ka hoʻomanawanui hewa o ka huahana hope, a me ka pane wikiwiki ʻana i nā hemahema a me nā hemahema inā loaʻa. ʻO ka nānā ʻana, ʻoiaʻiʻo, kōkua i ka pane ʻana i nā hemahema a me nā hemahema i ʻoi aku ka maikaʻi a me ka wikiwiki, akā ʻaʻole lawa. ʻO ka mea mua, paʻakikī loa ka mālama ʻana i ka nui o nā kikowaena - pono ka nui o nā poʻe. ʻO ka lua, pono ʻoe e ʻike maikaʻi i ka hana ʻana o ka noi i mea e wānana ai i kona kūlana. No laila, pono mākou i nā poʻe he nui i ʻike maikaʻi i nā ʻōnaehana a mākou e hoʻomohala nei, kā lākou hana a me nā hiʻohiʻona. E noʻonoʻo kākou inā loaʻa iā ʻoe ka nui o ka poʻe e makemake e hana i kēia, ʻoi aku ka nui o ka manawa e hoʻomaʻamaʻa iā lākou.
He aha ka hana? ʻO kēia kahi e hele mai ai ka naʻauao artificial i kā mākou kōkua. E kamaʻilio ka ʻatikala
Hōʻike
ʻO ka ʻōnaehana polokalamu i kūkulu ʻia ma hope a ma hope paha e hana. He mea nui no ka mea hoʻohana e hana ka ʻōnaehana me ka ʻole o nā hemahema. Inā hiki mai kahi pilikia, pono e hoʻoholo me ka liʻiliʻi liʻiliʻi.
No ka hoʻomaʻamaʻa ʻana i ke kākoʻo ʻenehana o kahi ʻōnaehana polokalamu, ʻoi aku ka nui inā he nui nā kikowaena, hoʻohana mau ʻia nā polokalamu kiaʻi e lawe i nā metric mai kahi ʻōnaehana polokalamu e holo ana, e hiki ai ke ʻike i kona kūlana a kōkua i ka hoʻoholo ʻana i ke kumu maoli o ka hemahema. Kapa ʻia kēia kaʻina hana ka nānā ʻana i ka ʻōnaehana polokalamu.
Kiʻi 1. Grafana nānā 'ana
ʻO nā metric nā hōʻailona like ʻole o kahi ʻōnaehana polokalamu, kona wahi hoʻokō, a i ʻole ka lolouila kino kahi e holo ai ka ʻōnaehana me kahi hōʻailona manawa o ka manawa i loaʻa ai nā ana. I ka nānā ʻana static, ua kapa ʻia kēia mau ana i ka manawa. No ka nānā ʻana i ke kūlana o ka ʻōnaehana polokalamu, hōʻike ʻia nā metric ma ke ʻano o nā kiʻi: aia ka manawa ma ke axis X, a aia nā waiwai ma ka axis Y (Figure 1). Hiki ke lawe ʻia kekahi mau kaukani metric mai kahi ʻōnaehana polokalamu holo (mai kēlā me kēia node). Hoʻokumu lākou i kahi ākea o nā metrics (multidimensional time series).
Ma muli o ka hōʻiliʻili ʻia ʻana o ka nui o nā metric no nā ʻōnaehana polokalamu paʻakikī, lilo ka nānā lima i mea paʻakikī. No ka ho'ēmiʻana i ka nui o nāʻikepili i kālailaiʻia e ka luna hoʻomalu, aia nā mea hana nānā i nā mea hana eʻike pono i nā pilikia. No ka laʻana, hiki iā ʻoe ke hoʻonohonoho i kahi mea hoʻoiho i ke ahi ke hāʻule ka hakahaka o ka disk ma lalo o kahi paepae i kuhikuhi ʻia. Hiki iā ʻoe ke ʻike maʻalahi i ka pani ʻana o ke kikowaena a i ʻole ka lohi koʻikoʻi o ka wikiwiki o ka lawelawe. Ma ka hoʻomaʻamaʻa, hana maikaʻi nā mea hana nānā i ka ʻike ʻana i nā hemahema i hiki mai a i ʻole ka ʻike ʻana i nā hōʻailona maʻalahi o nā hemahema e hiki mai ana, akā ma ka laulā, ʻo ka wānana ʻana i kahi hiki ʻole ke lilo i mea paʻakikī no lākou. ʻO ka wānana ma o ka nānā lima ʻana i nā metric pono ke komo ʻana o nā loea loea. He haʻahaʻa ka huahana. ʻAʻole ʻike ʻia ka hapa nui o nā hemahema.
I kēia mau lā, ua lilo ka mea i kapa ʻia ʻo ka mālama wānana ʻana i nā ʻōnaehana polokalamu i kaulana i waena o nā ʻoihana hoʻomohala polokalamu IT nui. ʻO ke kumu o kēia ala ʻo ka ʻimi ʻana i nā pilikia e alakaʻi ana i ka hōʻino ʻana o ka ʻōnaehana i ka wā mua, ma mua o ka hāʻule ʻana, me ka hoʻohana ʻana i ka naʻauao. ʻAʻole hoʻopau loa kēia ala i ka nānā lima ʻana i ka ʻōnaehana. He mea kōkua ia i ke kaʻina hana kiaʻi holoʻokoʻa.
ʻO ka mea hana nui no ka hoʻokō ʻana i ka mālama wānana ʻo ia ka hana o ka ʻimi ʻana i nā anomalies i ka manawa manawa, mai i ka wā e puka mai ai kahi anomali i ka ikepili aia kahi kiʻekiʻe ma hope o kekahi manawa he hāʻule a hāʻule paha. ʻO kahi anomaly kekahi ʻano ʻokoʻa i ka hana ʻana o kahi ʻōnaehana polokalamu, e like me ka ʻike ʻana i ka hōʻemi ʻana i ka wikiwiki o ka hoʻokō ʻana o kekahi ʻano noi a i ʻole ka emi ʻana o ka helu awelika o nā noi i lawelawe ʻia ma ka pae mau o nā kau mea kūʻai aku.
ʻO ka hana o ka ʻimi ʻana i nā anomalies no nā ʻōnaehana polokalamu nona nā kikoʻī ponoʻī. Ma ke kumumanaʻo, no kēlā me kēia ʻōnaehana polokalamu pono e hoʻomohala a hoʻomaʻemaʻe paha i nā ʻano hana e kū nei, ʻoiai ʻo ka ʻimi ʻana i nā anomalies e hilinaʻi nui ʻia i ka ʻikepili i hana ʻia ai, a ʻokoʻa ka ʻikepili o nā ʻōnaehana polokalamu ma muli o nā mea hana no ka hoʻokō ʻana i ka ʻōnaehana. , iho i ka lolouila e holo nei.
Nā ala no ka ʻimi ʻana i nā anomalies i ka wā e wānana ana i nā hemahema o nā ʻōnaehana polokalamu
ʻO ka mea mua, pono e ʻōlelo i ka manaʻo o ka wānana i nā hemahema i hoʻoikaika ʻia e ka ʻatikala
Lawe ʻia nā metric a pau mai ka ʻōnaehana me ka graphite. I ka hoʻomaka ʻana, ua hoʻohana ʻia ka ʻikepili hāwanawana ma ke ʻano he hopena maʻamau no ka grafana, akā i ka ulu ʻana o ka waihona mea kūʻai aku, ʻaʻole hiki i ka graphite ke hoʻokō hou, no ka pau ʻana o ka mana o ka DC disk subsystem. Ma hope o kēia, ua hoʻoholo ʻia e ʻimi i kahi hopena ʻoi aku ka maikaʻi. Ua hoʻoholo ʻia ke koho
Kiʻi 2. Papahana no ka hōʻiliʻili ʻana i nā ana
Lawe ʻia ke kiʻikuhi mai nā palapala i loko. Hōʻike ia i ke kamaʻilio ma waena o grafana (ka UI nānā mākou e hoʻohana ai) a me ka graphite. ʻO ka wehe ʻana i nā metric mai kahi noi e hana ʻia e nā polokalamu ʻokoʻa -
He nui nā hiʻohiʻona o ka pūnaewele Consolidation e hana i nā pilikia no ka wānana ʻana i nā hemahema:
- Hoʻololi pinepine ke ʻano. Loaʻa nā mana like ʻole no kēia ʻōnaehana polokalamu. Lawe mai kēlā me kēia o lākou i nā loli i ka ʻāpana polokalamu o ka ʻōnaehana. No laila, ma kēia ala, hoʻololi pololei nā mea hoʻomohala i nā ana o kahi ʻōnaehana i hāʻawi ʻia a hiki ke hoʻololi i ke ʻano;
- ʻO ka hiʻohiʻona hoʻokō, a me nā kumu e hoʻohana ai nā mea kūʻai aku i kēia ʻōnaehana, e hana pinepine i nā anomalies me ka ʻole o ka hōʻino mua ʻana;
- liʻiliʻi ka pākēneka o nā anomalies e pili ana i ka ʻikepili holoʻokoʻa (<5%);
- Loaʻa paha nā āpau i ka loaʻa ʻana o nā hōʻailona mai ka ʻōnaehana. I kekahi mau manawa pōkole, ʻaʻole i loaʻa i ka ʻōnaehana kiaʻi nā ana. No ka laʻana, inā ua hoʻonui ʻia ke kikowaena. He mea koʻikoʻi kēia no ka hoʻomaʻamaʻa ʻana i kahi pūnaewele neural. Pono e hoʻopiha i nā āpau me ka synthetically;
- ʻO nā hihia me nā anomalies pili pinepine wale no kahi lā/mahina/manawa kūikawā (ke kau manawa). Loaʻa i kēia ʻōnaehana nā lula no ka hoʻohana ʻana e nā mea hoʻohana. No laila, pili nā ana no ka manawa kikoʻī. ʻAʻole hiki ke hoʻohana mau ʻia ka ʻōnaehana, akā i kekahi mau mahina wale nō: koho ma muli o ka makahiki. Kū mai nā kūlana inā hiki i ke ʻano like o nā ana i kekahi hihia ke alakaʻi i ka hemahema o ka ʻōnaehana polokalamu, akā ʻaʻole i kekahi.
No ka hoʻomaka ʻana, ua nānā ʻia nā ala no ka ʻike ʻana i nā anomalies i ka nānā ʻana i ka ʻikepili o nā ʻōnaehana polokalamu. Ma nā ʻatikala e pili ana i kēia kumuhana, inā liʻiliʻi ka pākēneka o nā anomalies e pili ana i ke koena o ka hoʻonohonoho ʻikepili, ua manaʻo pinepine ʻia e hoʻohana i nā pūnaewele neural.
Hōʻike ʻia ka loiloi kumu no ka ʻimi ʻana i nā anomalies me ka hoʻohana ʻana i ka ʻikepili neural network ma ke Kiʻi 3:
Kiʻi 3. Ke ʻimi nei i nā anomalies me ka hoʻohana ʻana i kahi pūnaewele neural
Ma muli o ka hopena o ka wānana a i ʻole ka hoʻihoʻi ʻana o ka puka makani o ke kahe o kēia manawa o nā metric, ua helu ʻia ka deviation mai ka mea i loaʻa mai ka ʻōnaehana polokalamu holo. Inā nui ka ʻokoʻa ma waena o nā metric i loaʻa mai ka ʻōnaehana polokalamu a me ka neural network, hiki iā mākou ke hoʻoholo he anomalous ka māhele ʻikepili o kēia manawa. Ke kū nei kēia mau pilikia no ka hoʻohana ʻana i nā neural network:
- no ka hana pololei i ke ʻano streaming, pono e komo i ka ʻikepili no ka hoʻomaʻamaʻa ʻana i nā hiʻohiʻona neural network wale nō ka ʻikepili "maʻamau";
- pono e loaʻa i kahi hiʻohiʻona hou no ka ʻike pololei. ʻO ka hoʻololi ʻana i nā ʻano a me ke kau ʻana i nā metric hiki ke hoʻoulu i ka nui o nā hopena maikaʻi ʻole i ke kumu hoʻohālike. No ka hōʻano houʻana, pono e hoʻoholo pono i ka manawa i pau ai ke kumu hoʻohālike. Inā hōʻano hou ʻoe i ke kumu hoʻohālike ma hope a ma mua paha, a laila, ʻoi aku ka nui o nā mea maikaʻi ʻole e hahai.
ʻAʻole pono mākou e poina e pili ana i ka ʻimi ʻana a me ka pale ʻana i ka loaʻa pinepine ʻana o nā hopena maikaʻi ʻole. Ua manaʻo ʻia e loaʻa pinepine lākou i nā kūlana pilikia. Eia nō naʻe, he hopena paha ia o ka hewa o ka neural network ma muli o ka lawa ʻole o ke aʻo ʻana. Pono e hoʻemi i ka helu o nā mea maikaʻi ʻole o ke kumu hoʻohālike. A i ʻole, e hoʻopau nā wānana wahaheʻe i ka manawa hoʻokele i manaʻo ʻia e nānā i ka ʻōnaehana. Ma hope a ma hope paha e ho'ōki ka luna hoʻomalu i ka pane ʻana i ka ʻōnaehana nānā "paranoid".
Pūnaehana neural mau
No ka ʻike ʻana i nā anomalies i ka pūʻulu manawa, hiki iā ʻoe ke hoʻohana
Kiʻi 4. Ka laʻana o kahi pūnaewele neural hou me nā pūnaewele hoʻomanaʻo LSTM
E like me ka mea i ʻike ʻia mai ka Figure 4, ua hiki iā RNN LSTM ke hoʻokō i ka ʻimi ʻana i nā anomalies i kēia manawa. Ma kahi i loaʻa ai ka hewa wānana kiʻekiʻe (mean error), ua loaʻa maoli kahi anomaly i nā hōʻailona. ʻAʻole lawa ka hoʻohana ʻana i hoʻokahi RNN LSTM, no ka mea, pili ia i kahi helu liʻiliʻi o nā ana. Hiki ke hoʻohana ʻia ma ke ʻano he ala kōkua no ka ʻimi ʻana i nā anomalies.
Autoencoder no ka wanana hemahema
Kiʻi 5. Ka laʻana o ka hana autoencoder
Hoʻomaʻamaʻa ʻia nā Autoencoders ma ka ʻikepili maʻamau a laila ʻike i kahi mea anomali i ka ʻikepili i hānai ʻia i ke kumu hoʻohālike. ʻO ka mea wale nō āu e pono ai no kēia hana. ʻO ke koena wale nō ke koho i ka autoencoder kūpono no kēia hana. ʻO ke ʻano hana maʻalahi loa o ka autoencoder he ʻupena neural mua, ʻaʻole hoʻi hou mai, ua like loa me
Eia naʻe, ʻo ka ʻokoʻa ma waena o nā autoencoders a me nā MLP, ʻo ia i loko o kahi autoencoder, ua like ka helu o ka papa hoʻopuka me ka papa hoʻokomo, a ʻaʻole i aʻo ʻia e wānana i kahi waiwai pahuhopu Y i hāʻawi ʻia e kahi mea hoʻokomo X, ua aʻo ʻia ka autoencoder. e hana hou i kāna mau X. No laila, ʻo Autoencoders nā kumu hoʻohālike i mālama ʻole ʻia.
ʻO ka hana a ka autoencoder ka huli ʻana i nā kuhikuhi manawa r0 ... rn e pili ana i nā mea anomalous i loko o ka vector hoʻokomo X. Loaʻa kēia hopena ma ka ʻimi ʻana i ka hewa huinahā.
Kiʻi 6. ʻO ka autoencoder hui pū
No ka autoencoder ua koho ʻia
Mechanism no ka hōʻemi ʻana i nā hopena maikaʻi ʻole
Ma muli o ka ulu ʻana o nā ʻano ʻano like ʻole, a me kahi kūlana kūpono ʻole o ka hoʻomaʻamaʻa ʻole ʻana o ka ʻupena neural, no ka hoʻomohala ʻia ʻana o ke ʻano hoʻohālike anomaly, ua hoʻoholo ʻia he mea pono e hoʻomohala i kahi hana no ka hōʻemi ʻana i nā hopena maikaʻi ʻole. Hoʻokumu ʻia kēia ʻano hana ma kahi kumu hoʻohālike i hoʻokaʻawale ʻia e ka luna hoʻomalu.
ʻO ke kumu nui o ka hōʻemi ʻana i nā hopena maikaʻi ʻole ʻo ka hōʻiliʻili ʻana i kahi waihona o nā maʻamau me ke kōkua o kahi mea hoʻohana e hoʻokaʻawale i nā hihia kānalua i ʻike ʻia me ka hoʻohana ʻana i nā neural network. A laila, hoʻohālikelike ʻia ka maʻamau i hoʻopaʻa ʻia me ka hihia i ʻike ʻia e ka ʻōnaehana, a hana ʻia kahi hopena e pili ana i ka hewa a i ʻole ke alakaʻi ʻana i kahi hemahema. Hoʻohana pololei ʻia ka algorithm DTW e hoʻohālikelike i ʻelua pūʻulu manawa. ʻO ka mea hoʻohaʻahaʻa nui ka hoʻokaʻawale ʻana. Manaʻo ʻia ma hope o ka hōʻiliʻili ʻana i ka nui o nā hihia kuhikuhi, e hoʻomaka ka ʻōnaehana e nīnau i ka mea hoʻohana ma muli o ka like o ka hapa nui o nā hihia a me ke ʻano o nā mea like.
ʻO ka hopena, ma muli o nā ʻōnaehana neural network i hōʻike ʻia ma luna, ua kūkulu ʻia kahi papahana hoʻokolohua e wānana i nā hemahema o ka ʻōnaehana "Web-Consolidation". ʻO ka pahuhopu o kēia papahana, ʻo ia ka hoʻohana ʻana i ka waihona o ka nānā ʻana i ka ʻikepili a me ka ʻike e pili ana i nā hemahema o mua, e loiloi i ka mākaukau o kēia ala no kā mākou ʻōnaehana polokalamu. Hōʻike ʻia ka papahana o ka papahana ma lalo nei ma ka Figure 7.
Kiʻi 7. ʻO ka hoʻolālā wanana hāʻule ma muli o ka nānā ʻana i ka metric space analysis
Ma ke kiʻikuhi, hiki ke hoʻokaʻawale ʻia nā poloka nui ʻelua: ʻo ka ʻimi ʻana i nā manawa anomalous i ke kahawai ʻikepili nānā (metrics) a me ke ʻano no ka hōʻemi ʻana i nā hopena maikaʻi ʻole. 'Ōlelo Aʻo: No nā hana hoʻokolohua, loaʻa ka ʻikepili ma o kahi pilina JDBC mai ka waihona ʻikepili kahi e mālama ai ka graphite.
ʻO kēia ka ʻaoʻao o ka ʻōnaehana nānā i loaʻa ma muli o ka hoʻomohala ʻana (Figure 8).
Kiʻi 8. Ke kikowaena o ka ʻōnaehana nānā hoʻokolohua
Hōʻike ka interface i ka pākēneka o ka anomaly e pili ana i nā metric i loaʻa. I kā mākou hihia, hoʻohālikelike ʻia ka loaʻa. Loaʻa iā mākou nā ʻikepili āpau no nā pule he nui a ke hoʻouka mālie nei e nānā i ka hihia o kahi anomaly e alakaʻi ana i ka hemahema. Hōʻike ka pae kūlana haʻahaʻa i ka pākēneka holoʻokoʻa o ka anomali data i ka manawa i hāʻawi ʻia, i hoʻoholo ʻia me ka autoencoder. Eia kekahi, hōʻike ʻia kahi pākēneka ʻokoʻa no nā ana i wānana ʻia, i helu ʻia e ka RNN LSTM.
He laʻana o ka ʻike anomaly e pili ana i ka hana CPU me ka hoʻohana ʻana i ka RNN LSTM neural network (Figure 9).
Kiʻi 9. RNN LSTM loaʻa
ʻO kahi hihia maʻalahi, ʻoi aku ka maʻamau o waho, akā alakaʻi i ka hemahema o ka ʻōnaehana, ua helu maikaʻi ʻia me ka hoʻohana ʻana iā RNN LSTM. ʻO ka hōʻailona anomaly i kēia manawa he 85-95%; ʻo nā mea a pau ma luna o 80% (ua hoʻoholo ʻia ka paepae ma ka hoʻokolohua) ua manaʻo ʻia he anomaly.
He laʻana o ka ʻike anomaly i ka wā i hiki ʻole ai i ka ʻōnaehana ke hoʻopaʻa ma hope o ka hoʻohou. ʻIke ʻia kēia kūlana e ka autoencoder (Figure 10).
Kiʻi 10. Ka laʻana o ka ʻike autoencoder
E like me kāu e ʻike ai mai ke kiʻi, paʻa ʻo PermGen ma kahi pae. Ua loaʻa i ka autoencoder kēia mea ʻē no ka mea ʻaʻole ʻo ia i ʻike i kekahi mea like me ia ma mua. Eia ka anomaly noho 100% a hiki i ka hoʻi ʻana o ka ʻōnaehana i kahi kūlana hana. Hōʻike ʻia kahi anomali no nā ana a pau. E like me ka mea i ʻōlelo ʻia ma mua, ʻaʻole hiki i ka autoencoder ke hoʻokaʻawale i nā anomalies. Kāhea ʻia ka mea hoʻohana e hana i kēia hana ma kēia mau kūlana.
hopena
Ua hoʻomohala ʻia ʻo PC "Web-Consolidation" no kekahi mau makahiki. Aia ka ʻōnaehana i kahi kūlana paʻa, a liʻiliʻi ka helu o nā hanana i hoʻopaʻa ʻia. Eia naʻe, hiki ke ʻike i nā anomalies e alakaʻi ana i ka hāʻule ʻole 5 - 10 mau minuke ma mua o ka hiki ʻana o ka hāʻule. I kekahi mau hihia, ʻo ka hoʻolaha ʻana i kahi hemahema ma mua e kōkua i ka mālama ʻana i ka manawa i hoʻonohonoho ʻia no ka hoʻokō ʻana i ka hana "hoʻoponopono".
Ma muli o nā hoʻokolohua i hana ʻia, ʻaʻole hiki ke huki i nā hopena hope loa. I kēia manawa, kū'ē nā hopena. Ma kekahiʻaoʻao, ua maopopo i nā algorithms e pili ana i nā pūnaewele neural hiki ke loaʻa i nā anomalies "pono". Ma ka ʻaoʻao ʻē aʻe, koe ka hapa nui o nā hopena maikaʻi ʻole, a ʻaʻole hiki ke ʻike ʻia nā anomalies a pau i ʻike ʻia e kahi loea loea i kahi pūnaewele neural. Loaʻa nā hemahema i ka ʻoiaʻiʻo i kēia manawa ke koi nei ka neural network i ke aʻo ʻana me kahi kumu no ka hana maʻamau.
No ka hoʻomohala hou ʻana i ka ʻōnaehana wānana hāʻule a lawe i kahi kūlana ʻoluʻolu, hiki ke noʻonoʻo ʻia kekahi mau ala. ʻO kēia kahi kikoʻī kikoʻī o nā hihia me nā anomalies e alakaʻi i ka hemahema, ma muli o kēia hoʻohui i ka papa inoa o nā metric koʻikoʻi e hoʻoikaika nui i ke kūlana o ka ʻōnaehana, a me ka hoʻolei ʻana i nā mea pono ʻole i pili ʻole iā ia. Eia kekahi, inā mākou e neʻe i kēia ala, hiki iā mākou ke hoʻāʻo e hoʻomaʻamaʻa i nā algorithms kūikawā no kā mākou mau hihia me nā anomalies e alakaʻi i nā hemahema. Aia kekahi ala. He hoʻomaikaʻi kēia i nā ʻenehana neural network a ma laila e hoʻonui ai i ka pololei ʻike me ka hōʻemi ʻana i ka manawa aʻo.
Ke hōʻike aku nei au i koʻu mahalo i kaʻu mau hoa hana i kōkua iaʻu e kākau a mālama i ka pili o kēia ʻatikala:
Source: www.habr.com