E hoʻomanaʻo kākou ua hoʻokumu ʻia ka Elastic Stack ma luna o ka ʻikepili Elasticsearch non-relational, ke kikowaena pūnaewele Kibana a me nā ʻohi ʻikepili a me nā mea hana (ka Logstash kaulana loa, nā Beats like ʻole, APM a me nā mea ʻē aʻe). ʻO kekahi o nā mea hoʻohui maikaʻi i ka waihona huahana holoʻokoʻa i hoʻopaʻa ʻia ʻo ka ʻikepili ʻikepili me ka hoʻohana ʻana i nā algorithm aʻo mīkini. Ma ka ʻatikala maopopo mākou i ke ʻano o kēia mau algorithm. E ʻoluʻolu ma lalo o ka pōpoki.
ʻO ke aʻo ʻana i ka mīkini kahi hiʻohiʻona uku o ka shareware Elastic Stack a hoʻokomo ʻia i ka X-Pack. No ka hoʻomaka ʻana e hoʻohana iā ia, e hoʻāla wale i ka hoʻāʻo 30 mau lā ma hope o ka hoʻokomo ʻana. Ma hope o ka pau ʻana o ka manawa hoʻokolokolo, hiki iā ʻoe ke noi i ke kākoʻo e hoʻonui iā ia a kūʻai paha i kahi kau inoa. ʻAʻole i helu ʻia ke kumukūʻai o ke kau inoa ma muli o ka nui o ka ʻikepili, akā ma ka helu o nā nodes i hoʻohana ʻia. ʻAʻole, ʻo ka nui o ka ʻikepili, ʻoiaʻiʻo, pili i ka helu o nā nodes i koi ʻia, akā naʻe, ʻoi aku ka maikaʻi o kēia ala i ka laikini e pili ana i ka waihona kālā o ka ʻoihana. Inā ʻaʻohe pono o ka huahana kiʻekiʻe, hiki iā ʻoe ke mālama i ke kālā.
Ua kākau ʻia ʻo ML ma ka Elastic Stack ma C++ a holo ma waho o ka JVM, kahi e holo ai ʻo Elasticsearch ponoʻī. ʻO ia hoʻi, ʻo ke kaʻina hana (ma ke ala, ua kapa ʻia ʻo autodetect) e hoʻopau i nā mea āpau a JVM ʻaʻole e ale. ʻAʻole koʻikoʻi kēia ma kahi kūlana demo, akā i loko o kahi hana hana he mea nui ia e hoʻokaʻawale i nā node kaʻawale no nā hana ML.
Hāʻule nā algorithm aʻo mīkini i ʻelua ʻāpana − и . Ma ka Elastic Stack, aia ka algorithm i ka ʻāpana "unsupervised". Na Hiki iā ʻoe ke ʻike i ka mīkini makemakika o ka mīkini aʻo algorithms.
No ka hana ʻana i ka nānā ʻana, hoʻohana ka algorithm aʻo mīkini i ka ʻikepili i mālama ʻia ma nā index Elasticsearch. Hiki iā ʻoe ke hana i nā hana no ka nānā ʻana mai ka Kibana interface a ma o ka API. Inā hana ʻoe i kēia ma o Kibana, ʻaʻole pono ʻoe e ʻike i kekahi mau mea. No ka laʻana, nā kuhikuhi hou aʻe e hoʻohana ai ka algorithm i kāna hana.
Hoʻohana ʻia nā helu helu hou i ke kaʻina hana loiloi.ml-state - ka ʻike e pili ana i nā hiʻohiʻona helu (nā hoʻonohonoho loiloi);
.ml-anomalies-* - nā hopena o nā algorithms ML;
.ml-notifications - nā hoʻonohonoho no ka hoʻolaha ʻana ma muli o nā hopena loiloi.
ʻO ka ʻikepili ʻikepili i loko o ka waihona Elasticsearch he mau kuhikuhi a me nā palapala i mālama ʻia i loko o lākou. Ke hoʻohālikelike ʻia me kahi waihona pili, hiki ke hoʻohālikelike ʻia kahi index me ka schema database, a me kahi palapala i kahi moʻolelo ma ka papa. He kūlana kēia hoʻohālikelike a hāʻawi ʻia e hoʻomaʻamaʻa i ka hoʻomaopopo ʻana i nā mea hou aku no ka poʻe i lohe wale e pili ana iā Elasticsearch.
Loaʻa ka hana like ma o ka API e like me ka pili pūnaewele, no laila no ka maopopo a me ka hoʻomaopopo ʻana i nā manaʻo, e hōʻike mākou pehea e hoʻonohonoho ai ma o Kibana. Ma ka papa kuhikuhi ma ka ʻaoʻao hema kahi ʻāpana Mīkini aʻo kahi e hiki ai iā ʻoe ke hana i kahi Job hou. Ma ke kiʻi Kibana e like me ke kiʻi ma lalo nei. I kēia manawa e kālailai mākou i kēlā me kēia ʻano hana a hōʻike i ke ʻano o ka nānā ʻana i hiki ke kūkulu ʻia ma aneʻi.
Hoʻokahi Metric - ka nānā ʻana o hoʻokahi metric, Multi Metric - ka nānā ʻana o ʻelua a ʻoi aku paha metric. Ma nā hihia ʻelua, ʻike ʻia kēlā me kēia metric i kahi kaʻawale kaʻawale, ʻo ia hoʻi. ʻAʻole noʻonoʻo ka algorithm i ke ʻano o nā anana i hoʻopaʻa ʻia e like me ke ʻano o ka Multi Metric. No ka hoʻokō ʻana i ka helu ʻana me ka noʻonoʻo ʻana i ka correlation o nā metric like ʻole, hiki iā ʻoe ke hoʻohana i ka helu helu helu kanaka. A ke hoʻoponopono maikaʻi nei ʻo Advanced i nā algorithm me nā koho hou aʻe no kekahi mau hana.
Hoʻokahi Metric
ʻO ka nānā ʻana i nā loli i hoʻokahi metric hoʻokahi ka mea maʻalahi hiki ke hana ma aneʻi. Ma hope o ke kaomi ʻana i Create Job, e ʻimi ka algorithm i nā anomalies.
Ma kahua Kālā hiki iā ʻoe ke koho i kahi ala e ʻimi ai i nā anomalies. No ka laʻana, i ka wā Min ʻO nā waiwai ma lalo o nā waiwai maʻamau e manaʻo ʻia he anomalous. ʻAi Max, Mean Kiʻekiʻe, Haʻahaʻa, Mean, ʻokoʻa a me nā mea ʻē aʻe. Hiki ke loaʻa nā wehewehe o nā hana a pau .
Ma kahua Field hōʻike i ke kahua helu i loko o ka palapala e alakaʻi ai mākou i ka nānā ʻana.
Ma kahua - granularity o nā manawa ma ka timeline kahi e hoʻokō ʻia ai ka loiloi. Hiki iā ʻoe ke hilinaʻi i ka automation a koho lima paha. ʻO ke kiʻi ma lalo nei he laʻana o ka haʻahaʻa haʻahaʻa loa - hiki paha iā ʻoe ke poina i ka anomaly. Ke hoʻohana nei i kēia hoʻonohonoho, hiki iā ʻoe ke hoʻololi i ka naʻau o ka algorithm i nā anomalies.
ʻO ka lōʻihi o ka ʻikepili i hōʻiliʻili ʻia he mea nui e pili ana i ka maikaʻi o ka ʻikepili. I ka wā o ka nānā ʻana, ʻike ka algorithm i nā manawa hou, helu i nā manawa hilinaʻi (baselines) a ʻike i nā anomalies - atypical deviations mai ke ʻano maʻamau o ka metric. No ka laʻana wale nō:
Nā papa kuhikuhi me kahi ʻāpana liʻiliʻi o ka ʻikepili:
Ke loaʻa i ka algorithm kahi mea e aʻo ai, e like me kēia ka baseline:
Ma hope o ka hoʻomaka ʻana i ka hana, hoʻoholo ka algorithm i nā ʻokoʻa anomalous mai ka maʻamau a hoʻonohonoho iā lākou e like me ke ʻano o kahi anomaly (hōʻike ʻia ke kala o ka lepili e pili ana i nā pale):
'Ōlelo Aʻo (uliuli): emi iho ma mua o 25
Liʻiliʻi (melemele): 25-50
Nui (ʻalani): 50-75
Koʻikoʻi (ʻulaʻula): 75-100
Hōʻike ka pakuhi ma lalo i kahi laʻana o nā anomalies i loaʻa.
Maʻaneʻi hiki iāʻoe keʻike i ka helu 94, e hōʻike ana i ke kūpono o kahi anomaly. ʻIke ʻia ʻoiai ua kokoke ka waiwai i ka 100, ʻo ia ka mea he anomaly kā mākou. Hōʻike ke kolamu ma lalo o ka pakuhi i ka liʻiliʻi liʻiliʻi o 0.000063634% o ka waiwai metric e ʻike ʻia ana ma laila.
Ma waho aʻe o ka ʻimi ʻana i nā anomalies, hiki iā ʻoe ke holo i ka wānana ma Kibana. Hana ʻia kēia ma ka maʻalahi a mai ka ʻike like me nā anomalies - pihi Forecast ma ke kihi akau luna.
Hana ʻia ka wānana no ka lōʻihi o 8 mau pule ma mua. ʻOiai inā makemake ʻoe, ʻaʻole hiki ke hana ʻia ma ka hoʻolālā.
I kekahi mau kūlana, e hoʻohana nui ʻia ka wānana, no ka laʻana, ke nānā ʻana i ka ukana o ka mea hoʻohana ma ka ʻōnaehana.
Metric Nui
E neʻe kāua i ka hiʻohiʻona ML aʻe i ka Elastic Stack - ka nānā ʻana i kekahi mau metric i hoʻokahi pūʻulu. Akā ʻaʻole kēia manaʻo e nānā ʻia ka hilinaʻi o kekahi metric i kekahi. Ua like kēia me Single Metric, akā me nā metric he nui ma ka pale hoʻokahi no ka hoʻohālikelike maʻalahi o ka hopena o kekahi i kekahi. E kamaʻilio mākou e pili ana i ke kālailai ʻana i ka hilinaʻi ʻana o kekahi metric ma kahi ʻē aʻe ma ka ʻāpana heluna kanaka.
Ma hope o ke kaomi ʻana i ka square me Multi Metric, e ʻike ʻia kahi puka aniani me nā hoʻonohonoho. E nānā hou aku kākou iā lākou.
Pono mua ʻoe e koho i nā kahua no ka nānā ʻana a me ka hōʻuluʻulu ʻikepili ma luna o lākou. ʻO nā koho hōʻuluʻulu ma aneʻi e like me ka Single Metric (Max, Mean Kiʻekiʻe, Haʻahaʻa, Mean, ʻokoʻa a me nā mea ʻē aʻe). Eia hou, inā makemake ʻia, ua māhele ʻia ka ʻikepili i hoʻokahi o nā kahua (field Māhele ʻikepili). I ka laʻana, ua hana mākou i kēia ma ke kahua OriginAirportID. E ʻike ʻoe ua hōʻike ʻia ka pakuhi ana ma ka ʻākau ma ke ʻano he mau pakuhi.
kahua Nā Kahua Nui pili pono i nā anomalies i ʻike ʻia. Ma ka paʻamau e loaʻa mau ma kahi o hoʻokahi waiwai ma aneʻi, a hiki iā ʻoe ke hoʻohui i nā mea hou aʻe. E noʻonoʻo ka algorithm i ka mana o kēia mau māla i ka wā e nānā ana a hōʻike i nā waiwai "ʻoi loa".
Ma hope o ka hoʻomaka ʻana, e ʻike ʻia kahi mea e like me kēia ma ka interface Kibana.
ʻO kēia ka mea i kapa ʻia palapala 'āina wela o nā anomalies no kēlā me kēia waiwai kahua OriginAirportID, a mākou i hōʻike ai i loko Māhele ʻikepili. E like me Single Metric, hōʻike ke kala i ke kiʻekiʻe o ka haʻalele ʻana. He mea maʻalahi ke hana i kahi loiloi like, no ka laʻana, ma nā keʻena hana e nānā i ka poʻe me ka nui o nā mana mana, etc. Ua kākau mua mākou , hiki ke hōʻiliʻili ʻia a nānā ʻia ma aneʻi.
Aia ma lalo o ka palapala ʻāina wela kahi papa inoa o nā anomalies, mai kēlā me kēia mea hiki iā ʻoe ke hoʻololi i ka ʻike Hoʻokahi Metric no ka ʻike kikoʻī.
Ka heluna kanaka
No ka ʻimi ʻana i nā anomalies ma waena o nā correlations ma waena o nā metric ʻokoʻa, loaʻa i ka Elastic Stack kahi loiloi helu kanaka. ʻO ia me kāna kōkua hiki iā ʻoe ke ʻimi i nā waiwai anomalous i ka hana o kahi kikowaena i hoʻohālikelike ʻia me nā mea ʻē aʻe inā, no ka laʻana, piʻi ka nui o nā noi i ka ʻōnaehana target.
Ma kēia kiʻi kiʻi, hōʻike ke kahua heluna kanaka i ka waiwai e pili ai nā anana i kālailai ʻia. I kēia hihia, ʻo ia ka inoa o ka hana. ʻO ka hopena, e ʻike mākou i ke ʻano o ka hoʻouka ʻana o ka mea hana o kēlā me kēia kaʻina hana i hoʻopili ai kekahi i kekahi.
E ʻoluʻolu, ʻokoʻa ka pakuhi o ka ʻikepili i kālailai ʻia mai nā hihia me Single Metric a me Multi Metric. Ua hana ʻia kēia ma Kibana e ka hoʻolālā ʻana no ka hoʻomaikaʻi ʻana i ka ʻike o ka hāʻawi ʻana i nā waiwai o ka ʻikepili i hoʻopaʻa ʻia.
Hōʻike ka pakuhi i ka hana ʻino ke kaʻina hana stress (ma ke ala, hana ʻia e kahi pono kūikawā) ma ke kikowaena poipu, nāna i hoʻohuli (a i ʻole i lilo i mea hoʻoikaika) i ka hiki ʻana mai o kēia anomaly.
i hoʻomaka me
ʻIkepili me ka hoʻoponopono maikaʻi. Me ka ʻikepili holomua, ʻike ʻia nā hoʻonohonoho hou ma Kibana. Ma hope o ke kaomi ʻana i ka tile Advanced ma ka papa hana hana, ʻike ʻia kēia pukaaniani me nā tabs. Tab Nānā Job Hoʻokuʻu mākou iā ia ma ke kumu, aia nā hoʻonohonoho kumu ʻaʻole pili pono i ka hoʻonohonoho ʻana i ka nānā ʻana.
В summary_count_field_name ʻO ke koho, hiki iā ʻoe ke kuhikuhi i ka inoa o kahi kahua mai nā palapala i loaʻa nā waiwai i hui pū ʻia. Ma kēia laʻana, ka helu o nā hanana i kēlā me kēia minuke. IN hōʻike i ka inoa a me ka waiwai o kahi kahua mai ka palapala i loaʻa kekahi waiwai hoʻololi. Ke hoʻohana nei i ka mask ma kēia kahua, hiki iā ʻoe ke hoʻokaʻawale i ka ʻikepili i kālai ʻia i nā ʻāpana. E nānā pono i ke pihi Hoʻohui i ka mea ʻike ma ka hoike mua. Aia ma lalo ka hopena o ke kaomi ʻana i kēia pihi.
Eia kekahi poloka o nā hoʻonohonoho no ka hoʻonohonoho ʻana i ka mea ʻike anomaly no kahi hana kikoʻī. Hoʻolālā mākou e kūkākūkā i nā hihia hoʻohana kūikawā (ʻoi aku ka palekana) ma nā ʻatikala aʻe. ʻo kahi laʻana, kekahi o na hihia i weheia. Hoʻopili ʻia me ka ʻimi ʻana i nā waiwai i ʻike ʻole ʻia a hoʻokō ʻia .
Ma kahua kuleana pili i ka Hiki iā ʻoe ke koho i kahi hana kikoʻī e ʻimi ai i nā anomalies. Koe nae pohihihi keia, aia kekahi mau hana hoihoi hou aku - . Hoʻomaopopo lākou i nā anomalies i ke ʻano o nā metric i ka lā a i ʻole ka pule. Nā hana kālailai ʻē aʻe .
В kahua_inoa hōʻike i ke kahua o ka palapala kahi e hoʻokō ʻia ai ka loiloi. By_field_name hiki ke hoʻohana ʻia no ka hoʻokaʻawale ʻana i nā hualoaʻa no kēlā me kēia waiwai o ke kahua palapala i kuhikuhi ʻia ma aneʻi. Inā hoʻopiha ʻoe over_field_name loaʻa iā ʻoe ka helu helu kanaka a mākou i kūkākūkā ai ma luna. Inā ʻoe e kuhikuhi i kahi waiwai ma inoa_ kahua_palapala, a laila no kēia kahua o ka palapala e helu ʻia nā baseline kaʻawale no kēlā me kēia waiwai (hiki ke helu ʻia ka waiwai, no ka laʻana, ka inoa o ke kikowaena a i ʻole ka hana ma ke kikowaena). IN wehe_pinepine hiki ke koho a pau ai ole ia, kekahi, 'o ia ho'i ka ha'alele 'ana (a i 'ole ke komo pū 'ana) i nā waiwai kahua palapala.
Ma kēia ʻatikala, ua hoʻāʻo mākou e hāʻawi i kahi manaʻo maʻalahi e pili ana i ka hiki ke aʻo ʻana i ka mīkini i ka Elastic Stack; aia nō ka nui o nā kikoʻī i waiho ʻia ma hope o nā hiʻohiʻona. E haʻi mai iā mākou i nā ʻōlelo i nā hihia āu i hoʻoponopono ai me ka Elastic Stack a me nā hana āu e hoʻohana ai. E hoʻokaʻaʻike mai iā mākou, hiki iā ʻoe ke hoʻohana i nā leka pilikino ma Habré a i ʻole .
Source: www.habr.com