Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

Kia maumahara tatou ko te Elastic Stack kei runga i te papaunga raraunga Elasticsearch kore-relational, te atanga tukutuku Kibana me nga kaikohi raraunga me nga tukatuka (ko te Logstash tino rongonui, nga momo Beats, APM me etahi atu). Ko tetahi o nga taapiri pai ki te kohinga hua kua raarangi katoa ko te tātari raraunga ma te whakamahi i nga miihini ako miihini. I roto i te tuhinga ka mohio tatou he aha enei algorithms. Tena koa i raro i te ngeru.

Ko te ako miihini he waahanga utu o te shareware Elastic Stack me te whakauru ki te X-Pack. Hei timata ki te whakamahi, me whakahohe noa i te whakamatautau 30-ra i muri i te whakaurunga. I muri i te paunga o te wa whakamatautau, ka taea e koe te tono tautoko ki te whakaroa, ki te hoko ohaurunga ranei. Ko te utu o te ohaurunga ka tatauhia kaore i runga i te nui o nga raraunga, engari i runga i te maha o nga pona e whakamahia ana. Kao, ko te nui o nga raraunga, ko te tikanga, ka pa ki te maha o nga waahanga e hiahiatia ana, engari ko tenei huarahi ki te raihana he pai ake te tangata e pa ana ki te putea a te kamupene. Mena kaore he hiahia mo te hua nui, ka taea e koe te penapena moni.

Ko te ML kei roto i te Elastic Stack kua tuhia ki te C++ ka rere ki waho o te JVM, kei reira a Elasticsearch ano e rere. Ko te tikanga, ko te tukanga (ma te ara, ka kiia ko te autodetect) ka pau nga mea katoa kaore e horomia e te JVM. I runga i te tuunga demo ehara tenei i te mea tino nui, engari i roto i te taiao whakangao he mea nui ki te toha motuhake mo nga mahi ML.

E rua nga wahanga ako miihini miihini − me te kaiako и kahore he kaiako. I roto i te Elastic Stack, ko te algorithm kei roto i te waahanga "kaore i te tirotirohia". Na tenei hononga Ka taea e koe te kite i nga taputapu pangarau o nga miihini ako miihini.

Hei mahi i te tātaritanga, ka whakamahia e te miihini ako miihini nga raraunga kua rongoa ki nga tohu tohu Elasticsearch. Ka taea e koe te hanga mahi hei tātari mai i te atanga Kibana me te API. Mena ka mahia e koe tenei ma Kibana, kaore koe e hiahia ki te mohio ki etahi mea. Hei tauira, etahi atu tohu e whakamahia ana e te algorithm i te wa e mahi ana.

He tohu taapiri e whakamahia ana i roto i te tukanga tātari.ml-state — nga korero mo nga tauira tatauranga (tautuhinga tātaritanga);
.ml-anomalies-* — hua o ML algorithms;
.ml-whakamōhiotanga - tautuhinga mō whakamōhiotanga i runga i ngā hua tātari.

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

Ko te hanganga raraunga kei roto i te papaarangi Elasticsearch ko nga tohu me nga tuhinga kei roto. Ina whakatairitea ki te papaunga raraunga hononga, ka taea te whakataurite i te taurangi ki te aronuinga papaunga raraunga, me te tuhinga ki te rekoata i roto i te ripanga. Ko tenei whakataurite he herenga, ka whakaratohia hei whakamaarama mo etahi atu korero mo te hunga kua rongo noa mo Elasticsearch.

He rite tonu nga mahi ma roto i te API me te atanga tukutuku, no reira mo te maramatanga me te maarama ki nga kaupapa, ka whakaatu maatau me pehea te whirihora ma Kibana. Kei te tahua kei te taha maui he waahanga Ako Miihini ka taea e koe te hanga i tetahi Mahi hou. I roto i te atanga Kibana he rite te ahua o te ahua i raro nei. Inaianei ka wetewetehia ia momo mahi me te whakaatu i nga momo tātari ka taea te hanga ki konei.

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

Inenga Takitahi - tātaritanga o te ine kotahi, Ine Maha - tātaritanga o nga inenga e rua, neke atu ranei. I roto i nga take e rua, ka tātarihia ia inenga i roto i te taiao taratahi, ara. karekau te hātepee e whai whakaaro ki te whanonga o nga inenga wetewete whakarara, penei i te ahua o te Ine Maha. Hei whakahaere i nga tatauranga ma te whai whakaaro ki te hononga o nga momo inenga, ka taea e koe te whakamahi i te tātari Taupori. A kei te whakatikatika a Advanced i nga algorithm me etahi atu whiringa mo etahi mahi.

Inenga Kotahi

Ko te wetewete i nga huringa i roto i te ine kotahi ko te mea ngawari ka taea ki konei. Whai muri i te paato i te Waihanga Hopa, ka rapua e te algorithm mo nga kohikore.

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

I roto i te mara Whakaaetanga ka taea e koe te kowhiri i tetahi huarahi ki te rapu i nga kohihiko. Hei tauira, ina min ko nga uara kei raro iho i nga uara angamaheni ka kiia he keokeo. Kai Max, Tikanga Teitei, Iti, Tikanga, Tino me etahi atu. Ka kitea nga whakaahuatanga o nga mahi katoa hono.

I roto i te mara Field e tohu ana i te mara tau i roto i te tuhinga ka whakahaerea e matou te tātari.

I roto i te mara Te roa o te peere - te maha o nga waahi i runga i te raarangi ka whakahaerehia te tātari. Ka taea e koe te whakawhirinaki ki te aunoatanga, te kowhiri-a-ringa ranei. Ko te ahua kei raro nei he tauira o te iti rawa o te kirikiri - ka ngaro pea koe i te ahua kino. Ma te whakamahi i tenei tautuhinga, ka taea e koe te huri i te tairongo o te algorithm ki te koohiko.

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

Ko te roanga o nga raraunga i kohia he mea nui e pa ana ki te whai huatanga o te tātari. I te wa o te tātaritanga, ka tautuhia e te algorithm nga waahi tukurua, te tatau i nga waahi maiatanga (raina turanga) me te tautuhi i nga kohikohiko - he rereke rereke mai i nga ahuatanga o mua o te ine. Hei tauira noa:

Ko nga turanga me tetahi waahanga iti o te raraunga:

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

Ina he mea hei ako i te algorithm, ka penei te ahua o te raarangi:

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

I muri i te tiimata o te mahi, ka whakatauhia e te algorithm nga rereke rereke mai i te tikanga ka whakatauhia kia rite ki te tupono o te koretake (kua tohuhia te tae o te tapanga e rite ana ki roto i nga reu):

Whakatupato (puru): iti iho i te 25
Iti (kōwhai): 25-50
Meiha (karaka): 50-75
Tino (whero): 75-100

Ko te kauwhata i raro nei e whakaatu ana i tetahi tauira o nga kohikohiko i kitea.

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

I konei ka kite koe i te nama 94, e tohu ana i te tupono o te koretake. E marama ana, i te mea e tata ana te uara ki te 100, ko te tikanga he koretake to tatou. Ko te tīwae i raro i te kauwhata e whakaatu ana i te tūponotanga iti o te 0.000063634% o te uara ine ka puta ki reira.

I tua atu i te rapu koohiko, ka taea e koe te whakahaere matapae i Kibana. Ka mahia tenei ma te ngawari, mai i te tirohanga kotahi me nga tohu - paatene matapae i te kokonga matau o runga.

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

Ka mahia te matapae mo te 8 wiki i mua. Ahakoa e tino hiahia ana koe, kua kore e taea e te hoahoa.

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

I etahi ahuatanga, ka tino whai hua te matapae, hei tauira, i te wa e aro turuki ana i nga kawenga a nga kaiwhakamahi i runga i nga hanganga.

Inenga Maha

Me haere ki te waahanga ML e whai ake nei i roto i te Elastic Stack - te tātari i etahi inenga i roto i te puranga kotahi. Engari ehara tenei i te mea ka wetewetehia te whakawhirinaki o tetahi ine ki tetahi atu. He rite tonu tenei ki te Inenga Takitahi, engari he maha nga inenga i runga i te mata kotahi mo te whakataurite ngawari o te paanga o tetahi ki tetahi. Ka korero tatou mo te wetewete i te whakawhirinaki o tetahi ine ki tetahi atu i roto i te waahanga Taupori.

I muri i te panui i te tapawha me te Ine Maha, ka puta he matapihi me nga tautuhinga. Kia ata titiro tatou ki a raatau.

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

Tuatahi me whiriwhiri koe i nga mara mo te tātari me te whakahiato raraunga ki runga. He rite nga whiringa whakahiato ki konei mo te Inenga Kotahi (Max, Tikanga Teitei, Iti, Tikanga, Tino me etahi atu). I tua atu, ki te hiahiatia, ka wehewehea nga raraunga ki tetahi o nga mara (mara Ritua Raraunga). I roto i te tauira, i mahia e matou ma te mara OriginAirportID. Kia mahara ko te kauwhata inenga kei te taha matau kua whakaatuhia hei kauwhata maha.

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

mara Ngā Āpure Matua (Kaiwhakaawe) ka pa tika ki nga kohikohiko kua kitea. Ma te taunoa ka noho tonu kia kotahi te uara ki konei, ka taea e koe te taapiri i etahi atu. Ka whakaarohia e te algorithm te awe o enei mara i te wa e tarai ana me te whakaatu i nga uara tino "whakaawe".

I muri i te whakarewatanga, ka puta mai tetahi mea penei i te atanga Kibana.

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

Koinei te mea e kiia nei Mapi wera o nga kohikohiko mo ia uara mara OriginAirportID, i tohuhia e matou i roto Ritua Raraunga. Pērā i te Metric Kotahi, ka tohu te tae i te taumata o te ine rereke. He pai ki te mahi i tetahi tātaritanga rite, hei tauira, i runga i nga teihana mahi ki te whai i te hunga he maha nga whakamanatanga whakapae, aha atu. Kua tuhia e matou mo nga huihuinga hihira i EventLog Windows, ka taea hoki te kohi me te tātari i konei.

Kei raro iho i te mapi wera he rarangi o nga mea koretake, mai i ia tangata ka taea e koe te huri ki te tirohanga Ine Kotahi mo te tātaritanga taipitopito.

Te taupori

Ki te rapu kohihiko i waenga i nga hononga i waenga i nga ine rereke, kei te Elastic Stack he tātaritanga Taupori motuhake. Ma tana awhina ka taea e koe te rapu i nga uara rereke i roto i te mahi a te tūmau ka whakaritea ki etahi atu ka, hei tauira, ka piki ake te maha o nga tono ki te punaha whaainga.

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

I roto i tenei whakaahua, ko te mara Taupori e whakaatu ana i te uara e hono ai nga ine kua tātarihia. I roto i tenei take ko te ingoa o te tukanga. Ko te mutunga mai, ka kite tatou i pehea te awe o te kawenga o te tukatuka o ia mahi ki a raatau ano.

Kia mahara he rereke te kauwhata o nga raraunga kua wetewetehia mai i nga keehi me te Ine Kotahi me te Ine Maha. I mahia tenei ki Kibana ma te hoahoa kia pai ake te maarama mo te tohatoha o nga uara o nga raraunga kua tātarihia.

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

E whakaatu ana te kauwhata he kino te whanonga o te tukanga ahotea (i te ara, i hangaia e tetahi taputapu motuhake) i runga i te tūmau poipu, na wai i whakaawe (i huri ranei hei whakaawe) i te puta mai o tenei kino.

Arā

Nga tātaritanga me te whakatika pai. Ma te tātaritanga Arā Atu Anō, ka puta etahi atu tautuhinga ki Kibana. I muri i te panui i te taera Arā i te tahua hangahanga, ka puta tenei matapihi me nga ripa. Ripa Nga Taipitopito Mahi I pekehia e matou i runga i te kaupapa, he tautuhinga taketake kaore e pa ana ki te whakarite i te tātaritanga.

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

В summary_count_field_name Ka taea, ka taea e koe te tautuhi i te ingoa o te mara mai i nga tuhinga kei roto nga uara whakahiato. I tenei tauira, ko te maha o nga huihuinga ia meneti. IN categorization_field_name he tohu i te ingoa me te uara o tetahi mara mai i te tuhinga kei roto etahi uara taurangi. Ma te whakamahi i te kanohi i runga i tenei mara, ka taea e koe te wehewehe i nga raraunga kua tātarihia ki roto i nga huinga-iti. Kia tupato ki te paatene Tāpiri pūoko i te whakaahua o mua. Kei raro ko te hua o te patene i tenei paatene.

Te Maramatanga ki te Ako Miihini i roto i te Elastic Stack (aka Elasticsearch, aka ELK)

Anei tetahi atu poraka o nga tautuhinga mo te whirihora i te kaitirotiro anomaly mo tetahi mahi motuhake. Ka whakamahere matou ki te matapaki i nga keehi whakamahi motuhake (ina koa nga take haumaru) i roto i nga tuhinga e whai ake nei. Hei tauira, tirohia tetahi o nga keehi kua wetewetehia. E pa ana ki te rapu i nga uara kare e kitea ana ka whakatinanahia mahi onge.

I roto i te mara mahi Ka taea e koe te kowhiri i tetahi mahi motuhake hei rapu mo nga kohikore. Hāunga he rare, e rua nga mahi whakamere - wa_o_ra и wa_o_wiki. Ka tautuhia e ratou nga ahua kino o te whanonga o nga inenga puta noa i te ra, i te wiki ranei. Ētahi atu mahi tātari kei roto i nga tuhinga.

В ingoa_apure e tohu ana i te mara o te tuhinga ka mahia te tātari. By_field_name Ka taea te whakamahi hei wehe i nga hua tātaritanga mo ia uara takitahi o te mara tuhinga kua tohua ki konei. Mena ka whakakiia e koe over_field_ingoa ka whiwhi koe i te tātaritanga taupori i korerohia i runga ake nei. Mena ka tohua e koe he uara ki roto ingoa_apure wehewehe, na mo tenei mara o te tuhinga ka tatauhia nga rarangi turanga motuhake mo ia uara (ko te uara, hei tauira, te ingoa o te tūmau, te tukanga ranei i runga i te tūmau). IN whakakorea_ auau ka taea te whiriwhiri katoa ranei kahore, ko te tikanga ka whakakorehia (ka whakaurua ranei) nga uara mara tuhinga e puta pinepine ana.

I roto i tenei tuhinga, i ngana taatau ki te tuku whakaaro poto mo nga kaha o te ako miihini i roto i te Elastic Stack; he maha tonu nga korero kei muri i nga whakaaturanga. Korerohia mai ki a matou i roto i nga korero he aha nga keehi i taea e koe te whakaoti ma te whakamahi i te Elastic Stack me nga mahi e whakamahia ana e koe. Hei whakapā mai, ka taea e koe te whakamahi i nga karere whaiaro i runga i a Habré ranei puka urupare i runga i te paetukutuku.

Source: will.com

Tāpiri i te kōrero