A re hopoleng hore Elastic Stack e thehiloe ho database ea Elasticsearch eo e seng ea kamano, sebopeho sa websaete sa Kibana le babokelli ba lintlha le li-processor (Logstash e tummeng ka ho fetisisa, Beats e sa tšoaneng, APM le ba bang). E 'ngoe ea litlatsetso tse ntle lethathamong lohle la lihlahisoa tse thathamisitsoeng ke tlhahlobo ea data e sebelisang li-algorithms tsa ho ithuta ka mochini. Sehloohong re utloisisa hore na li-algorithms tsena ke life. Ka kopo tlasa katse.
Ho ithuta ka mochini ke karolo e lefuoang ea shareware Elastic Stack mme e kenyellelitsoe ho X-Pack. Ho qala ho e sebelisa, kenya feela teko ea matsatsi a 30 ka mor'a ho e kenya. Kamora hore nako ea teko e felile, o ka kopa ts'ehetso ho e atolosa kapa ho reka peeletso. Litsenyehelo tsa ho ngolisa ha li baloe ho latela bongata ba data, empa ho latela palo ea li-node tse sebelisitsoeng. Che, palo ea lintlha, ha e le hantle, e ama palo ea li-node tse hlokahalang, empa leha ho le joalo mokhoa ona oa ho fana ka laesense o na le botho bo eketsehileng mabapi le tekanyetso ea k'hamphani. Haeba ho sa hlokahale tlhahiso e phahameng, u ka boloka chelete.
ML ho Elastic Stack e ngotsoe ka C++ 'me e matha ka ntle ho JVM, moo Elasticsearch ka boeona e sebetsang teng. Ke hore, ts'ebetso (ka tsela, e bitsoa autodetect) e ja ntho e 'ngoe le e' ngoe eo JVM e sa e metse. Boemong ba demo sena ha se bohlokoa hakaalo, empa tikolohong ea tlhahiso ho bohlokoa ho fana ka li-node tse arohaneng bakeng sa mesebetsi ea ML.
Li-algorithms tsa ho ithuta ka mochini li oela ka mekhahlelo e 'meli - и . Ka Elastic Stack, algorithm e ka har'a sehlopha sa "sa hlokomeloe". Ka U ka bona lisebelisoa tsa lipalo tsa li-algorithms tsa ho ithuta ka mochini.
Ho etsa tlhahlobo, algorithm ea ho ithuta mochini e sebelisa data e bolokiloeng ho li-index tsa Elasticsearch. U ka theha mesebetsi bakeng sa tlhahlobo ho tsoa ho sebopeho sa Kibana le ka API. Haeba u etsa sena ka Kibana, ha ho hlokahale hore u tsebe lintho tse ling. Ka mohlala, li-index tse eketsehileng tseo algorithm e li sebelisang nakong ea ts'ebetso ea eona.
Li-indices tse ling tse sebelisoang ha ho etsoa tlhahlobo.ml-state - tlhahisoleseding e mabapi le mehlala ea lipalo-palo (litlhophiso tsa tlhahlobo);
.ml-anomalies-* - liphetho tsa ML algorithms;
.ml-notifications — litlhophiso tsa litsebiso tse ipapisitseng le liphetho tsa tlhahlobo.
Sebopeho sa data polokelong ea Elasticsearch se na le li-index le litokomane tse bolokiloeng ho tsona. Ha e bapisoa le database ea kamano, index e ka bapisoa le schema ea database, le tokomane ho rekoto e tafoleng. Papiso ena e itšetlehile ka maemo 'me e fanoe ho nolofatsa kutloisiso ea boitsebiso bo eketsehileng bakeng sa ba utloileng feela ka Elasticsearch.
Ts'ebetso e ts'oanang e fumaneha ka API joalo ka sebopeho sa marang-rang, kahoo bakeng sa ho hlaka le kutloisiso ea mehopolo, re tla bonts'a mokhoa oa ho e hlophisa ka Kibana. Ho menu e ka letsohong le letšehali ho na le karolo ea ho Ithuta ka Mochine moo o ka thehang Mosebetsi o mocha. Ka sebopeho sa Kibana se shebahala joaloka setšoantšo se ka tlase. Joale re tla sekaseka mofuta o mong le o mong oa mosebetsi le ho bonts'a mefuta ea tlhahlobo e ka hahuoang mona.
Single Metric - tlhahlobo ea metric e le 'ngoe, Multi Metric - tlhahlobo ea metrics tse peli kapa ho feta. Maemong ana ka bobeli, metric e 'ngoe le e' ngoe e hlahlojoa sebakeng se ka thōko, i.e. algorithm ha e nahane ka boitšoaro ba metrics e hlahlobiloeng ka mokhoa o ts'oanang, joalo ka ha ho ka bonahala ho le joalo tabeng ea Multi Metric. Ho etsa lipalo ho nahanoa ka khokahano ea metrics e fapaneng, o ka sebelisa tlhahlobo ea palo ea batho. 'Me Advanced e lokisa li-algorithms ka likhetho tse ling bakeng sa mesebetsi e itseng.
Metric e le 'ngoe
Ho sekaseka liphetoho ho metric e le 'ngoe ke ntho e bonolo ka ho fetesisa e ka etsoang mona. Kamora ho tobetsa ho Etsa Mosebetsi, algorithm e tla batla li-anomalies.
Tšimong Aggregation o ka khetha mokhoa oa ho batla li-anomalies. Ka mohlala, neng mets boleng bo ka tlase ho boleng bo tloaelehileng bo tla nkuoa bo sa tloaeleha. Ja Max, Phahameng e Bolelang, e tlase, e Bolelang, e ikhethang le ba bang. Litlhaloso tsa mesebetsi eohle li ka fumanoa .
Tšimong Tšimo e bontša sebaka sa linomoro tokomaneng eo re tla etsa tlhahlobo ho eona.
Tšimong - granularity ea linako tse behiloeng kemisong ea nako eo tlhahlobo e tla etsoa ka eona. U ka tšepa automation kapa khetha ka letsoho. Setšoantšo se ka tlase ke mohlala oa granularity e tlase haholo - o kanna oa fetoa ke phoso. U sebelisa mokhoa ona, u ka fetola kutloisiso ea algorithm ho ea ho anomalies.
Nako ea data e bokelletsoeng ke ntho ea bohlokoa e amang katleho ea tlhahlobo. Nakong ea tlhahlobo, algorithm e khetholla linako tse pheta-phetoang, e lekanya nako ea ho itšepa (lintlha tsa motheo) le ho khetholla liphapang - ho kheloha ho sa tloaelehang ho tloha boitšoarong bo tloaelehileng ba metric. Ka mohlala:
Lintlha tsa motheo tse nang le karolo e nyane ea data:
Ha algorithm e na le ho hong ho ithuta ho eona, motheo o shebahala tjena:
Ka mor'a ho qala mosebetsi, algorithm e etsa qeto ea ho kheloha ho sa tloaelehang ho tloha ho se tloaelehileng 'me e li beha ho ea ka monyetla oa ho ba le bothata ('mala oa label e lumellanang o bontšoa ka masakaneng):
Tlhokomeliso (boputsoa): ka tlase ho 25
Nyenyane (e mosehla): 25-50
E kholo (lamunu): 50-75
Bohlokoa (bofubelu): 75-100
Kerafo e ka tlase e bontša mohlala oa liphoso tse fumanoeng.
Mona u ka bona nomoro ea 94, e bontšang monyetla oa ho ba le bothata. Ho hlakile hore kaha boleng bo haufi le 100, ho bolela hore re na le anomaly. Kholomo e ka tlase ho kerafo e bonts'a monyetla o monyane oa 0.000063634% oa boleng ba metric bo hlahang moo.
Ntle le ho batla li-anomalies, o ka etsa ponelopele ho Kibana. Sena se etsoa ka mokhoa o bonolo le ka pono e ts'oanang le li-anomalies - konopo Forecast sekhutlong se kaholimo ho le letona.
Polelo e etselitsoe nako e telele ea libeke tse 8 esale pele. Esita le haeba u hlile u batla, ha e sa khoneha ka moralo.
Maemong a mang, ponelopele e tla ba molemo haholo, ho etsa mohlala, ha o beha leihlo mojaro oa basebelisi litsing tsa motheo.
Multi Metric
Ha re feteleng ho karolo e latelang ea ML ho Elastic Stack - ho sekaseka metrics tse 'maloa sehlopheng se le seng. Empa sena ha se bolele hore ho tla hlahlojoa ho its'etleha ha metric ho e 'ngoe. Sena se tšoana le Single Metric, empa ka metrics e mengata skrineng se le seng bakeng sa papiso e bonolo ea phello ea e 'ngoe ho e' ngoe. Re tla bua ka ho sekaseka ho its'etleha ha metric e 'ngoe ho e' ngoe karolong ea Population.
Kamora ho tobetsa sekwere ka Multi Metric, fensetere e nang le litlhophiso e tla hlaha. A re ke re li hlahlobe ka botlalo.
Pele u lokela ho khetha masimo bakeng sa tlhahlobo le ho bokella data ho tsona. Likhetho tsa ho kopanya mona li tšoana le tsa Single Metric (Max, Phahameng e Bolelang, e tlase, e Bolelang, e ikhethang le tse ling). Ho feta moo, haeba ho hlokahala, data e arotsoe ka e 'ngoe ea masimo (field Arola data). Ka mohlala, re entse sena ka lebaleng OriginAirportID. Hlokomela hore metrics graph e ka ho le letona e se e hlahisoa e le li-graph tse ngata.
tšimo Libaka tsa Bohlokoa (Ba susumetsang) e ama ka ho toba li-anomalies tse bonoeng. Ka kamehla ho tla lula ho na le boleng bo le bong mona, 'me u ka eketsa tse ling. Algorithm e tla ela hloko tšusumetso ea masimo ana ha e hlahloba le ho bonts'a litekanyetso tsa "tšusumetso" ka ho fetisisa.
Kamora ho qala, ntho e kang ena e tla hlaha sebopehong sa Kibana.
Sena ke seo ho thoeng ke 'mapa oa mocheso oa anomalies bakeng sa boleng bo bong le bo bong ba tšimo OriginAirportID, eo re e bontšitseng ho Arola data. Joalo ka Single Metric, 'mala o bontša boemo ba ho kheloha ho sa tloaelehang. Ho bonolo ho etsa tlhahlobo e ts'oanang, ho etsa mohlala, litsing tsa mosebetsi ho latela ba nang le tumello e kholo e belaetsang, joalo-joalo. Re se re ngotse , tse ka bokelloang le ho hlahlojoa mona.
Ka tlase ho 'mapa oa mocheso ho na le lethathamo la liphoso, ho tsoa ho e' ngoe le e 'ngoe u ka fetohela ho Single Metric view bakeng sa tlhahlobo e felletseng.
Baahi
Ho batla liphapang lipakeng tsa likhokahano lipakeng tsa metrics tse fapaneng, Elastic Stack e na le tlhahlobo e ikhethileng ea baahi. Ke ka thuso ea eona hore u ka sheba litekanyetso tse sa tloaelehang ts'ebetsong ea seva ha u bapisoa le ba bang ha, mohlala, palo ea likopo ho sistimi e reriloeng e ntse e eketseha.
Papisong ena, karolo ea Population e bontša boleng boo metrics e hlahlobiloeng e tla amahanngoa le bona. Tabeng ena ke lebitso la ts'ebetso. Ka lebaka leo, re tla bona kamoo mojaro oa processor oa ts'ebetso e 'ngoe le e' ngoe e susumelitseng e mong le e mong.
Ka kopo hlokomela hore kerafo ea data e hlahlobiloeng e fapane le linyeoe tsa Single Metric le Multi Metric. Sena se entsoe Kibana ka moralo oa pono e ntlafalitsoeng ea kabo ea boleng ba data e hlahlobiloeng.
Kerafo e bontša hore ts'ebetso e sebetsa ka mokhoa o sa tloaelehang khatello ea kelello (ka tsela, e hlahisoang ke sesebelisoa se khethehileng) ho seva poipu, ea susumelitseng (kapa ea ileng a ba le tšusumetso) ho hlaha ha bothata bona.
e tsoetseng pele
Litlhahlobo tse nang le tokiso e ntle. Ka tlhahlobo e tsoetseng pele, litlhophiso tse ling li hlaha Kibana. Ka mor'a ho tobetsa Advanced tile ho menu ea pōpo, fensetere ena e nang le li-tab e hlaha. Taba Boitsebiso ba Jobo Re e tlotse ka boomo, ho na le litlhophiso tsa mantlha tse sa amaneng ka kotloloho le ho theha tlhahlobo.
В summary_count_field_name Ka boikhethelo, o ka hlakisa lebitso la sebaka ho tsoa litokomaneng tse nang le litekanyetso tse kopaneng. Mohlala ona, palo ea liketsahalo ka motsotso. IN e bonts'a lebitso le boleng ba sebaka ho tsoa tokomaneng e nang le boleng bo bong bo fapaneng. U sebelisa mask sebakeng sena, u ka arola data e hlahlobiloeng ka li-subsets. Ela hloko konopo Kenya detector papisong e fetileng. Ka tlase ke sephetho sa ho tobetsa konopo ena.
Mona ke karolo e 'ngoe ea litlhophiso bakeng sa ho hlophisa detector ea anomaly bakeng sa mosebetsi o itseng. Re rerile ho tšohla linyeoe tse khethehileng tsa tšebeliso (haholo-holo tsa tšireletso) lihloohong tse latelang. Ka mohlala, e 'ngoe ea linyeoe tse qhetsoeng. E amahanngoa le patlo ea boleng bo hlahang seoelo 'me ea sebelisoa .
Tšimong mosebetsi U ka khetha mosebetsi o itseng ho batla anomalies. Ntle le seoelo, ho na le mesebetsi e meng e khahlisang - . Ba supa liphapang boitšoarong ba metrics ho pholletsa le letsatsi kapa beke, ka ho latellana. Mesebetsi e meng ea tlhahlobo .
В lebala_lebitso e bonts'a sebaka sa tokomane eo tlhahlobo e tla etsoa ho eona. Ka_lebitso_la_bala e ka sebelisoa ho arola liphetho tsa tlhahlobo bakeng sa boleng bo bong le bo bong ba sebaka sa tokomane se boletsoeng mona. Haeba u tlatsa over_field_name u fumana tlhahlobo ea baahi eo re buileng ka eona ka holimo. Haeba o totobatsa boleng ho partition_field_name, joale bakeng sa tšimo ena ea tokomane ho tla baloa metheo e arohaneng bakeng sa boleng bo bong le bo bong (boleng bo ka ba, mohlala, lebitso la seva kapa ts'ebetso ho seva). IN kgafetsa_kgafetsa ka khetha bohle kapa ea mong, e leng ho tla bolela ho se kenyeletse (kapa ho kenyelletsa) boleng ba sebaka sa litokomane tse hlahang khafetsa.
Sengoliloeng sena, re lekile ho fana ka mohopolo o hlakileng ka moo ho ka khonehang mabapi le bokhoni ba ho ithuta ka mochini ho Elastic Stack; ho ntse ho na le lintlha tse ngata tse setseng ka morao. Re bolelle maikutlong hore na u khonne ho rarolla linyeoe life u sebelisa Elastic Stack le hore na u e sebelisetsa mesebetsi efe. Ho ikopanya le rona, o ka sebelisa melaetsa ea hau ho Habré kapa .
Source: www.habr.com