Hebu tukumbuke kwamba Stack ya Elastic inategemea hifadhidata isiyo ya uhusiano ya Elasticsearch, kiolesura cha wavuti cha Kibana na wakusanyaji wa data na wasindikaji (Logstash maarufu zaidi, Beats mbalimbali, APM na wengine). Mojawapo ya nyongeza nzuri kwa rafu nzima ya bidhaa iliyoorodheshwa ni uchanganuzi wa data kwa kutumia kanuni za kujifunza kwa mashine. Katika makala tunaelewa nini algorithms hizi ni. Tafadhali chini ya paka.
Kujifunza kwa mashine ni kipengele kinacholipwa cha shareware Elastic Stack na kimejumuishwa kwenye X-Pack. Ili kuanza kuitumia, wezesha tu jaribio la siku 30 baada ya kusakinisha. Baada ya muda wa majaribio kuisha, unaweza kuomba usaidizi ili kurefusha au kununua usajili. Gharama ya usajili huhesabiwa sio kulingana na kiasi cha data, lakini kwa idadi ya nodi zinazotumiwa. Hapana, kiasi cha data, bila shaka, huathiri idadi ya nodes zinazohitajika, lakini bado njia hii ya leseni ni ya kibinadamu zaidi kuhusiana na bajeti ya kampuni. Ikiwa hakuna haja ya uzalishaji wa juu, unaweza kuokoa pesa.
ML kwenye Elastic Stack imeandikwa katika C++ na inaendesha nje ya JVM, ambayo Elasticsearch yenyewe inaendesha. Hiyo ni, mchakato (kwa njia, inaitwa autodetect) hutumia kila kitu ambacho JVM haina kumeza. Kwenye onyesho hili sio muhimu sana, lakini katika mazingira ya uzalishaji ni muhimu kutenga nodi tofauti kwa kazi za ML.
Kanuni za ujifunzaji wa mashine ziko katika kategoria mbili - ΠΈ . Katika Stack Elastic, algoriti iko katika kitengo cha "isiyosimamiwa". Na Unaweza kuona vifaa vya hisabati vya kanuni za kujifunza za mashine.
Ili kufanya uchanganuzi, kanuni ya kujifunza kwa mashine hutumia data iliyohifadhiwa katika faharasa za Elasticsearch. Unaweza kuunda kazi za uchanganuzi kutoka kwa kiolesura cha Kibana na kupitia API. Ukifanya hivi kupitia Kibana, basi huhitaji kujua baadhi ya mambo. Kwa mfano, faharisi za ziada ambazo algorithm hutumia wakati wa uendeshaji wake.
Fahirisi za ziada zinazotumika katika mchakato wa uchanganuzi.ml-state - habari kuhusu mifano ya takwimu (mipangilio ya uchambuzi);
.ml-anomalies-* - matokeo ya algorithms ya ML;
.ml-notifications β mipangilio ya arifa kulingana na matokeo ya uchambuzi.
Muundo wa data katika hifadhidata ya Elasticsearch una faharasa na hati zilizohifadhiwa ndani yake. Ikilinganishwa na hifadhidata ya uhusiano, faharasa inaweza kulinganishwa na schema ya hifadhidata, na hati kwa rekodi kwenye jedwali. Ulinganisho huu ni wa masharti na umetolewa ili kurahisisha uelewa wa nyenzo zaidi kwa wale ambao wamesikia tu kuhusu Elasticsearch.
Utendaji sawa unapatikana kupitia API kama kupitia kiolesura cha wavuti, kwa hivyo kwa uwazi na uelewa wa dhana, tutaonyesha jinsi ya kuisanidi kupitia Kibana. Katika menyu upande wa kushoto kuna sehemu ya Kujifunza kwa Mashine ambapo unaweza kuunda Kazi mpya. Katika kiolesura cha Kibana inaonekana kama picha hapa chini. Sasa tutachambua kila aina ya kazi na kuonyesha aina za uchambuzi ambazo zinaweza kujengwa hapa.
Kipimo Kimoja - uchambuzi wa kipimo kimoja, Metric Multi - uchanganuzi wa vipimo viwili au zaidi. Katika matukio yote mawili, kila metric inachambuliwa katika mazingira ya pekee, i.e. algoriti haizingatii tabia ya vipimo vilivyochanganuliwa, kama inavyoweza kuonekana katika hali ya Multi Metric. Ili kufanya mahesabu kwa kuzingatia uwiano wa metriki mbalimbali, unaweza kutumia uchanganuzi wa idadi ya watu. Na Advanced ni kurekebisha algoriti na chaguzi za ziada kwa kazi fulani.
Metri moja
Kuchambua mabadiliko katika kipimo kimoja ndicho jambo rahisi zaidi linaloweza kufanywa hapa. Baada ya kubofya Unda Kazi, algorithm itatafuta makosa.
katika uwanja Mkusanyiko unaweza kuchagua mbinu ya kutafuta hitilafu. Kwa mfano, lini Min maadili yaliyo chini ya maadili ya kawaida yatazingatiwa kuwa ya ajabu. Kula Max, Juu Wastani, Chini, Wastani, Tofauti na wengine. Maelezo ya kazi zote yanaweza kupatikana .
katika uwanja Shamba inaonyesha uwanja wa nambari katika hati ambayo tutafanya uchambuzi.
katika uwanja - uzito wa vipindi kwenye kalenda ya matukio ambayo uchambuzi utafanywa. Unaweza kuamini otomatiki au uchague mwenyewe. Picha iliyo hapa chini ni mfano wa uzito kuwa mdogo sana - unaweza kukosa hitilafu. Kutumia mpangilio huu, unaweza kubadilisha unyeti wa algorithm kwa hitilafu.
Muda wa data iliyokusanywa ni jambo kuu linaloathiri ufanisi wa uchambuzi. Wakati wa uchanganuzi, kanuni hutambua vipindi vinavyojirudia, hukokotoa vipindi vya kujiamini (misingi ya msingi) na kubainisha hitilafu - mikengeuko isiyo ya kawaida kutoka kwa tabia ya kawaida ya kipimo. Kwa mfano tu:
Misingi iliyo na kipande kidogo cha data:
Wakati algorithm ina kitu cha kujifunza kutoka, msingi unaonekana kama hii:
Baada ya kuanza kazi, algorithm huamua kupotoka kwa njia isiyo ya kawaida kutoka kwa kawaida na kuziweka kulingana na uwezekano wa shida (rangi ya lebo inayolingana imeonyeshwa kwenye mabano):
Onyo (bluu): chini ya 25
Ndogo (njano): 25-50
Kubwa (machungwa): 50-75
Muhimu (nyekundu): 75-100
Grafu hapa chini inaonyesha mfano wa hitilafu zilizopatikana.
Hapa unaweza kuona nambari 94, ambayo inaonyesha uwezekano wa shida. Ni wazi kwamba kwa kuwa thamani iko karibu na 100, inamaanisha kuwa tuna hitilafu. Safu iliyo chini ya grafu inaonyesha uwezekano mdogo wa 0.000063634% wa thamani ya kipimo inayoonekana hapo.
Mbali na kutafuta hitilafu, unaweza kufanya utabiri katika Kibana. Hii inafanywa kwa urahisi na kutoka kwa mtazamo sawa na anomalies - kifungo Utabiri kwenye kona ya juu kulia.
Utabiri unafanywa kwa upeo wa wiki 8 mapema. Hata kama unataka kweli, haiwezekani tena kwa kubuni.
Katika hali fulani, utabiri utakuwa muhimu sana, kwa mfano, wakati wa kufuatilia mzigo wa mtumiaji kwenye miundombinu.
Multi Metric
Wacha tuendelee kwenye kipengele kinachofuata cha ML katika Rafu ya Elastic - tukichanganua vipimo kadhaa katika kundi moja. Lakini hii haimaanishi kuwa utegemezi wa kipimo kimoja kwa mwingine utachambuliwa. Hii ni sawa na Metric Moja, lakini ikiwa na vipimo vingi kwenye skrini moja kwa ulinganisho rahisi wa athari ya moja kwenye nyingine. Tutazungumza kuhusu kuchanganua utegemezi wa kipimo kimoja kwa kingine katika sehemu ya Idadi ya Watu.
Baada ya kubofya mraba na Multi Metric, dirisha na mipangilio itaonekana. Hebu tuziangalie kwa undani zaidi.
Kwanza unahitaji kuchagua sehemu za uchambuzi na ujumuishaji wa data juu yao. Chaguo za kujumlisha hapa ni sawa na za Metric Moja (Max, Juu Wastani, Chini, Wastani, Tofauti na wengine). Zaidi ya hayo, ikiwa inataka, data imegawanywa katika moja ya uwanja (uwanja Gawanya Data) Katika mfano, tulifanya hivyo kwa shamba OriginAirportID. Kumbuka kuwa jedwali la vipimo lililo upande wa kulia sasa limewasilishwa kama grafu nyingi.
Shamba Sehemu Muhimu (Vishawishi) huathiri moja kwa moja kasoro zilizogunduliwa. Kwa chaguo-msingi kutakuwa na angalau thamani moja hapa, na unaweza kuongeza zingine. Algorithm itazingatia ushawishi wa nyanja hizi wakati wa kuchambua na kuonyesha maadili "yenye ushawishi" zaidi.
Baada ya uzinduzi, kitu kama hiki kitaonekana kwenye kiolesura cha Kibana.
Hii ndio inayoitwa ramani ya joto ya hitilafu kwa kila thamani ya uga OriginAirportID, ambayo tulionyesha katika Gawanya Data. Kama ilivyo kwa Metric Moja, rangi huonyesha kiwango cha mkengeuko usio wa kawaida. Ni rahisi kufanya uchambuzi sawa, kwa mfano, kwenye vituo vya kazi ili kufuatilia wale walio na idadi kubwa ya idhini, nk. Tayari tuliandika , ambayo pia inaweza kukusanywa na kuchambuliwa hapa.
Chini ya ramani ya joto kuna orodha ya hitilafu, kutoka kwa kila moja unaweza kubadili mwonekano wa Metric Moja kwa uchanganuzi wa kina.
Idadi ya Watu
Ili kutafuta hitilafu kati ya uunganisho kati ya vipimo tofauti, Rafu ya Elastic ina uchanganuzi maalum wa Idadi ya Watu. Ni kwa msaada wake kwamba unaweza kutafuta maadili yasiyo ya kawaida katika utendaji wa seva ikilinganishwa na wengine wakati, kwa mfano, idadi ya maombi kwa mfumo unaolengwa huongezeka.
Katika kielelezo hiki, sehemu ya Idadi ya Watu inaonyesha thamani ambayo metriki zilizochanganuliwa zitahusiana. Katika kesi hii ni jina la mchakato. Kama matokeo, tutaona jinsi mzigo wa processor wa kila mchakato ulivyoathiri kila mmoja.
Tafadhali kumbuka kuwa grafu ya data iliyochanganuliwa inatofautiana na kesi za Metric Single na Multi Metric. Hii ilifanywa huko Kibana kwa kubuni kwa mtazamo ulioboreshwa wa usambazaji wa maadili ya data iliyochanganuliwa.
Grafu inaonyesha kuwa mchakato ulifanyika kwa njia isiyo ya kawaida mkazo (kwa njia, inayotokana na matumizi maalum) kwenye seva poipu, ambaye alishawishi (au kuwa mshawishi) kutokea kwa hitilafu hii.
Ya juu
Uchanganuzi ulio na urekebishaji mzuri. Kwa uchanganuzi wa hali ya juu, mipangilio ya ziada inaonekana katika Kibana. Baada ya kubofya tile ya Juu katika orodha ya uumbaji, dirisha hili na tabo linaonekana. Kichupo maelezo ya kazi Tuliiruka kwa makusudi, kuna mipangilio ya msingi isiyohusiana moja kwa moja na kuweka uchanganuzi.
Π summary_count_field_name Kwa hiari, unaweza kubainisha jina la sehemu kutoka kwa hati zilizo na maadili yaliyojumlishwa. Katika mfano huu, idadi ya matukio kwa dakika. KATIKA huonyesha jina na thamani ya sehemu kutoka kwa hati ambayo ina thamani fulani ya kutofautiana. Kwa kutumia mask kwenye uwanja huu, unaweza kugawanya data iliyochambuliwa katika vikundi vidogo. Makini na kifungo Ongeza kigunduzi katika kielelezo kilichotangulia. Chini ni matokeo ya kubofya kitufe hiki.
Hapa kuna kizuizi cha ziada cha mipangilio ya kusanidi kigunduzi kisicho cha kawaida kwa kazi fulani. Tunapanga kujadili kesi maalum za utumiaji (haswa zile za usalama) katika vifungu vifuatavyo. Kwa mfano, moja ya kesi zilizovunjwa. Inahusishwa na utafutaji wa thamani zinazoonekana mara chache na inatekelezwa .
katika uwanja kazi Unaweza kuchagua chaguo maalum ili kutafuta hitilafu. Isipokuwa nadra, kuna kazi kadhaa za kupendeza zaidi - . Wanatambua hitilafu katika tabia ya vipimo siku nzima au wiki, mtawalia. Kazi zingine za uchambuzi .
Π shamba_jina inaonyesha uwanja wa hati ambayo uchambuzi utafanyika. Kwa_jina_la_uwanja inaweza kutumika kutenganisha matokeo ya uchanganuzi kwa kila thamani ya mtu binafsi ya sehemu ya hati iliyobainishwa hapa. Ukijaza over_field_name unapata uchanganuzi wa idadi ya watu tuliojadili hapo juu. Ukibainisha thamani ndani partition_field_name, basi kwa uwanja huu wa hati misingi tofauti itahesabiwa kwa kila thamani (thamani inaweza kuwa, kwa mfano, jina la seva au mchakato kwenye seva). KATIKA kuwatenga_mara kwa mara anaweza kuchagua zote au hakuna, ambayo itamaanisha kuwatenga (au kujumuisha) thamani za sehemu za hati zinazotokea mara kwa mara.
Katika makala haya, tulijaribu kutoa wazo fupi iwezekanavyo kuhusu uwezo wa kujifunza kwa mashine kwenye Rafu ya Elastic; bado kuna maelezo mengi yaliyoachwa nyuma ya pazia. Tuambie kwenye maoni ni kesi zipi ulizoweza kutatua kwa kutumia Rafu ya Elastic na ni kazi gani unaitumia. Ili kuwasiliana nasi, unaweza kutumia ujumbe wa kibinafsi kwenye HabrΓ© au .
Chanzo: mapenzi.com