Aynu dib u xasuusanno in Stack Elastic uu ku salaysan yahay xogta Elasticsearch ee aan xidhiidh la lahayn, Kibana web interface iyo xog ururiyayaasha iyo soo-saareyaasha (Logstash-ka ugu caansan, garaaca kala duwan, APM iyo kuwa kale). Mid ka mid ah waxyaabaha ugu wanagsan ee lagu daro dhammaan kaydka alaabta ee taxan ayaa ah falanqaynta xogta iyadoo la adeegsanayo algorithms barashada mashiinka. Maqaalka waxaan ku fahamnay waxa algorithms-yadani yihiin. Fadlan bisad hoosteeda.
Barashada mishiinku waa sifada lacag bixinta ee shareware Elastic Stack waxaana lagu daraa X-Pack-ka. Si aad u bilowdo isticmaalkeeda, kaliya shaqa geli tijaabada 30-maalmood kadib rakibidda. Ka dib wakhtiga tijaabada ahi uu dhaco, waxaad codsan kartaa taageero si aad u kordhiso ama u iibsato rukhsad. Qiimaha is-diiwaangelinta waxaa lagu xisaabiyaa kumana salaysna mugga xogta, laakiin waxay ku salaysan tahay tirada noodhka la isticmaalo. Maya, mugga xogta, dabcan, waxay saamaysaa tirada qanjidhada loo baahan yahay, laakiin weli habkan shati-siinta ayaa aad u bini'aadantinimo marka loo eego miisaaniyadda shirkadda. Haddii aysan jirin baahi loo qabo wax soo saar sare, waxaad badbaadin kartaa lacag.
ML ee ku jira Stack Elastic waxa ay ku qoran tahay C++ oo ka baxsan JVM, kaas oo Elasticsearch laftiisu ku shaqeeyo. Taasi waa, habka (sida, waxaa loo yaqaan autodetect) waxay cuntaa wax kasta oo JVM uusan liqin. Marka la eego bandhiga muujinta tani maaha mid aad muhiim u ah, laakiin deegaanka wax soo saarka waxaa muhiim ah in loo qoondeeyo noodhadhka hawlaha ML.
Algorithms-yada barashada mashiinka waxay u kala baxaan laba qaybood - ΠΈ . Qaybta Elastic, algorithmamka waxa ay ku jirtaa qaybta "aan la ilaalin". By Waxaad arki kartaa qalabka xisaabta ee algorithms-yada barashada mashiinka.
Si loo sameeyo falanqaynta, algorithm barashada mashiinka waxay isticmaashaa xogta lagu kaydiyay tusmooyinka Elasticsearch. Waxaad ka abuuri kartaa hawlaha falanqaynta labadaba Kibana interface iyo API. Haddii aad tan ku sameyso Kibana, markaa uma baahnid inaad wax ka ogaato. Tusaale ahaan, tusiyaal dheeraad ah oo algorithmisku isticmaalo inta lagu jiro hawlgalkiisa.
Tilmaamo dheeraad ah oo loo isticmaalo habka falanqaynta.ml-state - macluumaadka ku saabsan moodooyinka tirakoobka (goobyada falanqaynta);
.ml-anomalies-* - natiijooyinka ML algorithms;
.ml-ogeysiinta - dejinta ogeysiisyada ku salaysan natiijooyinka falanqaynta.
Qaab dhismeedka xogta ee kaydka Elasticsearch wuxuu ka kooban yahay tusiyaal iyo dukumeenti lagu kaydiyay. Marka la barbar dhigo kaydka xogta ee xidhiidhka ah, tusmaynta waxa la barbar dhigi karaa schema database, iyo dukumeentiga diiwaanka miis ku jira. Isbarbardhiggani waa shuruud waxaana loo bixiyay si loo fududeeyo fahamka walxo dheeraad ah kuwa kaliya ee maqlay Elasticsearch.
Shaqaynta isku midka ah ayaa laga heli karaa API-ga sida iyada oo loo marayo interface interface, markaa si loo caddeeyo iyo fahamka fikradaha, waxaan ku tusi doonaa sida loo habeeyo iyada oo loo marayo Kibana. Menu-ka bidix waxa ku yaal qaybta Barashada Mashiinka halkaas oo aad ku abuuri karto Shaqo cusub. Isku xirka Kibana waxay u egtahay sawirka hoose. Hadda waxaan falanqeyn doonaa nooc kasta oo hawl ah waxaanan muujin doonaa noocyada falanqaynta ee halkan laga dhisi karo.
Hal mitir - falanqaynta hal mitir, Multi Metric - falanqaynta laba ama ka badan mitir. Labada xaaladoodba, mitir kasta waxaa lagu falanqeeyay deegaan go'doonsan, i.e. Algorithm-ku kuma xisaabtamayo hab-dhaqanka cabbirrada la falanqeeyay ee isbar-bar socda, maadaama ay u ekaan karto xaaladda Multi Metric. Si loo sameeyo xisaabinta iyadoo la tixgelinayo isku-xirnaanta cabbirrada kala duwan, waxaad isticmaali kartaa falanqaynta dadweynaha. Advanced waxa ay si fiican u hagaajinaysaa algorithms-yada oo leh doorashooyin dheeraad ah oo loogu talagalay hawlaha qaarkood.
Halbeeg keliya
Falanqaynta isbeddelada hal mitir ayaa ah waxa ugu fudud ee halkan lagu samayn karo. Kadib markaad gujiso Abuur Shaqo, algorithm waxay raadin doontaa cillado.
In berrinka Isku darid waxaad dooran kartaa hab lagu raadiyo cilladaha. Tusaale ahaan, marka Min qiyamka ka hooseeya qiyamka caadiga ah waxaa loo tixgelin doonaa wax aan caadi ahayn. Cun Ugu badnaan, macne sare, hoose, dhexdhexaad, ka duwan iyo kuwo kale. Sharaxaadaha dhammaan hawlaha waa la heli karaa .
In berrinka Field waxay tilmaamaysaa goobta tirada ee dukumeentiga aan ku samayn doono falanqaynta.
In berrinka - granularity of intervals ee waqtiga oo ay weheliyaan falanqaynta la fulin doono. Waad aamini kartaa otomaatiga ama waxaad dooran kartaa gacanta. Sawirka hoose waa tusaale muujinta granularity oo aad u hooseeya - waxaa laga yaabaa inaad seegto cillad la'aanta. Isticmaalka goobtan, waxaad u bedeli kartaa dareenka algorithm ee cilladaha.
Muddada xogta la ururiyey waa shay muhiim ah oo saameeya waxtarka falanqaynta. Inta lagu jiro falanqaynta, algorithm wuxuu tilmaamayaa dhexda soo noqnoqda, wuxuu xisaabiyaa inta u dhexaysa kalsoonida (saldhigyada) wuxuuna aqoonsadaa cilladaha - weecsanaanta caadiga ah ee mitirka. Tusaale ahaan:
Saldhigyada leh xog yar:
Marka algorithmisku leeyahay wax laga barto, salku wuxuu u eg yahay sidan:
Kadib bilawga hawsha, algorithm wuxuu go'aamiyaa weecsanaan aan caadi ahayn oo ka yimid heerka caadiga ah wuxuuna u darajeynayaa iyaga iyadoo loo eegayo suurtogalnimada cillad (midabka calaamadda u dhiganta ayaa lagu muujiyey jaantusyada):
Digniin (buluug): in ka yar 25
Yar (jaalle): 25-50
Weyn (oranji): 50-75
Halis ah (cas): 75-100
Jaantuska hoose wuxuu muujinayaa tusaale cilladaha la helay.
Halkan waxaad ka arki kartaa lambarka 94, kaas oo tilmaamaya suurtogalnimada cillad la'aan. Way caddahay in maadaama qiimihiisu ku dhow yahay 100, waxay la macno tahay in aan leenahay cillad. Tiirka ka hooseeya garaafku wuxuu muujinayaa ixtimaalka yar ee 0.000063634% ee qiimaha mitirka ee ka muuqda halkaas.
Ka sokow raadinta cilladaha, waxaad samayn kartaa saadaalinta Kibana. Tan waxaa loo sameeyaa si fudud oo laga soo bilaabo isla aragtida iyada oo leh cillado - badhanka Saadaasha geeska sare ee midig.
Saadaasha waxaa la sameeyaa ugu badnaan 8 toddobaad ka hor. Xitaa haddii aad runtii rabto, hadda suurtagal maaha naqshad ahaan.
Xaaladaha qaarkood, saadaasha waxay noqon doontaa mid faa'iido leh, tusaale ahaan, marka la kormeerayo culeyska isticmaalaha ee kaabayaasha.
Multi Metric
Aan u gudubno sifada ML ee soo socota ee ku jirta Elastic Stack - anagoo falanqaynayna dhowr halbeeg oo hal dufcadood ah. Laakiin tani macnaheedu maaha in ku tiirsanaanta hal mitir oo kale la falanqayn doono. Tani waxay la mid tahay Hal Metric, laakiin leh halbeegyo badan oo hal shaashad ah si fudud loo barbardhigo saameynta midba midka kale. Waxaan kaga hadli doonaa falanqaynta ku tiirsanaanta hal mitir oo kale qaybta Dadweynaha.
Kadib markaad gujiso afargeeska leh Multi Metric, daaqad leh habayn ayaa soo bixi doonta. Aynu si faahfaahsan u eegno iyaga.
Marka hore waxaad u baahan tahay inaad doorato goobaha falanqaynta iyo isku-darka xogta iyaga. Ikhtiyaarada isu geynta halkan waxay la mid yihiin kuwa Halbeegga (Single Metric).Ugu badnaan, macne sare, hoose, dhexdhexaad, ka duwan iyo kuwo kale). Dheeraad ah, haddii la doonayo, xogta waxaa loo qaybiyaa mid ka mid ah beeraha (field Kala-bax Xog). Tusaalaha, waxaanu tan ku samaynay garoonka dhexdiisa OriginAirportID. U fiirso in jaantuska mitirka ee midigta hadda loo soo bandhigay garaafyo badan.
field Goobaha Muhiimka ah (Saameeyayaal) waxay si toos ah u saamaysaa cilladaha la ogaaday. Sida caadiga ah had iyo jeer waxaa jiri doona ugu yaraan hal qiime halkan, waxaadna ku dari kartaa kuwo dheeraad ah. Algorithm-ka wuxuu tixgelin doonaa saameynta meelahan marka la falanqeynayo oo uu muujinayo qiyamka "saameynta leh" ee ugu badan.
Daah-furka ka dib, wax sidan oo kale ah ayaa ka soo muuqan doona interface-ka Kibana.
Tani waa waxa loogu yeero Khariidadda kulaylka ee cilladaha aan caadiga ahayn ee qiimaha goob kasta OriginAirportID, oo aanu ku tilmaanay Kala-bax Xog. Sida Metric Single, midabku wuxuu muujinayaa heerka leexashada aan caadiga ahayn. Way ku habboon tahay in la sameeyo falanqayn la mid ah, tusaale ahaan, goobaha shaqada si loo daba galo kuwa leh tiro badan oo oggolaansho ah, iwm. Horay ayaanu u qornay , oo waliba halkan lagu soo ururin karo laguna lafo-guro.
Hoosta khariidadda kulaylka waxaa ku yaal liiska cilladaha, mid kasta waxaad u beddeli kartaa aragtida Halbeegga Halbeegga ah ee falanqaynta faahfaahsan.
Dadweynaha
Si loo raadiyo cilladaha ka dhexeeya isku xirnaanta cabbirrada kala duwan, Elastic Stack wuxuu leeyahay falanqaynta dadweynaha ee gaarka ah. Waa iyada oo caawinteeda aad ka raadin karto qiyamka aan caadiga ahayn ee waxqabadka serverka marka la barbar dhigo kuwa kale marka, tusaale ahaan, tirada codsiyada nidaamka bartilmaameedka ay kordho.
Sawirkan, goobta dadku waxay tilmaamaysaa qiimaha ay cabbirada la lafaguray la xidhiidhi doono. Xaaladdan oo kale waa magaca habka. Natiijo ahaan, waxaan arki doonaa sida culeyska processor-ka ee hab kasta uu midba midka kale u saameeyay.
Fadlan ogow in garaafka xogta la falanqeeyay uu ka duwan yahay kiisaska leh Hal Metric iyo Multi Metric. Tan waxaa lagu sameeyay Kibana iyadoo loo naqshadeeyay aragtida la wanaajiyay ee qaybinta qiyamka xogta la falanqeeyay.
Jaantusku waxa uu tusinayaa in hawshu u dhaqantay si aan caadi ahayn stress (sida, oo ay soo saartay utility gaar ah) ee server-ka shuban, yaa saameeyay (ama noqday wax saameeya) dhacdadan anoma.
Advanced
Falanqaynta oo leh hagaajin wanaagsan. Falanqaynta sare leh, dejin dheeraad ah ayaa ka muuqda Kibana. Ka dib markaad gujiso tile Advanced ee ku jira menu-abuurka, daaqadan tabs ayaa soo muuqata. Tab Faahfaahinta Shaqada Waxaan uga boodnay si ula kac ah, waxaa jira goobo aasaasi ah oo aan si toos ah ula xiriirin dejinta falanqaynta.
Π kooban_count_field_name Ikhtiyaar ahaan, waxaad ku qeexi kartaa magaca goobta dukumeenti ka kooban qiimayaal la isku daray. Tusaalahan, tirada dhacdooyinka daqiiqadii. IN waxay tilmaamaysaa magaca iyo qiimaha goobta dukumeentiga oo ka kooban qiimo doorsooma. Isticmaalka maaskaro goobtan, waxaad u kala qaybin kartaa xogta la falanqeeyay qaybo-hoosaadyo. U fiirso badhanka Ku dar baaraha ee sawirka hore. Hoos waxaa ku yaal natiijada gujinta badhanka.
Halkan waxaa ah baloog dheeraad ah oo habayn ah oo loogu talagalay habaynta cillad-sheegaha hawl gaar ah. Waxaan qorsheyneynaa inaan ka hadalno kiisaska isticmaalka gaarka ah (gaar ahaan kuwa amniga) maqaallada soo socda. Tusaale ahaan, mid ka mid ah kiisas la kala diray. Waxay la xiriirtaa raadinta qiyamka soo muuqda oo dhif ah waana la hirgeliyaa .
In berrinka function Waxaad dooran kartaa hawl gaar ah si aad u raadiso cilladaha. Marka laga reebo dhif, waxaa jira laba hawlood oo aad u xiiso badan - . Waxay aqoonsadaan cilladaha ku jira hab-dhaqanka cabbirrada maalinta ama toddobaadka oo dhan, siday u kala horreeyaan. Hawlaha kale ee falanqaynta .
Π garoonka_name waxay tilmaamaysaa goobta dukumeentigu ku saabsan yahay falanqaynta lagu samayn doono. Magaca_goobta waxaa loo isticmaali karaa in lagu kala saaro natiijooyinka falanqaynta ee qiime kasta oo gaar ah ee goobta dukumeentigu halkan ku qeexan. Haddii aad buuxiso in ka badan_field_name Waxaad helaysaa falanqaynta dadweynaha ee aan kor kaga soo hadalnay. Haddii aad qeexdo qiimaha gudaha partition_field_name, ka dibna goobtan dukumeentigu waxay u xisaabin doonaan saldhigyo gaar ah qiimo kasta (qiimuhu wuxuu noqon karaa, tusaale ahaan, magaca serverka ama nidaamka serverka). IN ka reebid_soo noqnoqda dooran kartaa oo dhan ama ma jiro, taas oo macnaheedu noqon doono in laga reebo (ama lagu daro) qiimaha dukumeentiga ee inta badan dhaca.
Maqaalkan, waxaan isku daynay inaan bixinno fikrad kooban oo suurtagal ah oo ku saabsan awoodaha barashada mashiinka ee Elastic Stack; waxaa weli jira tafaasiil badan oo laga tagay muuqaallada. Noo sheeg faallooyinka xaaladaha aad ku guulaysatay inaad xalliso adoo isticmaalaya Elastic Stack iyo hawlaha aad u isticmaasho. Si aad nala soo xidhiidho, waxaad isticmaali kartaa fariimaha gaarka ah HabrΓ© ama .
Source: www.habr.com