{"id":35274,"date":"2019-10-31T22:03:22","date_gmt":"2019-10-31T19:03:22","guid":{"rendered":"https:\/\/prohoster.info\/blog\/razbiraemsya-s-machine-learning-v-elastic-stack-on-zhe-elasticsearch-on-zhe-elk\/"},"modified":"2019-10-31T22:03:22","modified_gmt":"2019-10-31T19:03:22","slug":"razbiraemsya-s-machine-learning-v-elastic-stack-on-zhe-elasticsearch-on-zhe-elk","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/razbiraemsya-s-machine-learning-v-elastic-stack-on-zhe-elasticsearch-on-zhe-elk","title":{"rendered":"R\u00e9szletezve a Machine Learning-et az Elastic Stack-ben (m\u00e1s n\u00e9ven Elasticsearch, m\u00e1s n\u00e9ven ELK)","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"R\u00e9szletezve
\n
\nEml\u00e9keztetj\u00fck, hogy az Elastic Stack alapj\u00e1t a rel\u00e1ci\u00f3s adatb\u00e1zis n\u00e9lk\u00fcli Elasticsearch, a Kibana webes fel\u00fclet \u00e9s az adatok gy\u0171jt\u0151-feldolgoz\u00f3 eszk\u00f6z\u00f6k (legismertebb a Logstash, k\u00fcl\u00f6nb\u00f6z\u0151 Beats, APM \u00e9s m\u00e1sok) alkotj\u00e1k. Az eml\u00edtett term\u00e9kcsomag kellemes kieg\u00e9sz\u00edt\u0151je az adatelemz\u00e9s g\u00e9pi tanul\u00e1si algoritmusok seg\u00edts\u00e9g\u00e9vel. A cikkben azt vizsg\u00e1ljuk, hogy milyen algoritmusokkal van dolgunk. K\u00e9rj\u00fck, kattintson a folytat\u00e1shoz.
\n<\/a><\/noindex>
\nA g\u00e9pi tanul\u00e1s egy fizet\u0151s funkci\u00f3 a felt\u00e9telesen ingyenes Elastic Stack-ben, amely az X-Pack csomag r\u00e9sze. A haszn\u00e1lat\u00e1nak megkezd\u00e9s\u00e9hez elegend\u0151 telep\u00edt\u00e9s ut\u00e1n aktiv\u00e1lni a 30 napos pr\u00f3baverzi\u00f3t. A pr\u00f3baid\u0151szak lej\u00e1rta ut\u00e1n k\u00e9rheti a t\u00e1mogat\u00e1st a meghosszabb\u00edt\u00e1sra, vagy megv\u00e1s\u00e1rolhat egy el\u0151fizet\u00e9st. Az el\u0151fizet\u00e9s k\u00f6lts\u00e9ge nem az adatmennyis\u00e9gt\u0151l, hanem a haszn\u00e1lt node-ok sz\u00e1m\u00e1t\u00f3l f\u00fcgg. Igen, az adatmennyis\u00e9g term\u00e9szetesen befoly\u00e1solja a sz\u00fcks\u00e9ges node-ok sz\u00e1m\u00e1t, de a licencel\u00e9si megk\u00f6zel\u00edt\u00e9s m\u00e9gis hum\u00e1nusabb a c\u00e9g k\u00f6lts\u00e9gvet\u00e9s\u00e9hez k\u00e9pest. Ha nincs sz\u00fcks\u00e9g magas teljes\u00edtm\u00e9nyre, lehet sp\u00f3rolni.<\/p>\n

Az ML az Elastic Stack-ben C++ nyelven \u00edr\u00f3dott \u00e9s a JVM-en k\u00edv\u00fcl m\u0171k\u00f6dik, amelyen mag\u00e1val az Elasticsearch-szel forog. Teh\u00e1t a folyamat (amely egy\u00e9bk\u00e9nt autodetect n\u00e9ven ismert) minden olyan adatot elfogyaszt, amit a JVM nem tud kezelni. A dem\u00f3standon ez nem olyan kritikus, de termel\u00e9si k\u00f6rnyezetben fontos, hogy k\u00fcl\u00f6n node-okat k\u00fcl\u00f6n\u00edts\u00fcnk el a ML feladatokhoz.<\/p>\n

A g\u00e9pi tanul\u00e1si algoritmusok k\u00e9t kateg\u00f3ri\u00e1ba sorolhat\u00f3k \u2014 fel\u00fcgyelt<\/a><\/noindex> \u00e9s fel\u00fcgyelet n\u00e9lk\u00fcli<\/a><\/noindex>. Az Elastic Stack-ben a fel\u00fcgyelet n\u00e9lk\u00fcli kateg\u00f3ri\u00e1ba tartozik az algoritmus. A ezen a linken<\/a><\/noindex> matematikai keretrendszer\u00e9t meg lehet n\u00e9zni a g\u00e9pi tanul\u00e1si algoritmusoknak.<\/p>\n

Az algoritmus a g\u00e9pi tanul\u00e1s elemz\u00e9s\u00e9nek elv\u00e9gz\u00e9s\u00e9hez az Elasticsearch indexeiben t\u00e1rolt adatokat haszn\u00e1lja. Elemz\u00e9si feladatokat l\u00e9trehozni lehet a Kibana fel\u00fclet\u00e9r\u0151l \u00e9s API-n kereszt\u00fcl is. Ha a Kibana-n kereszt\u00fcl v\u00e9gezz\u00fck, nem sz\u00fcks\u00e9ges bizonyos dolgokat tudni. P\u00e9ld\u00e1ul az algoritmus \u00e1ltal a munkafolyamat sor\u00e1n haszn\u00e1lt kieg\u00e9sz\u00edt\u0151 indexek. <\/p>\n

A munkafolyamat sor\u00e1n haszn\u00e1lt kieg\u00e9sz\u00edt\u0151 indexek<\/b>.ml-state \u2014 inform\u00e1ci\u00f3 a statisztikai modellekr\u0151l (elemz\u00e9si be\u00e1ll\u00edt\u00e1sok);
\n.ml-anomalies-* \u2014 az ML algoritmusok eredm\u00e9nyei;
\n.ml-notifications \u2014 az elemz\u00e9si eredm\u00e9nyek \u00e9rtes\u00edt\u00e9seinek be\u00e1ll\u00edt\u00e1sai.<\/p>\n

\"R\u00e9szletezve
\n
\nAz Elasticsearch adatb\u00e1zis adatstrukt\u00far\u00e1ja indexekb\u0151l \u00e9s az azokban t\u00e1rolt dokumentumokb\u00f3l \u00e1ll. Ha a rel\u00e1ci\u00f3s adatb\u00e1zissal \u00f6sszehasonl\u00edtjuk, az index hasonl\u00edthat\u00f3 az adatb\u00e1zis s\u00e9m\u00e1j\u00e1hoz, m\u00edg a dokumentum a t\u00e1bl\u00e1zat rekordj\u00e1nak felel meg. Ez a hasonlat felt\u00e9teles, \u00e9s az\u00e9rt ker\u00fclt el\u0151, hogy megk\u00f6nny\u00edtse a tov\u00e1bbi anyag meg\u00e9rt\u00e9s\u00e9t azok sz\u00e1m\u00e1ra, akik csak hallottak az Elasticsearchr\u0151l.<\/p>\n

Az API-n kereszt\u00fcl el\u00e9rhet\u0151 funkci\u00f3k megegyeznek a webes interf\u00e9sszel, ez\u00e9rt a koncepci\u00f3k meg\u00e9rt\u00e9se \u00e9rdek\u00e9ben bemutatjuk, hogyan \u00e1ll\u00edthatjuk be a Kibana-t. A bal oldali men\u00fcben tal\u00e1lhat\u00f3 a Machine Learning r\u00e9sz, ahol \u00faj feladatot (Job) hozhatunk l\u00e9tre. A Kibana interf\u00e9sze az al\u00e1bbi k\u00e9pen l\u00e1that\u00f3. Most \u00e1ttekintj\u00fck a feladatok t\u00edpusait, \u00e9s bemutatjuk azokat az elemz\u00e9si m\u00f3dszereket, amelyeket itt \u00f6ssze\u00e1ll\u00edthatunk.<\/p>\n

\"R\u00e9szletezve
\n
\nSingle Metric \u2014 egy metrika elemz\u00e9se, Multi Metric \u2014 k\u00e9t vagy t\u00f6bb metrika elemz\u00e9se. Mindk\u00e9t esetben az egyes metrik\u00e1k izol\u00e1lt k\u00f6rnyezetben ker\u00fclnek elemz\u00e9sre, azaz az algoritmus nem veszi figyelembe a p\u00e1rhuzamosan elemzett metrik\u00e1k viselked\u00e9s\u00e9t, ahogyan az a Multi Metric eset\u00e9ben t\u0171nhetett. Az elt\u00e9r\u0151 metrik\u00e1k korrel\u00e1ci\u00f3j\u00e1nak figyelembev\u00e9tel\u00e9hez Population-elemz\u00e9st lehet alkalmazni. Az Advanced pedig egy finomhangol\u00e1s, amely extra opci\u00f3kkal l\u00e1tja el az algoritmusokat a specifikus feladatokhoz. <\/p>\n

Single Metric<\/h2>\n

\nAz egyetlen metrika v\u00e1ltoz\u00e1sainak elemz\u00e9se a legegyszer\u0171bb feladat, amit itt v\u00e9gezhet\u00fcnk. A Create Job gombra kattintva az algoritmus anom\u00e1li\u00e1kat keres.<\/p>\n

\"R\u00e9szletezve
\n
\nA mez\u0151ben Aggregation<\/i> itt kiv\u00e1laszthatja az anom\u00e1li\u00e1k keres\u00e9s\u00e9nek megk\u00f6zel\u00edt\u00e9s\u00e9t. P\u00e9ld\u00e1ul, ha Min<\/i> az anom\u00e1li\u00e1nak sz\u00e1m\u00edt\u00f3 \u00e9rt\u00e9kek az \u00e1tlagos \u00e9rt\u00e9kek alattiak lesznek. L\u00e9tezik Max, High Mean, Low, Mean, Distinct<\/i> \u00e9s m\u00e1sok. Minden funkci\u00f3 le\u00edr\u00e1s\u00e1t megtekintheti a linken<\/a><\/noindex>.<\/p>\n

A mez\u0151ben Field<\/i> az a numerikus mez\u0151, amelyet a dokumentumban az elemz\u00e9shez haszn\u00e1lunk.<\/p>\n

A mez\u0151ben Bucket span<\/i><\/a><\/noindex> \u2014 a vizsg\u00e1lni k\u00edv\u00e1nt id\u0151vonal megoszt\u00e1s\u00e1nak r\u00e9szletess\u00e9ge. Megb\u00edzhat az automatikus be\u00e1ll\u00edt\u00e1sokban, vagy manu\u00e1lisan is v\u00e1laszthat. Az al\u00e1bbi k\u00e9pen egy t\u00fal alacsony r\u00e9szletess\u00e9g\u0171 p\u00e9lda l\u00e1that\u00f3 \u2014 lehet, hogy egy anom\u00e1li\u00e1t elker\u00fcl. Ezzel a be\u00e1ll\u00edt\u00e1ssal m\u00f3dos\u00edthatja az algoritmus \u00e9rz\u00e9kenys\u00e9g\u00e9t az anom\u00e1li\u00e1kra.<\/p>\n

\"R\u00e9szletezve
\n
\nAz \u00f6sszegy\u0171jt\u00f6tt adatok id\u0151tartama \u2014 kulcsfontoss\u00e1g\u00fa dolog, amely befoly\u00e1solja az elemz\u00e9s hat\u00e9konys\u00e1g\u00e1t. Az elemz\u00e9s sor\u00e1n az algoritmus meghat\u00e1rozza az ism\u00e9tl\u0151d\u0151 intervallumokat, kisz\u00e1m\u00edtja a megb\u00edzhat\u00f3s\u00e1gi intervallumot (alapvonalakat), \u00e9s azonos\u00edtja az anom\u00e1li\u00e1kat \u2014 az \u00e1tlagos viselked\u00e9st\u0151l val\u00f3 elt\u00e9r\u00e9seket. P\u00e9ld\u00e1ul:<\/p>\n

Alapvonalak kis adatsor eset\u00e9n:<\/p>\n

\"R\u00e9szletezve
\n
\nAmikor az algoritmusnak van mit tanulnia - az alapvonalak \u00edgy n\u00e9znek ki:<\/p>\n

\"R\u00e9szletezve
\n
\nA feladat elind\u00edt\u00e1sa ut\u00e1n az algoritmus meghat\u00e1rozza a norm\u00e1t\u00f3l val\u00f3 anom\u00e1lis elt\u00e9r\u00e9seket, \u00e9s azokat az anom\u00e1lia val\u00f3sz\u00edn\u0171s\u00e9ge szerint rangsorolja (z\u00e1r\u00f3jelben a megfelel\u0151 jel\u00f6l\u00e9s sz\u00edne):<\/p>\n

Figyelmeztet\u00e9s (k\u00e9k): kevesebb mint 25
\nKisebb (s\u00e1rga): 25-50
\nJelent\u0151s (narancs): 50-75
\nKritikus (piros): 75-100<\/p>\n

Az al\u00e1bbi grafikon egy p\u00e9ld\u00e1t mutat az \u00e9szlelt anom\u00e1li\u00e1kkal.<\/p>\n

\"R\u00e9szletezve
\n
\nItt l\u00e1that\u00f3 a 94-es sz\u00e1m, amely az anom\u00e1lia val\u00f3sz\u00edn\u0171s\u00e9g\u00e9t jelzi. Nyilv\u00e1nval\u00f3, hogy mivel az \u00e9rt\u00e9k k\u00f6zel van a 100-hoz, egy anom\u00e1lia \u00e1ll el\u0151tt\u00fcnk. A grafikon alatt tal\u00e1lhat\u00f3 oszlopban egy minim\u00e1lis val\u00f3sz\u00edn\u0171s\u00e9g van felt\u00fcntetve: 0.000063634%.<\/p>\n

Az anom\u00e1li\u00e1k keres\u00e9s\u00e9n k\u00edv\u00fcl a Kibana-ban el\u0151rejelz\u00e9st is futtathatunk. Ez egyszer\u0171en megtehet\u0151 ugyanabb\u00f3l a n\u00e9zetb\u0151l, ahol az anom\u00e1li\u00e1k is tal\u00e1lhat\u00f3ak - gomb: El\u0151rejelz\u00e9s<\/i> a jobb fels\u0151 sarokban.<\/p>\n

\"R\u00e9szletezve
\n
\nAz el\u0151rejelz\u00e9s legfeljebb 8 h\u00e9tre el\u0151re k\u00e9sz\u00fcl. M\u00e9g ha nagyon szeretn\u00e9nk is - t\u00f6bbet nem lehet tervezett m\u00f3don.<\/p>\n

\"R\u00e9szletezve
\n
\nBizonyos helyzetekben az el\u0151rejelz\u00e9s nagyon hasznos lehet, p\u00e9ld\u00e1ul amikor a felhaszn\u00e1l\u00f3i terhel\u00e9st nyomon k\u00f6vetj\u00fck az infrastrukt\u00far\u00e1n.<\/p>\n

T\u00f6bb metrikus<\/h2>\n

\nT\u00e9rj\u00fcnk \u00e1t a k\u00f6vetkez\u0151 ML lehet\u0151s\u00e9gre az Elastic Stack-ben - t\u00f6bb metrika egy\u00fcttes elemz\u00e9se. De ez nem jelenti azt, hogy az egyik metrika f\u00fcgg\u0151s\u00e9g\u00e9t a m\u00e1sikt\u00f3l fogj\u00e1k elemezni. Ez ugyanaz, mint a Single Metric, csup\u00e1n t\u00f6bb metrika l\u00e9tezik egy k\u00e9perny\u0151n az egym\u00e1ssal val\u00f3 \u00f6sszehasonl\u00edt\u00e1s k\u00e9nyelme \u00e9rdek\u00e9ben. Az egyik metrika m\u00e1sikkal val\u00f3 f\u00fcgg\u0151s\u00e9g\u00e9t a Population r\u00e9szben fogjuk ismertetni.<\/p>\n

A Multi Metric n\u00e9gyzetre kattintva egy be\u00e1ll\u00edt\u00e1si ablak jelenik meg. R\u00e9szletesebben \u00e1ttekintj\u00fck \u0151ket.<\/p>\n

\"R\u00e9szletezve
\n
\nEl\u0151sz\u00f6r ki kell v\u00e1lasztani az elemz\u00e9shez sz\u00fcks\u00e9ges mez\u0151ket \u00e9s az adatok aggreg\u00e1ci\u00f3j\u00e1t. Az aggreg\u00e1ci\u00f3s lehet\u0151s\u00e9gek ugyanazok, mint a Single Metric eset\u00e9ben (Max, High Mean, Low, Mean, Distinct<\/i> \u00e9s m\u00e1sok). Ezt k\u00f6vet\u0151en az adatok, ha sz\u00fcks\u00e9ges, kib\u0151v\u00edthet\u0151k egy mez\u0151 alapj\u00e1n (a mez\u0151: Adatok feloszt\u00e1sa<\/i>). A p\u00e9ld\u00e1ban ezt az OriginAirportID<\/i>mez\u0151 alapj\u00e1n tett\u00fck. Vegye figyelembe, hogy a jobb oldalon tal\u00e1lhat\u00f3 metrik\u00e1k grafikonja most t\u00f6bb grafikon form\u00e1j\u00e1ban jelenik meg.<\/p>\n

\"R\u00e9szletezve
\n
\nMez\u0151 Kulcsmez\u0151k (Befoly\u00e1sol\u00f3k)<\/i> k\u00f6zvetlen hat\u00e1ssal van az \u00e9szlelt anom\u00e1li\u00e1kra. Alap\u00e9rtelmez\u00e9s szerint itt mindig lesz legal\u00e1bb egy \u00e9rt\u00e9k, de \u00d6n tov\u00e1bbiakat is hozz\u00e1adhat. Az algoritmus figyelembe veszi ezen mez\u0151k hat\u00e1s\u00e1t az elemz\u00e9s sor\u00e1n, \u00e9s megjelen\u00edti a leg \u201ebefoly\u00e1sosabb\u201d \u00e9rt\u00e9keket.<\/p>\n

A Kibana fel\u00fclet\u00e9n ind\u00edt\u00e1s ut\u00e1n k\u00f6r\u00fclbel\u00fcl ilyen k\u00e9p jelenik meg.<\/p>\n

\"R\u00e9szletezve
\n
\nEz a h\u0151m\u00e9rs\u00e9kleti t\u00e9rk\u00e9p az anom\u00e1li\u00e1kr\u00f3l minden mez\u0151\u00e9rt\u00e9k szerint. OriginAirportID<\/i>, amelyet megadtunk a Adatok feloszt\u00e1sa<\/i>. Ahogyan a Single Metric eset\u00e9ben, a sz\u00edn az anom\u00e1lia elt\u00e9r\u00e9s szintj\u00e9t jel\u00f6li. Hasonl\u00f3 elemz\u00e9st k\u00e9nyelmesen v\u00e9gezhet\u00fcnk p\u00e9ld\u00e1ul munka\u00e1llom\u00e1sokn\u00e1l, hogy nyomon k\u00f6vethess\u00fck azokat, ahol gyan\u00fasan sok azonos\u00edt\u00e1s t\u00f6rt\u00e9nik stb. M\u00e1r \u00edrtunk a gyan\u00fas esem\u00e9nyekr\u0151l a Windows EventLogban<\/a><\/noindex>, amelyeket szint\u00e9n \u00f6sszegy\u0171jthet\u00fcnk \u00e9s elemezhet\u00fcnk itt.<\/p>\n

A h\u0151t\u00e9rk\u00e9p alatt egy anom\u00e1li\u00e1k list\u00e1ja tal\u00e1lhat\u00f3, ahonnan a Single Metric n\u00e9zetre l\u00e9phet\u00fcnk a r\u00e9szletes elemz\u00e9shez.<\/p>\n

Popul\u00e1ci\u00f3<\/h2>\n

\nA k\u00fcl\u00f6nb\u00f6z\u0151 metrik\u00e1k k\u00f6z\u00f6tti korrel\u00e1ci\u00f3kban az anom\u00e1li\u00e1k keres\u00e9s\u00e9re az Elastic Stackben van egy speci\u00e1lis popul\u00e1ci\u00f3-elemz\u00e9s. Ezzel pontosan az anomalous \u00e9rt\u00e9keket kereshetj\u00fck egy szerver teljes\u00edtm\u00e9ny\u00e9ben m\u00e1sokhoz k\u00e9pest, p\u00e9ld\u00e1ul a c\u00e9lzott rendszerhez t\u00f6rt\u00e9n\u0151 k\u00e9r\u00e9sek sz\u00e1m\u00e1nak n\u00f6veked\u00e9se eset\u00e9n.<\/p>\n

\"R\u00e9szletezve
\n
\nEzen az \u00e1br\u00e1n a popul\u00e1ci\u00f3 mez\u0151ben tal\u00e1lhat\u00f3 \u00e9rt\u00e9k az elemzett metrik\u00e1kra vonatkozik. Jelen esetben ez a folyamat neve. Ennek eredm\u00e9nyek\u00e9ppen l\u00e1tni fogjuk, hogyan befoly\u00e1solta egym\u00e1st a CPU terhel\u00e9se az egyes folyamatokon.<\/p>\n

Figyelje meg, hogy az elemezett adatok grafikonja elt\u00e9r a Single Metric \u00e9s Multi Metric esetekt\u0151l. Ezt a Kibana tervezte a vizualiz\u00e1ci\u00f3 jav\u00edt\u00e1sa \u00e9rdek\u00e9ben az elemzett adatok \u00e9rt\u00e9keinek eloszl\u00e1s\u00e1ban.<\/p>\n

\"R\u00e9szletezve
\n
\nA grafikon alapj\u00e1n l\u00e1that\u00f3, hogy az stress<\/i> (mellesleg, egy speci\u00e1lis utilit\u00e1s \u00e1ltal gener\u00e1lva) folyamat gyan\u00fasan viselkedett a poipu<\/i>szerveren, amely hat\u00e1ssal volt (vagy influencerk\u00e9nt jelent meg) a probl\u00e9ma l\u00e9trej\u00f6tt\u00e9re.<\/p>\n

Advanced<\/h2>\n

\nFinomhangolt analitika. Az Advanced elemz\u00e9s sor\u00e1n a Kibana tov\u00e1bbi be\u00e1ll\u00edt\u00e1sokkal rendelkezik. A l\u00e9trehoz\u00f3 men\u00fcben a Advanced csempe megnyom\u00e1sakor egy ilyen ablak jelenik meg, f\u00fcl\u00f6kkel. A Job Details<\/i> f\u00fclet sz\u00e1nd\u00e9kosan kihagytuk, ott alap\u00e9rtelmezett be\u00e1ll\u00edt\u00e1sok tal\u00e1lhat\u00f3k, amelyek nem kapcsol\u00f3dnak k\u00f6zvetlen\u00fcl az elemz\u00e9s be\u00e1ll\u00edt\u00e1s\u00e1hoz.<\/p>\n

\"R\u00e9szletezve
\n
\nA summary_count_field_name<\/i> opcion\u00e1lisan megadhatja a dokumentumb\u00f3l sz\u00e1rmaz\u00f3, \u00f6sszes\u00edtett \u00e9rt\u00e9keket tartalmaz\u00f3 mez\u0151 nev\u00e9t. Ebben a p\u00e9ld\u00e1ban ez az esem\u00e9nyek sz\u00e1ma percenk\u00e9nt. A categorization_field_name<\/i><\/a><\/noindex> mez\u0151be kell megadni a v\u00e1ltoz\u00f3 \u00e9rt\u00e9ket tartalmaz\u00f3 mez\u0151 nev\u00e9t a dokumentumban. Ezen mez\u0151 alapj\u00e1n az elemzett adatokat r\u00e9szhalmazokra oszthatjuk. Figyeljen az Add detector<\/i> gombra az el\u0151z\u0151 \u00e1br\u00e1n. Az al\u00e1bbiakban a gomb megnyom\u00e1s\u00e1nak eredm\u00e9nye l\u00e1that\u00f3.<\/p>\n

\"R\u00e9szletezve
\n
\nItt van egy kieg\u00e9sz\u00edt\u0151 be\u00e1ll\u00edt\u00e1si blokk az anom\u00e1li\u00e1k\u00e9szlel\u0151 testreszab\u00e1s\u00e1hoz egy adott feladatra. A konkr\u00e9t felhaszn\u00e1l\u00e1si eseteket (k\u00fcl\u00f6n\u00f6sen a biztons\u00e1g ter\u00e9n) a k\u00f6vetkez\u0151 cikkekben tervezz\u00fck megvitatni. P\u00e9ldak\u00e9nt, n\u00e9zd meg<\/a><\/noindex> az egyik elemzett esettanulm\u00e1ny. Ez egy ritk\u00e1n el\u0151fordul\u00f3 \u00e9rt\u00e9kek keres\u00e9s\u00e9vel f\u00fcgg \u00f6ssze, \u00e9s megval\u00f3sul a rare<\/a><\/noindex>.<\/p>\n

A mez\u0151ben function<\/i> ki lehet v\u00e1lasztani egy bizonyos funkci\u00f3t az anom\u00e1li\u00e1k keres\u00e9s\u00e9re. Tov\u00e1bb\u00e1 rare<\/i>, van m\u00e9g n\u00e9h\u00e1ny \u00e9rdekes funkci\u00f3 \u2014 time_of_day<\/i> \u00e9s time_of_week<\/i><\/a><\/noindex>. Ezek az anom\u00e1li\u00e1kat a metrik\u00e1k viselked\u00e9s\u00e9ben mutatj\u00e1k ki a nap vagy a h\u00e9t folyam\u00e1n, megfelel\u0151en. A t\u00f6bbi elemz\u00e9si funkci\u00f3 el\u00e9rhet\u0151 a dokument\u00e1ci\u00f3ban<\/a><\/noindex>.<\/p>\n

A field_name<\/i> azt a dokumentumt\u00e1bl\u00e1t jel\u00f6li, amely alapj\u00e1n az elemz\u00e9s zajlik. By_field_name<\/i> haszn\u00e1lhat\u00f3 az elemz\u00e9si eredm\u00e9nyek k\u00fcl\u00f6nb\u00f6z\u0151 \u00e9rt\u00e9kek alapj\u00e1n t\u00f6rt\u00e9n\u0151 sz\u00e9tv\u00e1laszt\u00e1s\u00e1hoz a megadott dokumentumt\u00e1bl\u00e1n. Ha kit\u00f6ltj\u00fck over_field_name<\/i> population-elemz\u00e9st kapunk, amelyet fentebb t\u00e1rgyaltunk. Ha megadunk egy \u00e9rt\u00e9ket a partition_field_name<\/i>, akkor ez alapj\u00e1n a dokumentumt\u00e1bl\u00e1n k\u00fcl\u00f6nb\u00f6z\u0151 alapvonalakat sz\u00e1m\u00edtanak ki minden \u00e9rt\u00e9khez (az \u00e9rt\u00e9k szerep\u00e9t j\u00e1tszhatja p\u00e9ld\u00e1ul a szerver neve vagy egy folyamat neve a szerveren). Az exclude_frequent<\/i> sz\u0171rhetj\u00fck az mind<\/i> vagy nincs<\/i>, ami azt jelenti, hogy kiz\u00e1rjuk (vagy belefoglaljuk) a gyakran el\u0151fordul\u00f3 dokumentum\u00e9rt\u00e9keket.<\/p>\n

A cikkben megpr\u00f3b\u00e1ltuk a lehet\u0151 legsz\u0171kebben bemutatni a g\u00e9pi tanul\u00e1s lehet\u0151s\u00e9geit az Elastic Stacken, a h\u00e1tt\u00e9rben m\u00e9g sok r\u00e9szlet megmaradt. K\u00e9rj\u00fck, \u00edrja meg a megjegyz\u00e9s szekci\u00f3ban, milyen eseteket tudott megoldani az Elastic Stack seg\u00edts\u00e9g\u00e9vel, \u00e9s milyen feladatokra haszn\u00e1lja. Kapcsolatba l\u00e9phet vel\u00fcnk a Habr szem\u00e9lyes \u00fczenetein kereszt\u00fcl vagy a weboldalon tal\u00e1lhat\u00f3 visszajelz\u00e9si \u0171rlapon<\/a><\/noindex>.
\n
Forr\u00e1s: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041d\u0430\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 Elastic Stack \u043b\u0435\u0436\u0430\u0442 \u043d\u0435\u0440\u0435\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 Elasticsearch, \u0432\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 Kibana \u0438 \u0441\u0431\u043e\u0440\u0449\u0438\u043a\u0438-\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0441\u0430\u043c\u044b\u0439 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 Logstash, \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 Beats, APM \u0438 \u0434\u0440\u0443\u0433\u0438\u0435). \u041e\u0434\u043d\u043e \u0438\u0437 \u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0445 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0439 \u0432\u0441\u0435\u0433\u043e \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u0442\u0435\u043a\u0430 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 \u2014 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0447\u0442\u043e \u0438\u0437 \u0441\u0435\u0431\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u044d\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b. \u041f\u0440\u043e\u0441\u0438\u043c \u043f\u043e\u0434 \u043a\u0430\u0442. \u041c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":26487,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-35274","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Foglalkozunk a g\u00e9pi tanul\u00e1ssal az Elastic Stack-ben (m\u00e1s n\u00e9ven Elasticsearch, m\u00e1s n\u00e9ven ELK) | ProHoster","description":"Ne feledj\u00fck.","canonical_url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/razbiraemsya-s-machine-learning-v-elastic-stack-on-zhe-elasticsearch-on-zhe-elk","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"hu_HU","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0420\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0441 Machine Learning \u0432 Elastic Stack (\u043e\u043d \u0436\u0435 Elasticsearch, \u043e\u043d \u0436\u0435 ELK) | ProHoster","og:description":"\u041d\u0430\u043f\u043e\u043c\u043d\u0438\u043c.","og:url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/razbiraemsya-s-machine-learning-v-elastic-stack-on-zhe-elasticsearch-on-zhe-elk","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:03:22+00:00","article:modified_time":"2019-10-31T19:03:22+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"35274","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 22:37:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:07:28","updated":"2026-01-21 22:37:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/35274","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/comments?post=35274"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/35274\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/media\/26487"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/media?parent=35274"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/categories?post=35274"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/tags?post=35274"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}