Ngerteni Machine Learning ing Elastic Stack (alias Elasticsearch, alias ELK)

Elinga yen Elastic Stack adhedhasar database Elasticsearch non-relasional, antarmuka web Kibana lan kolektor data lan prosesor (Logstash sing paling misuwur, macem-macem Beats, APM lan liya-liyane). Salah sawijining tambahan sing apik kanggo kabeh tumpukan produk sing kadhaptar yaiku analisis data nggunakake algoritma pembelajaran mesin. Ing artikel kita ngerti apa algoritma kasebut. Mangga ing ngisor kucing.

Pembelajaran mesin minangka fitur mbayar saka Shareware Elastic Stack lan kalebu ing X-Pack. Kanggo miwiti nggunakake, mung ngaktifake nyoba 30 dina sawise instalasi. Sawise periode nyoba kadaluwarsa, sampeyan bisa njaluk dhukungan kanggo ngluwihi utawa tuku langganan. Biaya langganan diitung ora adhedhasar volume data, nanging saka jumlah simpul sing digunakake. Ora, volume data, mesthi, mengaruhi jumlah simpul sing dibutuhake, nanging isih pendekatan lisensi iki luwih manusiawi ing hubungane karo anggaran perusahaan. Yen ora perlu produktivitas dhuwur, sampeyan bisa nyimpen dhuwit.

ML ing Elastic Stack ditulis ing C ++ lan mlaku ing njaba JVM, ing ngendi Elasticsearch dhewe mlaku. Yaiku, proses kasebut (kanthi cara, diarani autodetect) nggunakake kabeh sing ora ditelan JVM. Ing demo ngadeg iki ora dadi kritis, nanging ing lingkungan produksi iku penting kanggo nyedhiakke kelenjar kapisah kanggo tugas ML.

Algoritma machine learning dipérang dadi rong kategori − karo guru и tanpa guru. Ing Elastic Stack, algoritma kasebut ana ing kategori "ora diawasi". Miturut link iki Sampeyan bisa ndeleng aparat matematika saka algoritma machine learning.

Kanggo nindakake analisis, algoritma machine learning nggunakake data sing disimpen ing indeks Elasticsearch. Sampeyan bisa nggawe tugas kanggo analisis saka antarmuka Kibana lan liwat API. Yen sampeyan nindakake iki liwat Kibana, sampeyan ora perlu ngerti sawetara perkara. Contone, indeks tambahan sing digunakake algoritma sajrone operasi.

Indeks tambahan sing digunakake ing proses analisis.ml-state - informasi babagan model statistik (setelan analisis);
.ml-anomali-* - asil saka algoritma ML;
.ml-kabar - setelan kanggo kabar adhedhasar asil analisis.

Struktur data ing database Elasticsearch kasusun saka indeks lan dokumen sing disimpen ing. Yen dibandhingake karo database relasional, indeks bisa dibandhingake karo skema database, lan dokumen menyang rekaman ing tabel. Perbandhingan iki kondisional lan diwenehake kanggo nyederhanakake pangerten babagan materi luwih lanjut kanggo wong-wong sing mung krungu babagan Elasticsearch.

Fungsi sing padha kasedhiya liwat API kaya liwat antarmuka web, supaya kajelasan lan pangerten konsep, kita bakal nuduhake carane ngatur liwat Kibana. Ing menu ing sisih kiwa ana bagean Machine Learning ngendi sampeyan bisa nggawe Proyek anyar. Ing antarmuka Kibana katon kaya gambar ing ngisor iki. Saiki kita bakal nganalisa saben jinis tugas lan nuduhake jinis analisis sing bisa dibangun ing kene.

Metrik Tunggal - analisis siji metrik, Multi Metrik - analisis loro utawa luwih metrik. Ing kasus loro, saben metrik dianalisis ing lingkungan sing terisolasi, yaiku. algoritma ora njupuk menyang akun prilaku metrik analisa podo, minangka bisa koyone ing cilik saka Multi Metric. Kanggo nindakake petungan kanthi nimbang korélasi saka macem-macem metrik, sampeyan bisa nggunakake analisis Populasi. Lan Advanced nyempurnakake algoritma kanthi opsi tambahan kanggo tugas tartamtu.

Metrik Tunggal

Nganalisis owah-owahan ing siji metrik minangka perkara paling gampang sing bisa ditindakake ing kene. Sawise ngeklik Nggawe Proyek, algoritma bakal nggoleki anomali.

Ing lapangan Pengumpulan sampeyan bisa milih pendekatan kanggo nggoleki anomali. Contone, nalika min nilai ing ngisor nilai khas bakal dianggep anomali. mangan Maks, Dhuwur Tegese, Kurang, Tegese, Beda lan liya-liyane. Katrangan babagan kabeh fungsi bisa ditemokake link.

Ing lapangan Field nuduhake lapangan numerik ing dokumen sing bakal ditindakake analisis.

Ing lapangan Rentang ember - granularitas interval ing garis wektu sing bakal ditindakake analisis. Sampeyan bisa dipercaya otomatisasi utawa milih kanthi manual. Gambar ing ngisor iki minangka conto granularitas sing sithik banget - sampeyan bisa uga ora kejawab anomali kasebut. Nggunakake setelan iki, sampeyan bisa ngganti sensitivitas algoritma kanggo anomali.

Suwene data sing diklumpukake minangka kunci sing mengaruhi efektifitas analisis. Sajrone analisis, algoritma ngenali interval bola-bali, ngetung interval kapercayan (garis dasar) lan ngenali anomali - penyimpangan atipikal saka prilaku metrik sing biasa. Contone:

Baselines kanthi potongan data cilik:

Nalika algoritma kudu sinau, garis dasar katon kaya iki:

Sawise miwiti tugas, algoritma nemtokake panyimpangan anomali saka norma lan rangking miturut kemungkinan anomali (werna label sing cocog dituduhake ing kurung):

Warning (biru): kurang saka 25
Minor (kuning): 25-50
Mayor (oranye): 50-75
Kritis (abang): 75-100

Grafik ing ngisor iki nuduhake conto anomali sing ditemokake.

Ing kene sampeyan bisa ndeleng nomer 94, sing nuduhake kemungkinan anomali. Cetha yen regane cedhak karo 100, iki tegese kita duwe anomali. Kolom ing ngisor grafik nuduhake kemungkinan cilik 0.000063634% saka nilai metrik sing katon ing kana.

Saliyane nggoleki anomali, sampeyan bisa mbukak prakiraan ing Kibana. Iki rampung mung lan saka tampilan sing padha karo anomali - tombol Forecast ing pojok tengen ndhuwur.

Ramalan digawe maksimal 8 minggu sadurunge. Malah yen sampeyan pengin tenan, iku ora bisa maneh dening desain.

Ing sawetara kahanan, ramalan bakal migunani banget, contone, nalika ngawasi beban pangguna ing infrastruktur.

Multi Metrik

Ayo pindhah menyang fitur ML sabanjure ing Elastic Stack - nganalisa sawetara metrik ing siji kumpulan. Nanging iki ora ateges katergantungan siji metrik liyane bakal dianalisis. Iki padha karo Metrik Tunggal, nanging kanthi macem-macem metrik ing layar siji kanggo gampang mbandhingake pengaruh siji liyane. Kita bakal ngomong babagan nganalisa katergantungan siji metrik liyane ing bagean Populasi.

Sawise ngeklik kothak kanthi Multi Metric, jendhela kanthi setelan bakal katon. Ayo padha ndeleng ing liyane rinci.

Pisanan sampeyan kudu milih kolom kanggo analisis lan agregasi data. Opsi agregasi ing kene padha karo Metrik Tunggal (Maks, Dhuwur Tegese, Kurang, Tegese, Beda lan liya-liyane). Salajengipun, yen dikarepake, data kasebut dipérang dadi salah sawijining kolom (field Data pamisah). Ing conto, kita nindakake iki kanthi lapangan OriginAirportID. Elinga yen grafik metrik ing sisih tengen saiki ditampilake minangka sawetara grafik.

lapangan Bidang Kunci (Influencer) langsung mengaruhi anomali sing dideteksi. Kanthi gawan, mesthi bakal ana paling ora siji nilai ing kene, lan sampeyan bisa nambah nilai tambahan. Algoritma bakal njupuk pengaruh saka lapangan kasebut nalika nganalisa lan nuduhake nilai sing paling "berpengaruh".

Sawise diluncurake, kaya iki bakal katon ing antarmuka Kibana.

Iki sing diarani peta panas anomali kanggo saben nilai lapangan OriginAirportID, sing dituduhake ing Data pamisah. Kaya karo Metrik Tunggal, warna nuduhake tingkat panyimpangan sing ora normal. Iku trep kanggo nindakake analisis padha, contone, ing workstations kanggo trek sing duwe nomer curiga akeh wewenang, etc. Kita wis nulis babagan acara curiga ing EventLog Windows, sing uga bisa diklumpukake lan dianalisis ing kene.

Ing ngisor peta panas ana dhaptar anomali, saka saben sampeyan bisa ngalih menyang tampilan Metrik Tunggal kanggo analisis rinci.

populasi

Kanggo nggoleki anomali ing antarane korélasi antarane metrik sing beda, Elastic Stack duwe analisis Populasi khusus. Kanthi bantuan sampeyan bisa nggoleki nilai anomali ing kinerja server dibandhingake karo liyane nalika, contone, jumlah panjalukan kanggo sistem target mundhak.

Ing ilustrasi iki, kolom Populasi nuduhake nilai sing bakal ana hubungane karo metrik sing dianalisis. Ing kasus iki jeneng proses. Akibaté, kita bakal weruh carane beban prosesor saben proses dipengaruhi saben liyane.

Elinga yen grafik data sing dianalisis beda karo kasus sing nganggo Metrik Tunggal lan Multi Metrik. Iki ditindakake ing Kibana kanthi desain kanggo persepsi sing luwih apik babagan distribusi nilai data sing dianalisis.

Grafik kasebut nuduhake yen proses kasebut tumindak ora normal kaku (kanthi cara, digawe dening sarana khusus) ing server podho, sing nyebabake (utawa dadi influencer) kedadeyan anomali iki.

Linuwih

Analytics karo fine tuning. Kanthi analisis Lanjut, setelan tambahan katon ing Kibana. Sawise ngeklik kothak Lanjut ing menu nggawe, jendhela iki kanthi tab katon. Tab Rincian proyek We Mlayu kanthi sengaja, ana setelan dhasar sing ora ana hubungane langsung karo nyetel analisis.

В summary_count_field_name Opsional, sampeyan bisa nemtokake jeneng lapangan saka dokumen sing ngemot nilai gabungan. Ing conto iki, jumlah acara saben menit. ING categorization_field_name nuduhake jeneng lan nilai kolom saka dokumen sing ngemot sawetara nilai variabel. Nggunakake topeng ing lapangan iki, sampeyan bisa pamisah data sing dianalisis dadi subset. Pay manungsa waé menyang tombol Tambah detektor ing ilustrasi sadurunge. Ing ngisor iki minangka asil ngeklik tombol iki.

Iki minangka blok tambahan setelan kanggo ngonfigurasi detektor anomali kanggo tugas tartamtu. Kita arep ngrembug kasus panggunaan tartamtu (utamane babagan keamanan) ing artikel ing ngisor iki. Tuladhane, dipikir salah siji kasus disassembled. Iki digandhengake karo telusuran nilai sing jarang katon lan dileksanakake fungsi langka.

Ing lapangan fungsi Sampeyan bisa milih fungsi tartamtu kanggo nelusuri anomali. Kajaba langka, ana sawetara fungsi sing luwih menarik - wektu_dina и wektu_minggu. Padha ngenali anomali ing prilaku metrik ing saindhenging dina utawa minggu, mungguh. Fungsi analisis liyane ana ing dokumentasi.

В jeneng_field nuduhake lapangan dokumen sing bakal ditindakake analisis. Miturut_field_name bisa digunakake kanggo misahake asil analisis kanggo saben nilai individu saka kolom dokumen kasebut ing kene. Yen sampeyan ngisi over_field_name sampeyan entuk analisis populasi sing kita rembugan ing ndhuwur. Yen sampeyan nemtokake nilai ing partition_field_name, banjur kanggo lapangan iki document baselines kapisah bakal diwilang kanggo saben nilai (nilai bisa, contone, jeneng server utawa proses ing server). ING ngilangi_kerep bisa milih kabeh utawa ora ana, sing tegese ora kalebu (utawa kalebu) nilai kolom dokumen sing kerep kedadeyan.

Ing artikel iki, kita nyoba menehi ide sing ringkes babagan kemampuan machine learning ing Elastic Stack; isih akeh rincian sing ditinggalake. Marang kita ing komentar kasus apa sampeyan bisa ngatasi nggunakake Elastic Stack lan apa tugas sampeyan nggunakake. Kanggo hubungi kita, sampeyan bisa nggunakake pesen pribadi ing Habré utawa wangun umpan balik ing situs web.

Source: www.habr.com