Lumela, lebitso la ka ke Eugene, ke moetapele oa sehlopha sa B2B Citymobil. O mong oa mesebetsi ea sehlopha sa rona ke ho ts'ehetsa likhokahano bakeng sa ho odara tekesi ho tsoa ho balekane, mme e le ho netefatsa ts'ebeletso e tsitsitseng, re tlameha ho utloisisa se etsahalang lits'ebetsong tsa rona tse nyane kamehla. 'Me bakeng sa sena u hloka ho lula u lekola li-log.
Ho Citymobil, re sebelisa ELK stack (ElasticSearch, Logstash, Kibana) ho sebetsa ka li-logs, 'me palo ea data e tlang moo e kholo. Ho fumana mathata ka bongata bona ba likopo tse ka hlahang kamora ho romelloa ha khoutu e ncha ho thata haholo. 'Me bakeng sa boitsebiso ba bona ba pono, Kibana e na le karolo ea Dashboard.
Ho na le lingoloa tse 'maloa tse mabapi le Habré tse nang le mehlala ea ho theha stack ea ELK ho amohela le ho boloka data, empa ha ho na lisebelisoa tse sebetsang mabapi le ho theha Dashboard. Ka hona, ke batla ho bonts'a mokhoa oa ho theha setšoantšo sa pono ea data e thehiloeng ho li-log tse kenang Kibana.
phetoho
E le ho hlakisa, ke entse setšoantšo sa Docker se nang le ELK le Filebeat. 'Me a kenngoa ka setshelo e nyenyane ho Go, eo mohlala oa rona e tla hlahisa likutu tsa liteko. Nke ke ka hlalosa ka ho qaqileng ho hlophisoa ha ELK, ho na le ho lekaneng ho ngotsoeng ka eona ho Habré.
Tlosa sebaka sa polokelo docker-compose le li-setting tsa ELK, 'me u e qalise ka taelo docker-compose up. Ka boomo ha o kenye senotlolo -dho bona tsoelo-pele ea ELK stack.
git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up
Haeba ntho e 'ngoe le e' ngoe e hlophisitsoe ka nepo, joale re tla bona ho kena ka har'a li-log (mohlomong eseng hang-hang, ts'ebetso ea ho hlahisa setshelo ka stack eohle e ka nka metsotso e 'maloa):
{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}
Ka aterese localhost:5061 Kibana e lokela ho bula.
Ntho feela eo re e hlokang ho e hlophisa ke ho theha Index Pattern bakeng sa Kibana ka tlhahisoleseling mabapi le hore na o lokela ho bonts'a data efe. Ho etsa sena, re tla etsa kopo ea curl kapa re etse letoto la liketso ho sebopeho sa graphical.
$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
-H 'Content-Type: application/json'
-H 'kbn-xsrf: true'
-d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'
Ho theha Paterone ea Index ka GUI
Ho lokisa, khetha karolo ea Discover ho menu e letšehali, 'me u fihle leqepheng la tlhahiso ea mohlala oa Index.
Ka ho tobetsa konopo ea "Create index pattern", re fihla leqepheng la tlhahiso ea index. Sebakeng sa "Index pattern name", kenya "logstash-*". Haeba ntho e 'ngoe le e' ngoe e hlophisitsoe ka nepo, ka tlase ho Kibana e tla bontša li-index tse oelang tlas'a molao.
Leqepheng le latelang, khetha sebaka sa bohlokoa se nang le setempe sa nako, molemong oa rona ho joalo @timestamp.
Sena se tla hlahisa leqephe la litlhophiso tsa index, empa ha ho letho le hlokahalang ho rona hajoale.
Joale re ka ea karolong ea Discover hape, moo re tla bona likenyo tsa li-log.
Dashboard
Ho menu e ka ho le letšehali, tlanya karolong ea pōpo ea Dashboard 'me u fihle leqepheng le lumellanang.
Tobetsa ho "Theha dashboard e ncha" 'me u fihle leqepheng la ho eketsa lintho ho Dashboard.
Tobetsa konopo ea "Etsa e ncha", 'me tsamaiso e tla u susumelletsa ho khetha mofuta oa pontšo ea data. Kibana e na le palo e kholo ea tsona, empa re tla sheba ho theha setšoantšo sa setšoantšo sa "Vertical Bar" le tabular "Data Table". Mefuta e meng ea tlhahiso e hlophisitsoe ka tsela e tšoanang.
Lintho tse ling tse fumanehang li ngotsoe B le E, ho bolelang hore sebopeho ke sa liteko kapa ke tlhahlobo ea beta. Ha nako e ntse e ea, sebopeho se ka fetoha kapa sa nyamela ka ho feletseng ho tloha Kibana.
Thepa e otlolohileng
Bakeng sa mohlala oa "Vertical Bar", ha re theheng histogram ea karo-karolelano ea likarabelo tse atlehileng le tse sa atleheng tsa litšebeletso tsa rona. Qetellong ea litlhophiso, re fumana graph e latelang:
Re tla arola likopo tsohle ka boemo ba karabo <400 e le tse atlehileng, le>=400 e le mathata.
Ho theha chate ea "Vertical Bar", re hloka ho khetha mohloli oa data. Khetha Mohlala oa Index oo re o entseng pejana.
Ka ho sa feleng, graph e le 'ngoe e tiileng e tla hlaha ka mor'a ho khetha mohloli oa data. Ha re e hlophiseng.
Ka "Buckets" thibela, tobetsa konopo ea "Eketsa", khetha "X-asis" 'me u thehe axis ea X. A re behelle ka thōko litempe tsa nako bakeng sa ho amohela litlhaloso ho log. Sebakeng sa "Aggregation", khetha "Date Histogram", 'me ho "Field" khetha "@timestamp", e bontšang sebaka sa nako. Ha re tloheleng "Minimum interval" sebakeng sa "Auto", 'me e tla ikamahanya le ponts'o ea rona.
Ka ho tobetsa konopo ea "Apdate", re tla bona kerafo e nang le palo ea likopo metsotsoana e meng le e meng e 30.
Joale ha re hlophiseng litšiea ho latela axis ea Y. Joale re bonts'a palo eohle ea likopo ka nako e khethiloeng.
Ha re fetole boleng ba "Aggregation" ho "Sum Bucket", e tla re lumella ho kopanya data bakeng sa likopo tse atlehileng le tse sa atleheng. Ka Bucket -> Aggregation block, khetha aggregation ka "Filters" 'me u behe sefa ka "statusCode> = 400". 'Me tšimong ea "Custom label", re bonts'a lebitso la rona la letšoao bakeng sa pontšo e utloisisoang haholoanyane ho tšōmo ho chate le lethathamong le akaretsang.
Ka ho tobetsa konopo ea "Update" tlas'a "setting block", re tla fumana graph e nang le likopo tsa mathata.
Haeba u tobetsa selikalikoe se haufi le tšōmo, ho tla hlaha fensetere eo ho eona u ka fetolang 'mala oa litšiea.
Joale a re kenyelletseng lintlha tsa likopo tse atlehileng chate. Karolong ea "Metrics", tobetsa konopo ea "Add" ebe u khetha "Y-axis".
Ho metric e entsoeng, re etsa litlhophiso tse tšoanang le tsa likopo tse fosahetseng. Feela ka filthara re hlalosa "statusCode <400".
Ka ho fetola 'mala oa kholomo e ncha, re fumana pontšo ea karolelano ea likopo tse thata le tse atlehileng.
Ka ho tobetsa konopo ea "Boloka" e kaholimo ho skrini le ho hlakisa lebitso, re tla bona chate ea pele ho Dashboard.
Tafole ea Boitsebiso
Joale nahana ka pono ea tabular "Data Table". Ha re theheng tafole e nang le lethathamo la li-URL tsohle tse neng li kopuoe le palo ea likopo tseo. Joalo ka mohlala oa Vertical Bar, re khetha mohloli oa data pele.
Kamora moo, tafole e nang le kholomo e le 'ngoe e tla hlahisoa skrineng, e bonts'ang palo eohle ea likopo tsa nako e khethiloeng.
Re tla fetola feela "Buckets" block. Tobetsa konopo ea "Add" ebe u khetha "Split rows".
Sebakeng sa "Aggregation", khetha "Terms". 'Me tšimong e hlahang "Field" khetha "url.keyword".
Ka ho hlakisa boleng ba "Url" karolong ea "Custom label" le ho tobetsa "Update", re tla fumana tafole eo u e batlang e nang le palo ea likopo tsa URL ka 'ngoe bakeng sa nako e khethiloeng.
Ka holimo ho skrine, tobetsa konopo ea "Boloka" hape 'me u hlalose lebitso la tafole, mohlala, Urls. Ha re khutlele ho Dashboard 'me re bone lipono ka bobeli li entsoe.
Ho sebetsa le Dashboard
Ha re theha Dashboard, re beha feela litekanyo tsa mantlha tsa pono ho litlhophiso tsa ntho e bonts'ang. Ha ho utloahale ho hlakisa lintlha tsa li-filters linthong, mohlala, "date range", "sefa ka mosebelisi", "sefa ka naha eo u e kopang", jj. Ho bonolo haholo ho hlalosa nako e lakatsehang kapa ho beha sefa se hlokahalang ka phanele ea lipotso, e kaholimo ho lintho.
Li-filters tse kentsoeng phanele ena li tla sebelisoa ho Dashboard kaofela, 'me lintho tsohle tse bonts'ang li tla tsosolosoa ho latela lintlha tse hloekisitsoeng.
fihlela qeto e
Kibana ke sesebelisoa se matla se u lumellang hore u bone data efe kapa efe ka tsela e bonolo. Ke lekile ho bonts'a maemo a mefuta e 'meli ea mantlha ea ponts'o. Empa mefuta e meng e hlophisitsoe ka tsela e tšoanang. 'Me bongata ba litlhophiso tseo ke li siileng "ka mor'a lipapali" li tla u lumella ho etsa lichate habonolo hore li lumellane le litlhoko tsa hau.
Source: www.habr.com