Dia duit, is é mo ainm Evgeniy, tá mé an ceannaire fhoireann B2B ag Citymobil. Ar cheann de thascanna ár bhfoirne tá tacaíocht a thabhairt do chomhtháthú le haghaidh ordú tacsaí ó chomhpháirtithe, agus chun seirbhís chobhsaí a chinntiú ní mór dúinn a thuiscint i gcónaí cad atá ag tarlú inár micrisheirbhísí. Agus seo ní mór duit monatóireacht leanúnach a dhéanamh ar na logaí.
Ag Citymobil, bainimid úsáid as cruach ELK (ElasticSearch, Logstash, Kibana) chun oibriú le logaí, agus tá an méid sonraí a fhaightear ann ollmhór. Sa mhais seo d'iarratais, tá sé deacair go leor fadhbanna a aimsiú a d'fhéadfadh teacht chun cinn tar éis an cód nua a imscaradh. Agus chun iad a aithint go soiléir, tá rannóg Painéal ag Kibana.
Tá go leor alt ar Habré le samplaí de conas stack ELK a bhunú chun sonraí a fháil agus a stóráil, ach níl aon ábhar ábhartha maidir le Painéal a chruthú. Dá bhrí sin, ba mhaith liom a thaispeáint conas léiriú amhairc ar shonraí a chruthú bunaithe ar logaí ag teacht isteach i Kibana.
coigeartú
Chun é a dhéanamh níos soiléire, chruthaigh mé íomhá Docker le ELK agus Filebeat. Agus chuir sé ceann beag i gcoimeádán in Téigh, a ghinfidh logaí tástála mar shampla. Ní dhéanfaidh mé cur síos mion ar chumraíocht ELK; tá go leor scríofa faoi seo ar Habré.
Clónáil an stór leis an chumraíocht docker-compose agus socruithe ELK, agus é a sheoladh leis an ordú docker-compose up. Níl mé ag cur eochair chun críche. -dchun próiseas an chruach ELK a fheiceáil.
git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up
Má tá gach rud cumraithe i gceart, ansin feicfimid iontráil sna logaí (b'fhéidir nach bhfuil láithreach, b'fhéidir go dtógfaidh an próiseas chun coimeádán a sheoladh leis an stack iomlán roinnt nóiméad):
{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}
De réir an seoladh localhost:5061 Ba chóir Kibana oscailt.
Is é an t-aon rud is gá dúinn a chumrú ná Patrún Innéacs a chruthú do Kibana le faisnéis faoi na sonraí ba cheart a thaispeáint. Chun seo a dhéanamh, déanaimis iarratas curl a fhorghníomhú nó déanaimid sraith gníomhartha sa chomhéadan grafach.
$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
-H 'Content-Type: application/json'
-H 'kbn-xsrf: true'
-d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'
Patrún Innéacs a chruthú trí GUI
Chun é a chumrú, roghnaigh an rannán Discover sa roghchlár ar chlé agus téigh go dtí an leathanach cruthú patrún Innéacs.
Trí chliceáil ar an gcnaipe “Cruthaigh patrún innéacs”, téimid chuig an leathanach cruthú innéacs. Sa réimse "Innéacs-ainm patrún", cuir isteach "logstash-*". Má tá gach rud cumraithe i gceart, faoi bhun Kibana taispeánfaidh na hinnéacsanna a thagann faoin riail.
Ar an gcéad leathanach eile, roghnaigh an réimse eochair le stampa ama, inár gcás go bhfuil sé @timestamp.
Mar thoradh air sin, beidh an leathanach socruithe innéacs le feiceáil, ach níl aon ghníomhartha breise ag teastáil uainn anois.
Anois is féidir linn dul ar ais go dtí an rannán Discover, áit a bhfeicfimid na hiontrálacha logála.
Painéal na nIonstraimí
Sa roghchlár ar chlé, cliceáil ar an roinn cruthú Deais agus a fháil go dtí an leathanach comhfhreagrach.
Cliceáil ar “Cruthaigh painéal nua” agus téigh chuig an leathanach chun rudaí a chur leis an Deais.
Cliceáil ar an gcnaipe “Cruthaigh nua”, agus spreagfaidh an córas tú an cineál taispeána sonraí a roghnú. Tá líon mór acu i Kibana, ach féachfaimid ar léiriú grafach “Bar Ingearach” agus “Tábla Sonraí” táblach a chruthú. Tá cineálacha eile cur i láthair cumraithe ar an mbealach céanna.
Tá lipéad B agus E ar roinnt míreanna atá ar fáil, rud a thugann le fios go bhfuil an fhormáid turgnamhach nó i béite. Le himeacht ama, féadfaidh an fhormáid athrú nó imithe go hiomlán ó Kibana.
Barra Ingearach
Mar shampla “Barra Ingearach”, cruthaimis histeagram den chóimheas idir stádais freagartha rathúla agus neamhrathúla ár seirbhís. Tar éis dúinn na socruithe a chríochnú, gheobhaidh muid an graf seo a leanas:
Déanfaimid rangú ar gach iarratas a bhfuil stádas freagartha < 400 aige, agus fadhbach ->= 400 mar iarratas rathúil.
Chun cairt “Bharra Ingearach” a chruthú, ní mór dúinn foinse sonraí a roghnú. Roghnaigh an Patrún Innéacs a chruthaigh muid níos luaithe.
De réir réamhshocraithe, nuair a roghnaíonn tú foinse sonraí, beidh graf leanúnach amháin le feiceáil. Déanaimis é a shocrú.
Sa bhloc “Buicéid”, cliceáil ar an gcnaipe “Add”, roghnaigh “X-asis” agus cumraigh an ais-X. Breacfaimid stampaí ama na dtaifead a bheidh ag dul isteach sa logchomhad. Sa réimse “Comhiomlánú”, roghnaigh “Histeagram Dáta”, agus sa “Field” roghnaigh “@timestamp”, ag léiriú réimse sealadach. Fágfaimid “Íosmhéid” sa stát “Auto”, agus coigeartóidh sé go huathoibríoch chuig ár dtaispeántas.
Trí chliceáil ar an gcnaipe “Nuashonraigh”, feicfimid graf le líon na n-iarratas gach 30 soicind.
Anois socróimid na colúin ar an ais Y. Anois taispeánaimid líon iomlán na n-iarratas san eatramh ama roghnaithe.
Déanaimis an luach "Comhiomlánú" a athrú go "Sum Bucket", a ligfidh dúinn sonraí ó iarratais rathúla agus nár éirigh leo a chomhcheangal. Sa bhloc Buicéad -> Comhiomlánaithe, roghnaigh comhiomlánú de réir “Scagairí” agus socraigh an scagadh de réir “statusCode>= 400”. Agus sa réimse “Lipéad saincheaptha” cuirimid ár n-ainm táscaire in iúl le haghaidh taispeáint níos soiléire sa finscéal ar an gcairt agus sa liosta ginearálta.
Trí chliceáil ar an gcnaipe “Nuashonraigh” faoin mbloc socruithe, faighimid graf le ceisteanna fadhbacha.
Má chliceálann tú ar an gciorcal in aice leis an finscéal, feicfear fuinneog inar féidir leat dath na gcolún a athrú.
Anois cuirimis sonraí ar iarratais rathúla leis an gcairt. Sa rannán “Méadracht”, cliceáil ar an gcnaipe “Add” agus roghnaigh “Y-ais”.
Sa mhéadracht chruthaithe déanaimid na socruithe céanna agus a dhéantar d'iarratais earráideacha. Sa scagaire amháin a chuirimid in iúl "Cod stádais < 400".
Trí dhath an cholúin nua a athrú, faighimid taispeáint ar an gcóimheas idir iarratais fhadhbacha agus rathúla.
Trí chliceáil ar an gcnaipe “Sábháil” ag barr an scáileáin agus ainm a shonrú, feicfimid an chéad ghraf ar an Deais.
sonraí Tábla
Anois, déanaimis féachaint ar an tábla “Tábla Sonraí”. Déanaimis tábla a chruthú le liosta de na URLanna go léir a ndearnadh iarratais orthu agus líon na n-iarratas sin. Mar atá sa Bharra Ingearach mar shampla, roghnóimid foinse sonraí ar dtús.
Tar éis seo, taispeánfar tábla le colún amháin ar an scáileán, a thaispeánann líon iomlán na n-iarratas ar an eatramh ama roghnaithe.
Ní athróimid ach an bloc "Buicéid". Cliceáil ar an gcnaipe "Add" agus roghnaigh "Roinn sraitheanna".
Sa réimse "Comhiomlánú", roghnaigh "Téarmaí". Agus sa réimse “Field” atá le feiceáil, roghnaigh “url.keyword”.
Trí an luach “Url” a shonrú sa réimse “Lipéad saincheaptha” agus cliceáil “Nuashonraigh”, gheobhaidh muid an tábla atá ag teastáil le líon na n-iarratas ar gach URL don tréimhse ama roghnaithe.
Ag barr an scáileáin, cliceáil ar an gcnaipe “Sábháil” arís agus sonraigh ainm an tábla, mar shampla Urls. Rachaimid ar ais go dtí an Painéal agus feicfimid an dá radharc cruthaithe.
Ag obair le Painéal na nIonstraimí
Agus an Painéal á chruthú againn, ní shocraigh muid ach na bunpharaiméadair amhairc sna socruithe réad taispeána. Ní fiú sonraí a shonrú maidir le scagairí i réada, mar shampla, “raon dáta”, “scagadh de réir gníomhaire úsáideora”, “scagadh de réir tíre iarratais”, etc. Tá sé i bhfad níos áisiúla an tréimhse ama atá ag teastáil a shonrú nó an scagadh riachtanach a shocrú sa phainéal ceisteanna, atá suite os cionn na n-ábhar.
Cuirfear na scagairí a chuirtear leis sa phainéal seo i bhfeidhm ar an Deais iomlán, agus déanfar gach réad taispeána a atheagrú de réir na sonraí reatha scagtha.
Conclúid
Is uirlis chumhachtach é Kibana a ligeann duit aon sonraí a shamhlú ar bhealach áisiúil. Rinne mé iarracht socrú dhá phríomhchineál taispeána a thaispeáint. Ach tá cineálacha eile cumraithe ar bhealach comhchosúil. Agus beidh an iliomad socruithe a d'fhág mé taobh thiar de na radhairc ar do chumas na cairteacha a shaincheapadh go solúbtha chun freastal ar do chuid riachtanas.
Foinse: will.com