Halo, is e m ’ainm Eugene, tha mi nam stiùiriche sgioba B2B aig Citymobil. Is e aon de na gnìomhan aig an sgioba againn taic a thoirt do aonachadh airson tacsaidh òrdachadh bho chom-pàirtichean, agus gus dèanamh cinnteach à seirbheis seasmhach, feumaidh sinn an-còmhnaidh tuigsinn dè a tha a’ tachairt anns na microservices againn. Agus airson seo feumaidh tu daonnan sùil a chumail air na logaichean.
Ann an Citymobil, bidh sinn a’ cleachdadh stac ELK (ElasticSearch, Logstash, Kibana) gus obrachadh le logaichean, agus tha an ìre de dhàta a tha a’ tighinn ann fìor mhòr. Tha e gu math duilich duilgheadasan a lorg anns an tomad seo de dh’ iarrtasan a dh’ fhaodadh nochdadh às deidh cleachdadh còd ùr. Agus airson an comharrachadh lèirsinneach, tha roinn deas-bhòrd aig Kibana.
Tha grunn artaigilean ann air Habré le eisimpleirean air mar a chuireas tu stac ELK air dòigh gus dàta fhaighinn agus a stòradh, ach chan eil stuthan iomchaidh ann mu bhith a’ cruthachadh deas-bhòrd. Mar sin, tha mi airson sealltainn mar a chruthaicheas tu riochdachadh lèirsinneach de dhàta stèidhichte air logaichean a tha a’ tighinn a-steach ann an Kibana.
adjustment
Gus a dhèanamh nas soilleire, chruthaich mi ìomhaigh Docker le ELK agus Filebeat. Agus air a chur ann an soitheach beag ann an Go, a ghineas mar eisimpleir againn logaichean deuchainn. Cha toir mi cunntas mionaideach air rèiteachadh ELK, tha gu leòr sgrìobhte mu dheidhinn air Habré.
Clone an stòr config docker-compose agus roghainnean ELK, agus cuir air bhog e leis an àithne docker-compose up. A dh’aona ghnothach gun a bhith a’ cur iuchair ris -dgus adhartas a’ chruach ELK fhaicinn.
git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up
Ma tha a h-uile càil air a rèiteachadh gu ceart, chì sinn inntrigeadh anns na logaichean (is dòcha nach eil sa bhad, is dòcha gun toir am pròiseas airson soitheach a chuir air bhog leis a ’chruach gu lèir grunn mhionaidean):
{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}
Leis an t-seòladh localhost:5061 Bu chòir Kibana fosgladh.
Is e an aon rud a dh'fheumas sinn a rèiteachadh pàtran clàr-amais a chruthachadh airson Kibana le fiosrachadh mu dè an dàta a tha ri thaisbeanadh. Gus seo a dhèanamh, cuiridh sinn an gnìomh iarrtas curl no nì sinn sreath de ghnìomhan anns an eadar-aghaidh grafaigeach.
$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
-H 'Content-Type: application/json'
-H 'kbn-xsrf: true'
-d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'
A 'cruthachadh pàtran clàr-amais tron GUI
Gus rèiteachadh, tagh an roinn Discover sa chlàr air an taobh chlì, agus ruig gu duilleag cruthachadh pàtran Clàr-innse.
Le bhith a’ briogadh air a’ phutan “Cruthaich pàtran clàr-amais”, ruigidh sinn an duilleag cruthachadh clàr-amais. Anns an raon "Ainm pàtran clàr-amais", cuir a-steach "logstash-*". Ma tha a h-uile càil air a rèiteachadh gu ceart, gu h-ìosal seallaidh Kibana na clàran-amais a tha fon riaghailt.
Air an ath dhuilleig, tagh am prìomh raon le stampa-ama, anns a’ chùis againn tha e @timestamp.
Bheir seo suas an duilleag roghainnean clàr-amais, ach chan eil feum air tuilleadh gnìomh bhuainn aig an àm seo.
A-nis is urrainn dhuinn a dhol chun roinn Discover a-rithist, far am faic sinn na h-inntrigidhean log.
Dashboard
Anns a’ chlàr air an taobh chlì, cliog air an roinn cruthachadh deas-bhòrd agus ruig an duilleag iomchaidh.
Cliog air "Cruthaich deas-bhòrd ùr" agus ruig an duilleag airson stuthan a chur ris an deas-bhòrd.
Cliog air a’ phutan “Cruthaich ùr”, agus brosnaichidh an siostam thu gus an seòrsa taisbeanaidh dàta a thaghadh. Tha àireamh mhòr dhiubh aig Kibana, ach seallaidh sinn ri bhith a 'cruthachadh riochdachadh grafaigeach den "Vertical Bar" agus clàr "Clàr Dàta". Tha seòrsachan taisbeanaidh eile air an rèiteachadh san aon dòigh.
Tha cuid de na stuthan a tha rim faighinn air an ainmeachadh le B agus E, a tha a’ ciallachadh gu bheil an cruth deuchainneach no ann an deuchainn beta. Thar ùine, faodaidh an cruth atharrachadh no a dhol à sealladh gu tur bho Kibana.
Bàr inghearach
Airson an eisimpleir “Vertical Bar”, cruthaichidh sinn histogram den cho-mheas de inbhean freagairt soirbheachail agus neo-shoirbheachail na seirbheis againn. Aig deireadh nan roghainnean, gheibh sinn an graf a leanas:
Bidh sinn a’ seòrsachadh a h-uile iarrtas le inbhe freagairt <400 mar shoirbheachail, agus >= 400 mar dhuilgheadas.
Gus clàr "Vertical Bar" a chruthachadh, feumaidh sinn stòr dàta a thaghadh. Tagh am Pàtran Clàr-amais a chruthaich sinn na bu thràithe.
Gu gnàthach, nochdaidh aon ghraf cruaidh às deidh dhut stòr dàta a thaghadh. Feuch an cuir sinn air dòigh e.
Anns a 'bhloc "Buckets", brùth air a' phutan "Cuir ris", tagh "X-asis" agus stèidhich an axis X. Leig dhuinn na clàran-ama airson faighinn a-steach don log a chuir an dàrna taobh. Anns an raon "Aggregation", tagh "Histogram Ceann-latha", agus anns an "Field" tagh "@timestamp", a 'comharrachadh an raon ùine. Fàgaidh sinn “An eadar-ama as ìsle” anns an stàit “Auto”, agus atharraichidh e gu fèin-ghluasadach chun taisbeanadh againn.
Le bhith a’ briogadh air a’ phutan “Ùraich”, chì sinn graf leis an àireamh de dh’iarrtasan gach 30 diog.
A-nis leig leinn na colbhan a chuir air dòigh air an axis Y. A-nis tha sinn a 'sealltainn an àireamh iomlan de dh'iarrtasan anns an ùine a chaidh a thaghadh.
Nach atharraich sinn an luach "Aggregation" gu "Sum Bucket", a leigeas leinn dàta a chur còmhla airson iarrtasan soirbheachail agus neo-shoirbheachail. Anns a’ bhloc Bucaid -> Aggregation, tagh an cruinneachadh le “Filters” agus suidhich an sìoltachan le “statusCode>= 400”. Agus anns an raon "Custom label", tha sinn a 'comharrachadh ar n-ainm a' chomharra airson taisbeanadh nas so-thuigsinn anns an uirsgeul air a 'chairt agus anns an liosta choitcheann.
Le bhith a’ briogadh air a’ phutan “Ùraich” fon bhloc roghainnean, gheibh sinn graf le iarrtasan duilgheadas.
Ma bhriogas tu air a’ chearcall ri taobh na h-uirsgeul, nochdaidh uinneag anns an urrainn dhut dath nan colbhan atharrachadh.
A-nis leig dhuinn dàta mu iarrtasan soirbheachail a chur ris a’ chairt. Anns an roinn "Metrics", briog air a 'phutan "Cuir ris" agus tagh "Y-axis".
Anns a’ mheatrach chruthaichte, bidh sinn a’ dèanamh na h-aon shuidheachaidhean ’s a tha airson iarrtasan mearachdach. Is ann dìreach sa chriathrag a shònraicheas sinn “statusCode <400”.
Le bhith ag atharrachadh dath a’ cholbh ùr, gheibh sinn taisbeanadh den cho-mheas de dh’ iarrtasan trioblaideach is soirbheachail.
Le bhith a’ briogadh air a’ phutan “Sàbhail” aig mullach na sgrìn agus a’ sònrachadh an ainm, chì sinn a’ chiad chairt air an deas-bhòrd.
Clàr dàta
A-nis beachdaich air an sealladh clàr "Clàr Dàta". Cruthaichidh sinn clàr le liosta de na URLan uile a chaidh iarraidh agus an àireamh de na h-iarrtasan sin. Mar a tha san eisimpleir Vertical Bar, bidh sinn an toiseach a’ taghadh stòr dàta.
Às deidh sin, thèid clàr le aon cholbh a thaisbeanadh air an sgrion, a sheallas an àireamh iomlan de dh ’iarrtasan airson an ùine a chaidh a thaghadh.
Chan atharraich sinn ach am bloc "Buckets". Cliog air a’ phutan “Cuir ris” agus tagh “Split rows”.
Anns an raon "Aggregation", tagh "Terms". Agus anns an raon nochd "Field" tagh "url.keyword".
Le bhith a 'sònrachadh an luach "Url" anns an raon "Custom label" agus a' briogadh air "Ùraich", gheibh sinn an clàr a tha thu ag iarraidh leis an àireamh de dh'iarrtasan airson gach URL airson na h-ùine a chaidh a thaghadh.
Aig mullach na sgrìn, cliog air a’ phutan “Sàbhail” a-rithist agus sònraich ainm a’ bhùird, mar eisimpleir Urls. Rachamaid air ais chun deas-bhòrd agus chì sinn an dà shealladh air an cruthachadh.
Ag obair le Dashboard
Nuair a chruthaicheas sinn an deas-bhòrd, cha do chuir sinn ach na prìomh pharaimearan seallaidh ann an roghainnean an nì taisbeanaidh. Chan eil e ciallach dàta a shònrachadh airson sìoltachain ann an nithean, mar eisimpleir, “raon ceann-latha”, “sìoladh le neach-cleachdaidh”, “sìoladh a rèir dùthaich iarrtas”, msaa. Tha e mòran nas freagarraiche an ùine ùine a tha thu ag iarraidh a shònrachadh no an sìoltachan riatanach a shuidheachadh anns a ’phannal ceist, a tha suidhichte os cionn nan nithean.
Thèid na sìoltachain a chuirear ris a’ phannal seo a chuir a-steach don deas-bhòrd gu lèir, agus thèid a h-uile stuth taisbeanaidh ath-thogail a rèir an fhìor dàta sìoltachaidh.
co-dhùnadh
Tha Kibana na inneal cumhachdach a leigeas leat dàta sam bith fhaicinn ann an dòigh goireasach. Dh'fheuch mi ri suidheachadh an dà phrìomh sheòrsa taisbeanaidh a shealltainn. Ach tha seòrsachan eile air an rèiteachadh san aon dòigh. Agus leigidh am pailteas de shuidheachaidhean a dh’ fhàg mi “air cùl na seallaidhean” dhut clàran a ghnàthachadh gu sùbailte gus freagairt air na feumalachdan agad.
Source: www.habr.com