Talofa, o loʻu igoa o Eugene, o aʻu o se taitai B2B i Citymobil. O se tasi o galuega a la matou 'au o le lagolagoina lea o tuʻufaʻatasiga mo le okaina o se taxi mai paʻaga, ma ina ia mautinoa se tautua mautu, e tatau ona tatou malamalama i taimi uma i mea o loʻo tupu i totonu oa tatou microservices. Ma mo lenei mea e te manaʻomia le mataʻituina pea o ogalaau.
I Citymobil, matou te faʻaogaina le ELK stack (ElasticSearch, Logstash, Kibana) e galulue ai ma ogalaau, ma o le aofaʻi o faʻamatalaga o loʻo oʻo mai iina e tele. O le sailia o faʻafitauli i lenei tele o talosaga e ono aliali mai pe a maeʻa le faʻapipiʻiina o le code fou e faigata tele. Ma mo latou faʻamatalaga vaʻaia, o Kibana ei ai se vaega o le Dashboard.
E tele naua tala i luga o Habré faʻatasi ai ma faʻataʻitaʻiga o le faʻatulagaina o se ELK stack e maua ma teu ai faʻamaumauga, ae leai ni mea talafeagai i le fatuina o se Dashboard. O le mea lea, ou te manaʻo e faʻaalia pe faʻapefea ona faia se faʻaaliga vaaia o faʻamatalaga e faʻavae i luga o ogalaau o loʻo oʻo mai i Kibana.
tonu
Ina ia faʻamalamalama atili, na ou fatuina se ata Docker ma ELK ma Filebeat. Ma tuu i totonu o se atigipusa se tamai i le Alu, lea mo la tatou faʻataʻitaʻiga o le a faʻatupuina ai ogalaau suʻega. O le a ou le faʻamatalaina auʻiliʻili le faʻatulagaina o le ELK, e lava le mea na tusia i luga o Habré.
Clone le fale teu oloa config docker-compose ma faʻatulagaga ELK, ma faʻalauiloa i le poloaiga docker-compose up. Le fa'aopoopoina ma le loto i ai se ki -de vaʻai i le alualu i luma o le faaputuga ELK.
git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up
Afai e saʻo le faʻatulagaina o mea uma, ona tatou vaʻai lea i se faʻamatalaga i totonu o ogalaau (atonu e leʻo vave, o le faagasologa o le faʻalauiloaina o se atigipusa ma le faaputuga atoa atonu e tele minute):
{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}
I le tuatusi localhost:5061 E tatau ona tatala Kibana.
Pau lava le mea tatou te manaʻomia e faʻatulagaina o le fatuina lea o se Faʻasologa Faʻasinomaga mo Kibana ma faʻamatalaga e uiga i faʻamatalaga e faʻaalia. Ina ia faia lenei mea, o le a matou faia se talosaga curl poʻo le faia o se faasologa o gaioiga i le ata faʻataʻitaʻi.
$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
-H 'Content-Type: application/json'
-H 'kbn-xsrf: true'
-d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'
Fausia se Fa'asologa o Fa'asinomaga e ala ile GUI
Ina ia fetuutuunai, filifili le vaega Discover i le lisi agavale, ma alu i le Fa'asinomaga mamanu itulau fatuina.
E ala i le kiliki i luga o le "Create index pattern" faʻamau, matou te oʻo atu i le itulau faʻasologa o faʻamatalaga. I totonu o le fanua "Index pattern name", ulufale i le "logstash-*". Afai o mea uma e faʻapipiʻi saʻo, i lalo ifo o Kibana o le a faʻaalia ai faʻasino igoa e pau i lalo o le tulafono.
I le itulau e sosoo ai, filifili le fanua autu ma se faailoga taimi, i la matou tulaga o le @timestamp.
Ole mea lea ole a fa'aalia ai le itulau fa'atulagaina o fa'asinomaga, ae leai se isi gaioiga e mana'omia mai ia i matou i le taimi nei.
O lea e mafai ona tatou toe alu i le Discover vaega, lea o le a tatou vaʻai ai i faʻamaumauga ogalaau.
Dashboard
I le lisi agavale, kiliki i luga o le Dashboard creation section ma alu i le itulau e fetaui.
Kiliki i le "Fausia dashboard fou" ma alu i le itulau mo le faʻaopoopoina o mea i le Dashboard.
Kiliki i luga o le "Create new" button, ma o le a faʻamalosia oe e le polokalama e filifili le ituaiga o faʻamatalaga faʻamatalaga. O Kibana e tele naua, ae o le a tatou vaʻavaʻai i le fatuina o se faʻataʻitaʻiga faʻataʻitaʻiga o le "Vertical Bar" ma le "Data Table". O isi ituaiga o faʻaaliga o loʻo faʻatulagaina i se auala tutusa.
O nisi mea o lo'o avanoa o lo'o fa'aigoaina B ma E, o lona uiga o le fa'atulagaga e fa'ata'ita'i po'o su'ega beta. I le aluga o taimi, o le faatulagaga e ono suia pe mou atu atoa mai Kibana.
Pa Tusa'o
Mo le faʻataʻitaʻiga "Vertical Bar", seʻi o tatou fatuina se histogram o le fua faatatau o tulaga tali manuia ma le le manuia o la tatou auaunaga. I le faaiuga o tulaga, matou te maua le kalafi o loʻo i lalo:
O le a matou faʻavasegaina talosaga uma ma se tulaga tali <400 e manuia, ma>= 400 o faʻafitauli.
Ina ia faia se siata "Vertical Bar", e manaʻomia le filifilia o se puna faʻamatalaga. Filifili le Fa'asologa o Fa'asinomaga na matou faia muamua.
I le faaletonu, o le a aliali mai se kalafi mautu se tasi pe a uma ona filifilia se puna o faamatalaga. Tatou setiina.
I totonu o le poloka "Buckets", kiliki le "Add" button, filifili le "X-asis" ma seti le X axis. Sei o tatou tuʻu ese taimi mo le mauaina o faʻamaumauga i totonu o le ogalaau. I totonu o le fanua "Aggregation", filifili "Date Histogram", ma i le "Field" filifili "@timestamp", e faʻaalia ai le taimi. Seʻi o tatou tuʻua le "Vaola maualalo" i le "Auto" setete, ma o le a otometi lava ona fetuunai i la tatou faʻaaliga.
I le kiliki i luga o le "Update" button, o le a matou vaʻai i se kalafi ma le numera o talosaga i 30 sekone.
Se'i o tatou fa'atūina koluma i luga o le Y-axis. O lea la o lo'o fa'aalia le aofa'i o talosaga i le va'aiga taimi filifilia.
Sei o tatou suia le tau o le "Aggregation" i le "Sum Bucket", lea e mafai ai ona tatou tuufaatasia faʻamatalaga mo talosaga manuia ma le le manuia. I totonu o le Pateni -> Faʻapipiʻi poloka, filifili le tuʻufaʻatasiga e ala i le "Filters" ma seti le faʻamamaina e le "statusCode>= 400". Ma i le "Custom label" fanua, matou te faʻaalia lo matou igoa o le faʻailoga mo se faʻaaliga sili atu ona malamalama i le tala i luga o le siata ma le lisi lautele.
I le kilikiina o le "Faʻafouina" faʻamau i lalo o le poloka faʻatulagaina, o le a matou maua se kalafi ma faʻafitauli faʻafitauli.
Afai e te kiliki i luga o le li'o i tafatafa o le tala, o le a aliali mai se faamalama e mafai ai ona e suia le lanu o koluma.
Se'i o tatou fa'aopoopo fa'amaumauga i talosaga manuia ile siata. I le vaega "Metrics", kiliki le "Add" button ma filifili "Y-axis".
I le metric na faia, matou te faia tulaga tutusa e pei o talosaga sese. Na'o totonu o le faamama matou te fa'amaonia ai le "statusCode <400".
E ala i le suia o le lanu o le koluma fou, matou te maua se faʻaaliga o le fua faatatau o faʻafitauli ma faʻamanuiaga talosaga.
I le kilikiina o le "Save" button i le pito i luga o le lau ma faʻamaonia le igoa, o le a matou vaʻai i le siata muamua i luga o le Dashboard.
Lisi o Faʻamatalaga
Mafaufau nei i le faʻaaliga o le laulau "Fuaʻi Faʻamatalaga". Sei o tatou faia se laulau ma se lisi o URL uma na talosagaina ma le numera o na talosaga. E pei o le Vertical Bar faʻataʻitaʻiga, matou te filifilia muamua se puna faʻamatalaga.
A maeʻa lena, o le laulau e tasi le koluma o le a faʻaalia i luga o le lau, lea e faʻaalia ai le aofaʻi o talosaga mo le taimi filifilia.
O le a matou suia le poloka "Pakete". Kiliki le "Add" button ma filifili "Split rows".
I le "Aggregation" fanua, filifili "Tuutuuga". Ma i totonu o le fanua faʻaalia "Field" filifili "url.keyword".
E ala i le faʻamaonia o le "Url" tau i le "Custom label" fanua ma kiliki "Faʻafouina", matou te maua le laulau manaʻomia ma le numera o talosaga mo URL taʻitasi mo le taimi filifilia.
I le pito i luga o le lau, toe kiliki le "Save" button ma faʻamaonia le igoa o le laulau, mo se faʻataʻitaʻiga Urls. Se'i tatou toe fo'i i le Dashboard ma va'ai i fa'aaliga uma e lua.
Galulue ma Dashboard
Pe a fatuina le Dashboard, matou te setiina naʻo le vaʻaiga autu i totonu o faʻaaliga mea faitino. E leai se uiga e faʻamaonia ai faʻamatalaga mo filiga i mea faitino, mo se faʻataʻitaʻiga, "aso vaʻaia", "filtering by useragent", "filtering by request country", etc. E sili atu ona faigofie le faʻamaonia o le taimi manaʻomia pe setiina le faʻamamaina talafeagai i le faʻailoga fesili, lea o loʻo i luga aʻe o mea.
O filiga fa'aopoopo i luga o lenei laulau o le a fa'aoga i le Dashboard atoa, ma o mea fa'aalia uma o le a toe fausia e tusa ai ma fa'amaumauga moni fa'amama.
iʻuga
Kibana o se meafaigaluega mamana e mafai ai ona e vaʻaia soʻo se faʻamatalaga i se auala faigofie. Na ou taumafai e faʻaalia le seti o ituaiga autu e lua o faʻaaliga. Ae o isi ituaiga o loʻo faʻatulagaina i se auala tutusa. Ma o le tele o faʻatulagaga na ou tuʻua "i tua o vaaiga" o le a faʻatagaina oe e faʻafetaui lelei siata e fetaui ma ou manaʻoga.
puna: www.habr.com