Tá monatóireacht ina comhpháirt an-tábhachtach de réitigh néil atá ag fás de réir mar a mhéadaíonn castacht na gcóras dáilte. Is gá a n-iompar a thuiscint. Tá uirlisí inscálaithe ag teastáil uainn ar féidir leo sonraí a bhailiú ó na seirbhísí go léir - agus comhéadan amháin a sholáthar do speisialtóirí le hanailís feidhmíochta, léiriú earráide, infhaighteacht agus logaí.
Caithfidh na huirlisí céanna seo a bheith éifeachtach agus táirgiúil. San Airteagal seo, féachfaimid ar dhá chruach teicneolaíochta tóir: EFK (Elasticsearch) agus PLG (Loki) agus scrúdóidh muid a n-ailtireacht agus a n-éagsúlachtaí.
Cruach EFK
Seans gur chuala tú cheana faoin ELK nó EFK a bhfuil an-tóir air. Tá roinnt codanna ar leith sa chruach: Elasticsearch (stóráil réad), Logstash nó FluentD (bailiú log agus comhiomlánú), agus Kibana le haghaidh léirshamhlú.
Breathnaíonn sreabhadh oibre tipiciúil mar seo:
Elasticsearch — stóráil ábhar dáilte le hanailís cuardaigh agus fíor-ama. Réiteach den scoth le haghaidh sonraí leath-struchtúrtha mar logaí. Déantar faisnéis a shábháil mar dhoiciméid JSON, innéacsaithe i bhfíor-am agus a dháileadh thar nóid bhraisle. Úsáidtear innéacs inbhéartaithe ina bhfuil na focail uathúla agus na doiciméid ghaolmhara go léir le haghaidh cuardaigh téacs iomlán, atá bunaithe ar inneall cuardaigh Apache Lucene.
LíofaD is bailitheoir sonraí é a aontaíonn sonraí agus iad á mbailiú agus á gcaitheamh. Déanann sé iarracht na sonraí in JSON a eagrú oiread agus is féidir. Tá a ailtireacht síneadh, tá níos mó , le tacaíocht an phobail, do gach ócáid.
Kibana - uirlis léirshamhlaithe sonraí le haghaidh Elasticsearch le cumais bhreise éagsúla, mar shampla, anailís ar shraith ama, anailís ghraif, foghlaim meaisín agus go leor eile.
Elasticsearch ailtireacht
Stóráiltear sonraí braisle Elasticsearch scaipthe thar a nóid go léir. Cuimsíonn braisle nóid iolracha chun infhaighteacht agus athléimneacht a fheabhsú. Is féidir le nód ar bith róil uile an bhraisle a chomhlíonadh, ach in imscaradh ar scála mór, de ghnáth sanntar nóid tascanna aonair.
Cineálacha nód braisle:
- máistir nód - bainistíonn an braisle, tá gá le trí cinn ar a laghad, tá ceann amháin gníomhach i gcónaí;
- nód sonraí - stórálann sé sonraí innéacsaithe agus déanann sé tascanna éagsúla leis;
- nód ingest - eagraíonn sé píblínte chun sonraí a athrú roimh innéacsú;
- nód a chomhordú - iarratais ródaithe, an chéim próiseála cuardaigh a laghdú, mais-innéacsú a chomhordú;
- nód foláirimh — tascanna foláirimh a sheoladh;
- nód meaisínfhoghlama - tascanna meaisínfhoghlama a phróiseáil.
Taispeánann an léaráid thíos conas a stóráiltear sonraí agus a ndéantar iad a mhacasamhlú trasna nóid chun infhaighteacht sonraí níos airde a bhaint amach.
Stóráiltear sonraí gach macasamhail in innéacs inbhéartaithe, taispeánann an léaráid thíos conas a tharlaíonn sé seo:
Suiteáil
Is féidir sonraí a fheiceáil , úsáidfidh mé cairt stiúrtha:
$ helm install efk-stack stable/elastic-stack --set logstash.enabled=false --set fluentd.enabled=true --set fluentd-elasticscruach PLG
Ná bíodh iontas ort mura bhfuil tú in ann an t-acrainm seo a fháil, mar is fearr a dtugtar Grafana Loki air. In aon chás, tá an stack seo ag éirí níos coitianta mar go n-úsáideann sé réitigh theicniúla cruthaithe. Seans gur chuala tú trácht ar Grafana cheana féin, uirlis léirshamhlaithe a bhfuil an-tóir uirthi. D'fhorbair a chruthaitheoirí, arna spreagadh ag Prometheus, Loki, córas comhiomlánaithe loga ardfheidhmíochta inscálaithe go cothrománach. Ní dhéanann Loki ach na meiteashonraí a innéacsú, ní na irisleabhair iad féin, réiteach teicniúil a ligeann dó a bheith éasca le húsáid agus costéifeachtach.
Promtail - gníomhaire chun logaí a sheoladh ón gcóras oibriúcháin chuig braisle Loki. grafana is uirlis léirshamhlaithe atá bunaithe ar shonraí ó Loki.
Tá Loki bunaithe ar na prionsabail chéanna le Prometheus, rud a fhágann go bhfuil sé oiriúnach go maith chun logaí Kubernetes a stóráil agus a anailísiú.
ailtireacht Loki
Is féidir Loki a rith mar phróiseas amháin nó mar phróisis iolracha, ag ligean do scálaithe cothrománach.
Féadfaidh sé oibriú freisin mar fheidhmchlár monolithic nó mar mhicrisheirbhís. Is féidir le feidhmiú mar phróiseas aonair a bheith úsáideach d’fhorbairt áitiúil nó do mhionmhonatóireacht. Le haghaidh cur i bhfeidhm tionsclaíoch agus ualach oibre Inscálaithe, moltar an rogha microservice a úsáid. Tá na cosáin chun sonraí a scríobh agus a léamh deighilte, ionas gur féidir iad a mhionchoigeartú agus a scála de réir mar is gá.
Breathnaímid ar ailtireacht an chórais bailithe logs gan dul isteach go mion:
Agus seo é an cur síos (ailtireacht micreasheirbhíse):
Comhpháirteanna:
Promtail — gníomhaire atá suiteáilte ar nóid (mar thacar seirbhísí), baineann sé logaí ó thascanna agus faigheann sé rochtain ar Kubernetes API chun meiteashonraí a fháil a chlibfidh na logaí. Ansin cuireann sé an logáil chuig an bpríomhsheirbhís Loki. Tacaíonn mapáil meiteashonraí leis na rialacha clibeála céanna le Prometheus.
Dáileacháin — dáileoir seirbhíse a oibríonn mar mhaolán. Chun na milliúin taifead a phróiseáil, pacálann sé sonraí ag teacht isteach, á gcomhbhrú i mbloic de réir mar a thagann sé. Tá roinnt linnte sonraí ag rith go comhuaineach, ach níor cheart go mbeadh logaí a bhaineann le sruth sonraí isteach amháin le feiceáil ach i gceann amháin acu dá bloic go léir. Tá sé seo eagraithe i fáinne de siní agus hashing seicheamhach. Maidir le lamháltas lochtanna agus iomarcaíocht, déantar é seo n uair (3 mura bhfuil sé cumraithe).
Ingester — glacadóir seirbhíse. Sroicheann bloic sonraí comhbhrúite agus logaí curtha leis. Nuair atá an bloc sách mór, déantar an bloc a shruthlú chuig an mbunachar sonraí. Téann meiteashonraí chuig an innéacs, agus téann sonraí ón mbloc logála chuig Chunks (stóráil réad de ghnáth). Tar éis an athshocrú, cruthaíonn an glacadóir bloc nua ina gcuirfear iontrálacha nua leis.
innéacs - bunachar sonraí, DynamoDB, Cassandra, Google BigTable, etc.
Smutáin — bloic loga i bhfoirm chomhbhrúite, arna stóráil de ghnáth i stóráil réad, mar shampla, S3.
Querier - an cosán léitheoireachta a dhéanann an obair shalach ar fad. Breathnaíonn sé ar an raon ama agus ar an stampa ama, agus ansin féachann sé ar an innéacs chun meaitseálacha a aimsiú. Ansin, léann sé bloic sonraí agus scagairí iad chun an toradh a fháil.
Anois, a ligean ar a fheiceáil gach rud i ngníomh.
Suiteáil
Is é an bealach is éasca le suiteáil i Kubernetes ná clog a úsáid. Glacaimid leis go bhfuil sé suiteáilte agus cumraithe agat cheana ( thart. aistritheoir)
Cuir stór leis agus suiteáil stack.
$ helm repo add loki https://grafana.github.io/loki/charts
$ helm repo update
$ helm upgrade --install loki loki/loki-stack --set grafana.enabled=true,prometheus.enabled=true,prometheus.alertmanager.persistentVolume.enabled=false,prometheus.server.persistentVolume.enabled=falseAnseo thíos tá painéal samplach a thaispeánann sonraí ó Prometheus for Etcd metrics agus Loki for Etcd pods logs.
Anois déanaimis ailtireacht an dá chóras a phlé, agus freisin a gcumas a chur i gcomparáid lena chéile.
Comparáid
Teanga cheist
Úsáideann Elasticsearch Query DSL agus teanga iarratais Lucene chun cumais chuardaigh téacs iomlán a sholáthar. Is inneall cuardaigh cumhachtach seanbhunaithe é le tacaíocht leathan oibreora. Leis, is féidir leat cuardach a dhéanamh de réir comhthéacs agus sórtáil de réir ábharthacht.
Ar an taobh eile den fháinne tá LogQL, a úsáidtear i Loki, comharba PromQL (teanga cheist Prometheus). Úsáideann sé clibeanna logála chun sonraí loga a scagadh agus a roghnú. Is féidir roinnt oibreoirí agus uimhríochtúil a úsáid mar a thuairiscítear , ach i dtéarmaí cumais tá sé chun deiridh ar an teanga leaisteacha.
Ós rud é go mbaineann fiosrúcháin i Loki le clibeanna, is furasta iad a chomhghaolú le méadracht, agus mar thoradh air sin, tá sé níos éasca monatóireacht oibríochta a eagrú leo.
Scalability
Tá an dá chruach inscálaithe go cothrománach, ach déanann Loki é níos éasca toisc go bhfuil cosáin léite agus scríofa ar leith aige agus ailtireacht mhicriseirbhíse. Is féidir Loki a shaincheapadh chun freastal ar do chuid riachtanas agus is féidir é a úsáid le haghaidh líon mór sonraí loga.
Ilthionóntacht
Is téama coitianta i ngiorrúchán OPEX é ilthionóntacht bhraisle, soláthraíonn an dá chruach ilthionóntacht. Tá go leor le haghaidh Elasticsearch scaradh cliant: innéacs ar leith do gach cliant, ródú cliant-bhunaithe, réimsí cliant uathúla, scagairí cuardaigh. Tá ag Loki i bhfoirm ceanntásca HTTP X-Scope-OrgID.
Costas
Tá Loki éifeachtach go leor ó thaobh costais de toisc nach ndéanann sé innéacsú ar na sonraí, ach na meiteashonraí. Baineann sé seo amach agus cuimhne (taisce), ós rud é go bhfuil stóráil réad níos saoire ná blocstóráil, a úsáidtear i mbraislí Elasticsearch.
Conclúid
Is féidir an chairn EFK a úsáid chun críocha éagsúla, ag soláthar an tsolúbthacht uasta agus comhéadan Kibana atá saibhir ó thaobh gnéithe d’anailísíocht, léirshamhlú agus ceisteanna. Is féidir é a fheabhsú tuilleadh le cumas meaisínfhoghlama.
Tá cruach Loki úsáideach in éiceachóras Kubernetes mar gheall ar a mheicníocht aimsithe meiteashonraí. Is féidir leat sonraí le haghaidh monatóireachta a chomhghaolú go héasca bunaithe ar shraith ama i Grafana agus logaí.
Nuair a thagann sé le costas agus stóráil logáil fadtéarmach, is pointe iontrála den scoth é Loki i réitigh scamall.
Tá níos mó roghanna eile ar an margadh - d'fhéadfadh roinnt a bheith níos fearr duit. Mar shampla, tá comhtháthú Stackdriver ag GKE a sholáthraíonn réiteach monatóireachta den scoth. Níor chuireamar san áireamh iad inár n-anailís san Airteagal seo.
Naisc:
D'aistrigh agus d'ullmhaigh fostaithe an t-alt do Habr — dianchúrsaí, físchúrsaí agus oiliúint chorparáideach ó speisialtóirí cleachtacha (Kubernetes, DevOps, Docker, Ansible, Ceph, SRE, Agile)
Foinse: will.com
