O le mata'ituina ua avea ma vaega taua tele o le fa'atupuina o fofo ao ao fa'ateleina le lavelave o faiga fa'asoa. E tatau ona malamalama ia latou amio. Matou te manaʻomia meafaigaluega faʻapitoa e mafai ona aoina faʻamaumauga mai auaunaga uma - ma tuʻuina atu i tagata tomai faapitoa se faʻaoga tasi ma suʻesuʻega faʻatinoga, faʻataʻitaʻiga sese, avanoa ma ogalaau.
O nei lava meafaigaluega e tatau ona lelei ma aoga. I lenei tusiga, o le a tatou vaʻavaʻai i faʻaputuga tekinolosi taʻutaʻua e lua: EFK (Elasticsearch) ma PLG (Loki) ma suʻesuʻeina a latou fausaga ma eseesega.
EFK faaputuga
Atonu ua uma ona e faalogo e uiga i le ELK poʻo le EFK sili ona lauiloa. O le faaputuga e aofia ai le tele o vaega eseese: Elasticsearch (mea e teu ai), Logstash poʻo le FluentD (faʻapipiʻi ogalaau ma faʻapipiʻi), ma Kibana mo le faʻaaliga.
O se faiga masani masani e pei o lenei:
Elasticsearch - fa'asoa fa'asoa mea e teu fa'atasi ma su'esu'ega ma au'ili'iliga taimi moni. Fofo sili ona lelei mo faʻamaumauga semi-faʻatulagaina e pei o ogalaau. O lo'o fa'asaoina fa'amatalaga e pei o pepa JSON, fa'asino i le taimi moni ma tufatufa atu i nodes fuifui. O lo'o fa'aogaina se fa'asinomaga fa'aliliuina o lo'o i ai upu fa'apitoa uma ma pepa fa'atatau mo su'esu'ega atoa, lea e fa'atatau i le afi su'esu'e a Apache Lucene.
FiafiaD ose aoina fa'amaumauga e tu'ufa'atasia fa'amaumauga pe a aoina ma fa'aaogaina. E taumafai e faʻatulaga faʻamaumauga i le JSON i le tele e mafai ai. O lona fausaga e fa'alauteleina, e tele atu , lagolago i nuu, mo taimi uma.
kibana - o se meafaigaluega faʻamatalaga faʻamatalaga mo Elasticsearch faʻatasi ai ma le tele o gafatia faʻaopoopo, mo se faʻataʻitaʻiga, suʻesuʻega faʻasologa o taimi, auiliiliga o kalafi, aʻoaʻoga masini ma isi mea.
Elasticsearch fausaga
Elasticsearch fa'amaumauga o lo'o teuina fa'asalalauina i ona pona uma. O se fuifui e aofia ai le tele o pona e fa'aleleia ai le avanoa ma le maufetuuna'i. So'o se node e mafai ona fa'atino uma matafaioi a le fuifui, ae i fa'agaioiga tetele, o node e masani lava ona tu'uina atu i galuega ta'itasi.
Ituaiga node fa'apipi'i:
- master node - pulea le fuifui, a itiiti ifo ma le tolu e manaʻomia, tasi e galue i taimi uma;
- node faʻamaumauga - teu faʻamaumauga faʻasinomaga ma faʻatino galuega eseese faʻatasi ai;
- inest node - fa'atulagaina paipa mo le suia o fa'amaumauga a'o le'i fa'asinoina;
- faʻamaopoopoina node - faʻauluina talosaga, faʻaitiitia le vaega o suʻesuʻega, faʻamaopoopoina faʻasologa o igoa;
- node mataala - fa'alauiloa galuega mataala;
- masini a'oa'oga node - fa'agaioiina galuega a'oa'oga masini.
O le ata o loʻo i lalo o loʻo faʻaalia ai le auala e teu ai faʻamaumauga ma faʻatusa i nodes e maua ai faʻamatalaga maualuga.
O fa'amaumauga ta'itasi o fa'atusa o lo'o teuina i se fa'ailoga fa'aliliu, o le ata o lo'o i lalo o lo'o fa'aalia ai pe fa'apefea ona tupu lenei mea:
faatulagaga
E mafai ona va'aia fa'amatalaga , o le a ou fa'aogaina siata foeuli:
$ helm install efk-stack stable/elastic-stack --set logstash.enabled=false --set fluentd.enabled=true --set fluentd-elasticsPLG faaputuga
Aua e te ofo pe a e le maua le fa'apuupuuga lea, aua e sili ona lauiloa o le Grafana Loki. I soo se tulaga, o lenei faaputuga o loʻo maua le lauiloa ona o loʻo faʻaaogaina fofo faʻapitoa faʻamaonia. Atonu ua uma ona e faalogo i le Grafana, o se mea faigaluega va'aia lauiloa. O ona tagata na faia, na musuia e Prometheus, na atiina ae Loki, o se faiga faʻapipiʻi faʻasalalau, maualuga-faʻatinoina ogalaau. Loki fa'asino igoa na o metadata, ae le o api talaaga i latou lava, o se fofo faʻapitoa e mafai ai ona faigofie ona faʻaoga ma taugofie.
Promtail - o se sooupu mo le lafoina o ogalaau mai le faiga faʻaogaina i le vaega Loki. tusifana o se meafaigaluega faʻaaliga e faʻavae i luga o faʻamatalaga mai Loki.
Loki e fausia i luga o mataupu faavae tutusa e pei o Prometheus, e fetaui lelei mo le teuina ma le auiliiliga o ogalaau Kubernetes.
Loki fausaga
Loki e mafai ona faʻataʻitaʻiina pe o se faʻagasologa e tasi poʻo le tele o faʻagasologa, faʻatagaina mo le faʻasolosolo faʻasolosolo.
E mafai foi ona galue pe o se monolithic talosaga poʻo se microservice. O le tamo'e o se faiga e tasi e mafai ona aoga mo atina'e fa'apitonu'u po'o le mata'ituina fo'i. Mo le faʻatinoina o fale gaosimea ma le faʻalauteleina o galuega, e fautuaina e faʻaaoga le filifiliga microservice. O ala mo le tusitusi ma le faitauina o faʻamaumauga e tuʻueseese, ina ia mafai ona faʻaleleia lelei ma faʻalautele pe a manaʻomia.
Sei o tatou tilotilo i le fausaga o le faiga o le aoina o ogalaau e aunoa ma le auiliiliina:
Ma o le faʻamatalaga lenei (microservice architecture):
Vaega:
Promtail - o se sui faʻapipiʻi i nodes (e pei o se seti o auaunaga), na te aveesea ogalaau mai galuega ma faʻaoga le Kubernetes API e maua ai metadata e faʻailogaina ogalaau. Ona auina atu lea o le ogalaau i le auaunaga autu a Loki. Metadata fa'afanua e lagolagoina tulafono fa'ailoga tutusa e pei o Prometheus.
Distributor - o se tufatufaina atu auaunaga e galue o se pa'u. Ina ia faʻatautaia le faitau miliona o faʻamaumauga, e faʻapipiʻi faʻamaumauga o loʻo oʻo mai, faʻapipiʻi i poloka pe a oʻo mai. E tele fa'amaumauga o lo'o fa'agasolo i le taimi e tasi, ae o ogalaau o lo'o i totonu o se tasi o fa'amaumauga o lo'o sau e tatau ona fa'aalia i totonu o se tasi mo ana poloka uma. Ua fa'atulagaina lea i totonu o se mama fa'amau ma fa'asologa fa'asolosolo. Mo le fa'apalepale sese ma le fa'aletonu, e faia lenei mea i ni taimi (3 pe a le fa'atulagaina).
Fa'atosina - tagata e mauaina auaunaga. O poloka fa'amaumauga e o'o mai ua fa'apipi'iina ma fa'aopoopo ogalaau. A lava loa le lapo'a o le poloka, ona fa'aulu loa lea o le poloka ile fa'amaumauga. Metadata e alu i le faasino igoa, ma faʻamaumauga mai le poloka ogalaau alu i Chunks (masani mea e teu ai). A maeʻa le toe setiina, e faia e le tagata e taliaina se poloka fou e faʻaopoopoina ai faʻamaumauga fou.
limatusi - faʻamaumauga, DynamoDB, Cassandra, Google BigTable, ma isi.
Pipi — poloka ogalaau i faiga fa'apipi'i, e masani ona teu i totonu o mea e teu ai mea, mo se fa'ata'ita'iga, S3.
Fesili - o le ala faitau e faia uma galuega palapala. E va'ai i le fa'asologa o le taimi ma le fa'ailoga taimi, ona va'ai lea i le fa'ailoga e su'e ai fa'atusa. O le isi, e faitau poloka o faʻamaumauga ma faʻamamaina i latou e maua ai le iʻuga.
Se'i o tatou va'ai i mea uma o lo'o fa'atino.
faatulagaga
O le auala pito sili ona faigofie e faʻapipiʻi ai i Kubernetes o le faʻaaogaina o le foeuli. Matou te manatu ua uma ona e faʻapipiʻiina ma faʻapipiʻiina ( tusa. faaliliu)
Fa'aopoopo se faleteuoloa ma fa'apipi'i se fa'aputuga.
$ helm repo add loki https://grafana.github.io/loki/charts
$ helm repo update
$ helm upgrade --install loki loki/loki-stack --set grafana.enabled=true,prometheus.enabled=true,prometheus.alertmanager.persistentVolume.enabled=false,prometheus.server.persistentVolume.enabled=falseLalo o se faʻataʻitaʻiga dashboard faʻaalia faʻamatalaga mai le Prometheus mo Etcd metrics ma Loki mo Etcd pod logs.
Sei o tatou talanoaina le fausaga o faiga uma e lua, ma faʻatusatusa o latou gafatia i le tasi ma le isi.
Faatusatusaga
Gagana fesili
O lo'o fa'aogaina e Elasticsearch le Query DSL ma le gagana fa'afesili a Lucene e maua ai le agava'a su'esu'e tusitusiga atoa. Ose masini su'esu'e fa'amautu ma mamana fa'atasi ai ma le lagolago fa'afoe lautele. Fa'atasi ai, e mafai ona e su'esu'e i fa'amatalaga ma fa'avasega i le talafeagai.
I le isi itu o le mama o LogQL, faʻaaogaina i Loki, o le sui o PromQL (Prometheus query language). E fa'aogaina fa'ailoga ogalaau e fa'amama ma filifili ai fa'amaumauga fa'amaumauga. E mafai ona fa'aogaina nisi fa'agaioiga ma numera e pei ona fa'amatalaina , ae i tulaga o gafatia e tua i tua gagana Elastic.
Talu ai ona o fesili i Loki e fesoʻotaʻi ma faʻailoga, e faigofie ona faʻafesoʻotaʻi ma fua, ma o se taunuuga, e sili atu ona faigofie le faʻatulagaina o le mataʻituina o galuega.
Scalability
O fa'aputuga uma e lua e mafai ona fa'alava, ae fa'afaigofie e Loki ona e ese'ese auala faitau ma tusitusi ma se fa'ata'ita'iga microservice. Loki e mafai ona faʻavasegaina e fetaui ma ou manaʻoga ma e mafai ona faʻaogaina mo voluma tele o faʻamaumauga o ogalaau.
Teletenancy
Cluster multi-tenancy o se autu masani i le OPEX acronym, o faaputuga uma e lua e maua ai le tele-tenancy. E tele mo Elasticsearch tu'ueseeseina o tagata o tausia: fa'asinomaga tu'ufa'atasi mo tagata ta'ito'atasi, fa'asologa fa'atatau i tagata fa'atau, fanua fa'apitoa a tagata fa'atau, filiga su'esu'e. Loki e iai i le tulaga o se ulutala HTTP X-Scope-OrgID.
tau o
Loki e taugata tele ona o le mea moni e le faʻasinoina faʻamaumauga, naʻo metadata. E ausia lenei mea ma le manatua (cache), talu ai e sili atu le taugofie o le teuina o mea nai lo le teuina o poloka, lea e faʻaaogaina i fuifui Elasticsearch.
iʻuga
E mafai ona fa'aogaina le fa'aputuga EFK mo fa'amoemoega 'ese'ese, e tu'uina atu ai le fetu'una'iga aupito maualuga ma se fa'aoga-tamaoaiga Kibana fa'apitoa mo au'ili'iliga, va'aiga, ma fesili. E mafai ona faʻaleleia atili e ala i le mafai ona aʻoaʻoina masini.
E aoga le fa'aputuga Loki i le fa'alapotopotoga fa'anatura Kubernetes ona o lona fa'aogaina o metadata. E faigofie ona e fa'amaopoopo fa'amaumauga mo le mata'ituina e fa'atatau ile faasologa o taimi ile Grafana ma ogalaau.
A oʻo mai i le tau ma le teuina o ogalaau umi, Loki o se nofoaga sili ona lelei e ulufale ai i fofo ao.
E tele isi filifiliga i luga o le maketi - o nisi atonu e sili atu mo oe. Mo se faʻataʻitaʻiga, o le GKE o loʻo i ai se tuʻufaʻatasiga a Stackdriver e maua ai se fofo mataʻituina lelei. Matou te leʻi faʻaofiina i latou i la matou auiliiliga i lenei tusiga.
Faʻamatalaga:
O le tusiga na faaliliuina ma saunia mo Habr e tagata faigaluega - aʻoaʻoga malosi, vasega vitio ma aʻoaʻoga faʻapitoa mai faʻataʻitaʻiga faʻapitoa (Kubernetes, DevOps, Docker, Ansible, Ceph, SRE, Agile)
puna: www.habr.com
