Ko te aro turuki tetahi waahanga nui o te whakatipu rongoa kapua i te mea ka piki ake te uaua o nga punaha toha. He mea tika kia mohio ki o raatau whanonga. E hiahia ana matou ki nga taputapu tauineine ka taea te kohi raraunga mai i nga ratonga katoa - ka whakawhiwhia ki nga tohunga he atanga kotahi me te tātari mahi, te whakaatu hapa, te waatea me nga raarangi.
Ko enei taputapu ano me whai hua me te whai hua. I roto i tenei tuhinga, ka titiro tatou ki nga kohinga hangarau rongonui e rua: EFK (Elasticsearch) me PLG (Loki) ka tirotirohia o raatau hoahoanga me o raatau rereke.
EFK tāpae
Kua rongo pea koe mo te ELK tino rongonui, EFK ranei. He maha nga waahanga motuhake o te puranga: Elasticsearch (te rokiroki taonga), Logstash, FluentD ranei (kohinga rangitaki me te whakahiato), me te Kibana hei tirohanga.
He penei te ahua o tetahi rerenga mahi:
Te rangahau elastic — te rokiroki ahanoa kua tohatohahia me te rapu me te tātaritanga wa-tūturu. He otinga pai mo nga raraunga ahua-hanganga penei i nga raarangi. Ka tiakina nga korero hei tuhinga JSON, kua taurangihia i roto i te waa tuuturu, ka tohatohahia ki nga kohinga kohinga. Ka whakamahia he taurangi hurihuri, kei roto nga kupu ahurei katoa me nga tuhinga e hono ana mo te rapu kupu-katoa, ka ahu mai i te miihini rapu Apache Lucene.
MatauD he kaikohi raraunga e whakakotahi ana i nga raraunga i te wa e kohikohi ana, e kai ana. Ka ngana ki te whakarite i nga raraunga i roto i te JSON ka taea. He whanui te hoahoanga, he maha atu , tautoko-hapori, mo nga wa katoa.
Kibana - he taputapu whakakitenga raraunga mo Elasticsearch me nga momo kaha taapiri, hei tauira, te tātari raupapa wa, te tātari kauwhata, te ako miihini me etahi atu.
Hangahanga Elasticsearch
Ko nga raraunga kohinga Elasticsearch e rongoa ana ka horahia puta noa i ona pona katoa. Kei roto i te tautau he maha nga pona hei whakapai ake i te waatea me te kaha. Ka taea e tetahi node te mahi i nga mahi katoa o te tautau, engari i roto i nga whakatakotoranga nui ki waho, ko te nuinga o nga wa ka tohua nga mahi takitahi.
Momo node huinga:
- node ariki - ka whakahaere i te tautau, kia toru rawa e hiahiatia ana, kotahi e kaha tonu ana;
- node raraunga - ka penapena i nga raraunga kua tohua me te mahi i nga momo mahi ki a ia;
- node whakauru - he whakarite paipa mo te huri i nga raraunga i mua i te tohu tohu;
- ruruku node - tono ararere, whakaiti i te wahanga tukatuka rapu, ruruku taupū papatipu;
- kopuku matohi - te whakarewa i nga mahi mataara;
- node ako miihini - te tukatuka i nga mahi ako miihini.
Ko te hoahoa i raro nei e whakaatu ana me pehea te penapena me te tukurua i nga raraunga puta noa i nga pona kia nui ake te waatea o nga raraunga.
Ka penapenahia nga raraunga o ia tauira ki roto i te taurangi hurihuri, ko te hoahoa i raro nei e whakaatu ana me pehea e tupu ai:
tāutanga
Ka taea te tiro i nga korero , Ka whakamahi au i te tūtohi urungi:
$ helm install efk-stack stable/elastic-stack --set logstash.enabled=false --set fluentd.enabled=true --set fluentd-elasticsPLG tāpae
Kaua e miharo ki te kore e kitea e koe tenei acronym, i te mea e mohiotia ana ko Grafana Loki. Ahakoa he aha, kei te rongonui tenei puranga na te mea ka whakamahia e ia nga otinga hangarau kua whakamatauria. Kua rongo pea koe mo Grafana, he taputapu whakaata rongonui. Ko ona kaihanga, na Prometheus i whakaawe, i whakawhanake i a Loki, he punaha whakahiato raarangi whakapae, he mahi nui. Ko nga metadata anake e tohuhia ana e Loki, kaua ko nga rehitatanga ake, he otinga hangarau e taea ai te ngawari ki te whakamahi me te utu-utu.
Promtail - he kaihoko mo te tuku rangitaki mai i te punaha whakahaere ki te roopu Loki. Karepe he taputapu whakaata i runga i nga raraunga mai i a Loki.
I hangaia a Loki i runga i nga maapono rite tonu ki a Prometheus, na reira i pai ai mo te penapena me te tātari i nga raarangi Kubernetes.
Loki hoahoanga
Ka taea te whakahaere i te Loki hei tukanga kotahi, hei tukanga maha ranei, e taea ai te whakatauira whakapae.
Ka taea hoki te mahi hei tono monolithic, hei microservice ranei. Ko te whakahaere hei mahi kotahi ka whai hua mo te whanaketanga o te rohe, mo te aro turuki iti ranei. Mo te whakatinanatanga o te ahumahi me te kawenga mahi, ka tūtohuhia kia whakamahia te waahanga microservice. Ko nga huarahi mo te tuhi me te panui raraunga kua wehea, na reira ka taea te whakatika me te whakahiato ina hiahiatia.
Kia titiro tatou ki te hoahoanga o te punaha kohikohi rakau me te kore e whai kiko:
Anei te whakamaarama (te hoahoanga microservice):
Wae:
Promtail — he kaihoko i whakauruhia ki runga i nga pona (hei huinga ratonga), ka tango i nga raarangi mai i nga mahi ka uru atu ki te API Kubernetes ki te tiki metadata hei tohu i nga raarangi. Ka tukuna e ia te raarangi ki te ratonga Loki matua. Ka tautokohia e te mapi metadata nga ture tohu rite ki a Prometheus.
Distributor — he kaiwhakarato ratonga e mahi ana hei parepare. Ki te tukatuka i nga miriona rekoata, ka kohia e ia nga raraunga taumai, ka kopaki i roto i nga poraka ka tae mai. He maha nga totohu raraunga e rere ana i te wa kotahi, engari ko nga raarangi o tetahi awa raraunga taumai ka puta anake ki tetahi o aua poraka mo ona poraka katoa. Kua whakaritea tenei ki roto i te mowhiti totohu me te hashing raupapa. Mo te korenga o te he me te whakaheke, ka mahia tenei mo nga wa (3 mena kaore i whirihora).
Kaiwhakauru — kaiwhiwhi ratonga. Ka tae mai nga poraka Raraunga me te taapiri i nga rakau. Ina he rawaka te rahi o te poraka, ka peia te paraka ki te papaunga raraunga. Ka haere nga metadata ki te taurangi, ka haere nga raraunga mai i te poraka pororaka ki Chunks (te nuinga o te waa rokiroki ahanoa). I muri i te tautuhi, ka hangaia e te kaiwhiwhi he poraka hou hei whakauru i nga urunga hou.
taupū - pātengi raraunga, DynamoDB, Cassandra, Google BigTable, etc.
Mokamoka — poraka poro i roto i te puka kōpeke, te tikanga rongoa i roto i te rokiroki ahanoa, hei tauira, S3.
Kaihanga - te ara panui e mahi ana i nga mahi paru katoa. Ka titiro ki te awhe wa me te tohu waahi, katahi ka titiro ki te taurangi hei kimi i nga whakataetae. Whai muri, ka panuihia nga poraka o nga raraunga me te tātari kia whiwhi ai i te hua.
Inaianei kia kite tatou i nga mahi katoa.
tāutanga
Ko te huarahi ngawari ki te whakauru ki Kubernetes ko te whakamahi i te urungi. Ki ta matou whakaaro kua oti kee te whakauru me te whirihora ( āhua. kaiwhakamaori)
Tāpirihia he putunga me te whakauru i te puranga.
$ helm repo add loki https://grafana.github.io/loki/charts
$ helm repo update
$ helm upgrade --install loki loki/loki-stack --set grafana.enabled=true,prometheus.enabled=true,prometheus.alertmanager.persistentVolume.enabled=false,prometheus.server.persistentVolume.enabled=falseKei raro nei he tauira papatohu e whakaatu ana i nga raraunga mai i te Prometheus mo nga inenga Etcd me te Loki mo nga raarangi pod Etcd.
Inaianei me korero taatau mo te hoahoanga o nga punaha e rua, me te whakataurite hoki i o raatau kaha ki a raatau ano.
Whakataurite
Te reo patai
Ka whakamahi a Elasticsearch i te Uiui DSL me te reo patai a Lucene hei whakarato i nga kaha rapu kupu-kupu katoa. He miihini rapu kaha me te tautoko a te kaiwhakahaere whanui. Ma te reira, ka taea e koe te rapu ma te horopaki me te whakariterite ma te whaitake.
Kei tera taha o te mowhiti ko LogQL, i whakamahia i roto i te Loki, te kaiwhakakapi ki te PromQL (Prometheus query language). Ka whakamahia nga tohu rangitaki hei tātari me te kowhiri i nga raraunga rangitaki. Ka taea te whakamahi i etahi o nga kaitoro me te taunga i whakaahuatia , engari i runga i nga kaha kei muri i te reo Elastic.
I te mea ko nga patai kei Loki e hono ana ki nga tohu, he ngawari ki te hono atu ki nga inenga, na reira, he maamaa ake te whakarite i te aroturuki whakahaere.
Tauineine
Ko nga puranga e rua ka taea te whakaheke, engari he maamaa ake na Loki na te mea he rereke nga huarahi panui me te tuhi me te hoahoanga ratonga miihini. Ka taea te whakarite Loki kia rite ki o hiahia, ka taea hoki te whakamahi mo te nui rawa o nga raraunga rangitaki.
Whakanuia
He kaupapa noa te Cluster multitenancy i roto i te OPEX abreviation, e rua nga puranga e whakarato ana i te maha. He maha mo Elasticsearch te wehenga o te kiritaki: te taurangi motuhake mo ia kiritaki, te ararere-a-kiritaki, nga mara kiritaki ahurei, nga whiriwhiringa rapu. Kei a Loki i te ahua o te pane pane HTTP X-Scope-OrgID.
utu o
He tino whai hua a Loki na te mea kaore e tohuhia nga raraunga, ko nga metadata anake. Ka tutuki tenei me te mahara (keteroki), na te mea he iti ake te rokiroki ahanoa i te rokiroki poraka, ka whakamahia i roto i nga tautau Elasticsearch.
mutunga
Ka taea te whakamahi i te puranga EFK mo nga kaupapa rereke, e whakarato ana i te tino ngawari me te atanga Kibana-nui mo te tātaritanga, tirohanga, me nga patai. Ka taea te whakanui ake ma te ako miihini.
He whai hua te puranga Loki i roto i te puunaha rauwiringa kaiao Kubernetes na runga i tana tikanga kitenga metadata. Ka taea e koe te whakatika i nga raraunga mo te aro turuki i runga i nga raupapa wa i roto i te Grafana me nga raarangi.
Ina tae mai ki te utu me te rokiroki mo te wa roa, ko Loki te waahi urunga pai ki nga otinga kapua.
He maha atu nga whiringa kei runga i te maakete - he pai ake pea etahi mo koe. Hei tauira, he whakauru Stackdriver a GKE e whakarato ana i te otinga aroturuki pai. Kaore i whakauruhia e matou ki roto i ta maatau tātaritanga i tenei tuhinga.
He Tohutoro:
I whakamaoritia te tuhinga me te whakarite mo Habr e nga kaimahi - nga akoranga kaha, akoranga ataata me nga whakangungu umanga mai i nga tohunga whakangungu (Kubernetes, DevOps, Docker, Ansible, Ceph, SRE, Agile)
Source: will.com