Lasa singa tena manan-danja amin'ny fitomboan'ny vahaolana rahona ny fanaraha-maso satria mitombo ny fahasarotan'ny rafitra zaraina. Ilaina ny mahatakatra ny fitondran-tenany. Mila fitaovana azo scalable izahay izay afaka manangona angona avy amin'ny serivisy rehetra - ary manome ny manam-pahaizana manokana amin'ny interface tokana miaraka amin'ny famakafakana ny zava-bita, ny fampisehoana lesoka, ny fisiana ary ny logs.
Ireo fitaovana ireo dia tsy maintsy mahomby sy mamokatra. Ato amin'ity lahatsoratra ity isika dia hijery ny teknolojia malaza roa: EFK (Elasticsearch) sy PLG (Loki) ary handinika ny maritrano sy ny fahasamihafana.
Vidin'ny EFK
Mety efa naheno momba ny ELK na EFK tena malaza ianao. Ny stack dia misy ampahany maromaro miavaka: Elasticsearch (fitehirizana zavatra), Logstash na FluentD (fanangonana sy fanangonana log), ary Kibana ho an'ny sary.
Toy izao ny fomba fiasa mahazatra:
Elasticsearch - fitehirizana zavatra zaraina miaraka amin'ny fikarohana sy fanadihadiana amin'ny fotoana tena izy. Vahaolana tsara ho an'ny data semi-structured toy ny logs. Ny fampahalalana dia voatahiry ho antontan-taratasy JSON, voatanisa amin'ny fotoana tena izy ary zaraina amin'ny node cluster. Ny fanondroana mivadika dia ampiasaina ahitana teny tokana sy antontan-taratasy mifandraika amin'ny fikarohana lahatsoratra feno, izay mifototra amin'ny motera fikarohana Apache Lucene.
FluentD dia mpanangona angona mampiray angona rehefa manangona sy mandany azy. Miezaka mandamina ny angona ao amin'ny JSON araka izay azo atao. Ny haitao dia azo itarina, misy mihoatra , tohanan'ny fiaraha-monina, amin'ny fotoana rehetra.
kibana - fitaovana fijerena angon-drakitra ho an'ny Elasticsearch miaraka amin'ny fahaiza-manao fanampiny isan-karazany, ohatra, famakafakana andiam-potoana, famakafakana grafika, fianarana milina sy ny maro hafa.
Architecture Elasticsearch
Ny angona cluster Elasticsearch dia voatahiry miparitaka manerana ny node rehetra. Ny cluster dia misy node maromaro mba hanatsarana ny fahafaha-manao sy ny faharetana. Ny node rehetra dia afaka manatanteraka ny anjara asa rehetra ao amin'ny cluster, fa amin'ny fametrahana lehibe, ny node dia matetika nomena asa manokana.
Karazana node kluster:
- master node - mitantana ny cluster, farafahakeliny telo no ilaina, ny iray dia mavitrika foana;
- data node - mitahiry angon-drakitra voarakitra ary manao asa isan-karazany miaraka aminy;
- ingest node - mandamina fantsona ho an'ny fanovana data alohan'ny fanondroana;
- fandrindrana node - fangatahan'ny lalana, fampihenana ny dingana fanodinana fikarohana, fandrindrana ny fanondroana faobe;
- fanairana node - manomboka asa fanairana;
- machine learning node - fanodinana asa fianarana milina.
Ny kisary etsy ambany dia mampiseho ny fomba fitehirizana sy fametahana ny angon-drakitra manerana ny nodes mba hahazoana ny fahazoana angona ambony kokoa.
Ny angon'ny kopia tsirairay dia voatahiry ao anaty tondro mivadika, ny kisary etsy ambany dia mampiseho ny zava-mitranga:
fametrahana
Azo jerena ny antsipiriany , Hampiasa tabilao mitondra fiara aho:
$ helm install efk-stack stable/elastic-stack --set logstash.enabled=false --set fluentd.enabled=true --set fluentd-elasticsVidin'ny PLG
Aza gaga raha tsy hitanao ity fanafohezan-teny ity, satria fantatra kokoa amin'ny anarana hoe Grafana Loki. Na izany na tsy izany dia lasa malaza ity stack ity satria mampiasa vahaolana ara-teknika voaporofo. Mety efa naheno momba an'i Grafana ianao, fitaovana malaza amin'ny fijerena sary. Ny mpamorona azy, nahazo aingam-panahy avy amin'ny Prometheus, dia namolavola an'i Loki, rafitra fanangonam-bokatra vita amin'ny logiciel mitsivalana. Ny metadata ihany no tondroin'i Loki, fa tsy ny gazety mihitsy, vahaolana ara-teknika izay mamela azy io ho mora ampiasaina sy lafo vidy.
Promtail - mpiasan'ny fandefasana logs avy amin'ny rafitra miasa mankany amin'ny cluster Loki. grafana dia fitaovana fijerena sary mifototra amin'ny angona avy amin'i Loki.
Ny Loki dia miorina amin'ny foto-kevitra mitovy amin'ny Prometheus, ka mety tsara amin'ny fitehirizana sy famakafakana ny hazo Kubernetes.
Loki architecture
Ny Loki dia azo atao amin'ny dingana tokana na amin'ny dingana maromaro, mamela ny fanamafisam-peo marindrano.
Izy io koa dia afaka miasa amin'ny fampiharana monolithic na amin'ny serivisy micro. Ny fandehanana toy ny dingana tokana dia mety ilaina amin'ny fampandrosoana eo an-toerana na amin'ny fanaraha-maso kely. Ho an'ny fampiharana indostrialy sy ny enta-mavesatry ny asa, dia soso-kevitra ny hampiasa ny safidy microservice. Misaraka ny lalan'ny fanoratana sy famakiana angona, ka azo amboarina tsara sy ampitomboina araka izay ilaina izany.
Andeha hojerentsika ny rafitry ny rafitra fanangonana lozika nefa tsy miditra amin'ny antsipiriany:
Ary ity ny famaritana (architecture microservice):
singa:
Promtail - mpiasa iray napetraka amin'ny nodes (ho an'ny serivisy), dia manaisotra ny logs amin'ny asa ary miditra amin'ny Kubernetes API mba hahazoana metadata izay hanamarika ny logs. Avy eo dia alefany any amin'ny serivisy Loki lehibe ny log. Ny sarintany metadata dia manohana ny fitsipika fametahana marika mitovy amin'ny Prometheus.
Distributor - mpaninjara serivisy miasa toy ny buffer. Mba hikarakarana firaketana an-tapitrisany, dia manangona angon-drakitra miditra izy, manindry azy amin'ny sakana rehefa tonga. Maromaro ny data milentika no mandeha miaraka, fa ny logs an'ny angon-drakitra miditra iray dia tsy tokony hiseho afa-tsy amin'ny iray amin'izy ireo ho an'ny sakana rehetra. Izy io dia voalamina ao amin'ny peratra fanapotehana sy hashing misesy. Ho an'ny fandeferana sy ny faneriterena ny fahadisoana, dia atao in-n'ny (3 raha tsy voarindra).
Ingester - mpandray serivisy. Tonga voaporitra miaraka amin'ny logs fanampiny ny sakana data. Rehefa ampy habe ny sakana, dia alefa any amin'ny angon-drakitra ilay sakana. Ny metadata dia mankany amin'ny index, ary ny angona avy amin'ny log block dia mankany amin'ny Chunks (matetika fitahirizana zavatra). Aorian'ny famerenana dia mamorona sakana vaovao izay hampidirana fidirana vaovao ny mpandray.
Index - angona, DynamoDB, Cassandra, Google BigTable, sns.
Chunks - blocs amin'ny endrika compressed, matetika voatahiry ao anaty fitahirizana zavatra, ohatra, S3.
Querier - ny lalana mamaky izay manao ny asa maloto rehetra. Mijery ny fe-potoana sy ny mari-pamantarana izy io, ary avy eo mijery ny tondro hahitana lalao. Manaraka izany dia mamaky andian-drakitra izy ary manivana azy ireo hahazoana ny valiny.
Andeha hojerentsika izao ny zava-drehetra.
fametrahana
Ny fomba tsotra indrindra hametrahana ao amin'ny Kubernetes dia ny fampiasana helm. Mihevitra izahay fa efa nametraka sy nanamboatra azy io ianao ( eo ho eo MPANDIKA TENY)
Manampia tahiry ary mametraka stack.
$ helm repo add loki https://grafana.github.io/loki/charts
$ helm repo update
$ helm upgrade --install loki loki/loki-stack --set grafana.enabled=true,prometheus.enabled=true,prometheus.alertmanager.persistentVolume.enabled=false,prometheus.server.persistentVolume.enabled=falseIty ambany ity ny dashboard ohatra mampiseho angona avy amin'ny Prometheus for Etcd metrics sy Loki for Etcd pod logs.
Andeha isika hiresaka momba ny maritrano amin'ireo rafitra roa ireo, ary ampitahao koa ny fahaizan'izy ireo.
fampitahana
Fiteny fanontaniana
Elasticsearch dia mampiasa Query DSL sy fiteny fangatahana Lucene mba hanomezana fahafaha-manao fikarohana lahatsoratra feno. Izy io dia milina fikarohana matanjaka sy matanjaka miaraka amin'ny fanohanan'ny mpandraharaha midadasika. Miaraka amin'izany ianao dia afaka mikaroka amin'ny teny manodidina ary mandamina araka ny tokony ho izy.
Eo amin'ny ilany ilany amin'ny peratra ny LogQL, ampiasaina ao amin'ny Loki, ilay mpandimby ny PromQL (Prometheus query language). Mampiasa marika log izy io mba hanivana sy hisafidy angona log. Azo atao ny mampiasa opérateur sy arithmetika sasany araka ny voalaza , fa amin'ny lafiny fahaiza-manao dia mihemotra ao ambadiky ny fiteny Elastika.
Satria ny fanontaniana ao amin'ny Loki dia mifandray amin'ny marika, mora mifandray amin'ny metrika izy ireo, ary vokatr'izany dia mora kokoa ny mandamina ny fanaraha-maso miasa.
Scalability
Ireo stacks roa ireo dia mitsivalana mitsivalana, saingy i Loki dia manamora izany satria manana lalana mamaky sy manoratra misaraka ary maritrano microservice. Ny Loki dia azo amboarina hifanaraka amin'ny filanao ary azo ampiasaina amin'ny angon-drakitra logiciel be dia be.
Multitenancy
Lohahevitra mahazatra amin'ny fanafohezana ny OPEX ny fitambaran'ny multitenancy, samy manome famatsiam-bola ny stacks roa. Misy maromaro ho an'ny Elasticsearch fisarahana amin'ny mpanjifa: fanondroana misaraka ho an'ny mpanjifa tsirairay, lalana mifototra amin'ny mpanjifa, saha mpanjifa tokana, sivana fikarohana. Loki manana amin'ny endrika lohatenin'ny HTTP X-Scope-OrgID.
vidin'ny
Loki dia tena mandaitra noho ny zava-misy fa tsy manondro ny angon-drakitra, fa ny metadata ihany. Mahavita izany ary fahatsiarovana (cache), satria mora kokoa ny fitahirizana zavatra noho ny fitehirizana sakana, izay ampiasaina amin'ny cluster Elasticsearch.
famaranana
Ny stack EFK dia azo ampiasaina amin'ny tanjona isan-karazany, manome flexibility ambony indrindra ary interface tsara Kibana manankarena amin'ny famakafakana, fijerena sary ary fanontaniana. Azo ampitomboina bebe kokoa izany amin'ny alàlan'ny fahaiza-manao fianarana milina.
Ny stack Loki dia ilaina amin'ny ekôsistema Kubernetes noho ny mekanika fikarohana metadata. Azonao atao ny mampifandray mora foana ny angona ho an'ny fanaraha-maso mifototra amin'ny andian-potoana ao amin'ny Grafana sy ny logs.
Raha ny momba ny vidiny sy ny fitahirizana lozisialy maharitra, Loki dia toerana fidirana tsara amin'ny vahaolana rahona.
Misy safidy hafa eny an-tsena - mety ho tsara kokoa ho anao ny sasany. Ohatra, ny GKE dia manana fampidirana Stackdriver izay manome vahaolana fanaraha-maso tsara. Tsy nampidirinay tao amin'ny fanadihadianay ato amin'ity lahatsoratra ity izy ireo.
andinin-tsoratra masina:
Nadika sy nomanin'ny mpiasa ho an'ny Habr ilay lahatsoratra - fampianarana mafonja, fampianarana video ary fanofanana orinasa avy amin'ny manam-pahaizana manokana (Kubernetes, DevOps, Docker, Ansible, Ceph, SRE, Agile)
Source: www.habr.com
