Salama daholo! Oleg Sidorenkov no anarako, miasa ao amin'ny DomClick aho ho lehiben'ny ekipan'ny fotodrafitrasa. Efa telo taona mahery no nampiasanay an'i Kubik tamin'ny famokarana, ary nandritra izany fotoana izany dia niaina fotoana mahaliana maro samihafa niaraka tamin'izany izahay. Androany aho dia hilaza aminao ny fomba, amin'ny fomba mety, azonao atao ny manindry fampisehoana bebe kokoa amin'ny vanila Kubernetes ho an'ny cluster anao. Vonona steady go!
Fantatrareo tsara fa ny Kubernetes dia rafitra loharano misokatra azo scalable ho an'ny orkestra kaontenera; tsara, na binary 5 izay miasa majika amin'ny fitantanana ny tsingerin'ny fiainan'ny microservices ao amin'ny tontolo mpizara. Fanampin'izany, fitaovana mora mora azo amboarina toy ny Lego ho an'ny fanamboarana ambony indrindra amin'ny asa samihafa.
Ary toa tsara daholo ny zava-drehetra: atsipazo ny mpizara ao anaty cluster toy ny kitay ao anaty vata fampangatsiahana, ary tsy hahalala alahelo ianao. Fa raha momba ny tontolo iainana ianao, dia hieritreritra hoe: “Ahoana no ahafahako mirehitra sy mitsitsy ny ala?” Raha lazaina amin'ny teny hafa, ny fomba fitadiavana fomba hanatsarana ny fotodrafitrasa sy hampihenana ny fandaniana.
1. Manara-maso ny loharanon'ny ekipa sy ny fampiharana
Ny iray amin'ireo fomba mahazatra indrindra, saingy mahomby dia ny fampidirana fangatahana / fetra. Zarao ny rindranasa amin'ny anaran'ny toerana, ary ny anaran'ireo ekipan'ny fampandrosoana. Alohan'ny fametrahana dia apetraho ny sandan'ny fampiharana ho an'ny fanjifana ny fotoana processeur, ny fitadidiana ary ny fitahirizana ephemeral.
resources:
requests:
memory: 2Gi
cpu: 250m
limits:
memory: 4Gi
cpu: 500mTamin'ny alalan'ny traikefa dia tonga tamin'ny famaranana izahay: tsy tokony hampiakatra avo roa heny ny fangatahana avy amin'ny fetra. Ny habetsahan'ny kluster dia kajy mifototra amin'ny fangatahana, ary raha manome fampiharana ny tsy fitoviana amin'ny loharanon-karena, ohatra, in-5-10, dia alaivo sary an-tsaina izay hitranga amin'ny node anao rehefa feno pods ary mahazo entana tampoka. Tsy misy tsara. Farafaharatsiny, mamely, ary fara fahakeliny, dia hanao veloma amin'ny mpiasa ianao ary hahazo enta-mavesatra amin'ny node sisa rehefa manomboka mihetsika ny pods.
Ankoatra izany, miaraka amin'ny fanampiana limitranges Eo am-piandohana dia azonao atao ny mametraka ny sandan'ny loharano ho an'ny kaontenera - kely indrindra, ambony indrindra ary default:
➜ ~ kubectl describe limitranges --namespace ops
Name: limit-range
Namespace: ops
Type Resource Min Max Default Request Default Limit Max Limit/Request Ratio
---- -------- --- --- --------------- ------------- -----------------------
Container cpu 50m 10 100m 100m 2
Container ephemeral-storage 12Mi 8Gi 128Mi 4Gi -
Container memory 64Mi 40Gi 128Mi 128Mi 2Aza adino ny mametra ny loharanon'ny toeran'ny anarana mba tsy ahafahan'ny ekipa iray mandray ny loharano rehetra ao amin'ny cluster:
➜ ~ kubectl describe resourcequotas --namespace ops
Name: resource-quota
Namespace: ops
Resource Used Hard
-------- ---- ----
limits.cpu 77250m 80
limits.memory 124814367488 150Gi
pods 31 45
requests.cpu 53850m 80
requests.memory 75613234944 150Gi
services 26 50
services.loadbalancers 0 0
services.nodeports 0 0Araka ny hita amin'ny famaritana resourcequotas, raha te hametraka pods izay handany cpu 10 hafa ny ekipan'ny ops, dia tsy avelan'ny mpandrindra izany ary hanipy fahadisoana:
Error creating: pods "nginx-proxy-9967d8d78-nh4fs" is forbidden: exceeded quota: resource-quota, requested: limits.cpu=5,requests.cpu=5, used: limits.cpu=77250m,requests.cpu=53850m, limited: limits.cpu=10,requests.cpu=10Mba hamahana olana toy izany dia afaka manoratra fitaovana ianao, ohatra, toy ny , afaka mitahiry sy mametraka ny toetry ny loharanon-kafatra.
2. Fidio ny fitehirizana rakitra tsara indrindra
Eto aho dia te-hikasika ny lohahevitra momba ny habetsahana maharitra sy ny subsystem kapila an'ny node mpiasa Kubernetes. Manantena aho fa tsy misy mampiasa ny "Cube" amin'ny HDD amin'ny famokarana, fa indraindray ny SSD mahazatra dia tsy ampy intsony. Nisedra olana izahay izay namonoan'ny logs ny kapila noho ny fiasan'ny I/O, ary tsy misy vahaolana maro:
-
Mampiasà SSD avo lenta na mifamadika amin'ny NVMe (raha mitantana ny fitaovanao manokana ianao).
-
Ampihena ny haavon'ny logging.
-
Manaova fifandanjana "smart" amin'ireo pods izay manolanana ny kapila (
podAntiAffinity).
Ny efijery etsy ambony dia mampiseho ny zava-mitranga eo ambanin'ny nginx-ingress-controller amin'ny kapila rehefa alefa ny logic_logs (~12 arivo logs/sec). Ity fepetra ity, mazava ho azy, dia mety hitarika amin'ny fanimbana ny fampiharana rehetra amin'ity node ity.
Raha ny momba ny PV, indrisy, tsy nanandrana ny zava-drehetra aho Boky maharitra. Ampiasao ny safidy tsara indrindra mety aminao. Ara-tantara, nitranga teto amin'ny firenentsika fa ny ampahany kely amin'ny serivisy dia mitaky ny boky RWX, ary efa ela no nanomboka nampiasa fitahirizana NFS ho an'ity asa ity. Mora sady... ampy. Mazava ho azy, izaho sy izy dia nihinana diky - mitahy anao, saingy nianatra nanala izany izahay, ary tsy narary intsony ny lohako. Ary raha azo atao dia mifindra any amin'ny fitahirizana zavatra S3.
3. Manangona sary optimized
Ny tsara indrindra dia ny mampiasa sary namboarina ho an'ny container mba ahafahan'ny Kubernetes maka azy ireo haingana kokoa sy manatanteraka azy ireo amin'ny fomba mahomby kokoa.
Optimized dia midika fa ny sary:
-
tsy misy fampiharana tokana na manao asa iray ihany;
-
kely ny habeny, satria ny sary lehibe dia ampitaina ratsy kokoa amin'ny tambajotra;
-
manana tanjona farany amin'ny fahasalamana sy fahavononana izay ahafahan'ny Kubernetes mandray andraikitra raha sendra ny fotoana fitsaharana;
-
Mampiasà rafitra fiasana mahazaka kaontenera (toa an'i Alpine na CoreOS), izay mahatohitra kokoa ny hadisoan'ny fanitsiana;
-
Mampiasà fananganana maromaro maromaro mba hahafahanao mametraka rindranasa voaangona fotsiny fa tsy ireo loharano miaraka aminy.
Betsaka ny fitaovana sy serivisy ahafahanao manamarina sy manatsara ny sary amin'ny lalitra. Zava-dehibe ny fitazomana azy ireo hatrany ary asedraina ho fiarovana. Vokatr'izany dia mahazo:
-
Nahena ny enta-tambajotra amin'ny cluster manontolo.
-
Mampihena ny fotoana fanombohana kaontenera.
-
Habe kely kokoa amin'ny rejisitra Docker manontolo.
4. Mampiasà cache DNS
Raha miresaka momba ny enta-mavesatra be isika, dia tena ratsy ny fiainana raha tsy manitsy ny rafitra DNS an'ny cluster. Indray andro, nanohana ny vahaolana kube-dns ny mpamorona Kubernetes. Teto ihany koa no nampiharana azy, saingy tsy nofantsihana manokana io logiciel io ary tsy namokatra ny zava-bita ilaina, na dia toa asa tsotra aza. Avy eo dia niseho ny coredns, izay nifindranay ary tsy nisy alahelo; lasa serivisy DNS default ao amin'ny K8s izany. Tamin'ny fotoana iray dia nitombo hatramin'ny 40 arivo rps izahay tamin'ny rafitra DNS, ary nanjary tsy ampy ihany koa io vahaolana io. Saingy, noho ny vintana dia nivoaka ny Nodelocaldns, aka node local cache, aka .
Nahoana isika no mampiasa izany? Misy bibikely ao amin'ny kernel Linux izay, rehefa miantso maromaro amin'ny alàlan'ny conntrack NAT amin'ny UDP, dia mitarika amin'ny fepetra hazakazaka ho an'ny fidirana amin'ny tabilao conntrack, ary very ny ampahany amin'ny fifamoivoizana amin'ny NAT (ny dia iray amin'ny serivisy dia NAT). Ny Nodelocaldns dia mamaha ity olana ity amin'ny alàlan'ny fanesorana ny NAT sy ny fanavaozana ny fifandraisana amin'ny TCP mankany amin'ny DNS ambony, ary koa ny famandrihana DNS eo an-toerana (anisan'izany ny cache minus 5 segondra).
5. Ampitomboy ny pods mitsivalana sy mitsangana ho azy
Afaka milaza amim-pahatokiana ve ianao fa vonona amin'ny fampiakarana entana roa na telo heny ny microservices rehetra? Ahoana ny fomba fitsinjarana ny loharanon-karena amin'ny fampiharanao? Ny fitazonana pods roa mandeha mihoatra ny enta-mavesatry ny asa dia mety ho tafahoatra, fa ny fitazonana azy ireo hiverina any aoriana dia miteraka risika amin'ny fiatoana noho ny fitomboan'ny fifamoivoizana mankany amin'ny serivisy. Serivisy toy ny и .
VPA mamela anao hampiakatra ho azy ny fangatahana/fametrahan'ny fitoeranao ao anaty pod arakaraka ny fampiasana azy. Ahoana no mety hahasoa azy? Raha manana pods ianao izay tsy azo amboarina mitsivalana noho ny antony (izay tsy azo ianteherana tanteraka), dia azonao atao ny manandrana mametraka fanovana amin'ny loharanony amin'ny VPA. Ny endri-javatra dia rafitra fanolorana mifototra amin'ny angona ara-tantara sy amin'izao fotoana izao avy amin'ny metric-server, ka raha tsy te hanova ho azy ny fangatahana / fetra ianao dia azonao atao ny manara-maso fotsiny ireo loharano atolotra ho an'ny fitoeranao ary manatsara ny toe-javatra hitahiry ny CPU sy fahatsiarovana ao amin'ny cluster.
Sary nalaina tao amin'ny https://levelup.gitconnected.com/kubernetes-autoscaling-101-cluster-autoscaler-horizontal-pod-autoscaler-and-vertical-pod-2a441d9ad231
Ny fandaharam-potoana ao amin'ny Kubernetes dia mifototra amin'ny fangatahana foana. Na inona na inona sanda apetrakao ao, ny mpandrindra dia hitady node mety mifototra amin'izany. Ny soatoavina fetra dia ilaina mba hahafantaran'ny cubelet hoe rahoviana ianao no mamely na mamono ny pod. Ary satria ny hany marika manan-danja dia ny sandan'ny fangatahana, ny VPA dia hiara-miasa aminy. Isaky ny manenjana fampiharana mitsangana ianao dia mamaritra hoe inona no tokony ho fangatahana. Inona no hitranga amin'ny fetra? Ity mari-pamantarana ity ihany koa dia hasaina amin'ny proportionally.
Ohatra, ireto ny firafitry ny pod mahazatra:
resources:
requests:
memory: 250Mi
cpu: 200m
limits:
memory: 500Mi
cpu: 350mNy maotera fanolorana dia mamaritra fa ny fampiharanao dia mitaky CPU 300m sy 500Mi mba hampandeha tsara. Hahazo ireto fanovana manaraka ireto ianao:
resources:
requests:
memory: 500Mi
cpu: 300m
limits:
memory: 1000Mi
cpu: 525mAraka ny voalaza etsy ambony, ity dia scaling proportional mifototra amin'ny tahan'ny fangatahana / fetra amin'ny manifest:
-
CPU: 200m → 300m: tahan'ny 1:1.75;
-
Fahatsiarovana: 250Mi → 500Mi: ratio 1:2.
Momba ny Ambovombe, dia mangarahara kokoa ny fomba fiasa. Ny metrika toy ny CPU sy ny fitadidiana dia voafefy, ary raha mihoatra ny tokonam-baravarana ny salan'isa amin'ny kopia rehetra, dia ampitomboina amin'ny sub +1 ny fampiharana mandra-pahatongan'ny sanda eo ambanin'ny tokonam-baravarana na mandra-pahatongan'ny isa ambony indrindra amin'ny kopia.
Sary nalaina tao amin'ny https://levelup.gitconnected.com/kubernetes-autoscaling-101-cluster-autoscaler-horizontal-pod-autoscaler-and-vertical-pod-2a441d9ad231
Ho fanampin'ny metrika mahazatra toy ny CPU sy ny fitadidiana, azonao atao ny mametraka tokonam-baravarana amin'ny metrika mahazatra anao avy amin'ny Prometheus ary miara-miasa amin'izy ireo raha heverinao fa izany no famantarana marina indrindra amin'ny fotoana hanesorana ny fampiharanao. Raha vao miorim-paka eo ambanin'ny tokonam-baravarana voatondro ny fampiharana, dia hanomboka hampidina ny pods ny HPA mankany amin'ny isan'ny kopia faran'izay kely indrindra na mandra-pahatongan'ny entana amin'ny tokonam-baravarana voatondro.
6. Aza adino ny momba ny Node Affinity sy ny Pod Affinity
Tsy ny node rehetra no mandeha amin'ny fitaovana iray ihany, ary tsy ny pods rehetra no mila mampiasa rindranasa mazoto kajy. Ny Kubernetes dia ahafahanao mametraka manokana ny nodes sy pods ampiasaina Node Affinity и Pod Affinity.
Raha manana nodes izay mety amin'ny asa fikajiana ny kajy ianao, dia tsara kokoa ny mamatotra ny fampiharana amin'ireo nodes mifanaraka amin'izany ho an'ny fahombiazana ambony indrindra. Mba hanaovana izany fampiasana nodeSelector miaraka amin'ny marika node.
Andeha atao hoe manana node roa ianao: ny iray misy CPUType=HIGHFREQ ary cores haingana be dia be, iray hafa miaraka amin'ny MemoryType=HIGHMEMORY fitadidiana bebe kokoa sy fampisehoana haingana kokoa. Ny fomba tsotra indrindra dia ny manendry fametrahana amin'ny node HIGHFREQamin'ny fanampiana amin'ny fizarana spec Selector toy izao:
…
nodeSelector:
CPUType: HIGHFREQNy fomba lafo kokoa sy manokana hanaovana izany dia ny fampiasana nodeAffinity eny an-tsaha affinity faritra spec. Misy safidy roa:
-
requiredDuringSchedulingIgnoredDuringExecution: fametrahana mafy (ny mpandrindra dia hametraka pods amin'ny nodes manokana (ary tsy misy hafa)); -
preferredDuringSchedulingIgnoredDuringExecution: toe-javatra malefaka (ny mpandrindra dia hiezaka ny hametraka amin'ny node manokana, ary raha tsy mahomby izany, dia hiezaka ny hametraka amin'ny node misy manaraka).
Azonao atao ny mamaritra fehezanteny manokana amin'ny fitantanana ny mari-pamantarana node, toy ny In, NotIn, Exists, DoesNotExist, Gt na Lt. Na izany aza, tadidio fa ny fomba sarotra amin'ny lisitra lava misy etikety dia hampiadana ny fandraisana fanapahan-kevitra amin'ny toe-javatra sarotra. Raha lazaina amin'ny teny hafa dia ataovy tsotra izany.
Araka ny voalaza etsy ambony, ny Kubernetes dia ahafahanao mametraka ny fifandraisan'ny pods ankehitriny. Izany hoe, azonao atao ny miara-miasa amin'ny pods sasany miaraka amin'ny pod hafa ao amin'ny faritra misy azy (mifandraika amin'ny rahona) na node.
В podAffinity saha affinity faritra spec ireo sehatra mitovy amin'ny an'ny nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution и preferredDuringSchedulingIgnoredDuringExecution. Ny hany mahasamihafa azy dia izay matchExpressions dia hamatotra ny pods amin'ny node izay efa mandeha pod miaraka amin'io marika io.
Kubernetes koa dia manolotra saha podAntiAffinity, izay, mifanohitra amin'izany, dia tsy mamehy ny pod amin'ny node misy pods manokana.
Momba ny fomba fiteny nodeAffinity Ny toro-hevitra mitovy dia azo omena: miezaha hitandrina ny fitsipika tsotra sy lojika, aza miezaka ny overload ny pod specification amin'ny saro-takarina fitsipika. Tena mora ny mamorona fitsipika tsy mifanaraka amin'ny fepetran'ny cluster, mamorona entana tsy ilaina amin'ny scheduler ary mampihena ny fahombiazan'ny ankapobeny.
7. Tants & Fandeferana
Misy fomba iray hafa hitantana ny scheduler. Raha manana cluster lehibe ianao miaraka amin'ny node an-jatony sy microservices an'arivony, dia sarotra be ny tsy mamela ny pod sasany hampiantrano amin'ny node sasany.
Manampy amin'izany ny fomba fiasan'ny tants—mandrara ny fitsipika. Ohatra, amin'ny toe-javatra sasany dia azonao atao ny mandrara ny node sasany amin'ny fandefasana pods. Mba hampiharana taint amin'ny node manokana dia mila mampiasa ny safidy ianao taint amin'ny kubectl. Ampidiro ny lakile sy ny sanda ary avy eo taint toy NoSchedule na NoExecute:
$ kubectl taint nodes node10 node-role.kubernetes.io/ingress=true:NoScheduleTsara ihany koa ny manamarika fa ny mekanika taint dia manohana fiantraikany lehibe telo: NoSchedule, NoExecute и PreferNoSchedule.
-
NoScheduleMidika izany fa amin'izao fotoana izao dia tsy hisy fidirana mifanaraka amin'izany amin'ny fanondroana podtolerations, dia tsy azo apetraka amin'ny node (amin'ity ohatra itynode10). -
PreferNoSchedule- dikan-teny tsotraNoSchedule. Amin'ity tranga ity, ny mpandrindra dia hiezaka ny tsy hizara pods izay tsy misy fidirana mifanentanatolerationsisaky ny node, saingy tsy fetra sarotra izany. Raha tsy misy loharanon-karena ao amin'ny cluster, dia hanomboka hiparitaka amin'ity node ity ny pods. -
NoExecute- io fiantraikany io dia miteraka ny fandroahana avy hatrany ireo pods izay tsy misy fidirana mifanaraka amin'izanytolerations.
Mahaliana fa ity fihetsika ity dia azo foanana amin'ny alàlan'ny mekanika fandeferana. Mety izany rehefa misy node "voarara" ary mila mametraka serivisy fotodrafitrasa eo aminy ianao. Ahoana no hanaovana izany? Avelao ihany ireo pod izay misy fandeferana mety.
Toy izao ny mety ho endriky ny pod:
spec:
tolerations:
- key: "node-role.kubernetes.io/ingress"
operator: "Equal"
value: "true"
effect: "NoSchedule"Tsy midika izany fa ny famerenana manaraka dia hianjera amin'ity node manokana ity, tsy ny mekanika Node Affinity izany ary nodeSelector. Saingy amin'ny fampifangaroana endri-javatra maromaro, azonao atao ny manatratra ny firafitry ny fandaharam-potoana tena miovaova.
8. Mametraha laharam-pahamehana amin'ny fametrahana Pod
Satria fotsiny hoe manana pod voatendry amin'ny node ianao dia tsy midika fa ny pods rehetra dia tsy maintsy raisina amin'ny laharam-pahamehana mitovy. Ohatra, azonao atao ny mametraka pods sasany alohan'ny hafa.
Ny Kubernetes dia manolotra fomba isan-karazany handrindrana ny laharam-pahamehana sy ny Preemption Pod. Ny toerana dia misy ampahany maromaro: zavatra PriorityClass ary famaritana saha priorityClassName amin'ny famaritana pod. Andeha isika hijery ohatra iray:
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
name: high-priority
value: 99999
globalDefault: false
description: "This priority class should be used for very important pods only"Mamorona isika PriorityClass, omeo anarana sy famaritana ary sandany. Ny avo kokoa value, ny ambony ny laharam-pahamehana. Ny sanda dia mety ho integer 32-bit latsaky na mitovy amin'ny 1. Ny fifindran-toerana dia tsy hitranga raha tsy misy toerana hihodinana ny pod iray ambony laharam-pahamehana, dia hafindra ny sasany amin'ireo pods avy amin'ny node iray. Raha henjana loatra ho anao ity mekanika ity dia azonao ampiana ilay safidy preemptionPolicy: Never, ary avy eo dia tsy hisy preemption, ny pod dia hijoro voalohany amin'ny filaharana ary hiandry ny mpandrindra hahita loharano maimaim-poana ho azy.
Manaraka, mamorona pod izay ilaintsika ny anarana priorityClassName:
apiVersion: v1
kind: Pod
metadata:
name: static-web
labels:
role: myrole
spec:
containers:
- name: web
image: nginx
ports:
- name: web
containerPort: 80
protocol: TCP
priorityClassName: high-priority
Azonao atao ny mamorona kilasy laharam-pahamehana araka izay tianao, na dia asaina aza ny tsy ho variana amin'izany (milaza hoe, mametra ny tenanao ho laharam-pahamehana ambany, antonony ary ambony).
Noho izany, raha ilaina dia azonao atao ny mampitombo ny fahombiazan'ny fandefasana serivisy mitsikera toy ny nginx-ingress-controller, coredns, sns.
9. Amboary ny cluster ETCD
Ny ETCD dia azo antsoina hoe atidohan'ny cluster manontolo. Tena zava-dehibe ny fitazonana ny fiasan'ity angona ity amin'ny ambaratonga avo, satria miankina amin'izany ny hafainganam-pandehan'ny asa ao Cube. Manara-penitra, ary miaraka amin'izay koa, ny vahaolana tsara dia ny fitazonana ny cluster ETCD amin'ny node master mba hisian'ny fahatarana kely indrindra amin'ny kube-apiserver. Raha tsy afaka manao izany ianao, dia apetraho akaiky araka izay azo atao ny ETCD, miaraka amin'ny bandwidth tsara eo amin'ny mpandray anjara. Tandremo ihany koa ny isan'ny node avy amin'ny ETCD mety hianjera tsy misy manimba ny cluster
Ataovy ao an-tsaina fa ny fampitomboana be loatra ny isan'ny mpikambana ao amin'ny cluster dia mety hampitombo ny fandeferana amin'ny fahadisoana amin'ny fandaniana ny fampisehoana, tokony ho antonony ny zava-drehetra.
Raha miresaka momba ny fametrahana ny serivisy isika dia misy soso-kevitra vitsivitsy:
-
Manana fitaovana tsara, mifototra amin'ny haben'ny cluster (azonao vakiana ).
-
Amboary ny masontsivana vitsivitsy raha toa ianao ka nanely cluster teo anelanelan'ny DC roa na ny tamba-jotrao sy ny kapila misy anao (azonao atao ny mamaky ).
famaranana
Ity lahatsoratra ity dia manoritsoritra ireo teboka ezahan'ny ekipanay ankatoavina. Tsy famariparitana tsikelikely momba ny hetsika izany, fa safidy mety ilaina amin'ny fanatsarana ny cluster overhead. Mazava fa ny kluster tsirairay dia miavaka amin'ny fombany manokana, ary mety hiovaova be ny vahaolana amin'ny fanefena, noho izany dia mahaliana ny mahazo ny valin-teninao momba ny fomba hanaraha-maso ny cluster Kubernetes anao sy ny fomba hanatsaranao ny fahombiazany. Zarao amin'ny fanehoan-kevitra ny traikefanao, ho mahaliana ny mahafantatra.
Source: www.habr.com