Dia duit gach duine! Oleg Sidorenkov is ainm dom, táim ag obair ag DomClick mar cheann na foirne bonneagair. Táimid ag baint úsáide as Kubik i dtáirgeadh ar feadh níos mó ná trí bliana, agus le linn an ama seo tá taithí againn go leor chuimhneacháin suimiúla éagsúla leis. Inseoidh mé duit inniu conas, leis an gcur chuige ceart, is féidir leat feidhmíocht níos mó fós a bhaint as Kubernetes fanaile do do bhraisle. Réidh go seasta!
Tá a fhios agat go maith gur córas foinse oscailte inscálaithe é Kubernetes le haghaidh ceolfhoireann coimeádán; go maith, nó 5 dhénártha a oibríonn draíocht trí shaolré do mhicrosheirbhísí a bhainistiú i dtimpeallacht fhreastalaí. Ina theannta sin, is uirlis measartha solúbtha é is féidir a chur le chéile cosúil le Lego le haghaidh saincheaptha uasta le haghaidh tascanna éagsúla.
Agus is cosúil go bhfuil gach rud go breá: caith freastalaithe isteach sa bhraisle cosúil le connadh i mbosca dóiteáin, agus ní bheidh a fhios agat aon bhrón. Ach má tá tú ar son na timpeallachta, smaoineoidh tú: “Conas is féidir liom an tine a choinneáil ar lasadh agus an fhoraois a shábháil?” I bhfocail eile, conas bealaí a aimsiú chun bonneagar a fheabhsú agus costais a laghdú.
1. Monatóireacht a dhéanamh ar acmhainní foirne agus iarratais
Ceann de na modhanna is coitianta, ach is éifeachtaí, is ea iarratais/teorainneacha a thabhairt isteach. Roinn feidhmchláir de réir spásanna ainm, agus spásanna ainmneacha de réir foirne forbartha. Roimh an imscaradh, socraigh na luachanna iarratais maidir le caitheamh ama próiseálaí, cuimhne, agus stórála gearrshaolach.
resources:
requests:
memory: 2Gi
cpu: 250m
limits:
memory: 4Gi
cpu: 500mTrí thaithí, thángamar ar an tátal: níor cheart duit iarratais ó na teorainneacha a insreabhadh níos mó ná dhá uair. Ríomhtar méid an bhraisle bunaithe ar iarratais, agus má thugann tú éagsúlacht d'iarratais ar acmhainní, mar shampla, 5-10 uair, ansin samhlaigh cad a tharlóidh do do nód nuair a líonadh le pods é agus go tobann faigheann sé ualach. Ní dhéanfaidh aon ní maith. Ar a laghad, ag sracadh, agus ar a mhéad, slánóidh tú leis an oibrí agus gheobhaidh tú ualach timthriallach ar na nóid atá fágtha tar éis do na pods tosú ag bogadh.
Ina theannta sin, le cabhair limitranges Ag an tús, is féidir leat luachanna acmhainne a shocrú don choimeádán - íosmhéid, uasmhéid agus réamhshocraithe:
➜ ~ kubectl describe limitranges --namespace ops
Name: limit-range
Namespace: ops
Type Resource Min Max Default Request Default Limit Max Limit/Request Ratio
---- -------- --- --- --------------- ------------- -----------------------
Container cpu 50m 10 100m 100m 2
Container ephemeral-storage 12Mi 8Gi 128Mi 4Gi -
Container memory 64Mi 40Gi 128Mi 128Mi 2Ná déan dearmad acmhainní ainmspáis a theorannú ionas nach mbeidh foireann amháin in ann acmhainní uile an bhraisle a ghlacadh ar láimh:
➜ ~ kubectl describe resourcequotas --namespace ops
Name: resource-quota
Namespace: ops
Resource Used Hard
-------- ---- ----
limits.cpu 77250m 80
limits.memory 124814367488 150Gi
pods 31 45
requests.cpu 53850m 80
requests.memory 75613234944 150Gi
services 26 50
services.loadbalancers 0 0
services.nodeports 0 0Mar is léir ón tuairisc resourcequotas, más mian leis an bhfoireann comharchumainn pods a úsáid a ídeoidh 10 cpu eile, ní cheadóidh an sceidealóir é seo agus déanfaidh sé earráid:
Error creating: pods "nginx-proxy-9967d8d78-nh4fs" is forbidden: exceeded quota: resource-quota, requested: limits.cpu=5,requests.cpu=5, used: limits.cpu=77250m,requests.cpu=53850m, limited: limits.cpu=10,requests.cpu=10Chun fadhb den sórt sin a réiteach, is féidir leat uirlis a scríobh, mar shampla, cosúil le , in ann staid na n-acmhainní ceannais a stóráil agus a thiomnú.
2. Roghnaigh an stóráil comhad is fearr is féidir
Anseo ba mhaith liom teagmháil a dhéanamh le hábhar na méideanna leanúnacha agus an fochóras diosca de nóid oibrithe Kubernetes. Tá súil agam nach n-úsáideann aon duine an “Ciúb” ar HDD i dtáirgeadh, ach uaireanta ní leor SSD rialta a thuilleadh. Tháinig muid ar fhadhb ina raibh na logaí ag marú an diosca mar gheall ar oibríochtaí I/O, agus níl mórán réitigh ann:
-
Úsáid SSDanna ardfheidhmíochta nó aistrigh go NVMe (má bhainistíonn tú do chrua-earraí féin).
-
Laghdaigh an leibhéal logála.
-
Déan cothromú “cliste” ar na pods a éigníonn an diosca (
podAntiAffinity).
Taispeánann an scáileán thuas cad a tharlaíonn faoi nginx-inggress-controller chuig an diosca nuair a bhíonn logáil access_logs cumasaithe (~12 míle logs / soic). Is féidir leis an gcoinníoll seo, ar ndóigh, díghrádú a dhéanamh ar gach iarratas ar an nód seo.
Maidir le PV, faraor, níl gach rud triailte agam Toirteanna Seasmhach. Bain úsáid as an rogha is fearr a oireann duit. Go stairiúil, tharla sé inár dtír go dteastaíonn méideanna RWX do chuid bheag de sheirbhísí, agus i bhfad ó shin thosaigh siad ag úsáid stórála NFS don tasc seo. Saor agus ... go leor. Ar ndóigh, d'ith sé féin agus mé cac - beannaigh tú, ach d'fhoghlaim muid é a tune, agus ní ghortaíonn mo cheann níos mó. Agus más féidir, bogadh go dtí stóráil réad S3.
3. Bailigh íomhánna optamaithe
Is fearr íomhánna optamaithe coimeádán a úsáid ionas gur féidir le Kubernetes iad a fháil níos tapúla agus iad a fheidhmiú ar bhealach níos éifeachtaí.
Ciallaíonn optamaithe go bhfuil na híomhánna:
-
gan ach feidhmchlár amháin nó feidhm amháin a chomhlíonadh;
-
beag i méid, toisc go ndéantar íomhánna móra a tharchur níos measa thar an líonra;
-
tá críochphointí sláinte agus ullmhachta acu a ligeann do Kubernetes beart a dhéanamh i gcás aga neamhfhónaimh;
-
córais oibriúcháin atá neamhdhíobhálach don choimeádán a úsáid (cosúil le Alpach nó CoreOS), atá níos frithsheasmhach in aghaidh earráidí cumraíochta;
-
bain úsáid as tógálacha ilchéime ionas nach féidir leat ach feidhmchláir tiomsaithe a imscaradh seachas na foinsí a théann leo.
Tá go leor uirlisí agus seirbhísí ann a ligeann duit íomhánna ar an eitilt a sheiceáil agus a bharrfheabhsú. Tá sé tábhachtach iad a choinneáil cothrom le dáta i gcónaí agus iad a thástáil le haghaidh sábháilteachta. Mar thoradh air sin gheobhaidh tú:
-
Ualach líonra laghdaithe ar an mbraisle iomlán.
-
Am tosaithe coimeádáin a laghdú.
-
Méid níos lú de do chlár Docker ar fad.
4. Bain úsáid as DNS taisce
Má labhairt linn faoi ualaí arda, ansin tá an saol go leor lousy gan tiúnadh córas DNS an bhraisle. Ar uairibh, thacaigh forbróirí Kubernetes lena réiteach kube-dns. Cuireadh i bhfeidhm é anseo freisin, ach ní raibh na bogearraí seo tiúnta go háirithe agus níor tháirg siad an fheidhmíocht riachtanach, cé gur cosúil gur tasc simplí é. Ansin bhí coredns le feiceáil, rud a d’aistrigh muid chuige agus ní raibh aon bhrón ann; rinneadh an tseirbhís DNS réamhshocraithe ina dhiaidh sin i K8s. Ag pointe éigin, d'fhás muid go 40 míle rps chuig an gcóras DNS, agus níor leor an réiteach seo freisin. Ach, le hádh, tháinig Nodelocaldns amach, nód cache áitiúil, aka .
Cén fáth a mbainimid úsáid as seo? Tá fabht san eithne Linux, nuair a bhíonn ilghlaonna trí NAT conntrack thar UDP, mar thoradh ar riocht cine le haghaidh iontrálacha i dtáblaí conntrack, agus cailltear cuid den trácht trí NAT (tá gach turas tríd an tSeirbhís NAT). Réitíonn Nodelocaldns an fhadhb seo trí fáil réidh le NAT agus an nasc le TCP go DNS in aghaidh an tsrutha a uasghrádú, chomh maith le fiosruithe DNS in aghaidh an tsrutha a thaisceadh go háitiúil (lena n-áirítear taisce diúltach gearr 5 soicind).
5. pods scála go cothrománach agus go hingearach go huathoibríoch
An féidir leat a rá go muiníneach go bhfuil do mhicrifseirbhísí go léir réidh le haghaidh méadú faoi thrí nó faoi thrí ar an ualach? Conas acmhainní a leithdháileadh i gceart ar d’fheidhmchláir? D’fhéadfadh sé go mbeadh sé iomarcach cúpla pods a choinneáil ag rith níos faide ná an t-ualach oibre, ach tá baol ann go dtarlóidh aga neamhfhónaimh de bharr méadú tobann ar an trácht chuig an tseirbhís iad a choinneáil cúl le cúl. Seirbhísí ar nós и .
VPA ligeann sé duit iarratais/teorainneacha do choimeádáin a ardú go huathoibríoch sa phod ag brath ar úsáid iarbhír. Conas is féidir é a bheith úsáideach? Má tá pods agat nach féidir a scála go cothrománach ar chúis éigin (nach bhfuil go hiomlán iontaofa), is féidir leat triail a bhaint as athruithe ar a chuid acmhainní a chur ar iontaoibh VPA. Is é a ghné ná córas molta atá bunaithe ar shonraí stairiúla agus reatha ón bhfreastalaí méadrach, mar sin mura bhfuil tú ag iarraidh iarratais/teorainneacha a athrú go huathoibríoch, is féidir leat monatóireacht a dhéanamh ar na hacmhainní molta do do choimeádáin agus na socruithe a bharrfheabhsú chun LAP agus a shábháil cuimhne sa bhraisle.
Íomhá tógtha ó https://levelup.gitconnected.com/kubernetes-autoscaling-101-cluster-autoscaler-horizontal-pod-autoscaler-and-vertical-pod-2a441d9ad231
Tá an sceidealóir i Kubernetes bunaithe i gcónaí ar iarratais. Cibé luach a chuireann tú ann, déanfaidh an sceidealóir nód oiriúnach a chuardach bunaithe air. Tá na luachanna teorann ag teastáil chun go dtuigeann an cubelet cathain a throttle nó a mharú an pod. Agus ós rud é gurb é an t-aon pharaiméadar tábhachtach ná luach na n-iarratas, oibreoidh VPA leis. Aon uair a scálaíonn tú feidhmchlár go hingearach, sainíonn tú cad ba cheart a bheith sna hiarratais. Cad a tharlóidh do na teorainneacha ansin? Déanfar an paraiméadar seo a scála go comhréireach freisin.
Mar shampla, seo na gnáthshocruithe pod:
resources:
requests:
memory: 250Mi
cpu: 200m
limits:
memory: 500Mi
cpu: 350mCinneann an t-inneall molta go dteastaíonn 300m LAP agus 500Mi ó d’iarratas chun rith i gceart. Gheobhaidh tú na socruithe seo a leanas:
resources:
requests:
memory: 500Mi
cpu: 300m
limits:
memory: 1000Mi
cpu: 525mMar a luadh thuas, is scálú comhréireach é seo bunaithe ar an gcóimheas iarrataí/teorainneacha sa léiriú:
-
LAP: 200m → 300m: cóimheas 1:1.75;
-
Cuimhne: 250Mi → 500Mi: cóimheas 1:2.
Maidir le HPA, ansin tá an mheicníocht oibríochta níos trédhearcaí. Déantar tairseacha a dhéanamh ar mhéadrachtaí mar LAP agus cuimhne, agus má sháraíonn meán na macasamhla go léir an tairseach, déantar an t-iarratas a scála de +1 fo go dtí go dtiteann an luach faoi bhun na tairsí nó go dtí go sroichtear an líon uasta macasamhla.
Íomhá tógtha ó https://levelup.gitconnected.com/kubernetes-autoscaling-101-cluster-autoscaler-horizontal-pod-autoscaler-and-vertical-pod-2a441d9ad231
Chomh maith leis na gnáth-mhéadrachtaí cosúil le LAP agus cuimhne, is féidir leat tairseacha a shocrú ar do mhéadracht saincheaptha ó Prometheus agus oibriú leo má cheapann tú gurb é sin an comhartha is cruinne maidir le cathain is ceart d’iarratas a scála. Chomh luath agus a chobhsaíonn an t-iarratas faoi bhun na tairsí méadrach sonraithe, tosóidh an HPA ag scálaithe pods síos go dtí an t-íoslíon macasamhla nó go dtí go gcomhlíonann an t-ualach an tairseach sonraithe.
6. Ná déan dearmad faoi Nód Affinity agus Pod Affinity
Ní ritheann gach nóid ar na crua-earraí céanna, agus ní gá do gach pod feidhmchláir ríomhdhian a rith. Ceadaíonn Kubernetes duit speisialtóireacht na nóid agus na pods a shocrú ag baint úsáide as Cleamhnas Nód и Cleamhnas Pod.
Má tá nóid agat atá oiriúnach le haghaidh oibríochtaí dian-ríomha, ansin le haghaidh uaséifeachtúlachta is fearr feidhmchláir a cheangal leis na nóid chomhfhreagracha. Chun seo a úsáid nodeSelector le lipéad nód.
Ligean le rá go bhfuil dhá nód agat: ceann amháin le CPUType=HIGHFREQ agus líon mór croíleacáin tapa, ceann eile le MemoryType=HIGHMEMORY níos mó cuimhne agus feidhmíocht níos tapúla. Is é an bealach is éasca ná imscaradh a shannadh chuig nód HIGHFREQtrí chur leis an alt spec an roghnóir seo:
…
nodeSelector:
CPUType: HIGHFREQBealach níos costasaí agus níos sainiúla chun é seo a dhéanamh ná úsáid a bhaint as nodeAffinity sa réimse affinity razdela spec. Tá dhá rogha ann:
-
requiredDuringSchedulingIgnoredDuringExecution: socrú crua (ní imscarfaidh an sceidealóir pods ach ar nóid shonracha (agus níl aon áit eile)); -
preferredDuringSchedulingIgnoredDuringExecution: socrú bog (déanfaidh an sceidealóir iarracht imscaradh chuig nóid shonracha, agus má theipeann air sin, déanfaidh sé iarracht é a imscaradh go dtí an chéad nód eile atá ar fáil).
Is féidir leat comhréir ar leith a shonrú chun lipéid nóid a bhainistiú, mar shampla In, NotIn, Exists, DoesNotExist, Gt nó Lt. Cuimhnigh, áfach, go gcuirfidh modhanna casta ar liostaí fada lipéad moill ar chinnteoireacht i gcásanna criticiúla. I bhfocail eile, coinnigh simplí é.
Mar a luadh thuas, ligeann Kubernetes duit cleamhnas na pods reatha a shocrú. Is é sin, is féidir leat a bheith cinnte go n-oibríonn pods áirithe le chéile le pods eile sa chrios infhaighteachta céanna (ábhartha do scamaill) nó nóid.
В podAffinity corrlaigh affinity razdela spec tá na réimsí céanna ar fáil agus atá i gcás nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution и preferredDuringSchedulingIgnoredDuringExecution. Is é an t-aon difríocht ná sin matchExpressions ceangalfaidh sé na pods le nód atá ag rith pod leis an lipéad sin cheana féin.
Tairgeann Kubernetes réimse freisin podAntiAffinity, nach bhfuil, ar a mhalairt, ina cheangal ar an pod le nód le pods ar leith.
Maidir le habairtí nodeAffinity Is féidir an chomhairle chéanna a thabhairt: déan iarracht na rialacha a choinneáil simplí agus loighciúil, ná déan iarracht an tsonraíocht pod a ró-ualach le sraith casta rialacha. Tá sé an-éasca riail a chruthú nach mbeidh comhoiriúnach le coinníollacha an bhraisle, ag cruthú ualach gan ghá ar an sceidealóir agus ag laghdú feidhmíocht fhoriomlán.
7. Taints & Lamháltais
Tá bealach eile ann chun an sceidealóir a bhainistiú. Má tá braisle mór agat leis na céadta nóid agus na mílte microservices, ansin tá sé an-deacair gan ligean do pods áirithe a óstáil ar nóid áirithe.
Cuidíonn an mheicníocht um thruailliú - rialacha toirmisc - leis seo. Mar shampla, i gcásanna áirithe is féidir leat nóid áirithe a thoirmeasc ó pods a rith. Chun taint a chur i bhfeidhm ar nód ar leith ní mór duit an rogha a úsáid taint sa chubectl. Sonraigh an eochair agus an luach agus ansin taint mhaith NoSchedule nó NoExecute:
$ kubectl taint nodes node10 node-role.kubernetes.io/ingress=true:NoScheduleIs fiú a thabhairt faoi deara freisin go dtacaíonn an mheicníocht taint le trí phríomh-éifeachtaí: NoSchedule, NoExecute и PreferNoSchedule.
-
NoScheduleCiallaíonn sé sin nach mbeidh aon iontráil chomhfhreagrach sa tsonraíocht pod faoi láthairtolerations, ní féidir é a imscaradh ar an nód (sa sampla seonode10). -
PreferNoSchedule- leagan simplitheNoSchedule. Sa chás seo, déanfaidh an sceidealóir iarracht gan pods a leithdháileadh nach bhfuil iontráil meaitseála acutolerationsin aghaidh an nód, ach ní teorainn chrua é seo. Mura bhfuil aon acmhainní sa bhraisle, cuirfear tús le pods a imscaradh ar an nód seo. -
NoExecute- spreagann an éifeacht seo aslonnú láithreach pods nach bhfuil iontráil chomhfhreagrach acutolerations.
Suimiúil go leor, is féidir an iompar seo a chur ar ceal ag baint úsáide as an meicníocht lamháltais. Tá sé seo áisiúil nuair a bhíonn nód “toirmiscthe” ann agus ní gá duit ach seirbhísí bonneagair a chur air. Conas é a dhéanamh? Ná lig ach na pods sin a bhfuil lamháltas oiriúnach ina leith.
Seo an chuma a bheadh ar shonraíocht an phod:
spec:
tolerations:
- key: "node-role.kubernetes.io/ingress"
operator: "Equal"
value: "true"
effect: "NoSchedule"Ní chiallaíonn sé seo go dtitfidh an chéad ath-imscaradh eile ar an nód áirithe seo, ní hé seo an meicníocht Nód Affinity agus nodeSelector. Ach trí roinnt gnéithe a chomhcheangal, is féidir leat socruithe sceidealaithe an-solúbtha a bhaint amach.
8. Socraigh Tosaíocht Imlonnaithe Pod
Díreach toisc go bhfuil pods sannta do nóid agat, ní chiallaíonn sé sin go gcaithfear déileáil le gach pods leis an tosaíocht chéanna. Mar shampla, b'fhéidir gur mhaith leat roinnt pods a imscaradh roimh dhaoine eile.
Tairgeann Kubernetes bealaí éagsúla chun Tosaíocht Pod agus Preemption a chumrú. Tá roinnt codanna sa suíomh: réad PriorityClass agus tuairiscí páirce priorityClassName sa tsonraíocht pod. Breathnaímid ar shampla:
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
name: high-priority
value: 99999
globalDefault: false
description: "This priority class should be used for very important pods only"Cruthaímid PriorityClass, tabhair ainm, tuairisc agus luach dó. Níos airde value, dá airde an tosaíocht. Is féidir leis an luach a bheith ar aon slánuimhir 32-giotán níos lú ná nó cothrom le 1. Forchoimeádtar luachanna níos airde le haghaidh pods córais atá ríthábhachtach do mhisin nach féidir a réamh-mheasta go ginearálta. Ní tharlóidh díláithriú ach amháin mura bhfuil áit ag pod ardtosaíochta le casadh timpeall, ansin déanfar cuid de na pods ó nód áirithe a aslonnú. Má tá an meicníocht seo ró-dhocht duit, is féidir leat an rogha a chur leis preemptionPolicy: Never, agus ansin ní bheidh aon preemption, beidh an pod seasamh ar dtús sa scuaine agus fanacht ar an sceidealóir chun teacht ar acmhainní saor in aisce dó.
Ansin, cruthaímid pod ina gcuirimid an t-ainm in iúl priorityClassName:
apiVersion: v1
kind: Pod
metadata:
name: static-web
labels:
role: myrole
spec:
containers:
- name: web
image: nginx
ports:
- name: web
containerPort: 80
protocol: TCP
priorityClassName: high-priority
Is féidir leat an oiread ranganna tosaíochta agus is mian leat a chruthú, cé go moltar gan tú a chur ar shiúl leis seo (abair, teorainn tú féin chuig tosaíocht íseal, meántéarmach agus ardtosaíochta).
Mar sin, más gá, is féidir leat éifeachtúlacht imscaradh seirbhísí ríthábhachtacha a mhéadú mar nginx-ingress-controller, coredns, etc.
9. An braisle ETCD a bharrfheabhsú
Is féidir inchinn an bhraisle ar fad a thabhairt ar ETCD. Tá sé an-tábhachtach oibriú an bhunachair shonraí seo a choinneáil ag ardleibhéal, ós rud é go mbraitheann luas na n-oibríochtaí i gCiúb air. Réiteach measartha caighdeánach, agus ag an am céanna, a bheadh ann ná braisle ETCD a choinneáil ar na nóid mháistir chun moill íosta a chur ar an kube-apiserver. Mura féidir leat é seo a dhéanamh, cuir an ETCD chomh gar agus is féidir, le bandaleithead maith idir na rannpháirtithe. Tabhair aird freisin ar cé mhéad nóid ó ETCD is féidir titim amach gan dochar a dhéanamh don bhraisle
Coinnigh i gcuimhne gur féidir le méadú iomarcach ar líon na mball i mbraisle lamháltas locht a mhéadú ar chostas feidhmíochta, ba chóir go mbeadh gach rud measartha.
Má labhraímid faoi bhunú na seirbhíse, is beag moladh atá ann:
-
Bíodh crua-earraí maith agat, bunaithe ar mhéid an bhraisle (is féidir leat léamh ).
-
Athraigh cúpla paraiméadar má tá braisle scaipthe agat idir péire DCanna nó do líonra agus fágann dioscaí go leor le bheith ag teastáil (is féidir leat léamh ).
Conclúid
Déanann an t-alt seo cur síos ar na pointí a ndéanann ár bhfoireann iarracht a chomhlíonadh. Ní cur síos céim ar chéim é seo ar ghníomhartha, ach roghanna a d’fhéadfadh a bheith úsáideach chun forchostais bhraisle a bharrfheabhsú. Tá sé soiléir go bhfuil gach braisle uathúil ina bhealach féin, agus is féidir le réitigh chumraíochta a bheith éagsúil go mór, agus mar sin bheadh sé suimiúil d'aiseolas a fháil ar an gcaoi a ndéanann tú monatóireacht ar do bhraisle Kubernetes agus conas a fheabhsaíonn tú a fheidhmíocht. Comhroinn do thaithí sna tuairimí, beidh sé suimiúil go mbeadh a fhios agat.
Foinse: will.com