Nota. transl.: Historia haec ocularis Omio-procuratoris Europaei peregrinationis a basic theoria lectores accipit ad ambages practicas Kubernetes configurationis. Familiaritas cum huiusmodi casibus adiuvat non solum fines tuos dilatare, sed etiam difficultates non parvas impedire.
Fuistine umquam expertus es applicationem quae in loco adhaesit, sistit respondet sanitati impedit, et quare non potes instare? Una explicatio possibilis ad CPU resource quota limites refertur. Hoc est quod in hoc articulo dicemus.
TL, DR:
Valde commendamus inactivare CPU fines in Kubernetes (vel inactivare CFS quotas in Kubelet) si versionem nuclei Linux cum cimex quota CFS adhibes. In core gravis et cimex quae ducit ad nimiam suffocationem et moras.
in Omio tota infrastructura administratur a Kubernetes. Omnes nostrae res publicas ac sine operibus oneribus solum in Kubernetes currunt (Google Kubernetes Engine utimur). Proximis sex mensibus temere incepimus slowdowns observare. Applicationes rigescunt vel desinunt ad sanitatis scopos respondentes, nexum amittunt ad reticulum, etc. Hic mores nos diu movet, et tandem quaestionem graviter capere decrevimus.
Summarium articuli:
- Pauca de continentia et Kubernetes;
- Quomodo CPU petitiones et fines adimplentur;
- Quomodo CPU limites operantur in ambitus multi-core;
- Quomodo indagat CPU suffocationem;
- Quaestio solutionis et nuances.
Pauca verba de vasis et Kubernetes
Kubernetes essentialiter vexillum modernum in mundo infrastructura est. Praecipuum eius munus est orchestrationem continens.
Continentes
In praeterito habuimus artificia creare sicut Java Jars/Wars, Python Ova, seu executables ad currendum ministrantibus. Nihilominus, ad munus faciendum, opus additicium faciendum erat: installando ambitum runtimum (Java/Python), positis necessariis lima in locis rectis, compatibilitate procurans cum certa versione systematis operantis, etc. Aliis verbis, diligenter attendendum est de administratione configurationis (quae saepe contentio inter tincidunt et administratores systematis erat).
Vasa omnia mutata sunt. artificium autem est imago continens. Repraesentari potest ut genus documenti exsecutabile extenso, quod non modo programmatis, sed etiam ambitus exsecutionis plenae (Java/Python/... flexae), ac necessarii fasciculi / sarcinae, praeordinatae et paratae. Curre. Vasa in diversis ministris sine gradibus additis explicari et currere possunt.
Praeterea continentes in ambitu suo sandbox operantur. Propria propria retis adaptor, sua ratio fasciculi cum limitata accessu, sua hierarchia processuum, limitationes suas in CPU et memoria, etc. Haec omnia perficiuntur propter specialem subsystematis Linux nuclei - nominum spatia.
Kubernetes
Kubernetes, ut dictum est, orchestrator est continens. Via laborat, tu ei piscinam machinarum das et tunc dicis, "Heus Kubernetes, decem instantiae meae continens cum 2 processoribus et 3GB memoriae singula pertractemus, et eas currendo servamus!" Cetera cura Kubernetes erunt. Facultatem liberam invenies, vasa deprime et si opus sileo, renovationem cum versionibus mutandis evolve, etc. Essentialiter, Kubernetes permittit ut componentes ferramentaria abstrahere et varias rationum rationum aptas explicandi et currendi applicationes reddit.
Kubernetes ex parte laici
Quae sunt petitiones et fines in Kubernetes?
Bene, vasa texuimus et Kubernetes. Scimus etiam multa vasa in eadem machina residere posse.
Similitudo trahi potest cum diaetae communi. Praemissa spatiosa (machinarum/unitatum) capitur et pluribus tenentibus locatur. Kubernetes realtor fungitur. Quaeritur, quomodo tenentes inter se conflictus arceant? Quid, si unus ex illis, inquis, medium diem pro balneo mutuari voluerit?
Hoc est ubi petitiones finesque exoriri. cpu Request solum opus est ad proposita consilio. Hoc est quasi "indicem veli" continentis, et nodi aptissime deligere adhibetur. Eodem tempore CPU terminus comparari potest cum consensu rentalis - simul ac unitatem pro continente eligimus, non poteris excedunt limites statutos. Et hoc est unde dubium oritur.
Quomodo petitiones et fines in Kubernetes impleantur?
Kubernetes utitur iugulo mechanismo (omissis cyclis horologii) constructo in nucleo ad fines efficiendi CPU. Si applicatio modum excedit, suffocatio est utilis (i.e. pauciores CPU circuitus accipit). Petitiones et limites memoriae aliter ordinantur, ut facilius deprehendas. Ad hoc fac, sicut inprime ultimum sileo statum vasculi: utrum "OOMKilled". CPU suffocatio non tam simplex est, quoniam K8s solum usu metrica, non coetus, non per catervas efficit.
CPU Request
Quomodo CPU petitio impletur?
Simplicitas, inspiciamus processum machinae cum 4-core CPU in exemplum.
K8s moderatio utitur mechanismo coetus (cgroups) ad destinationem subsidiorum (memoriae et processus moderandi). Exemplar hierarchicum ei praesto est: puer fines coetus parentis hereditat. Distributio singula in systematis fasciculi virtualis reponuntur (/sys/fs/cgroup). In causa processus hoc est /sys/fs/cgroup/cpu,cpuacct/*.
K8s utitur file cpu.share processus facultates collocant. In casu nostro, radix cgroup 4096 partes facultatum CPU accipit - 100% processus potentiae promptae (1 core = 1024; hoc valorem certum). Coetus radicis distribuit facultates pro portionibus posteritatis proportionaliter secundum descriptis cpu.shareet ipsi deinceps similiter cum posteris suis etc. In nodi typico Kubernetes, radix cgroup tres filios habet; system.slice, user.slice ΠΈ kubepods. Primae duae subgroups facultates inter onera systematis criticae et programmata usoris extra K8s distribuere solent. Last one - kubepods - a Kubernetes creati ad facultates inter siliquas distribuendas.
Figura supra ostendit primam et secundam subgroups singulas recepisse 1024 communicat cum kuberpod subcaterva collocari 4096 shares Quomodo hoc fieri potest: tamen coetus radicis ad solum aditum habet 4096 portionum, et summam portionum posterorum suorum hunc numerum insigniter excedit.6144)? Punctum est quod valor logicam sensum facit, ideo Linux scheduler (CFS) eo utitur ad facultates CPU proportionaliter collocandas. In nostro casu primum duo coetus accipiunt 680 partes reales (16,6% 4096), et kubepod reliquas accipit 2736 shares In casu temporis mediae duae primae turmae facultates partita non erunt.
Fortunate schedula mechanismum habet ad facultates CPU insuetas terendas. Facultatem "otiosus" in globalem piscinam transfert, ex qua distribuitur coetibus quae accessoriis potentiae indigent (translatio fit in batches ad damna rotunditatis vitanda). Similis ratio est de omnibus posteris posterorum.
Haec mechanismus aequam distributionem processus potentiae efficit et efficit ne quis processus facultates ab aliis "furari" possit.
CPU Limit
Non obstante quod conformationes limitum et petitiones in K8s similes spectent, eorum exsecutio prorsus alia est: hoc maxime periculosum et minima pars comprobata.
K8s proelium ad fines efficiendi. Eorum occasus specificantur in files cfs_period_us ΠΈ cfs_quota_us in cgroup directorium (tabella etiam ibi sita est" cpu.share).
Dissimilis cpu.share, numerum fundatur tempuset non in processu. cfs_period_us significat durationem periodi (epoch) β semper est 100000 ΞΌs (100 ms). Optio est hunc valorem in K8s mutandi, sed solum in alpha nunc in promptu est. Cedularum epocha utitur ad sileo quotas usus. Secundus fasciculus cfs_quota_ussignificat tempus opportunum in unaquaque epocha. Nota quod etiam in microseconds specificatur. Numerus epocham longitudinis excedit; in aliis C maius fortasse ma.
Intueamur duas missiones in machinis 16-core machinis (plerumque genus computatorii Omio apud nos habemus);
Missionis 1: 2 stamina et 200 ins limites. Non throttling
Missionis 2: 10 stamina et 200 ins limites. Throttling incipit post 20 ms, accessus ad facultates processus resumitur post alterum 80 ms
Dicamus CPU pone modum to 2 nucleis; Kubernetes hunc valorem pro 200 ins reddet. Hoc significat continens maximum 200ms of CPU temporis sine suffocatione uti.
Et hoc est ubi incipit iocus. Ut supra dictum est, numerus promptus est 200 ms. Si vos es opus in parallel decem stamina in machinae 12-nucleae (vide illustrationem pro missionis II), cum ceterae siliquae cessant, quota in tantum 2 ms (exemplum 20* 10 ms = 20 ms), stamina omnia huius vasculi suspendent. Β» (Suffocare) pro proximo 80 ma. Iam dictum est ob quam nimia suffocatio fit et continens ne quidem exsistentem numerum explere potest.
Quomodo aestimare iugulum in siliquis?
Just login vasculum et faciatis cat /sys/fs/cgroup/cpu/cpu.stat.
-
nr_periods- numerus periodorum scheduler; -
nr_throttled- numerus suffocatus est periodi in compositionenr_periods; -
throttled_time- cumulativo suffocavit tempus in nanoseconds.
Quid vere agatur?
Quam ob rem in omnibus applicationibus altam iugulam accipimus. Interdum est in sesqui plus quam ratione!
Hoc ducit ad varios errores - promptus defectus reprimendorum, continens coit, nexum retis frangit, explorationes intra servitium vocat. Hoc tandem consequitur in auctis latenciis et altioribus errorum rationibus.
Decisiones et consectaria
Omnia hic simplicia sunt. Fines CPU deseruimus et nucleum iunci OS adaequationis ad novissimam versionem, in qua cimex fixus erat, adaequare coepimus. Numerus errorum (HTTP 5xx) in officiis nostris statim signanter excidit:
HTTP 5xx errores
HTTP 5xx errores pro uno discrimine muneris
Responsio temporis p95
Ministerium criticum latency petitio, 95th cent
Operating sumptibus
Pluribus horis exempli spent
Quid est, in captura?
Sicut dictum est in principio articuli:
Similitudo trahi potest cum communi diaetae... Kubernetes realtor agit. Sed quomodo a contentionibus inter se abstinent tenentes? Quid, si unus ex illis, inquis, medium diem pro balneo mutuari voluerit?
Hic est captura. Unus continens neglegenter omnes facultates CPU paratas in machina devorare potest. Si acervus applicationis acervus (exempli gratia JVM, Go, Node VM recte figuratus est), hoc problema non est: in his conditionibus diu operari potes. Sin applicationes male optimized vel omnino non optimized (FROM java:latest) , res potest extra imperium accipere. In Omio basim Dockerfiles automatam habemus cum adaequato occasu pro acervo linguae maioris, ideo exitus non fuit.
Monemus magna metrics API moras et errorum. Ut efficitur consequat fermentum.
References
Haec fabula nostra est. In sequentibus materiis valde adiuvatur ad intelligendum quid rei sit;
- ;
- ;
- ;
- ;
- - exspecta "cpu throttlum".
Mendum Kubernetes refert:
- ;
- ;
- .
Num similia problemata in usu tuo offenditis an experientiam habent ad suffocationem in ambitus productionis continentis? Share your story in the comments!
PS ab translator
Lege etiam in nostro diario:
- Β«";
- Β«";
- Β«".
Source: www.habr.com