
Vi er glade for Ä kunngjÞre at selskapet «Flant» utvider sitt bidrag til Open Source-verktÞy for Kubernetes med lanseringen av (Container Storage Interface) for Yandex.Cloud.
Men fÞr vi gÄr i detaljer om implementeringen, la oss svare pÄ spÞrsmÄlet: hvorfor er dette nÞdvendig, nÄr Yandex allerede har tjenesten .
Innledning
Hvorfor det?
Innen vÄr virksomhet, helt fra starten av driften av Kubernetes i produksjon (dvs. i flere Är nÄ), har vi utviklet et eget verktÞy (deckhouse), som vi for Þvrig ogsÄ planlegger Ä gjÞre tilgjengelig som et Open Source-prosjekt snart. Med det konfigurerer og setter vi opp alle vÄre klynger pÄ en ensartet mÄte, og i Þyeblikket har vi mer enn 100 av dem, pÄ de mest varierte maskinvarekonfigurasjoner og pÄ alle tilgjengelige skytjenester.
Klyngene som bruker deckhouse inneholder alle nÞdvendige komponenter for drift: lastbalanserere, overvÄking med praktiske diagrammer, mÄlinger og varsler, autentisering av brukere gjennom eksterne leverandÞrer for tilgang til alle dashboard og sÄ videre. Det er ikke meningsfylt Ä sette opp en sÄ «oppgradert» klynge i en managed-lÞsning, ettersom det ofte enten er umulig eller vil fÞre til at man mÄ deaktivere halve komponentene.
NB: Dette er vÄr erfaring, og den er ganske spesifikk. Vi pÄstÄr absolutt ikke at alle bÞr hÄndtere oppsett av Kubernetes-klynger selv, i stedet for Ä bruke ferdige lÞsninger. For Ä si det slik, vi har ingen reell erfaring med driften av Kubernetes fra Yandex, og vi vil ikke gi noen vurdering av denne tjenesten i denne artikkelen.
Hva er det og for hvem?
SĂ„, vi har allerede snakket om den moderne tilnĂŠrmingen til lagringslĂžsninger i Kubernetes: og til denne tilnĂŠrmingen.
I dag har mange store leverandÞrer av skytjenester utviklet drivere for bruk av sine «skytjenester» disker som Persistent Volume i Kubernetes. Hvis leverandÞren ikke har en slik driver, men alle nÞdvendige funksjoner tilbys via API, er det ingenting som hindrer deg i Ä lage driveren selv. Slik har vi gjort det med Yandex.Cloud.
Vi baserte utviklingen pÄ og noen ideer fra fordi samhandlingen med APIene til disse skyene (Google og Yandex) har noen likheter. Spesielt er APIene til bÄde og return an object Operation for tracking the status of long operations (for example, creating a new disk). To interact with Yandex.Cloud API, the .
Result of the completed work and may be useful for those who for some reason use their own installation of Kubernetes on Yandex.Cloud virtual machines (but not a managed cluster) and would like to use (order) disks through CSI.
Implementering
Hovedmuligheter
At this time, the driver supports the following features:
- Ordering disks in all cluster zones according to the topology of the existing nodes in the cluster;
- Deleting previously ordered disks;
- Offline resize for disks (Yandex.Cloud increasing disks that are mounted to a virtual machine). Below is more information on how to modify the driver to perform resizing as painlessly as possible.
In the future, support for creating and deleting disk snapshots is planned.
The main challenge and its solution
The absence in the Yandex.Cloud API of the ability to increase disks in real-time is a limitation that complicates the resize operation for PV (Persistent Volume): in such cases, the pod of the application using the disk must be stopped, which can cause application downtime.
I henhold til , if the CSI controller reports that it can only perform disk resizing 'offline' (VolumeExpansion.OFFLINE), then the process of increasing the disk must proceed as follows:
If the plugin has only
VolumeExpansion.OFFLINEexpansion capability and volume is currently published or available on a node thenControllerExpandVolumeMUST be called ONLY after either:
- The plugin has controller
PUBLISH_UNPUBLISH_VOLUMEcapability andControllerUnpublishVolumehas been invoked successfully.OR ELSE
- The plugin does NOT have controller
PUBLISH_UNPUBLISH_VOLUMEcapability, the plugin has nodeSTAGE_UNSTAGE_VOLUMEcapability, andNodeUnstageVolumehas been completed successfully.OR ELSE
- The plugin does NOT have controller
PUBLISH_UNPUBLISH_VOLUMEcapability, nor nodeSTAGE_UNSTAGE_VOLUMEcapability, andNodeUnpublishVolumehas completed successfully.
Essentially, this means the need to detach the disk from the virtual machine before increasing it.
However, unfortunately, implementering av the CSI specifications via sidecars do not meet these requirements:
- In the sidecar container
csi-attacher, which is supposed to ensure the necessary gap between mountings, this functionality is simply not implemented during offline resizing. A discussion on this was initiated. . - Hva er egentlig en sidecar-beholder i denne konteksten? Selve CSI-pluginen hÄndterer ikke interaksjonen med Kubernetes API, men reagerer bare pÄ gRPC-anropene som sendes til den av sidecar-beholdere. Sistnevnte er fellesskapet til Kubernetes.
I vÄrt tilfelle (CSI-plugin) ser operasjonen for Ä utvide disken slik ut:
- Vi mottar gRPC-anropet
ControllerExpandVolume; - Vi forsÞker Ä utvide disken i API-en, men fÄr en feil om at operasjonen ikke kan utfÞres, ettersom disken er montert;
- Vi lagrer diskens ID i et kart som inneholder disker som trenger Ä fÄ utvidet. Videre vil vi for enkelhets skyld kalle dette kartet for
volumeResizeRequired; - Vi fjerner manuelt pod-en som bruker disken. Kubernetes vil deretter starte den pÄ nytt. For Ä forhindre at disken rekker Ä bli montert (
ControllerPublishVolume) fÞr utvidelsesoperasjonen er fullfÞrt ved montasjen, sjekker vi at disken fortsatt befinner seg ivolumeResizeRequiredog returnerer en feil; - CSI-driveren prÞver Ä utfÞre resize-operasjonen pÄ nytt. Hvis operasjonen lykkes, fjerner vi disken fra
volumeResizeRequired; - Siden diskens ID mangler i
volumeResizeRequired,ControllerPublishVolumeoperasjonen gjennomfĂžres vellykket, disken monteres, pod-en startes.
Alt ser ganske enkelt ut, men som alltid finnes det skjulte fallgruver. Utvidelsen av disker hÄndteres av , som i tilfelle av en feil under operasjonen med eksponentiell Þkning av tidsavbruddet opp til 1000 sekunder:
func DefaultControllerRateLimiter() RateLimiter {
return NewMaxOfRateLimiter(
NewItemExponentialFailureRateLimiter(5*time.Millisecond, 1000*time.Second),
\/\/ 10 qps, 100 bucket size. Dette er kun for retry-hastighet og det er bare den generelle faktoren (ikke per element)
&BucketRateLimiter{Limiter: rate.NewLimiter(rate.Limit(10), 100)},
)
}Dette kan periodisk fĂžre til at diskens utvidelsesoperasjon strekker seg over 15+ minutter og dermed gjĂžr den tilknyttede pod-en utilgjengelig.
Det eneste alternativet som enkelt og smertefritt gjorde at vi kunne redusere potensialet for nedetid, var Ä bruke vÄr egen versjon av external-resizer med et maksimalt tidsavbrudd :
workqueue.NewItemExponentialFailureRateLimiter(5*time.Millisecond, 5*time.Second)Vi ansÄ det ikke som nÞdvendig Ä umiddelbart initiere en diskusjon og patchere external-resizer, siden offline resize av disker er et levn som snart vil forsvinne hos alle skytjenesteleverandÞrer.
Hvordan begynne Ă„ bruke det?
Driveren stÞttes i Kubernetes versjon 1.15 og hÞyere. For at driveren skal fungere, mÄ fÞlgende krav vÊre oppfylt:
- Flagget
--allow-privilegedinnstilt tiltruefor API-serveren og kubelet; - Aktiverte
--feature-gates=VolumeSnapshotDataSource=true,KubeletPluginsWatcher=true,CSINodeInfo=true,CSIDriverRegistry=truefor API-serveren og kubelet; - Monteringsspredning () mÄ vÊre aktivert i klyngen. NÄr du bruker Docker, mÄ daemonen konfigureres slik at delte monteringsobjekter (shared mounts) er tillatt.
Alle nĂždvendige trinn for selve installasjonen . Installasjonen innebĂŠrer opprettelse av objekter i Kubernetes fra manifester.
For at driveren skal fungere, trenger du fĂžlgende:
- Angi i manifestet katalog-ID (
folder-id) fra Yandex.Cloud (); - For Ä samhandle med Yandex.Cloud API i CSI-driveren, brukes en tjenestekonto. I Secret-manifestet mÄ du overfÞre fra tjenestekontoen. I dokumentasjonen , hvordan du oppretter en tjenestekonto og fÄr nÞkler.
Generelt â , og vi vil vĂŠre glade for tilbakemelding og , hvis du stĂžter pĂ„ noen problemer!
Videre stĂžtte
Som en konklusjon vil vi gjerne pÄpeke at denne CSI-driveren ikke ble utviklet av stor lyst til Ä leke med applikasjonsprogrammering i Go, men ut fra et sterkt behov i selskapet. à opprettholde vÄr egen implementasjon synes vi ikke er bÊrekraftig, sÄ hvis Yandex viser interesse og Þnsker Ä fortsette Ä stÞtte driveren, vil vi gjerne overfÞre depotet til deres disposisjon.
Dessuten har Yandex sannsynligvis sin egen implementasjon av CSI-driveren i den administrerte Kubernetes-klyngen, som kan lanseres som Open Source. En slik utvikling ser vi ogsĂ„ som gunstig â fellesskapet kan dra nytte av en velprĂžvd driver fra tjenesteleverandĂžren, og ikke fra et tredjeparts selskap.
P.S.
Also read in our blog:
- «»;
- «»;
- «»;
- «».
Kilde: habr.com
