VÄr erfaring med utvikling av CSI-driver i Kubernetes for Yandex.Cloud

VÄr erfaring med utvikling av CSI-driver i Kubernetes for Yandex.Cloud

Vi er glade for Ä kunngjÞre at selskapet «Flant» utvider sitt bidrag til Open Source-verktÞy for Kubernetes med lanseringen av alphaversjon av CSI-driveren (Container Storage Interface) for Yandex.Cloud.

Men fÞr vi gÄr i detaljer om implementeringen, la oss svare pÄ spÞrsmÄlet: hvorfor er dette nÞdvendig, nÄr Yandex allerede har tjenesten Managed Service for Kubernetes..

Innledning

Hvorfor det?

Innen vÄr virksomhet, helt fra starten av driften av Kubernetes i produksjon (dvs. i flere Är nÄ), har vi utviklet et eget verktÞy (deckhouse), som vi for Þvrig ogsÄ planlegger Ä gjÞre tilgjengelig som et Open Source-prosjekt snart. Med det konfigurerer og setter vi opp alle vÄre klynger pÄ en ensartet mÄte, og i Þyeblikket har vi mer enn 100 av dem, pÄ de mest varierte maskinvarekonfigurasjoner og pÄ alle tilgjengelige skytjenester.

Klyngene som bruker deckhouse inneholder alle nÞdvendige komponenter for drift: lastbalanserere, overvÄking med praktiske diagrammer, mÄlinger og varsler, autentisering av brukere gjennom eksterne leverandÞrer for tilgang til alle dashboard og sÄ videre. Det er ikke meningsfylt Ä sette opp en sÄ «oppgradert» klynge i en managed-lÞsning, ettersom det ofte enten er umulig eller vil fÞre til at man mÄ deaktivere halve komponentene.

NB: Dette er vÄr erfaring, og den er ganske spesifikk. Vi pÄstÄr absolutt ikke at alle bÞr hÄndtere oppsett av Kubernetes-klynger selv, i stedet for Ä bruke ferdige lÞsninger. For Ä si det slik, vi har ingen reell erfaring med driften av Kubernetes fra Yandex, og vi vil ikke gi noen vurdering av denne tjenesten i denne artikkelen.

Hva er det og for hvem?

SĂ„, vi har allerede snakket om den moderne tilnĂŠrmingen til lagringslĂžsninger i Kubernetes: hvordan CSI er konstruert, og hvordan samfunnet kom til denne tilnĂŠrmingen.

I dag har mange store leverandÞrer av skytjenester utviklet drivere for bruk av sine «skytjenester» disker som Persistent Volume i Kubernetes. Hvis leverandÞren ikke har en slik driver, men alle nÞdvendige funksjoner tilbys via API, er det ingenting som hindrer deg i Ä lage driveren selv. Slik har vi gjort det med Yandex.Cloud.

Vi baserte utviklingen pÄ CSI-driveren for DigitalOcean-skyen og noen ideer fra driveren for GCP,fordi samhandlingen med APIene til disse skyene (Google og Yandex) har noen likheter. Spesielt er APIene til bÄde GCPog Yandex return an object Operation for tracking the status of long operations (for example, creating a new disk). To interact with Yandex.Cloud API, the Yandex.Cloud Go SDK.

Result of the completed work published on GitHub and may be useful for those who for some reason use their own installation of Kubernetes on Yandex.Cloud virtual machines (but not a managed cluster) and would like to use (order) disks through CSI.

Implementering

Hovedmuligheter

At this time, the driver supports the following features:

  • Ordering disks in all cluster zones according to the topology of the existing nodes in the cluster;
  • Deleting previously ordered disks;
  • Offline resize for disks (Yandex.Cloud stĂžtter ikke increasing disks that are mounted to a virtual machine). Below is more information on how to modify the driver to perform resizing as painlessly as possible.

In the future, support for creating and deleting disk snapshots is planned.

The main challenge and its solution

The absence in the Yandex.Cloud API of the ability to increase disks in real-time is a limitation that complicates the resize operation for PV (Persistent Volume): in such cases, the pod of the application using the disk must be stopped, which can cause application downtime.

I henhold til CSI-spesifikasjonen, if the CSI controller reports that it can only perform disk resizing 'offline' (VolumeExpansion.OFFLINE), then the process of increasing the disk must proceed as follows:

If the plugin has only VolumeExpansion.OFFLINE expansion capability and volume is currently published or available on a node then ControllerExpandVolume MUST be called ONLY after either:

  • The plugin has controller PUBLISH_UNPUBLISH_VOLUME capability and ControllerUnpublishVolume has been invoked successfully.

OR ELSE

  • The plugin does NOT have controller PUBLISH_UNPUBLISH_VOLUME capability, the plugin has node STAGE_UNSTAGE_VOLUME capability, and NodeUnstageVolume has been completed successfully.

OR ELSE

  • The plugin does NOT have controller PUBLISH_UNPUBLISH_VOLUME capability, nor node STAGE_UNSTAGE_VOLUME capability, and NodeUnpublishVolume has completed successfully.

Essentially, this means the need to detach the disk from the virtual machine before increasing it.

However, unfortunately, implementering av the CSI specifications via sidecars do not meet these requirements:

  • In the sidecar container csi-attacher, which is supposed to ensure the necessary gap between mountings, this functionality is simply not implemented during offline resizing. A discussion on this was initiated. her.
  • Hva er egentlig en sidecar-beholder i denne konteksten? Selve CSI-pluginen hĂ„ndterer ikke interaksjonen med Kubernetes API, men reagerer bare pĂ„ gRPC-anropene som sendes til den av sidecar-beholdere. Sistnevnte utvikles er fellesskapet til Kubernetes.

I vÄrt tilfelle (CSI-plugin) ser operasjonen for Ä utvide disken slik ut:

  1. Vi mottar gRPC-anropet ControllerExpandVolume;
  2. Vi forsÞker Ä utvide disken i API-en, men fÄr en feil om at operasjonen ikke kan utfÞres, ettersom disken er montert;
  3. Vi lagrer diskens ID i et kart som inneholder disker som trenger Ä fÄ utvidet. Videre vil vi for enkelhets skyld kalle dette kartet for volumeResizeRequired;
  4. Vi fjerner manuelt pod-en som bruker disken. Kubernetes vil deretter starte den pÄ nytt. For Ä forhindre at disken rekker Ä bli montert (ControllerPublishVolume) fÞr utvidelsesoperasjonen er fullfÞrt ved montasjen, sjekker vi at disken fortsatt befinner seg i volumeResizeRequired og returnerer en feil;
  5. CSI-driveren prÞver Ä utfÞre resize-operasjonen pÄ nytt. Hvis operasjonen lykkes, fjerner vi disken fra volumeResizeRequired;
  6. Siden diskens ID mangler i volumeResizeRequired, ControllerPublishVolume operasjonen gjennomfĂžres vellykket, disken monteres, pod-en startes.

Alt ser ganske enkelt ut, men som alltid finnes det skjulte fallgruver. Utvidelsen av disker hÄndteres av external-resizer, som i tilfelle av en feil under operasjonen bruker en kÞ med eksponentiell Þkning av tidsavbruddet opp til 1000 sekunder:

func DefaultControllerRateLimiter() RateLimiter {
  return NewMaxOfRateLimiter(
  NewItemExponentialFailureRateLimiter(5*time.Millisecond, 1000*time.Second),
  \/\/ 10 qps, 100 bucket size.  Dette er kun for retry-hastighet og det er bare den generelle faktoren (ikke per element)
  &BucketRateLimiter{Limiter: rate.NewLimiter(rate.Limit(10), 100)},
  )
}

Dette kan periodisk fĂžre til at diskens utvidelsesoperasjon strekker seg over 15+ minutter og dermed gjĂžr den tilknyttede pod-en utilgjengelig.

Det eneste alternativet som enkelt og smertefritt gjorde at vi kunne redusere potensialet for nedetid, var Ä bruke vÄr egen versjon av external-resizer med et maksimalt tidsavbrudd pÄ 5 sekunder:

workqueue.NewItemExponentialFailureRateLimiter(5*time.Millisecond, 5*time.Second)

Vi ansÄ det ikke som nÞdvendig Ä umiddelbart initiere en diskusjon og patchere external-resizer, siden offline resize av disker er et levn som snart vil forsvinne hos alle skytjenesteleverandÞrer.

Hvordan begynne Ă„ bruke det?

Driveren stÞttes i Kubernetes versjon 1.15 og hÞyere. For at driveren skal fungere, mÄ fÞlgende krav vÊre oppfylt:

  • Flagget --allow-privileged innstilt til true for API-serveren og kubelet;
  • Aktiverte --feature-gates=VolumeSnapshotDataSource=true,KubeletPluginsWatcher=true,CSINodeInfo=true,CSIDriverRegistry=true for API-serveren og kubelet;
  • Monteringsspredning (mount propagation) mĂ„ vĂŠre aktivert i klyngen. NĂ„r du bruker Docker, mĂ„ daemonen konfigureres slik at delte monteringsobjekter (shared mounts) er tillatt.

Alle nĂždvendige trinn for selve installasjonen er beskrevet i README. Installasjonen innebĂŠrer opprettelse av objekter i Kubernetes fra manifester.

For at driveren skal fungere, trenger du fĂžlgende:

  • Angi i manifestet katalog-ID (folder-id) fra Yandex.Cloud (se dokumentasjonen);
  • For Ă„ samhandle med Yandex.Cloud API i CSI-driveren, brukes en tjenestekonto. I Secret-manifestet mĂ„ du overfĂžre autoriserte nĂžkkel fra tjenestekontoen. I dokumentasjonen beskrevet, hvordan du oppretter en tjenestekonto og fĂ„r nĂžkler.

Generelt — prĂžv, og vi vil vĂŠre glade for tilbakemelding og nye issues, hvis du stĂžter pĂ„ noen problemer!

Videre stĂžtte

Som en konklusjon vil vi gjerne pĂ„peke at denne CSI-driveren ikke ble utviklet av stor lyst til Ă„ leke med applikasjonsprogrammering i Go, men ut fra et sterkt behov i selskapet. Å opprettholde vĂ„r egen implementasjon synes vi ikke er bĂŠrekraftig, sĂ„ hvis Yandex viser interesse og Ăžnsker Ă„ fortsette Ă„ stĂžtte driveren, vil vi gjerne overfĂžre depotet til deres disposisjon.

Dessuten har Yandex sannsynligvis sin egen implementasjon av CSI-driveren i den administrerte Kubernetes-klyngen, som kan lanseres som Open Source. En slik utvikling ser vi ogsĂ„ som gunstig — fellesskapet kan dra nytte av en velprĂžvd driver fra tjenesteleverandĂžren, og ikke fra et tredjeparts selskap.

P.S.

Also read in our blog:

Kilde: habr.com

KjĂžp pĂ„litelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere đŸ”„ KjĂžp pĂ„litelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere | ProHoster