Naše iskustvo razvoja CSI drajvera u Kubernetesu za Yandex.Cloud

Naše iskustvo razvoja CSI drajvera u Kubernetesu za Yandex.Cloud

Sa radošću objavljujemo da kompanija „Flant“ nastavlja svoj doprinos Open Source alatima za Kubernetes, objavljujući alfa verziju CSI drajvera (Container Storage Interface) za Yandex.Cloud.

Ali pre nego što pređemo na detalje implementacije, odgovorićemo na pitanje zašto je to uopšte potrebno, kada Yandex već ima uslugu Managed Service for Kubernetes.

Uvod

Zakaj to?

Unutar naše kompanije, još od samog početka korišćenja Kubernetes-a u produkciji (tj. već nekoliko godina), razvija se naš vlastiti alat (deckhouse), koji, usput, planiramo uskoro učiniti dostupnim kao Open Source projekt. Njime jedinstveno konfigurišemo i podešavamo sve naše klastere, a trenutno ih već imamo više od 100, sa najrazličitijim konfiguracijama hardvera i na svim dostupnim cloud servisima.

Klasteri koji koriste deckhouse imaju sve potrebne komponente za rad: balansere, monitoring sa praktičnim grafikonima, metrike i alerte, autentifikaciju korisnika putem eksternih provajdera za pristup svim dashboard-ovima itd. Takav „napredni“ klaster nema smisla postavljati u managed rešenja, jer to često ili nije moguće, ili će dovesti do potrebe za isključivanjem pola komponenti.

NB: Ovo je naše iskustvo, i ono je prilično specifično. Ni u kom slučaju ne tvrdimo da bi svako trebao samostalno da se bavi postavljanjem Kubernetes klastera umesto da koristi gotova rešenja. Usput, nemamo stvarno iskustvo korišćenja Kubernetes-a od Yandex-a i nećemo davati bilo kakvu ocenu ove usluge u ovom članku.

Šta je to i za koga?

Dakle, već smo govorili o savremenom pristupu skladištima u Kubernetes-u: kako funkcioniše CSI in kako je zajednica došla do takvog pristupa.

Trenutno su mnogi veliki pružaoci cloud usluga razvili drajvere za korišćenje svojih „cloud“ diskova kao Persistent Volume u Kubernetes-u. Ako takvog drajvera nema kod provajdera, ali su sve potrebne funkcije dostupne putem API-ja, ništa ne sprečava da se drajver implementira sopstvenim snagama. Tako je i nama uspelo sa Yandex.Cloud.

Osnova za razvoj je bila CSI drajver za cloud DigitalOcean i nekoliko ideja iz drajvera za GCP, ker je interakcija z API-ji teh oblakov (Google in Yandex) podobna. Zlasti imajo API-ji oba GCP, kot tudi Yandex , vrnejo objekt Operacija , ki sledi statusu dolgih operacij (na primer, ustvarjanje novega diska). Za interakcijo z API-jem Yandex.Oblaka se uporablja Yandex.Cloud Go SDK.

Rezultat opravljenega dela je objavljen na GitHubu in lahko koristi tistim, ki iz kakršnega koli razloga uporabljajo lastno namestitev Kubernetes na virtualnih strojih Yandex.Облака (ne pripravljenega upravljanega grozda) in bi želeli uporabljati (naročati) diske prek CSI.

Implementacija

Main Features

Trenutno gonilnik podpira naslednje funkcije:

  • Naročanje diskov v vseh območjih grozda v skladu z topologijo obstoječih vozlišč v grozdu;
  • Odstranjevanje prej naročenih diskov;
  • Offline razširitev diskov (Yandex.Облако ne podpira povečanja diskov, ki so priključeni na virtualni stroj). O tem, kako je bilo treba prilagoditi gonilnik, da bi kar najbolj brez težav izvedli razširitev, glej spodaj.

V prihodnosti je načrtovana podpora za ustvarjanje in odstranjevanje posnetkov diskov.

Glavna težava in njeno reševanje

Pomanjkanje možnosti v API-ju Yandex.Облака za povečanje diskov v realnem času — omejitev, ki otežuje operacijo razširitve za PV (Persistent Volume): saj je v tem primeru potrebno, da je pod aplikacije, ki uporablja disk, ustavljen, kar lahko povzroči izpad aplikacije.

Po specifikacije CSI, če CSI-nadzornik poroča, da lahko izvaja razširitev diskov le "v offline" (VolumeExpansion.OFFLINE), mora proces povečanja diska potekati tako:

Če ima vtičnik le VolumeExpansion.OFFLINE sposobnost razširitve in je volumen trenutno objavljen ali na voljo na vozlišču, potem ControllerExpandVolume MORA biti poklican LE po tem, ko je bilo izpolnjeno:

  • Vtičnik ima nadzor PUBLISH_UNPUBLISH_VOLUME sposobnost in ControllerUnpublishVolume je bil uspešno poklican.

ALI PA

  • Vtičnik NIMA nadzorne PUBLISH_UNPUBLISH_VOLUME sposobnosti, vtičnik ima vozliščno STAGE_UNSTAGE_VOLUME sposobnost in NodeUnstageVolume je bil uspešno zaključen.

ALI PA

  • Vtičnik NIMA nadzorne PUBLISH_UNPUBLISH_VOLUME sposobnost, niti vozlišče STAGE_UNSTAGE_VOLUME sposobnost in NodeUnpublishVolume je bilo uspešno zaključeno.

V bistvu to pomeni, da je potrebno odklopiti disk od virtualnega stroja, preden ga povečamo.

Žal pa izvedba specifikacije CSI preko sidecar-ov ne izpolnjuje teh zahtev:

  • V sidecar-kontejnerju csi-attacher, ki bi moral biti odgovoren za ohranjanje potrebnega intervala med montiranji, pri offline-razširitvi funkcionalnost preprosto ni izvedena. Razpravo o tem so sprožili ovde.
  • Kaj sploh je sidecar kontejner v tem kontekstu? Sam CSI vtičnik ne deluje z Kubernetes API-jem, temveč se le odziva na gRPC klice, ki mu jih pošiljajo sidecar kontejnerji. Zadnji se razvijajo kubernetes skupnosti.

V našem primeru (CSI vtičnik) postopek povečanja diska izgleda tako:

  1. Prejmemo gRPC klic ControllerExpandVolume;
  2. Poskusimo povečati disk v API-ju, vendar dobimo napako o tem, da operacije ni mogoče izvesti, ker je disk priključen;
  3. Shranjujemo identifikator diska v mapo, ki vsebuje diske, za katere je potrebno izvesti operacijo povečanja. Nadalje bomo iz riznice za krajšo obliko klicali to mapo volumeResizeRequired;
  4. Ročno odstranimo pod, ki uporablja disk. Kubernetes ga bo pri tem ponovno zagnal. Da disk ne bi bil priključen (ControllerPublishVolume) pred zaključkom operacije povečanja ob poskusu priključitve preverimo, da je ta disk še vedno v volumeResizeRequired in vrnemo napako;
  5. CSI gonilnik poskuša ponovno izvesti operacijo povečanja. Če je operacija uspešna, disk odstranimo iz volumeResizeRequired;
  6. Ker identifikator diska ni prisoten v volumeResizeRequired, ControllerPublishVolume operacija uspešno poteka, disk se prikaže, pod se zažene.

Videti je dovolj preprosto, a kot vedno obstajajo skrite težave. Povečanje diskov opravlja external-resizer, ki v primeru napake pri izvajanju operacije uporablja vrsto z eksponentialnim povečanjem časovnega izteka do 1000 sekund:

func DefaultControllerRateLimiter() RateLimiter {
  return NewMaxOfRateLimiter(
  NewItemExponentialFailureRateLimiter(5*time.Millisecond, 1000*time.Second),
  // 10 qps, 100 velikost vedra. To je samo za hitrost ponovnega poskusa in je samo splošen faktor (ne na element)
  &BucketRateLimiter{Limiter: rate.NewLimiter(rate.Limit(10), 100)},
  )
}

To lahko občasno privede do tega, da se operacija povečanja diska raztegne na 15+ minut in tako povzroči nedostopnost ustreznega poda.

Edina možnost, ki nam je dovolj enostavno in brez bolečin omogočila zmanjšanje potencialnega časa nedosegljivosti, je bila uporaba naše različice external-resizer z največjim časovnim omejitvijo v 5 sekundah:

workqueue.NewItemExponentialFailureRateLimiter(5*time.Millisecond, 5*time.Second)

Nismo menili, da je potrebno nujno začeti razpravo in popraviti external-resizer, ker offline povečanje diskov predstavlja arhaizem, ki bo kmalu izginil pri vseh oblačnih ponudnikih.

Kako začeti uporabljati?

Gonilnik je podprt v Kubernetes različici 1.15 in višje. Za delovanje gonilnika morajo biti izpolnjene naslednje zahteve:

  • Zastava --allow-privileged postavljen na true za API server i kubelet;
  • Omogućeno --feature-gates=VolumeSnapshotDataSource=true,KubeletPluginsWatcher=true,CSINodeInfo=true,CSIDriverRegistry=true za API server i kubelet;
  • Distribucija montiranja (mount propagation) mora biti omogućena u klasteru. Kada koristite Docker, demonu treba omogućiti sharing montiranja (shared mounts).

Svi potrebni koraci za instalaciju opisani su u README. Instalacija se sastoji od kreiranja objekata u Kubernetesu iz manifestacija.

Za rad drajvera potrebno je sledeće:

  • Navesti u manifestu identifikator direktorijuma (folder-id) Yandex.Clouda (vidi dokumentaciju);
  • Za interakciju sa API-jem Yandex.Clouda u CSI drajveru koristi se servisni nalog. U manifestu Secret potrebno je proslediti ovlašćene ključeve sa servisnog naloga. U dokumentaciji opisano je, kako napraviti servisni nalog i dobiti ključeve.

Ukratko — probajte, a mi ćemo biti zahvalni za povratne informacije i novim pitanjima, ako se suočite s nekim problemima!

Dalja podrška

Na kraju, želimo napomenuti da smo ovaj CSI drajver razvijali ne iz velike želje za igrom s pisanjem aplikacija u Go-u, već zbog hitne potrebe unutar kompanije. Održavanje vlastite implementacije nam se ne čini razumnim, pa ako Yandex pokaže interes i odluči nastaviti s podrškom drajvera, rado ćemo preneti repozitorijum na njihovo raspolaganje.

Pored toga, verovatno, Yandex u managed klasteru Kubernetes ima vlastitu implementaciju CSI drajvera koju bi mogli objaviti kao Open Source. Takva opcija se takođe čini povoljnom za nas — zajednica bi mogla koristiti provereni drajver od provajdera usluga, a ne od trećih strana.

P.S.

Preberite tudi na našem blogu:

Izvor: habr.com

Kupite zanesljivo gostovanje za spletne strani z zaščito pred DDoS, VPS VDS strežniki 🔥 Kupite zanesljivo gostovanje za spletne strani z zaščito pred DDoS, VPS VDS strežniki | ProHoster