
Sa radošću objavljujemo da kompanija „Flant“ nastavlja svoj doprinos Open Source alatima za Kubernetes, objavljujući (Container Storage Interface) za Yandex.Cloud.
Ali pre nego što pređemo na detalje implementacije, odgovorićemo na pitanje zašto je to uopšte potrebno, kada Yandex već ima uslugu .
Uvod
Zakaj to?
Unutar naše kompanije, još od samog početka korišćenja Kubernetes-a u produkciji (tj. već nekoliko godina), razvija se naš vlastiti alat (deckhouse), koji, usput, planiramo uskoro učiniti dostupnim kao Open Source projekt. Njime jedinstveno konfigurišemo i podešavamo sve naše klastere, a trenutno ih već imamo više od 100, sa najrazličitijim konfiguracijama hardvera i na svim dostupnim cloud servisima.
Klasteri koji koriste deckhouse imaju sve potrebne komponente za rad: balansere, monitoring sa praktičnim grafikonima, metrike i alerte, autentifikaciju korisnika putem eksternih provajdera za pristup svim dashboard-ovima itd. Takav „napredni“ klaster nema smisla postavljati u managed rešenja, jer to često ili nije moguće, ili će dovesti do potrebe za isključivanjem pola komponenti.
NB: Ovo je naše iskustvo, i ono je prilično specifično. Ni u kom slučaju ne tvrdimo da bi svako trebao samostalno da se bavi postavljanjem Kubernetes klastera umesto da koristi gotova rešenja. Usput, nemamo stvarno iskustvo korišćenja Kubernetes-a od Yandex-a i nećemo davati bilo kakvu ocenu ove usluge u ovom članku.
Šta je to i za koga?
Dakle, već smo govorili o savremenom pristupu skladištima u Kubernetes-u: in do takvog pristupa.
Trenutno su mnogi veliki pružaoci cloud usluga razvili drajvere za korišćenje svojih „cloud“ diskova kao Persistent Volume u Kubernetes-u. Ako takvog drajvera nema kod provajdera, ali su sve potrebne funkcije dostupne putem API-ja, ništa ne sprečava da se drajver implementira sopstvenim snagama. Tako je i nama uspelo sa Yandex.Cloud.
Osnova za razvoj je bila i nekoliko ideja iz , ker je interakcija z API-ji teh oblakov (Google in Yandex) podobna. Zlasti imajo API-ji oba , kot tudi , vrnejo objekt Operacija , ki sledi statusu dolgih operacij (na primer, ustvarjanje novega diska). Za interakcijo z API-jem Yandex.Oblaka se uporablja .
Rezultat opravljenega dela in lahko koristi tistim, ki iz kakršnega koli razloga uporabljajo lastno namestitev Kubernetes na virtualnih strojih Yandex.Облака (ne pripravljenega upravljanega grozda) in bi želeli uporabljati (naročati) diske prek CSI.
Implementacija
Main Features
Trenutno gonilnik podpira naslednje funkcije:
- Naročanje diskov v vseh območjih grozda v skladu z topologijo obstoječih vozlišč v grozdu;
- Odstranjevanje prej naročenih diskov;
- Offline razširitev diskov (Yandex.Облако povečanja diskov, ki so priključeni na virtualni stroj). O tem, kako je bilo treba prilagoditi gonilnik, da bi kar najbolj brez težav izvedli razširitev, glej spodaj.
V prihodnosti je načrtovana podpora za ustvarjanje in odstranjevanje posnetkov diskov.
Glavna težava in njeno reševanje
Pomanjkanje možnosti v API-ju Yandex.Облака za povečanje diskov v realnem času — omejitev, ki otežuje operacijo razširitve za PV (Persistent Volume): saj je v tem primeru potrebno, da je pod aplikacije, ki uporablja disk, ustavljen, kar lahko povzroči izpad aplikacije.
Po , če CSI-nadzornik poroča, da lahko izvaja razširitev diskov le "v offline" (VolumeExpansion.OFFLINE), mora proces povečanja diska potekati tako:
Če ima vtičnik le
VolumeExpansion.OFFLINEsposobnost razširitve in je volumen trenutno objavljen ali na voljo na vozlišču, potemControllerExpandVolumeMORA biti poklican LE po tem, ko je bilo izpolnjeno:
- Vtičnik ima nadzor
PUBLISH_UNPUBLISH_VOLUMEsposobnost inControllerUnpublishVolumeje bil uspešno poklican.ALI PA
- Vtičnik NIMA nadzorne
PUBLISH_UNPUBLISH_VOLUMEsposobnosti, vtičnik ima vozliščnoSTAGE_UNSTAGE_VOLUMEsposobnost inNodeUnstageVolumeje bil uspešno zaključen.ALI PA
- Vtičnik NIMA nadzorne
PUBLISH_UNPUBLISH_VOLUMEsposobnost, niti vozliščeSTAGE_UNSTAGE_VOLUMEsposobnost inNodeUnpublishVolumeje bilo uspešno zaključeno.
V bistvu to pomeni, da je potrebno odklopiti disk od virtualnega stroja, preden ga povečamo.
Žal pa izvedba specifikacije CSI preko sidecar-ov ne izpolnjuje teh zahtev:
- V sidecar-kontejnerju
csi-attacher, ki bi moral biti odgovoren za ohranjanje potrebnega intervala med montiranji, pri offline-razširitvi funkcionalnost preprosto ni izvedena. Razpravo o tem so sprožili . - Kaj sploh je sidecar kontejner v tem kontekstu? Sam CSI vtičnik ne deluje z Kubernetes API-jem, temveč se le odziva na gRPC klice, ki mu jih pošiljajo sidecar kontejnerji. Zadnji kubernetes skupnosti.
V našem primeru (CSI vtičnik) postopek povečanja diska izgleda tako:
- Prejmemo gRPC klic
ControllerExpandVolume; - Poskusimo povečati disk v API-ju, vendar dobimo napako o tem, da operacije ni mogoče izvesti, ker je disk priključen;
- Shranjujemo identifikator diska v mapo, ki vsebuje diske, za katere je potrebno izvesti operacijo povečanja. Nadalje bomo iz riznice za krajšo obliko klicali to mapo
volumeResizeRequired; - Ročno odstranimo pod, ki uporablja disk. Kubernetes ga bo pri tem ponovno zagnal. Da disk ne bi bil priključen (
ControllerPublishVolume) pred zaključkom operacije povečanja ob poskusu priključitve preverimo, da je ta disk še vedno vvolumeResizeRequiredin vrnemo napako; - CSI gonilnik poskuša ponovno izvesti operacijo povečanja. Če je operacija uspešna, disk odstranimo iz
volumeResizeRequired; - Ker identifikator diska ni prisoten v
volumeResizeRequired,ControllerPublishVolumeoperacija uspešno poteka, disk se prikaže, pod se zažene.
Videti je dovolj preprosto, a kot vedno obstajajo skrite težave. Povečanje diskov opravlja , ki v primeru napake pri izvajanju operacije z eksponentialnim povečanjem časovnega izteka do 1000 sekund:
func DefaultControllerRateLimiter() RateLimiter {
return NewMaxOfRateLimiter(
NewItemExponentialFailureRateLimiter(5*time.Millisecond, 1000*time.Second),
// 10 qps, 100 velikost vedra. To je samo za hitrost ponovnega poskusa in je samo splošen faktor (ne na element)
&BucketRateLimiter{Limiter: rate.NewLimiter(rate.Limit(10), 100)},
)
}To lahko občasno privede do tega, da se operacija povečanja diska raztegne na 15+ minut in tako povzroči nedostopnost ustreznega poda.
Edina možnost, ki nam je dovolj enostavno in brez bolečin omogočila zmanjšanje potencialnega časa nedosegljivosti, je bila uporaba naše različice external-resizer z največjim časovnim omejitvijo :
workqueue.NewItemExponentialFailureRateLimiter(5*time.Millisecond, 5*time.Second)Nismo menili, da je potrebno nujno začeti razpravo in popraviti external-resizer, ker offline povečanje diskov predstavlja arhaizem, ki bo kmalu izginil pri vseh oblačnih ponudnikih.
Kako začeti uporabljati?
Gonilnik je podprt v Kubernetes različici 1.15 in višje. Za delovanje gonilnika morajo biti izpolnjene naslednje zahteve:
- Zastava
--allow-privilegedpostavljen natrueza API server i kubelet; - Omogućeno
--feature-gates=VolumeSnapshotDataSource=true,KubeletPluginsWatcher=true,CSINodeInfo=true,CSIDriverRegistry=trueza API server i kubelet; - Distribucija montiranja () mora biti omogućena u klasteru. Kada koristite Docker, demonu treba omogućiti sharing montiranja (shared mounts).
Svi potrebni koraci za instalaciju . Instalacija se sastoji od kreiranja objekata u Kubernetesu iz manifestacija.
Za rad drajvera potrebno je sledeće:
- Navesti u manifestu identifikator direktorijuma (
folder-id) Yandex.Clouda (); - Za interakciju sa API-jem Yandex.Clouda u CSI drajveru koristi se servisni nalog. U manifestu Secret potrebno je proslediti sa servisnog naloga. U dokumentaciji , kako napraviti servisni nalog i dobiti ključeve.
Ukratko — , a mi ćemo biti zahvalni za povratne informacije i , ako se suočite s nekim problemima!
Dalja podrška
Na kraju, želimo napomenuti da smo ovaj CSI drajver razvijali ne iz velike želje za igrom s pisanjem aplikacija u Go-u, već zbog hitne potrebe unutar kompanije. Održavanje vlastite implementacije nam se ne čini razumnim, pa ako Yandex pokaže interes i odluči nastaviti s podrškom drajvera, rado ćemo preneti repozitorijum na njihovo raspolaganje.
Pored toga, verovatno, Yandex u managed klasteru Kubernetes ima vlastitu implementaciju CSI drajvera koju bi mogli objaviti kao Open Source. Takva opcija se takođe čini povoljnom za nas — zajednica bi mogla koristiti provereni drajver od provajdera usluga, a ne od trećih strana.
P.S.
Preberite tudi na našem blogu:
- «»;
- «»;
- «»;
- «».
Izvor: habr.com
