
U susret predstavljamo njegovog starijeg brata — . Ovo je Open Source projekat koji se koristi za instalaciju sistemskih komponenti u Kubernetes klaster, koje možemo nazvati zajedničkim pojmom — dodaci.
Zašto uopšte neki dodaci?
Nije tajna da Kubernetes nije gotov proizvod "sve-u-jednom", i za izgradnju "zrelog" klastera biće potrebni razni dodaci. Addon-operator će pomoći u instalaciji, podešavanju i održavanju ovih dodataka u aktuelnom stanju.
Neophodnost dodatnih komponenti u klasteru razrađena je u kolega . Ukratko, situacija sa Kubernetes-om trenutno je takva da za jednostavnu instalaciju "da se poigramo" možemo se osloniti na komponente iz kutije, za razvoj i testiranje možemo dodati Ingress, dok za punu instalaciju, za koju možemo reći "vaš proizvod je spreman", potrebno je dodati desetak različitih dodataka: nešto za praćenje, nešto za logove, ne zaboraviti ingress i cert-manager, odrediti grupe čvorova, dodati mrežne politike, začiniti podešavanjima sysctl i pod autoscaler-om...

Koja je specifičnost rada sa njima?
Kao što pokazuje praksa, samo instaliranje nije dovoljno. Za udoban rad sa klasterom, dodatke će biti potrebno ažurirati, onemogućiti (ukloniti iz klastera), a nešto će biti potrebno testirati pre instalacije u produkcijski klaster.
Pa, možda, ovde i Ansible može zadovoljiti? Moguće. Ali pravi dodaci u opštem smislu ne funkcionišu bez podešavanja. Ova podešavanja mogu se razlikovati u zavisnosti od vrste klastera (aws, gce, azure, bare-metal, do, ...). Neka podešavanja nije moguće unapred postaviti — moraju se dobijati iz klastera. A klaster nije statičan: za neka podešavanja potrebno je pratiti promene. I ovde Ansible ne može da pomogne: potrebna je aplikacija koja živi u klasteru, tj. Kubernetes Operator.
Oni koji su to probali u praksi , reći će da se zadaci instalacije i ažuriranja dodataka i praćenje podešavanja mogu potpuno rešiti pomoću za shell-operator. Može se napisati skript koji će obaviti uslovni kubectl apply i pratiti, na primer, ConfigMap, gde će se čuvati podešavanja. Približno to je i realizovano u addon-operator.
Kako je to organizovano u addon-operator?
Pri kreiranju novog rešenja, vodili smo se sledećim principima:
- Instalater dodataka treba da podržava šablonizaciju i deklarativnu konfiguraciju. Ne pravimo magične skripte koje instaliraju dodatke. Addon-operator koristi Helm za instalaciju dodataka. Da biste instalirali, potrebno je stvoriti chart i odabrati values koje će se koristiti za konfiguraciju.
- Podešavanja se mogu generisati prilikom instalacije, mogu se dobiti iz klastera, or prihvatati ažuriranja, prateći resurse klastera. Ove operacije se mogu realizovati pomoću hook-ova.
- Podešavanja se mogu čuvati u klasteru. Za čuvanje podešavanja u klasteru kreira se ConfigMap/addon-operator i Addon-operator prati promene tog ConfigMap-a. Addon-operator omogućava hook-ovima pristup podešavanjima putem jednostavnih dogovora.
- Dodatak zavisi od podešavanja. Ako su podešavanja promenjena, Addon-operator izdaje Helm-chart sa novim values. Spajanje Helm-charta, values za njega i hook-ova nazvali smo modulom (pogledajte dolje).
- Stadij. Nema magičnih skripti za objavljivanje. Mehanizam ažuriranja je sličan običnoj aplikaciji — okupiti dodatke i addon-operator u imidž, označiti i objaviti.
- Kontrola rezultata. Addon-operator može da pruža metrike za Prometheus.
Šta je dodatak u addon-operatoru?
Dodatak se može smatrati svime što dodaje nove funkcije u klaster. Na primer, instalacija Ingress-a — odličan primer dodatka. To može biti bilo koji operator ili kontroler sa svojim CRD: prometheus-operator, cert-manager, kube-controller-manager, itd. Ili nešto malo, ali olakšavajuće za eksploataciju — kao što je secret copier, koji kopira registry-sekrete u nove prostore imena, ili sysctl tuner, koji podešava sysctl parametre na novim čvorovima.
Za realizaciju dodataka Addon-operator pruža nekoliko koncepata:
- Helm-chart se koristi za instaliranje različitog softvera u klaster — na primer, Prometheus, Grafana, nginx-ingress. Ako relevantna komponenta ima Helm-chart, njegova instalacija putem Addon-operatora će biti veoma jednostavna.
- Skladište values. Helm-chartovi obično imaju mnogo različitih podešavanja koja mogu da se menjaju tokom vremena. Addon-operator podržava skladištenje ovih podešavanja i prati njihove promene kako bi ponovo instalirao Helm-chart sa novim vrednostima.
- Hook-ovi — to su izvršne datoteke koje Addon-operator pokreće na događajima i koje pristupaju skladištu values. Hukt može pratiti promjene u klasteru i ažurirati vrijednosti u skladištu values. To jest, uz pomoć huktova može se napraviti otkrivanje, kako bi se skupile vrijednosti iz klastera prilikom pokretanja ili prema rasporedu, a može se i kontinuirano otkrivanje, prikupljajući vrijednosti iz klastera po promjenama u klasteru.
- Modul — to je kombinacija Helm-chart-a, skladišta values i huktova. Module je moguće uključiti i isključiti. Isključivanje modula podrazumijeva uklanjanje svih izdanja Helm-chart-a. Moduli se mogu dinamički uključivati, na primjer, ako su svi potrebni moduli uključeni ili ako je otkrivanje u huktovima pronašlo potrebne parametre — to se postiže pomoću pomoćnog enabled-skripta.
- Globalni hukt. To su huktovi „sami po sebi“, nisu uključeni u module i imaju pristup globalnom skladištu values, čije vrijednosti su dostupne svim huktovima u modulima.
Kako ove dijelove rade zajedno? Razmotrite sliku iz dokumentacije:

Postoje dva scenarija rada:
- Globalni hukt se pokreće na događaj — na primjer, prilikom promjene resursa u klasteru. Ovaj hukt obrađuje promjene i zapisuje nove vrijednosti u globalno skladište values. Addon-operator primjećuje da se globalno skladište promijenilo i pokreće sve module. Svaki modul uz pomoć svojih huktova određuje treba li se uključiti i ažurira svoje skladište values. Ako je modul uključen, Addon-operator pokreće instalaciju Helm-chart-a. Helm-chart-u su tada dostupne values iz skladišta modula i iz globalnog skladišta.
- Drugi scenarij je jednostavniji: modularni hukt se pokreće na događaj, mijenja vrijednosti u skladištu values modula. Addon-operator to primjećuje i pokreće Helm-chart s ažuriranim values.
Dodatak može biti realizovan kao jedan jedini hukt ili kao jedan Helm-chart, ili čak kao nekoliko zavisnih modula — to zavisi od složenosti komponente koja se instalira u klaster i od potrebnog nivoa fleksibilnosti postavki. Na primjer, u repozitoriju () postoji dodatak sysctl-tuner, koji je realizovan i kao jednostavan modul s hukom i Helm-chart-om, kao i sa korištenjem skladišta values, što omogućuje dodavanje postavki putem uređivanja ConfigMap-a.
Dostava ažuriranja
Nekoliko riječi o organizaciji ažuriranja komponenata koje instalira Addon-operator.
Da biste pokrenuli Addon-operator u klasteru, potrebno je pripremiti sliku s dodacima u obliku hook datoteka i Helm chartova, dodati binarnu datoteku addon-operator i sve što će biti potrebno za hookove: bash, . Obično, cloud provajderi (Azure, Google, AWS itd.) omogućuju dobijanje kredencijala za korišćenje u ovoj alatki., jq, python itd. Nakon toga, ovu sliku možete implementirati u klaster kao uobičajenu aplikaciju i vjerojatno ćete htjeti organizirati neku vrstu označavanja. Ako je malo klastera, može se koristiti isti pristup kao i za aplikacije: nova verzija, nova verzija, i proći kroz sve klastere i ispraviti image kod Podova. Međutim, u slučaju implementacije na značajan broj klastera, više nam odgovara koncept samoobnavljanja iz kanala.
Kod nas je to organizirano ovako:
- Kanal je u suštini identifikator koji se može postaviti na bilo koji način (na primjer, dev/stage/ea/stable).
- Ime kanala je oznaka slike. Kada je potrebno implementirati ažuriranja u kanal, okuplja se nova slika i označava imenom kanala.
- Kada u registru pojavi nova slika, Addon-operator se restartuje i pokreće s novom slikom.
To nije najbolja praksa, o čemu je pisano u . To se ne preporučuje, ali radi se o uobičajenoj aplikaciji koja živi u jednom klasteru. U slučaju Addon-operatora, aplikacija je mnoštvo Deployments raspoređenih po klasterima, a samoobnavljanje vrlo puno pomaže i pojednostavljuje život.
Kanali pomažu i u testiranju: ako postoji pomoćni klaster, može se postaviti na kanal stage i testirati ažuriranja u njega prije implementacije u kanale ea i stable. Ako se dogodila greška s klasterom na kanalu, možete ga prebaciti na ea , dok traje istraživanje problema s tim klasterom. Ako je klaster izbačen iz aktivne podrške, prebacuje se na svoj "zamrznuti" kanal - na primjer, stablefreeze-2019-03-20 . Osim ažuriranja hookova i Helm chartova, može biti potrebno.
ažurirati i vanjsku komponentu . Na primjer, primijetili ste grešku u uvjetnom node-exporteru i čak ste smislili kako ga zakrpati. Zatim ste otvorili PR i čekate novi release kako biste prošli kroz sve klastere i povećali verziju slike. Da ne biste čekali neodređeno vrijeme, možete pripremiti svoj node-exporter i prebaciti se na njega do prihvaćanja PR-a.. Na primjer, primijetili ste grešku u node-exporter-u i čak ste smislili kako da je ispravite. Zatim ste otvorili PR i čekate novu verziju, kako biste prošli kroz sve klastere i povećali verziju slike. Da ne biste čekali neodređeno vrijeme, možete sastaviti svoj node-exporter i prebaciti se na njega do prihvaćanja PR-a.
U suštini, to se može učiniti i bez Addon-operatora, ali s Addon-operatorom modul za instalaciju node-exporter bit će vidljiv u jednom repozitoriju, Dockerfile za izradu vlastite slike može se držati tu, svima uključenima postaje lakše razumjeti što se dešava... A ako postoji više klastera, lakše je testirati svoj PR i primijeniti novu verziju!
Ova organizacija ažuriranja komponenti uspješno funkcioniše kod nas, ali se može implementirati i bilo koja druga pogodna shema — jer u ovom slučaju Addon-operator je jednostavna binarna datoteka..
Zaključak
Principi implementirani u Addon-operatoru omogućuju transparentan proces kreiranja, testiranja, instalacije i ažuriranja dodataka u klasteru, slično procesima razvoja običnih aplikacija.
Dodaci za Addon-operator u formatu modula (Helm grafikon + hook-ovi) mogu se objavljivati široj javnosti. Mi, kompanija Flant, planiramo tokom leta objaviti naše radove u obliku takvih dodataka. Pridružite se razvoju na GitHub-u (, ), pokušajte napraviti svoj dodatak na osnovu i , očekujte novosti na Habr-u i na našem !
P.S.
Takođe pročitajte na našem blogu:
- «»;
- «».
Izvor: habr.com
