Jednostavno je i praktično pripremiti Kubernetes klaster? Najavljujemo addon-operator

Jednostavno je i praktično pripremiti Kubernetes klaster? Najavljujemo addon-operator

U susret shell-operator predstavljamo njegovog starijeg brata — addon-operator. Ovo je Open Source projekat koji se koristi za instalaciju sistemskih komponenti u Kubernetes klaster, koje možemo nazvati zajedničkim pojmom — dodaci.

Zašto uopšte neki dodaci?

Nije tajna da Kubernetes nije gotov proizvod "sve-u-jednom", i za izgradnju "zrelog" klastera biće potrebni razni dodaci. Addon-operator će pomoći u instalaciji, podešavanju i održavanju ovih dodataka u aktuelnom stanju.

Neophodnost dodatnih komponenti u klasteru razrađena je u izveštaju kolega driusha. Ukratko, situacija sa Kubernetes-om trenutno je takva da za jednostavnu instalaciju "da se poigramo" možemo se osloniti na komponente iz kutije, za razvoj i testiranje možemo dodati Ingress, dok za punu instalaciju, za koju možemo reći "vaš proizvod je spreman", potrebno je dodati desetak različitih dodataka: nešto za praćenje, nešto za logove, ne zaboraviti ingress i cert-manager, odrediti grupe čvorova, dodati mrežne politike, začiniti podešavanjima sysctl i pod autoscaler-om...

Jednostavno je i praktično pripremiti Kubernetes klaster? Najavljujemo addon-operator

Koja je specifičnost rada sa njima?

Kao što pokazuje praksa, samo instaliranje nije dovoljno. Za udoban rad sa klasterom, dodatke će biti potrebno ažurirati, onemogućiti (ukloniti iz klastera), a nešto će biti potrebno testirati pre instalacije u produkcijski klaster.

Pa, možda, ovde i Ansible može zadovoljiti? Moguće. Ali pravi dodaci u opštem smislu ne funkcionišu bez podešavanja. Ova podešavanja mogu se razlikovati u zavisnosti od vrste klastera (aws, gce, azure, bare-metal, do, ...). Neka podešavanja nije moguće unapred postaviti — moraju se dobijati iz klastera. A klaster nije statičan: za neka podešavanja potrebno je pratiti promene. I ovde Ansible ne može da pomogne: potrebna je aplikacija koja živi u klasteru, tj. Kubernetes Operator.

Oni koji su to probali u praksi shell-operator, reći će da se zadaci instalacije i ažuriranja dodataka i praćenje podešavanja mogu potpuno rešiti pomoću hookova za shell-operator. Može se napisati skript koji će obaviti uslovni kubectl apply i pratiti, na primer, ConfigMap, gde će se čuvati podešavanja. Približno to je i realizovano u addon-operator.

Kako je to organizovano u addon-operator?

Pri kreiranju novog rešenja, vodili smo se sledećim principima:

  • Instalater dodataka treba da podržava šablonizaciju i deklarativnu konfiguraciju. Ne pravimo magične skripte koje instaliraju dodatke. Addon-operator koristi Helm za instalaciju dodataka. Da biste instalirali, potrebno je stvoriti chart i odabrati values koje će se koristiti za konfiguraciju.
  • Podešavanja se mogu generisati prilikom instalacije, mogu se dobiti iz klastera, or prihvatati ažuriranja, prateći resurse klastera. Ove operacije se mogu realizovati pomoću hook-ova.
  • Podešavanja se mogu čuvati u klasteru. Za čuvanje podešavanja u klasteru kreira se ConfigMap/addon-operator i Addon-operator prati promene tog ConfigMap-a. Addon-operator omogućava hook-ovima pristup podešavanjima putem jednostavnih dogovora.
  • Dodatak zavisi od podešavanja. Ako su podešavanja promenjena, Addon-operator izdaje Helm-chart sa novim values. Spajanje Helm-charta, values za njega i hook-ova nazvali smo modulom (pogledajte dolje).
  • Stadij. Nema magičnih skripti za objavljivanje. Mehanizam ažuriranja je sličan običnoj aplikaciji — okupiti dodatke i addon-operator u imidž, označiti i objaviti.
  • Kontrola rezultata. Addon-operator može da pruža metrike za Prometheus.

Šta je dodatak u addon-operatoru?

Dodatak se može smatrati svime što dodaje nove funkcije u klaster. Na primer, instalacija Ingress-a — odličan primer dodatka. To može biti bilo koji operator ili kontroler sa svojim CRD: prometheus-operator, cert-manager, kube-controller-manager, itd. Ili nešto malo, ali olakšavajuće za eksploataciju — kao što je secret copier, koji kopira registry-sekrete u nove prostore imena, ili sysctl tuner, koji podešava sysctl parametre na novim čvorovima.

Za realizaciju dodataka Addon-operator pruža nekoliko koncepata:

  • Helm-chart se koristi za instaliranje različitog softvera u klaster — na primer, Prometheus, Grafana, nginx-ingress. Ako relevantna komponenta ima Helm-chart, njegova instalacija putem Addon-operatora će biti veoma jednostavna.
  • Skladište values. Helm-chartovi obično imaju mnogo različitih podešavanja koja mogu da se menjaju tokom vremena. Addon-operator podržava skladištenje ovih podešavanja i prati njihove promene kako bi ponovo instalirao Helm-chart sa novim vrednostima.
  • Hook-ovi — to su izvršne datoteke koje Addon-operator pokreće na događajima i koje pristupaju skladištu values. Hukt može pratiti promjene u klasteru i ažurirati vrijednosti u skladištu values. To jest, uz pomoć huktova može se napraviti otkrivanje, kako bi se skupile vrijednosti iz klastera prilikom pokretanja ili prema rasporedu, a može se i kontinuirano otkrivanje, prikupljajući vrijednosti iz klastera po promjenama u klasteru.
  • Modul — to je kombinacija Helm-chart-a, skladišta values i huktova. Module je moguće uključiti i isključiti. Isključivanje modula podrazumijeva uklanjanje svih izdanja Helm-chart-a. Moduli se mogu dinamički uključivati, na primjer, ako su svi potrebni moduli uključeni ili ako je otkrivanje u huktovima pronašlo potrebne parametre — to se postiže pomoću pomoćnog enabled-skripta.
  • Globalni hukt. To su huktovi „sami po sebi“, nisu uključeni u module i imaju pristup globalnom skladištu values, čije vrijednosti su dostupne svim huktovima u modulima.

Kako ove dijelove rade zajedno? Razmotrite sliku iz dokumentacije:

Jednostavno je i praktično pripremiti Kubernetes klaster? Najavljujemo addon-operator

Postoje dva scenarija rada:

  1. Globalni hukt se pokreće na događaj — na primjer, prilikom promjene resursa u klasteru. Ovaj hukt obrađuje promjene i zapisuje nove vrijednosti u globalno skladište values. Addon-operator primjećuje da se globalno skladište promijenilo i pokreće sve module. Svaki modul uz pomoć svojih huktova određuje treba li se uključiti i ažurira svoje skladište values. Ako je modul uključen, Addon-operator pokreće instalaciju Helm-chart-a. Helm-chart-u su tada dostupne values iz skladišta modula i iz globalnog skladišta.
  2. Drugi scenarij je jednostavniji: modularni hukt se pokreće na događaj, mijenja vrijednosti u skladištu values modula. Addon-operator to primjećuje i pokreće Helm-chart s ažuriranim values.

Dodatak može biti realizovan kao jedan jedini hukt ili kao jedan Helm-chart, ili čak kao nekoliko zavisnih modula — to zavisi od složenosti komponente koja se instalira u klaster i od potrebnog nivoa fleksibilnosti postavki. Na primjer, u repozitoriju (/examples) postoji dodatak sysctl-tuner, koji je realizovan i kao jednostavan modul s hukom i Helm-chart-om, kao i sa korištenjem skladišta values, što omogućuje dodavanje postavki putem uređivanja ConfigMap-a.

Dostava ažuriranja

Nekoliko riječi o organizaciji ažuriranja komponenata koje instalira Addon-operator.

Da biste pokrenuli Addon-operator u klasteru, potrebno je pripremiti sliku s dodacima u obliku hook datoteka i Helm chartova, dodati binarnu datoteku addon-operator i sve što će biti potrebno za hookove: bash, . Obično, cloud provajderi (Azure, Google, AWS itd.) omogućuju dobijanje kredencijala za korišćenje u ovoj alatki., jq, python itd. Nakon toga, ovu sliku možete implementirati u klaster kao uobičajenu aplikaciju i vjerojatno ćete htjeti organizirati neku vrstu označavanja. Ako je malo klastera, može se koristiti isti pristup kao i za aplikacije: nova verzija, nova verzija, i proći kroz sve klastere i ispraviti image kod Podova. Međutim, u slučaju implementacije na značajan broj klastera, više nam odgovara koncept samoobnavljanja iz kanala.

Kod nas je to organizirano ovako:

  • Kanal je u suštini identifikator koji se može postaviti na bilo koji način (na primjer, dev/stage/ea/stable).
  • Ime kanala je oznaka slike. Kada je potrebno implementirati ažuriranja u kanal, okuplja se nova slika i označava imenom kanala.
  • Kada u registru pojavi nova slika, Addon-operator se restartuje i pokreće s novom slikom.

To nije najbolja praksa, o čemu je pisano u dokumentacije Kubernetesa. To se ne preporučuje, ali radi se o uobičajenoj aplikaciji koja živi u jednom klasteru. U slučaju Addon-operatora, aplikacija je mnoštvo Deployments raspoređenih po klasterima, a samoobnavljanje vrlo puno pomaže i pojednostavljuje život.

Kanali pomažu i u testiranju: ako postoji pomoćni klaster, može se postaviti na kanal stage i testirati ažuriranja u njega prije implementacije u kanale ea i stable. Ako se dogodila greška s klasterom na kanalu, možete ga prebaciti na ea , dok traje istraživanje problema s tim klasterom. Ako je klaster izbačen iz aktivne podrške, prebacuje se na svoj "zamrznuti" kanal - na primjer, stablefreeze-2019-03-20 . Osim ažuriranja hookova i Helm chartova, može biti potrebno.

ažurirati i vanjsku komponentu . Na primjer, primijetili ste grešku u uvjetnom node-exporteru i čak ste smislili kako ga zakrpati. Zatim ste otvorili PR i čekate novi release kako biste prošli kroz sve klastere i povećali verziju slike. Da ne biste čekali neodređeno vrijeme, možete pripremiti svoj node-exporter i prebaciti se na njega do prihvaćanja PR-a.. Na primjer, primijetili ste grešku u node-exporter-u i čak ste smislili kako da je ispravite. Zatim ste otvorili PR i čekate novu verziju, kako biste prošli kroz sve klastere i povećali verziju slike. Da ne biste čekali neodređeno vrijeme, možete sastaviti svoj node-exporter i prebaciti se na njega do prihvaćanja PR-a.

U suštini, to se može učiniti i bez Addon-operatora, ali s Addon-operatorom modul za instalaciju node-exporter bit će vidljiv u jednom repozitoriju, Dockerfile za izradu vlastite slike može se držati tu, svima uključenima postaje lakše razumjeti što se dešava... A ako postoji više klastera, lakše je testirati svoj PR i primijeniti novu verziju!

Ova organizacija ažuriranja komponenti uspješno funkcioniše kod nas, ali se može implementirati i bilo koja druga pogodna shema — jer u ovom slučaju Addon-operator je jednostavna binarna datoteka..

Zaključak

Principi implementirani u Addon-operatoru omogućuju transparentan proces kreiranja, testiranja, instalacije i ažuriranja dodataka u klasteru, slično procesima razvoja običnih aplikacija.

Dodaci za Addon-operator u formatu modula (Helm grafikon + hook-ovi) mogu se objavljivati široj javnosti. Mi, kompanija Flant, planiramo tokom leta objaviti naše radove u obliku takvih dodataka. Pridružite se razvoju na GitHub-u (shell-operator, addon-operator), pokušajte napraviti svoj dodatak na osnovu primjera i dokumentaciji, očekujte novosti na Habr-u i na našem kanalu na YouTube-u!

P.S.

Takođe pročitajte na našem blogu:

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster