Napomena prev.: ovaj članak, koji je napisao SRE inženjer sa LinkedIna, detaljno objašnjava tu "unutrašnju magiju" u Kubernetesu — tačnije, interakciju CRI, CNI i kube-apiserver-a, — koja se dešava kada pod-u zatreba dodeljivanje IP adrese.
Jedan od osnovnih zahteva je da svaki pod mora imati svoju jedinstvenu IP adresu i da bilo koji drugi pod u klasteru treba da može da komunicira s njim putem te adrese. Postoji mnogo mrežnih "provajderâ" (Flannel, Calico, Canal itd.) koji pomažu u implementaciji ovog mrežnog modela.
Kada sam tek počeo raditi s Kubernetes-om, nije mi bilo sasvim jasno kako pod-ovi dobijaju svoje IP adrese. Čak i sa razumevanjem kako funkcionišu pojedinačni komponente, bilo je teško zamisliti njihovo zajedničko delovanje. Na primer, znao sam čemu služe CNI dodaci, ali nisam imao predstavu o tome kako se tačno pozivaju. Zato sam odlučio da napišem ovaj članak kako bih podelio znanje o različitim mrežnim komponentama i njihovoj saradnji u Kubernetes klasteru, što omogućava svakom pod-u da dobije svoju jedinstvenu IP adresu.
Postoje različiti načini organizacije mrežne interakcije u Kubernetes-u — slično kao i različite verzije izvršnih okruženja (runtime) za kontejnere. U ovoj publikaciji koristiće se za organizaciju mreže u klasteru, dok će kao izvršno okruženje biti . Takođe, polazim od pretpostavke da znate kako je organizovana mrežna interakcija između kontejnera, tako da ću to samo ukratko pomenuti, isključivo za kontekst.
Neki osnovni pojmovi
Kontejneri i mreža: kratak pregled
Na internetu ima mnogo odličnih publikacija koje objašnjavaju kako se kontejneri povezuju jedni s drugima putem mreže. Stoga ću samo dati opšti pregled osnovnih pojmova i ograničiti se na jedan pristup koji podrazumeva kreiranje Linux mosta i enkapsulaciju paketa. Detalji su izostavljeni, budući da sama tema mrežne interakcije kontejnera zaslužuje poseban članak. Linkovi ka nekim posebno sadržajnim i poučnim publikacijama biće navedeni u nastavku.
Kontejneri na jednoj mašini
Jedan od načina organizacije veze putem IP adresa između kontejnera koji rade na istom hostu je kreiranje Linux mosta. Za to se u Kubernetesu (i Dockeru) kreiraju virtuelne jedinice . Jedan kraj veth uređaja povezan je sa mrežnim imenskim prostorom kontejnera, dok je drugi povezan sa na mreži hosta.
Svi kontejneri na jednom hostu imaju jedan kraj veth povezan s mostom, preko kojeg mogu komunicirati jedni s drugima putem IP adresa. Linux most takođe ima IP adresu i deluje kao prolaz za izlazni (egress) saobraćaj iz pod-ova, namenjen drugim čvorovima.

Kontejneri na različitim hostovima
Encapsulacija paketa je jedan od načina koji omogućava kontejnerima na različitim čvorovima da komuniciraju jedni s drugima putem IP adresa. U Flannel-u, ovu mogućnost obezbeđuje tehnologija , koja "upakuje" izvorni paket u UDP paket i zatim ga šalje na odredište.
U Kubernetes klasteru, Flannel kreira vxlan uređaj i odgovarajuće dopunjava tabelu rutiranja na svakom od čvorova. Svaki paket namenjen kontejneru na drugom hostu prolazi kroz vxlan uređaj i enkapsulira se u UDP paket. Na odredištu, ugnježdeni paket se izvlači i preusmerava na odgovarajući pod.

Napomena: Ovo je samo jedan od načina organizovanja mrežne interakcije između kontejnera.
Šta je CRI?
je plugin koji omogućava kubelet-u da koristi različita izvršna okruženja kontejnera. CRI API je ugrađen u različita izvršna okruženja, tako da korisnici mogu birati runtime po svom izboru.
Šta je CNI?
predstavlja za organizaciju univerzalnog mrežnog rešenja za Linux kontejner. Pored toga, uključuje , koji su odgovorni za različite funkcije prilikom podešavanja mreže pod-a. CNI plugin je izvršna datoteka koja je usklađena sa specifikacijom (neke plugin-e ćemo raspraviti u nastavku).
Dodela podmreža čvorovima za dodeljivanje IP adresa pod-ovima
Kako svaki pod klastera mora imati IP adresu, važno je osigurati da ta adresa bude jedinstvena. To se postiže dodeljivanjem svakoj čvoru jedinstvene podmreže iz koje se zatim pod-ovima na tom čvoru dodeljuju IP adrese.
IPAM kontroler čvora
Kada nodeipam proslijeđuje se kao parametar zastavice --kontroleri , dodeljuje svakom čvoru posebnu podmrežu (podCIDR) iz CIDR klastera (tj. opsega IP adresa za mrežu klastera). Pošto se ti podCIDR-ovi ne preklapaju, svaki pod može dobiti jedinstvenu IP adresu.
Čvoru Kubernetes-a dodeljuje se podCIDR u trenutku njegove prvobitne registracije u klasteru. Da bi se promenio podCIDR za čvorove, potrebno ih je deregistrovati i zatim ponovo registrovati, pri čemu je potrebno napraviti odgovarajuće izmene u konfiguraciji upravljačkog sloja Kubernetes-a. PodCIDR čvora može se dobiti pomoću sledeće komande:
$ kubectl get no -o json | jq '.spec.podCIDR'
10.244.0.0/24
Kubelet, okruženje za pokretanje kontejnera i CNI dodaci: kako to sve funkcioniše
Planiranje poda na čvoru uključuje izvršenje niza pripremnih radnji. U ovom odeljku fokusiraću se samo na one koje su direktno povezane sa podešavanjem mreže poda.
Planiranje poda na određenom čvoru pokreće sledeći niz događaja:

Pomoć: .
Interakcija okruženja za pokretanje kontejnera i CNI dodataka
Svaki provajder mreže ima svoj CNI dodatak. Okruženje za pokretanje kontejnera ga pokreće kako bi konfigurisalo mrežu za pod u trenutku njegovog pokretanja. U slučaju containerd, pokretanjem CNI dodatka upravlja dodatak .
Pritom, svaki provajder ima svog agenta. On se instalira na sve čvorove Kubernetes-a i odgovoran je za mrežnu konfiguraciju poda. Ovaj agent dolazi ili sa konfiguracijom CNI, ili samostalno kreira tu konfiguraciju na čvoru. Konfiguracija pomaže CRI dodatku da odredi koji CNI dodatak treba pozvati.
Lokacija CNI konfiguracije može se podesiti; prema zadanim postavkama ona leži u /etc/cni/net.d/<config-file>. Administratori klastera takođe su odgovorni za instalaciju CNI dodataka na svaki čvor klastera. Njihova lokacija se takođe podešava; podrazumevana direktorija je /opt/cni/bin.
Kada se koristi containerd, puteve za konfiguraciju i izvršne datoteke dodatka može se navesti u odeljku [plugins."io.containerd.grpc.v1.cri".cni] u .
Budući da koristimo Flannel kao provajdera mreže, hajde da malo pričamo o njegovom podešavanju:
- Flanneld (demon Flannel-a) obično se instalira u klaster kao DaemonSet sa
install-cnikao . Install-cnikreira (/etc/cni/net.d/10-flannel.conflist) na svakom čvoru.- Flanneld stvara vxlan uređaj, preuzima mrežne metapodatke s API servera i prati ažuriranja podova. Dok se podovi stvaraju, širi rute za sve podove širom klastera.
- Te rute omogućavaju podovima da komuniciraju međusobno putem IP adresa.
Za detaljnije informacije o radu Flannela preporučujem da pogledate linkove na kraju članka.
Evo sheme interakcije između Containerd CRI plugina i CNI plugina:

Kao što se može videti, kubelet poziva Containerd CRI plugin da kreira pod, a zatim poziva CNI plugin da konfiguriše mrežu pod-a. Pritom, CNI plugin mrežnog provajdera poziva druge osnovne CNI plugin-e za podešavanje različitih aspekata mreže.
Interakcija između CNI plugina
Postoje različiti CNI plugin-i čija je svrha pomoći u postavljanju mrežne interakcije između kontejnera na hostu. U ovom članku će biti reči o tri od njih.
CNI plugin Flannel
Kada se Flannel koristi kao mrežni provajder, komponenta Containerd CRI poziva , koristeći CNI konfiguracijski fajl /etc/cni/net.d/10-flannel.conflist.
$ cat /etc/cni/net.d/10-flannel.conflist
{
"name": "cni0",
"plugins": [
{
"type": "flannel",
"delegate": {
"ipMasq": false,
"hairpinMode": true,
"isDefaultGateway": true
}
}
]
}
CNI plugin Flannel radi zajedno s Flanneld-om. Tokom pokretanja, Flanneld preuzima podCIDR i druge mrežne detalje s API servera i čuva ih u fajlu /run/flannel/subnet.env.
FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.0.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=false
CNI plugin Flannel koristi podatke iz /run/flannel/subnet.env za konfiguraciju i pozivanje mosta (bridge) CNI plugin-a.
CNI plugin Most
Ovaj plugin se poziva sa sledećom konfiguracijom:
{
"name": "cni0",
"type": "bridge",
"mtu": 1450,
"ipMasq": false,
"isGateway": true,
"ipam": {
"type": "host-local",
"subnet": "10.244.0.0/24"
}
}
Prilikom prve uspostave, kreira Linux most sa "name": "cni0", što je naznačeno u konfiguraciji. Zatim se za svaki pod kreira par veth. Jedan kraj se povezuje s mrežnim imenom prostora kontejnera, dok drugi ulazi u Linux most u mreži hosta. povezuje sve kontejnere hosta na Linux most u mreži hosta.
Završivši sa podešavanjem para veth, Bridge plugin poziva lokalni (host-local) CNI plugin IPAM. Tip IPAM plugina se može konfigurirati u CNI konfiguraciji koju CRI plugin koristi za pozivanje CNI plugina Flannel.
Lokalni IPAM CNI plugin-i
Bridge CNI poziva sa sledećom konfiguracijom:
{
"name": "cni0",
"ipam": {
"type": "host-local",
"subnet": "10.244.0.0/24",
"dataDir": "/var/lib/cni/networks"
}
}
Host-local IPAM plugin (IP Aaddress Mmanagement — upravljanje IP adresama) vraća IP adresu za kontejner iz podmreže i čuva dodeljenu IP adresu na hostu u direktorijumu navedenom u odeljku dataDir — /var/lib/cni/networks/<network-name=cni0>/<ip>. Ovaj fajl sadrži ID kontejnera kojem je dodeljena ova IP adresa.
Pri pozivu host-local IPAM plugina vraća sledeće podatke:
{
"ip4": {
"ip": "10.244.4.2",
"gateway": "10.244.4.3"
},
"dns": {}
}
Sažetak
Kube-controller-manager dodeljuje podCIDR svakom čvoru. Podovi svakog čvora dobijaju IP adrese iz prostora adresa u dodeljenom opsegu podCIDR. Pošto se podCIDR pojedinih čvorova ne preklapaju, svi podovi dobijaju jedinstvene IP adrese.
Administrator Kubernetes klastera konfiguriše i instalira kubelet, okruženje za pokretanje kontejnera, agenta mrežnog provajdera i prekopira CNI plugine na svaki čvor. Tokom pokretanja agent mrežnog provajdera generiše CNI konfiguraciju. Kada se pod planira na čvor, kubelet poziva CRI plugin za njegovo kreiranje. Dalje, ako se koristi containerd, Containerd CRI plugin poziva CNI plugin naveden u CNI konfiguraciji za podešavanje mreže pod-a. Kao rezultat toga, pod dobija IP adresu.
Trebao mi je malo vremena da shvatim sve detalje i nijanse svih ovih interakcija. Nadam se da će iskustvo stečeno pomoći i vama da bolje razumete kako Kubernetes radi. Ako sam napravio neku grešku, slobodno me kontaktirajte na ili na adresu . Ne oklevajte da se obratite ako želite da razgovaramo o aspektima ovog članka ili nečemu drugom. Rado ću razgovarati s vama!
Linkovi
Kontejneri i mreža
Kako radi Flannel
CRI i CNI
P.S. od prevodioca
Takođe pročitajte na našem blogu:
- «»;
- „Ilustrovani vodič kroz strukturu mreže u Kubernetesu“: , ;
- «».
Izvor: habr.com
