🥇Kuidas pod Kubernetes'es IP-aadressi saab

Märk. tõlge.: see artikkel, mille on kirjutanud SRE-insener LinkedInist, räägib detailselt „sisemisest maagist“ Kuberneteses — täpsemalt CRI, CNI ja kube-apiserveri koostööst, — mis juhtub, kui järgmine pod vajab IP-aadressi määramist.

Üks põhivajadustest Kubernetes'e võrgumudel on see, et igal pod'il peab olema oma IP-aadress ning iga teine pod klastris peab suutma temaga selle aadressi kaudu ühendust luua. On palju võrguteenuse pakkujaid (nt Flannel, Calico, Canal jne), mis aitavad seda võrgumudelit rakendada.

Kuna alustasin Kubernetes'ega töötamist, ei olnud mul päris selge, kuidas pod'id oma IP-aadresse saavad. Isegi kui mõistsin, kuidas üksikud komponendid töötavad, oli keeruline ette kujutada nende koostööd. Näiteks teadsin, milleks on CNI-pluginad vajalikud, kuid ei osanud ette kujutada, kuidas need täpselt kutsutakse. Seetõttu otsustasin kirjutada selle artikli, et jagada teadmisi erinevatest võrgukomponentidest ja nende koostööst Kubernetes'e klastris, mis võimaldab igal pod'il saada oma ainulaadne IP-aadress.

Kubernetesis on erinevaid viise, kuidas korraldada võrguühendust, samal ajal kui konteinerite tööks on erinevaid käituskeskkondi (runtime). Selles publikatsioonis kasutatakse Flannel võrgu korraldamiseks klastris ning käituskeskkonnana kasutatakse Containerd. Eeldan ka, et teate, kuidas konteinerite vahel võrguühendused toimivad, seega puudutan seda ainult lühidalt, et anda konteksti.

Mõned põhikontseptsioonid

Konteinerid ja võrk: lühike ülevaade

Internetis on palju suurepäraseid avaldusi, mis selgitavad, kuidas konteinerid omavahel võrgu kaudu ühenduvad. Seetõttu annan vaid üldise ülevaate põhikontseptsioonidest ja piirdun ühe lähenemisega, mis hõlmab Linuxi silda ja paketide kapseldamist. Detailid on välja jäetud, kuna konteinerite võrguühenduse teema väärib eraldi artiklit. Allpool tuuakse mõned eriti sisukad ja õpetlikud avaldused.

Konteinerid samal hostil

Üks võimalus korraldada IP-aadresside kaudu suhtlemist konteinerite vahel, mis töötavad samal hostil, on Linuxi silla loomine. Selleks luuakse Kuberneteses (ja Dockeris) virtuaalsed seadmepaarid. veth (virtuaalne ethernet). Üks veth-seadmepaarist on ühendatud konteineri võrgu nimeruumi, teine aga Linuxi sillaga hosti võrgus.

Kõigil konteineritel ühel hostil on üks veth-paarist ühendatud sillaga, mille kaudu nad saavad üksteisega IP-aadresside kaudu suhelda. Linuxi sillal on samuti IP-aadress ja see toimib väljuva (egress) liikluse väravana pod'idest, mis on suunatud muudele sõlmedele.

Konteinerid erinevates hostides

Pakettide kapseldamine on üks võimalus, mis võimaldab konteineritel erinevates sõlmedes üksteisega IP-aadresside kaudu ühenduda. Flannelis vastutab selle võimaluse eest tehnoloogia vxlan, mis "kapseldab" lähtepaketi UDP-paketti ja saadab selle sihtkohta.

Kubernetesi klastris loob Flannel vxlan seadme ja vastavalt täiendab marsruudi tabelit igas sõlmes. Iga pakett, mis on suunatud konteinerile teisel hostil, läbib vxlan seadmest ja kapseldatakse UDP paketti. Sihtkohas eraldatakse sisemine pakett ja suunatakse õigele pod'ile.

Märkus: See on vaid üks viis konteinerite vahelise võrguühenduse korraldamiseks.

Mis on CRI?

CRI (Container Runtime Interface) — on plugin, mis võimaldab kubelet’il kasutada erinevaid konteinerite käituskeskkondi. CRI API on integreeritud erinevatesse käituskeskkondadesse, seega saavad kasutajad valida oma soovile vastava runtime'i.

Mis on CNI?

CNI projekt esindab RTMP protokolli spetsifikatsiooni, mis sisaldas vigu ja ei olnud sisuliselt täielik. Sel ajal hakkasid arendajad meisterdama oma rakendusi selle protokolli järgi, mille tulemusena ilmus server Wowza. 2011. aastal esitas Adobe Wowza vastu kohtuhagi RTMP-ga seotud patentide ebaseadusliku kasutamise tõttu, kuid neli aastat hiljem lahendati konflikt rahumeelselt. pakub universaalset võrgu lahendust Linuxi konteineritele. Lisaks sisaldab see pluginate, mis vastutavad erinevate funktsioonide eest pod'i võrgu seadistamisel. CNI plugin on käivitatav fail, mis vastab spetsifikatsioonile (mõned pluginaid käsitleme allpool).

Sõlmedele alamvõrkude määramine pod'idele IP-aadresside määramiseks

Kuna iga pod klastris peab olema IP-aadress, on oluline tagada, et see aadress oleks ainulaadne. See saavutatakse, eraldades igale sõlmele ainulaadse alamvõrgu, millest antakse seejärel pod'idele selles sõlmes IP-aadressid.

Sõlme IPAM kontroller

Kui nodeipam edastatakse lipu parameetrina --controllers kube-controller-manager'ile, eraldab ta igale sõlmele eraldi alamvõrgu (podCIDR) klastri CIDR-st (st. IP-aadresside vahemik klasstri võrgus). Kuna need podCIDR'id ei kattu, on võimalik igale pod'ile eraldada ainulaadne IP-aadress.

Kubernetes'i sõlmele määratakse podCIDR selle algse registreerimise ajal klastris. Kui soovite muuta sõlmede podCIDR'it, tuleb need deregistreerida ja seejärel uuesti registreerida, vahepeal tehes vastavad muudatused Kubernetes'i haldustaseme konfiguratsioonis. Sõlme podCIDR'i kuvamiseks võib kasutada järgmist käsku:

$ kubectl get no  -o json | jq '.spec.podCIDR'
10.244.0.0/24

Kubelet, konteinerite käituskeskkond ja CNI pistikprogrammid: kuidas see kõik töötab

Pod’i planeerimine sõlmele on seotud mitmete ettevalmistavate tegevustega. Selles osas keskendun ainult neile, mis on otseselt seotud pod’i võrgu seadistamisega.

Pod’i planeerimine mingile sõlmele käivitab järgmise sündmuste ahela:

Abi: Containerdi CRI-pluginite arhitektuur.

Konteinerite käituskeskkonna ja CNI-pluginite koostöö

Igal võrgu pakkujal on oma CNI-plugin. Konteineri tööaeg käivitab selle, et seadistada võrku pod’ile tema käivitamise käigus. Containerdi puhul tegeleb CNI-pluginiga käivitamine plugin Containerd CRI.

Igal pakkujal on oma agent. See installeeritakse kõikidele Kubernetes'e sõlmedele ja vastutab pod'ide võrgu seadistamise eest. See agent tuleb kas koos CNI konfiguraatoriga või loob selle ise sõlmel. Konfiguratsioon aitab CRI-pluginil määrata, millist CNI-pluginit kutsuda.

CNI konfiguratsiooni asukohta saab seadistada; vaikesätte kohaselt asub see /etc/cni/net.d/<config-file>. Klasteri administraatorid vastutavad ka CNI-pluginite installeerimise eest igale klasteri sõlmele. Nende asukohta saab samuti seadistada; vaikekaust on /opt/cni/bin.

Containerd'i kasutamisel saab plugina seadistuse ja binaaride teed määrata rubriigis [plugins.«io.containerd.grpc.v1.cri».cni] ühes containerd'i konfiguratsioonifailis.

Kuna kasutame Flanneli võrgu pakkujana, räägime natuke selle seadistamisest:

Flanneld (Flanneli deemon) installitakse tavaliselt klastrisse kui DaemonSet install-cni kui alguskonteineris.
Install-cni loob CNI konfiguratsioonifaili (/etc/cni/net.d/10-flannel.conflist) iga sõlme jaoks.
Flanneld loob vxlan seadmestiku, väljavõtab võrgu metaandmed API-serverist ja jälgib pod’ide uuendusi. Nende loomise ajal levitab ta marsruute kõigis pod'ides kogu klastris.
Need marsruudid võimaldavad pod’idel üksteisega IP-aadresside kaudu suhelda.

Flanneli töö kohta täiendava teabe saamiseks soovitan uurida artikli lõpu linke.

Siin on skeem Containerd CRI plugina ja CNI pluginatega suhtlemisest:

Nagu ülal nähtud, kutsub kubelet Containerd CRI plugina, et luua pod, ja see omakorda kutsub CNI plugina pod'i võrgu seadistamiseks. Samuti kutsub võrgu pakkuja CNI-plugin teisi aluspinge CNI pluginaid, et seadistada erinevaid võrgu aspekte.

Suhtlemine CNI-pluginite vahel

Sa on erinevaid CNI mooduleid, mille ülesanne on aidata seadistada võrgusuhtlust konteinerite vahel hostis. Käesolevas artiklis käsitleme kolme neist.

CNI moodul Flannel

Flannel'i kasutamisel võrgu pakkujana kutsub Containerd CRI komponent CNI moodul Flannel, kasutades CNI konfigureerimisfaili /etc/cni/net.d/10-flannel.conflist.

$ cat /etc/cni/net.d/10-flannel.conflist
{
  "name": "cni0",
  "plugins": [
    {
      "type": "flannel",
      "delegate": {
         "ipMasq": false,
        "hairpinMode": true,
        "isDefaultGateway": true
      }
    }
  ]
}

CNI moodul Flannel töötab koos Flanned'iga. Flanned'i käivitamisel ekstraktsib see podCIDR-i ja teised võrguga seotud üksikasjad API-serverist ning salvestab need faili /run/flannel/subnet.env.

FLANNEL_NETWORK=10.244.0.0/16 
FLANNEL_SUBNET=10.244.0.1/24
FLANNEL_MTU=1450 
FLANNEL_IPMASQ=false

CNI moodul Flannel kasutab andmeid /run/flannel/subnet.env CNI silla (bridge) mooduli seadistamiseks ja kutsumiseks.

CNI moodul Bridge

Seda moodulit kutsutakse järgmise konfiguratsiooniga:

{
  "name": "cni0",
  "type": "bridge",
  "mtu": 1450,
  "ipMasq": false,
  "isGateway": true,
  "ipam": {
    "type": "host-local",
    "subnet": "10.244.0.0/24"
  }
}

Esimese kutsumise ajal loob see Linuxi silla «name»: «cni0», mis on määratud konfiguratsioonis. Seejärel luuakse iga pod'i jaoks veth paar. Üks tema ots on ühendatud konteineri võrgunimede ruumi, teine siseneb Linuxi sillasse hosti võrgus. CNI moodul Bridge ühendab kõik hosti konteinerid Linuxi sillaga hosti võrgus.

Pärast veth paari seadistamist kutsub Bridge plugin kohalikku (host-local) CNI-plugina IPAM. IPAM-plugina tüübi saab integreerida CNI seadistusse, mida CRI plugin kasutab CNI-plugin Flanneli kutsumiseks.

Kohalikud hosti IPAM-plugid CNI

Sild CNI kutsub host-local IPAM-plugina CNI järgneva konfiguratsiooniga:

{
  "name": "cni0",
  "ipam": {
    "type": "host-local",
    "subnet": "10.244.0.0/24",
    "dataDir": "/var/lib/cni/networks"
  }
}

Host-local IPAM-plugin (IP Aaadress Mhaldamine — IP-aadresside haldamine tagastab konteinerile IP aadressi alamvõrgust ja salvestab eraldatud IP hostis määratud katalooge juurde dataDir — /var/lib/cni/networks/<network-name=cni0>/<ip>. Failis sisalduvad konteineri ID, kellele antud IP-aadress on määratud.

Kohaliku IPAM-plugina kutsel tagastab see järgmised andmed:

{
  "ip4": {
    "ip": "10.244.4.2",
    "gateway": "10.244.4.3"
  },
  "dns": {}
}

Kokkuvõte

Kube-controller-manager määrab igale sõlmele podCIDR. Iga sõlme pod'id saavad IP-aadresse määratud vahemikus podCIDR. Kuna sõlmede podCIDR-id ei ühti, saavad kõik pod'id unikaalsed IP-aadressid.

Kubernetesi klastrihaldur seadistab ja installib kubeleti, konteinerite käituskeskkonna, võrguoperaatori agendi ning kopeerib CNI pluginad igasse sõlme. Käivitamise ajal genereerib võrguoperaatori agent CNI konfigureerimise. Kui pod planeeritakse sõlme, kutsub kubelet esile CRI plugin, et see luua. Edasi, kui kasutatakse containerd'd, kutsub Containerd CRI plugin välja CNI plugina, mis on määratud CNI konfigureerimises, et seadistada pod'i võrk. Tulemusena saab pod oma IP-aadressi.

Mul läks natuke aega, et mõista kõiki neid interaktsioone ja nende nüansse. Loodan, et saadud kogemus aitab ka teil paremini mõista, kuidas Kubernetes töötab. Kui ma olen millegagi vale, palun võtke minuga ühendust Twitter või aadressil hello@ronaknathani.com. Ärge kartke ühendust võtta, kui soovite arutada selle artikli aspekte või midagi muud. Mul on hea meel teiega suhelda!