Plugin za volumene za skladišta u Kubernetesu: od Flexvolume do CSI

Plugin za volumene za skladišta u Kubernetesu: od Flexvolume do CSI

V času, ko je bil Kubernetes še v različici v1.0.0, so obstajali vtičniki za prostornine (volume plugins). Ti so bili potrebni za povezavo sistemov za shranjevanje s Kubernetesom za upravljanje trajnih (permanentnih) podatkov kontejnerjev. Njihovo število je bilo majhno, med prvimi ponudniki shranjevanja pa so bili GCE PD, Ceph, AWS EBS in drugi.

Vtičniki so bili dobavljeni skupaj s Kubernetesom, kar jim je prineslo ime - in-tree. Kljub temu se je mnogim zdel obstoječi niz vtičnikov nezadosten. Spretnjaki so dodajali preproste vtičnike v jedro Kubernetesa s pomočjo popravkov, nato so sestavili svoj lasten Kubernetes in ga namestili na svoje strežnike. A s časom so razvijalci Kubernetesa spoznali, da težave ne moremo rešiti. Ljudem je potrebna ribiška palica. In v različici Kubernetes v1.2.0 se je ta pojavila ...

Vtičnik Flexvolume: ribiška palica v osnovi

Razvijalci Kubernetesa so ustvarili vtičnik FlexVolume, ki je bil logična vezava spremenljivk in metod za delo z Flexvolume gonilniki, ki jih izvajajo zunanji razvijalci.

Ustavimo se in si podrobneje oglejmo, kaj predstavlja gonilnik FlexVolume. To je nek izvajalni program (binarna datoteka, Python skript, Bash skript itd.), ki ob izvajanju sprejme argumente ukazne vrstice in vrne sporočilo z vnaprej določenimi polji v formatu JSON. Prvi argument ukazne vrstice je po dogovoru vedno metoda, preostali argumenti pa so njeni parametri.

Plugin za volumene za skladišta u Kubernetesu: od Flexvolume do CSI
Shema povezovanja CIFS Shares v OpenShift. Gonilnik Flexvolume - točno v središču

Minimalni nabor metod izgleda tako:

flexvolume_driver mount # odgovarja za priključitev prostornine na pod
# Format vrnjenega sporočila:
{
  "status": "Success"/"Failure"/"Not supported",
  "message": "Razlog, zakaj je bil vrnjen ta status",
}

flexvolume_driver unmount # odgovarja za odklop prostornine od poda
# Format vrnjenega sporočila:
{
  "status": "Success"/"Failure"/"Not supported",
  "message": "Razlog, zakaj je bil vrnjen ta status",
}

flexvolume_driver init # odgovarja za inicializacijo vtičnika
# Format vrnjenega sporočila:
{
  "status": "Success"/"Failure"/"Not supported",
  "message": "Razlog, zakaj je bil vrnjen ta status",
  // Določa, ali gonilnik uporablja metode attach/detach
  "capabilities":{"attach": True/False}
}

Uporaba metod attach in detach določi scenarij, po katerem bo kubelet deloval ob klicu gonilnika. Prav tako obstajajo posebne metode expandvolume in expandfs, which are responsible for the dynamic resizing of volumes.

As an example of the changes introduced by the method expandvolume, along with it comes the ability to resize volumes in real time, you can refer to our pull request in Rook Ceph Operator.

Here is an example implementation of a Flexvolume driver working with NFS:

usage() {
    err "Invalid usage. Usage: "
    err "t$0 init"
    err "t$0 mount  "
    err "t$0 unmount "
    exit 1
}

err() {
    echo -ne $* 1>&2
}

log() {
    echo -ne $* >&1
}

ismounted() {
    MOUNT=`findmnt -n ${MNTPATH} 2>/dev/null | cut -d' ' -f1`
    if [ "${MOUNT}" == "${MNTPATH}" ]; then
        echo "1"
    else
        echo "0"
    fi
}

domount() {
    MNTPATH=$1

    NFS_SERVER=$(echo $2 | jq -r '.server')
    SHARE=$(echo $2 | jq -r '.share')

    if [ $(ismounted) -eq 1 ] ; then
        log '{"status": "Success"}'
        exit 0
    fi

    mkdir -p ${MNTPATH} >& /dev/null

    mount -t nfs ${NFS_SERVER}:/${SHARE} ${MNTPATH} >& /dev/null
    if [ $? -ne 0 ]; then
        err "{ "status": "Failure", "message": "Failed to mount ${NFS_SERVER}:${SHARE} at ${MNTPATH}"}"
        exit 1
    fi
    log '{"status": "Success"}'
    exit 0
}

unmount() {
    MNTPATH=$1
    if [ $(ismounted) -eq 0 ] ; then
        log '{"status": "Success"}'
        exit 0
    fi

    umount ${MNTPATH} >& /dev/null
    if [ $? -ne 0 ]; then
        err "{ "status": "Failed", "message": "Failed to unmount volume at ${MNTPATH}"}"
        exit 1
    fi

    log '{"status": "Success"}'
    exit 0
}

op=$1

if [ "$op" = "init" ]; then
    log '{"status": "Success", "capabilities": {"attach": false}}'
    exit 0
fi

if [ $# -lt 2 ]; then
    usage
fi

shift

case "$op" in
    mount)
        domount $*
        ;;
    unmount)
        unmount $*
        ;;
    *)
        log '{"status": "Not supported"}'
        exit 0
esac

exit 1

So, after preparing the executable file itself, one must upload the driver to the Kubernetes cluster. The driver should be located on each node of the cluster according to an agreed path. By default, it was chosen:

/usr/libexec/kubernetes/kubelet-plugins/volume/exec/имя_поставщика_хранилища~имя_драйвера/

… but when using different Kubernetes distributions (OpenShift, Rancher…), the path may vary.

Flexvolume issues: how to properly cast the net?

Deploying the Flexvolume driver to the cluster nodes turned out to be a non-trivial task. After performing the operation manually once, you may easily encounter a situation where new nodes appear in the cluster: due to the addition of a new node, automatic horizontal scaling, or — even worse — node replacement due to failure. In this case, you won't be able to operate with storage on these nodes ni mogoče, unless you manually add the Flexvolume driver to them as before.

The solution to this problem was one of the Kubernetes primitives — DaemonSetKo je nov vozel v grozdu, se na njem avtomatsko pojavi pod iz našega DaemonSet-a, ki se poveže z lokalnim volumnom po poti za iskanje Flexvolume gonilnikov. Ko je pod uspešno ustvarjen, kopira potrebne datoteke za delovanje gonilnika na disk.

Tukaj je primer takšnega DaemonSet-a za nameščanje Flexvolume vtičnika:

apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: flex-set
spec:
  template:
    metadata:
      name: flex-deploy
      labels:
        app: flex-deploy
    spec:
      containers:
        - image: 
          name: flex-deploy
          securityContext:
              privileged: true
          volumeMounts:
            - mountPath: /flexmnt
              name: flexvolume-mount
      volumes:
        - name: flexvolume-mount
          hostPath:
            path:

… in primer Bash skripte za namestitev Flexvolume gonilnika:

#!/bin/sh

set -o errexit
set -o pipefail

VENDOR=k8s.io
DRIVER=nfs

driver_dir=$VENDOR${VENDOR:+"~"}${DRIVER}
if [ ! -d "/flexmnt/$driver_dir" ]; then
  mkdir "/flexmnt/$driver_dir"
fi

cp "/$DRIVER" "/flexmnt/$driver_dir/.$DRIVER"
mv -f "/flexmnt/$driver_dir/.$DRIVER" "/flexmnt/$driver_dir/$DRIVER"

while : ; do
  sleep 3600
done

Pomembno je, da ne pozabimo, da operacija kopiranja ni atomska. Velika verjetnost je, da bo kubelet začel uporabljati gonilnik, preden bo proces njegove priprave končan, kar bo povzročilo napako v delovanju sistema. Pravilno bi bilo najprej kopirati datoteke gonilnika pod drugim imenom, nato pa uporabiti atomsko preimenovanje.

Plugin za volumene za skladišta u Kubernetesu: od Flexvolume do CSI
Shema dela s Cephom v operaterju Rook: gonilnik Flexvolume je na shemi znotraj agenta Rook

Naslednja težava pri uporabi Flexvolume gonilnikov je, da mora biti na večini shranjevalnikov v vozlišču grozda nameščen ustrezen programski paket (na primer, paket ceph-common za Ceph). Prvotno Flexvolume vtičnik ni bil zasnovan za izvajanje tako zapletenih sistemov.

Izvirno rešitev za to težavo lahko vidimo v implementaciji Flexvolume gonilnika operaterja Rook:

Sam gonilnik je zasnovan kot RPC odjemalec. IPC-soket za komunikacijo leži v istem imeniku kot sam gonilnik. Spomnimo se, da bi bilo za kopiranje datotek gonilnika dobro uporabiti DaemonSet, ki kot volumen priključi imenik z gonilnikom. Po kopiranju potrebnih datotek gonilnika rook ta pod ne umre, ampak se poveže z IPC-soketom prek priključenega volumna kot popoln RPC strežnik. Paket ceph-common je že nameščen znotraj kontejnerja pod-a. IPC-soket zagotavlja, da bo kubelet komuniciral ravno s tistim pod-om, ki je z njim v istem vozlišču. Vse genijalno je preprosto!..

Nasvidenje, naši ljubi… in-tree vtičniki!

Razvijalci Kubernetes so ugotovili, da je število vtičnikov za shranjevanje znotraj jedra dvajset. Vsaka sprememba v njih pa na tak ali drugačen način prehaja skozi celoten ciklus izdaje Kubernetes.

Izkazalo se je, da je za uporabo nove različice vtičnika za shranjevanje potrebno posodobiti celoten klaster. Poleg tega vas lahko preseneti, da nova različica Kubernetes nenadoma ne bo več združljiva z uporabnim jedrom Linux ... In zato brišete solze ter s stiskanjem zob usklajujete s šefom in uporabniki čas posodobitve jedra Linux in klastera Kubernetes, s morebitnim prekinitvijo v zagotavljanju storitev.

Situacija je več kot komična, ali ne? Vsem v skupnosti je postalo jasno, da pristop ne deluje. Z odločanjem razvijalci Kubernetes oznanjajo, da novi vtičniki za delo s shranjevanjem ne bodo več sprejeti v jedro. Poleg tega, kot že vemo, je bila v implementaciji Flexvolume vtičnika ugotovljena vrsta napak ...

Zadnji dodani vtičnik za trajne podatkovne shranjevanje, ki naj bi enkrat za vedno rešil vprašanje, je bil CSI. Njegovo alfa različico, bolj popolnoma imenovano kot Zunaj drevesa CSI Volume Plugins, so napovedali v izdaji Kubernetes 1.9.

Vmesnik za shranjevanje kontejnerjev, ali vrtenje CSI 3000!

Najprej bi želeli poudariti, da CSI ni le vtičnik za volumen, temveč pravi standard za ustvarjanje uporabniških komponent za delo s podatkovnimi shranjevanji.Predvidevano je bilo, da se morajo sistemi za orkestracijo kontejnerjev, kot sta Kubernetes in Mesos, »naučiti« dela s komponentami, izvedenimi po tem standardu. In Kubernetes se je že naučil.

Kako je zgrajen CSI vtičnik v Kubernetes? CSI vtičnik deluje s posebnimi gonilniki (CSI-gonilniki), ki jih napišejo zunanjih razvijalci. CSI-gonilnik v Kubernetes mora minimalno vsebovati dva komponenta (pod-ov):

  • Krmar — upravlja zunanje trajne shranjevanje. Izdaja se kot gRPC strežnik, pri čemer se uporablja primitiv StatefulSet.
  • Čvor — odgovarja za montažo trajnih shranjevanj na vozlišča klustra. Tudi to se izvaja kot gRPC strežnik, vendar se za njega uporablja primitiv DaemonSet.

Plugin za volumene za skladišta u Kubernetesu: od Flexvolume do CSI
Shema delovanja CSI vtičnika v Kubernetes

O nekaterih drugih podrobnostih delovanja CSI lahko izveste, na primer, iz članka «Razumevanje CSI», prevedenega, ki smo ga objavili pred letom dni.

Prednosti takšne implementacije

  • Za osnovne stvari — na primer, za registracijo gonilnika za vozlišče — so razvijalci Kubernetes implementirali niz kontejnerjev. Ni več potrebno samostojno oblikovati JSON-odgovora s capabilities, kot se je to počelo za vtičnik Flexvolume.
  • Namesto, da bi na vozlišča »potiskali« izvedbene datoteke, zdaj objavljamo pod’e v klaster. To smo prvotno pričakovali od Kubernetes: vsi procesi potekajo znotraj kontejnerjev, nameščenih s pomočjo primitivov Kubernetes.
  • Za implementacijo zapletenih gonilnikov ni več potrebno razvijati RPC-strežnika in RPC-odjemalca. Odjemalca sta za nas implementirala razvijalca Kubernetes.
  • Prenos argumentov za delo po protokolu gRPC je veliko bolj priročen, fleksibilen in zanesljiv kot prenos preko argumentov ukazne vrstice. Za razumevanje, kako dodati v CSI podporo za metriko uporabe volumena z dodajanjem standardizirane gRPC-metode, si lahko ogledate our pull request za gonilnik vsphere-csi.
  • Komunikacija poteka preko IPC-socketov, da ne bi zmedli, kateremu pod’u je kubelet poslal zahtevo.

Ta seznam vam ne spominja na nič? Prednosti CSI so rešitev tistih težav, ki niso bile upoštevane pri razvoju vtičnika Flexvolume.

Zaključki

CSI kot standard za implementacijo uporabniških vtičnikov za interakcijo s skladišči podatkov je bil pri skupnosti zelo dobro sprejet. Še več, zaradi svojih prednosti in vsestranskosti se CSI-gonilniki razvijajo celo za takšna skladišča, kot sta Ceph ali AWS EBS, katerih vtičniki so bili dodani že v prvi različici Kubernetes.

Na začetku leta 2019 so bili vtičniki in-tree razglašeni za zastarele. Načrtuje se nadaljnja podpora vtičniku Flexvolume, vendar novih funkcionalnosti zanj ne bo.

Sami imamo že izkušnje z uporabo ceph-csi, vsphere-csi in smo pripravljeni dopolniti ta seznam! Doslej se CSI s nalogami, ki so mu dodeljene, odlično spopada, a bomo videli, kako bo naprej.

Ne pozabite, da je vse novo dobro premisliti staro!

P.S.

Preberite tudi na našem blogu:

Izvor: habr.com

Kupite zanesljivo gostovanje za spletne strani z zaščito pred DDoS, VPS VDS strežniki 🔥 Kupite zanesljivo gostovanje za spletne strani z zaščito pred DDoS, VPS VDS strežniki | ProHoster