🥇Kort översikt och konfiguration av Kata Containers

I den här artikeln kommer vi att gå igenom hur det fungerar Kata Containers, samt en praktisk del med deras anslutning till Docker.

Om allmänna problem med Docker och olika lösningar på dem har redan redan skrivits, idag kommer jag kort beskriva implementeringen av Kata Containers. Kata Containers är en säker körmiljö för containrar baserat på lättvikts virtuella maskiner. Arbetet med dem sker på samma sätt som med andra containrar, men det finns dessutom en mer tillförlitlig isolering med hjälp av hårdvaruvirtualiseringsteknologi. Projektet startade 2017, det namngivna samhället avslutade då sammanslagningen av de bästa idéerna från Intel Clear Containers och Hyper.sh RunV, varefter arbetet fortsatte med att stödja olika arkitekturer, inklusive AMD64, ARM, IBM p- och z-serier. Dessutom stödjs arbetet inom hypervisorer som QEMU, Firecracker, och det finns även integration med containerd. Koden är tillgänglig på GitHub licensieras under MIT.

Huvudfunktioner

Genom att arbeta med en separat kärna säkerställs isolering av nätverk, minne och in- och utmatningsoperationer, det finns möjlighet att tvångsanvända hårdvaruisolering baserat på virtualiseringsutvidgningar
Stöd för industriella standarder, inklusive OCI (containerformat), Kubernetes CRI
Stabil prestanda hos vanliga Linux-containrar, ökad isolering utan kostnader som påverkar prestandan hos vanliga virtuella maskiner
Eliminering av behovet av att köra containrar inom fullständiga virtuella maskiner, standardgränssnitt förenklar integration och start

Installation

Det finns många installationsalternativ, jag kommer att gå igenom installationen från repositorier, baserat på operativsystemet Centos 7.
Det är viktigt: arbetet med Kata Containers stöds endast på hårdvara, passthrough av virtualisering fungerar inte alltid, det behövs också stöd för sse4.1 från processorn.

Installationen av Kata Containers är ganska enkel:

Installera verktygen för att arbeta med repositorier:

# yum -y install yum-utils

Stäng av Selinux (rättare att konfigurera, men för enkelhetens skull stänger jag av den):

# setenforce 0
# sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

Anslut repositoriet och genomför installationen

# source /etc/os-release
# ARCH=$(arch)
# BRANCH="${BRANCH:-stable-1.10}"
# yum-config-manager --add-repo "http://download.opensuse.org/repositories/home:/katacontainers:/releases:/${ARCH}:/${BRANCH}/CentOS_${VERSION_ID}/home:katacontainers:releases:${ARCH}:${BRANCH}.repo"
# yum -y install kata-runtime kata-proxy kata-shim

Inställning

Jag kommer att göra inställningar för att arbeta med Docker, installationen är typisk, jag kommer inte att gå in på detaljer:

# rpm -qa | grep docker
docker-ce-cli-19.03.6-3.el7.x86_64
docker-ce-19.03.6-3.el7.x86_64
# docker -v
Docker version 19.03.6, build 369ce74a3c

Gör ändringar i daemon.json:

# cat <<EOF > /etc/docker/daemon.json
{
  "default-runtime": "kata-runtime",
  "runtimes": {
    "kata-runtime": {
      "path": "/usr/bin/kata-runtime"
    }
  }
}
EOF

Starta om Docker:

# service docker restart

Kontroll av tillgänglighet

Om du startar en container före omstarten av Docker — kan du se att uname visar versionen av kärnan som körs på huvudsystemet:

# docker run busybox uname -a
Linux 19efd7188d06 3.10.0-1062.12.1.el7.x86_64 #1 SMP Tue Feb 4 23:02:59 UTC 2020 x86_64 GNU/Linux

Efter omstart ser kärnversionen ut så här:

# docker run busybox uname -a
Linux 9dd1f30fe9d4 4.19.86-5.container #1 SMP Sat Feb 22 01:53:14 UTC 2020 x86_64 GNU/Linux

Fler kommandon!

# time docker run busybox mount
kataShared on / type 9p (rw,dirsync,nodev,relatime,mmap,access=client,trans=virtio)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev type tmpfs (rw,nosuid,size=65536k,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=666)
sysfs on /sys type sysfs (ro,nosuid,nodev,noexec,relatime)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,relatime,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (ro,nosuid,nodev,noexec,relatime,xattr,name=systemd)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (ro,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/blkio type cgroup (ro,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/memory type cgroup (ro,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/devices type cgroup (ro,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/perf_event type cgroup (ro,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (ro,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/freezer type cgroup (ro,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/pids type cgroup (ro,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/cpuset type cgroup (ro,nosuid,nodev,noexec,relatime,cpuset)
mqueue on /dev/mqueue type mqueue (rw,nosuid,nodev,noexec,relatime)
shm on /dev/shm type tmpfs (rw,nosuid,nodev,noexec,relatime,size=65536k)
kataShared on /etc/resolv.conf type 9p (rw,dirsync,nodev,relatime,mmap,access=client,trans=virtio)
kataShared on /etc/hostname type 9p (rw,dirsync,nodev,relatime,mmap,access=client,trans=virtio)
kataShared on /etc/hosts type 9p (rw,dirsync,nodev,relatime,mmap,access=client,trans=virtio)
proc on /proc/bus type proc (ro,relatime)
proc on /proc/fs type proc (ro,relatime)
proc on /proc/irq type proc (ro,relatime)
proc on /proc/sys type proc (ro,relatime)
tmpfs on /proc/acpi type tmpfs (ro,relatime)
tmpfs on /proc/timer_list type tmpfs (rw,nosuid,size=65536k,mode=755)
tmpfs on /sys/firmware type tmpfs (ro,relatime)

real    0m2.381s
user    0m0.066s
sys 0m0.039s

# time docker run busybox free -m
              total        used        free      shared  buff/cache   available
Mem:           1993          30        1962           0           1        1946
Swap:             0           0           0

real    0m3.297s
user    0m0.086s
sys 0m0.050s

Snabb belastningstestning

För att bedöma förluster från virtualisering - kör jag sysbench, med följande exempel väljer jag det här alternativet.

Kör sysbench med Docker+containerd

Processorstest

sysbench 1.0: multi-trådad systemutvärderingsbenchmark

Kör testet med följande alternativ:
Antal trådar: 1
Initierar slumpgenerator från aktuell tid

Gräns för primtal: 20000

Initierar arbetstrådar...

Trådar startade!

Allmän statistik:
    total tid:                          36.7335s
    totalt antal händelser:              10000
    totalt tidsåtgång för händelseutförande: 36.7173s
    svarstid:
         min:                                  3.43ms
         medel:                                3.67ms
         max:                                  8.34ms
         cirka 95 percentil:                  3.79ms

Trådfairness:
    händelser (medel/stddev):           10000.0000/0.00
    tidsåtgång (medel/stddev):           36.7173/0.00

Minne-test

sysbench 1.0: multi-trådad systemutvärderingsbenchmark

Kör testet med följande alternativ:
Antal trådar: 1
Initierar slumpgenerator från aktuell tid

Initierar arbetstrådar...

Trådar startade!

Genomförda operationer: 104857600 (2172673.64 ops/sek)

102400.00 MiB överfört (2121.75 MiB/sek)

Allmän statistik:
    total tid:                          48.2620s
    totalt antal händelser:              104857600
    totalt tidsåtgång för händelseutförande: 17.4161s
    svarstid:
         min:                                  0.00ms
         medel:                                0.00ms
         max:                                  0.17ms
         cirka 95 percentil:                  0.00ms

Trådfairness:
    händelser (medel/stddev):           104857600.0000/0.00
    tidsåtgång (medel/stddev):           17.4161/0.00

Kör sysbench med Docker+Kata Containers

Processorstest

sysbench 1.0: multi-trådad systemutvärderingsbenchmark

Kör testet med följande alternativ:
Antal trådar: 1
Initierar slumpgenerator från aktuell tid

Gräns för primtal: 20000

Initierar arbetstrådar...

Trådar startade!

Allmän statistik:
    total tid:                          36.5747s
    totalt antal händelser:              10000
    totalt tidsåtgång för händelseutförande: 36.5594s
    svarstid:
         min:                                  3.43ms
         medel:                                3.66ms
         max:                                  4.93ms
         cirka 95 percentil:                  3.77ms

Trådfairness:
    händelser (medel/stddev):           10000.0000/0.00
    tidsåtgång (medel/stddev):           36.5594/0.00

Minne-test

sysbench 1.0: multi-trådad systemutvärderingsbenchmark

Kör testet med följande alternativ:
Antal trådar: 1
Initierar slumpgenerator från aktuell tid

Initierar arbetstrådar...

Trådar startade!

Genomförda operationer: 104857600 (2450366.94 ops/sek)

102400.00 MiB överfört (2392.94 MiB/sek)

Allmän statistik:
    total tid:                          42.7926s
    totalt antal händelser:              104857600
    totalt tidsåtgång för händelseutförande: 16.1512s
    svarstid:
         min:                                  0.00ms
         medel:                                0.00ms
         max:                                  0.43ms
         cirka 95 percentil:                  0.00ms

Trådfairness:
    händelser (medel/stddev):           104857600.0000/0.00
    tidsåtgång (medel/stddev):           16.1512/0.00

I princip är situationen redan ganska klar, men det är bättre att köra tester flera gånger, ta bort utslag och medelvärda resultaten, därför gör jag inga fler tester just nu.

Slutsatser

Trots att det tar ungefär fem till tio gånger längre tid att starta sådana containrar (typisk starttid för liknande kommando när man använder containerd är mindre än en tredjedel av en sekund) fungerar de fortfarande tillräckligt snabbt om man ser till den absoluta starttiden (ovan finns exempel, kommandona körs i genomsnitt på tre sekunder). Resultaten från det snabba CPU- och RAM-testet visar i praktiken samma resultat, vilket är glädjande, särskilt med tanke på att isoleringen sker med hjälp av en så välbeprövad mekanism som kvm.

Tillkännagivande

Artikeln är en översikt, men ger möjlighet att testa en alternativ runtime. Många användningsområden tas inte upp, till exempel beskrivs möjligheten att köra Kubernetes ovanpå Kata Containers. Dessutom kan man också genomföra ett antal tester inriktade på att hitta säkerhetsproblem, sätta begränsningar och andra intressanta saker.

Jag ber alla som läst eller spolat hit att delta i en undersökning, vars resultat kommer att påverka framtida publikationer i detta ämne.

Endast registrerade användare kan delta i omröstningen. Logga in, tack.