🥇Krátky prehľad a nastavenie Kata Containers

V tomto článku sa pozrieme na princíp fungovania Kata Containers, ako aj na praktickú časť s ich pripojením k Dockeru.

O všeobecných problémoch s Dockerom a možných riešeniach už bolo napísané, dnes stručne opíšem implementáciu od Kata Containers. Kata Containers je bezpečné prostredie pre spúšťanie (runtime) kontajnerov na základe zjednodušených virtuálnych strojov. Práca s nimi prebieha rovnako ako s inými kontajnermi, ale navyše poskytuje spoľahlivejšiu izoláciu pomocou technológie virtualizácie hardvéru. Projekt sa začal v roku 2017, rovnomenné spoločenstvo vtedy dokončilo zlúčenie najlepších nápadov od Intel Clear Containers a Hyper.sh RunV, po čom pokračovalo v podpore rôznych architektúr, vrátane AMD64, ARM, IBM p- a z-sérií. Podporuje sa aj činnosť v hypervízoroch QEMU, Firecracker a je tu integrácia s containerd. Kód je dostupný na GitHub pod licenciou MIT.

Základné funkcie

Prácou s oddeleným jadrom sa tak zabezpečuje izolácia siete, pamäte a operácií vstupu-výstupu, existuje možnosť núteného používania hardvérovej izolácie na základe rozšírení virtualizácie.
Podpora priemyselných štandardov vrátane OCI (formát kontajnerov), Kubernetes CRI
Stabilný výkon bežných kontajnerov Linuxu, zvýšenie izolácie bez nákladov ovplyvňujúcich výkon bežných virtuálnych strojov.
Eliminovanie potreby spúšťania kontajnerov vo full virtuálnych strojoch, štandardizované rozhrania zjednodušujú integráciu a spustenie

Inštalácia

Existuje množstvo verzií inštalácie, pozriem sa na inštaláciu z repozitárov, založenú na operačnom systéme CentOS 7.
Dôležité: práca Kata Containers je podporovaná len na hardvéri, prenos virtualizácie nefunguje vždy, taktiež je potrebná podpora sse4.1 z procesora.

Inštalácia Kata Containers je dostatočne jednoduchá:

Nainštalujeme nástroje na prácu s repozitármi:

# yum -y install yum-utils

Vypneme Selinux (správnejšie — nakonfigurujeme, ale pre zjednodušenie ho vypínam):

# setenforce 0
# sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

Pripojíme repozitár a vykonáme inštaláciu

# source /etc/os-release
# ARCH=$(arch)
# BRANCH="${BRANCH:-stable-1.10}"
# yum-config-manager --add-repo "http://download.opensuse.org/repositories/home:/katacontainers:/releases:/${ARCH}:/${BRANCH}/CentOS_${VERSION_ID}/home:katacontainers:releases:${ARCH}:${BRANCH}.repo"
# yum -y install kata-runtime kata-proxy kata-shim

Nastavenie

Budeme konať nastavenie na prácu s dockerom, jeho inštalácia je typická, nebudem ju podrobnejšie rozpisovať:

# rpm -qa | grep docker
docker-ce-cli-19.03.6-3.el7.x86_64
docker-ce-19.03.6-3.el7.x86_64
# docker -v
Docker version 19.03.6, build 369ce74a3c

Upravíme daemon.json:

# cat <<EOF > /etc/docker/daemon.json
{
  "default-runtime": "kata-runtime",
  "runtimes": {
    "kata-runtime": {
      "path": "/usr/bin/kata-runtime"
    }
  }
}
EOF

Reštartujeme docker:

# service docker restart

Kontrola dostupnosti

Ak spustíte kontajner pred reštartom dockera — môžete vidieť, že uname vráti verziu jadra spusteného na hlavnom systéme:

# docker run busybox uname -a
Linux 19efd7188d06 3.10.0-1062.12.1.el7.x86_64 #1 SMP Tue Feb 4 23:02:59 UTC 2020 x86_64 GNU/Linux

Po reštarte vyzerá verzia jadra takto:

# docker run busybox uname -a
Linux 9dd1f30fe9d4 4.19.86-5.container #1 SMP Sat Feb 22 01:53:14 UTC 2020 x86_64 GNU/Linux

Ešte príkazy!

# time docker run busybox mount
kataShared on / type 9p (rw,dirsync,nodev,relatime,mmap,access=client,trans=virtio)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev type tmpfs (rw,nosuid,size=65536k,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=666)
sysfs on /sys type sysfs (ro,nosuid,nodev,noexec,relatime)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,relatime,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (ro,nosuid,nodev,noexec,relatime,xattr,name=systemd)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (ro,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/blkio type cgroup (ro,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/memory type cgroup (ro,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/devices type cgroup (ro,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/perf_event type cgroup (ro,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (ro,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/freezer type cgroup (ro,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/pids type cgroup (ro,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/cpuset type cgroup (ro,nosuid,nodev,noexec,relatime,cpuset)
mqueue on /dev/mqueue type mqueue (rw,nosuid,nodev,noexec,relatime)
shm on /dev/shm type tmpfs (rw,nosuid,nodev,noexec,relatime,size=65536k)
kataShared on /etc/resolv.conf type 9p (rw,dirsync,nodev,relatime,mmap,access=client,trans=virtio)
kataShared on /etc/hostname type 9p (rw,dirsync,nodev,relatime,mmap,access=client,trans=virtio)
kataShared on /etc/hosts type 9p (rw,dirsync,nodev,relatime,mmap,access=client,trans=virtio)
proc on /proc/bus type proc (ro,relatime)
proc on /proc/fs type proc (ro,relatime)
proc on /proc/irq type proc (ro,relatime)
proc on /proc/sys type proc (ro,relatime)
tmpfs on /proc/acpi type tmpfs (ro,relatime)
tmpfs on /proc/timer_list type tmpfs (rw,nosuid,size=65536k,mode=755)
tmpfs on /sys/firmware type tmpfs (ro,relatime)

real    0m2.381s
user    0m0.066s
sys 0m0.039s

# time docker run busybox free -m
              total        used        free      shared  buff/cache   available
Mem:           1993          30        1962           0           1        1946
Swap:             0           0           0

real    0m3.297s
user    0m0.086s
sys 0m0.050s

Rýchle zaťažovacie testovanie

Na vyhodnotenie strát spôsobených virtualizáciou spúšťam sysbench, pričom beriem do úvahy hlavné príklady beriem túto možnosť.

Spustenie sysbench s použitím Docker+containerd

Test procesora

sysbench 1.0: multi-threaded systémové hodnotenie benchmark

Spustenie testu s nasledujúcimi možnosťami:
Počet vlákien: 1
Inicializácia generátora náhodných čísel na základe aktuálneho času

Limit prvočísel: 20000

Inicializácia pracovníckych vlákien...

Vláknam bol pridelený štart!

Všeobecné štatistiky:
	total time:                          36.7335s
	total number of events:              10000
	total time taken by event execution: 36.7173s
	response time:
		min:                                  3.43ms
		avg:                                  3.67ms
		max:                                  8.34ms
		approx.  95 percentile:               3.79ms

Férovosť vlákien:
	events (avg/stddev):           10000.0000/0.00
	execution time (avg/stddev):   36.7173/0.00

Test operačnej pamäte

sysbench 1.0: multi-threaded systémové hodnotenie benchmark

Spustenie testu s nasledujúcimi možnosťami:
Počet vlákien: 1
Inicializácia generátora náhodných čísel na základe aktuálneho času

Inicializácia pracovníckych vlákien...

Vláknam bol pridelený štart!

Vykonané operácie: 104857600 (2172673.64 ops/sec)

102400.00 MiB prenesených (2121.75 MiB/sec)

Všeobecné štatistiky:
	total time:                          48.2620s
	total number of events:              104857600
	total time taken by event execution: 17.4161s
	response time:
		min:                                  0.00ms
		avg:                                  0.00ms
		max:                                  0.17ms
		approx.  95 percentile:               0.00ms

Férovosť vlákien:
	events (avg/stddev):           104857600.0000/0.00
	execution time (avg/stddev):   17.4161/0.00

Spustenie sysbench s použitím Docker+Kata Containers

Test procesora

sysbench 1.0: multi-threaded systémové hodnotenie benchmark

Spustenie testu s nasledujúcimi možnosťami:
Počet vlákien: 1
Inicializácia generátora náhodných čísel na základe aktuálneho času

Limit prvočísel: 20000

Inicializácia pracovníckych vlákien...

Vláknam bol pridelený štart!

Všeobecné štatistiky:
	total time:                          36.5747s
	total number of events:              10000
	total time taken by event execution: 36.5594s
	response time:
		min:                                  3.43ms
		avg:                                  3.66ms
		max:                                  4.93ms
		approx.  95 percentile:               3.77ms

Férovosť vlákien:
	events (avg/stddev):           10000.0000/0.00
	execution time (avg/stddev):   36.5594/0.00

Test operačnej pamäte

sysbench 1.0: multi-threaded systémové hodnotenie benchmark

Spustenie testu s nasledujúcimi možnosťami:
Počet vlákien: 1
Inicializácia generátora náhodných čísel na základe aktuálneho času

Inicializácia pracovníckych vlákien...

Vláknam bol pridelený štart!

Vykonané operácie: 104857600 (2450366.94 ops/sec)

102400.00 MiB prenesených (2392.94 MiB/sec)

Všeobecné štatistiky:
	total time:                          42.7926s
	total number of events:              104857600
	total time taken by event execution: 16.1512s
	response time:
		min:                                  0.00ms
		avg:                                  0.00ms
		max:                                  0.43ms
		approx.  95 percentile:               0.00ms

Férovosť vlákien:
	events (avg/stddev):           104857600.0000/0.00
	execution time (avg/stddev):   16.1512/0.00

Situácia je v podstate už jasná, ale optimálnejšie je testy spúšťať niekoľkokrát, odstraňujúc špičky a priemerne výsledky, preto zatiaľ nerobím viac testov.

Zhrnutie

Napriek tomu, že spustenie takýchto kontajnerov trvá približne päť až desaťkrát dlhšie (typický čas spustenia podobných príkazov pri použití containerd je menej ako tretina sekundy), fungujú stále dosť rýchlo, ak vezmeme absolútny čas spustenia (vyššie sú príklady, príkazy sa vykonávajú v priemere za tri sekundy). A výsledky rýchleho testu CPU a RAM ukazujú prakticky rovnaké výsledky, čo nemôže nepríjemne tešiť, najmä v svetle toho, že izolácia sa zabezpečuje prostredníctvom tak dobre overeného mechanizmu, ako je kvm.

Oznámenie

Článok je prehľadový, ale poskytuje možnosť otestovať alternatívny runtime. Nie sú pokryté mnohé oblasti uplatnenia, napríklad na stránke je popísaná možnosť spustenia Kubernetes nad Kata Containers. Navyše je tiež možné vykonať rad testov zameraných na hľadanie bezpečnostných problémov, nastavenie obmedzení a ďalšie zaujímavé veci.

Žiadam všetkých, ktorí to dočítali alebo preskočili sem, aby sa zúčastnili prieskumu, od ktorého budú závisieť budúce publikácie na túto tému.

Len registrovaní používatelia sa môžu zúčastniť prieskumu. Prihláste sa, prosím.