🥇Короткий огляд та налаштування Kata Containers

У цій статті буде розглянуто принцип роботи Ката Контейнери, а також буде практична частина з їх підключенням до Docker.

Про загальні проблеми з Docker та варіантами їх вирішення вже було написаноСьогодні я коротко опишу реалізацію від Kata Containers. Kata Containers – безпечне середовище виконання (runtime) контейнерів на основі полегшених віртуальних машин. Робота з ними відбувається так само, як і з іншими контейнерами, але додатково є більш надійна ізоляція з використанням технології віртуалізації обладнання. Проект розпочався у 2017 році, однойменне співтовариство тоді завершило злиття найкращих ідей від Intel Clear Containers та Hyper.sh RunV, після чого робота продовжилася над підтримкою різних архітектур, включаючи AMD64, ARM, IBM p- та z-series. Додатково підтримується робота всередині гіпервізорів QEMU, Firecracker, а також є інтеграція з containerd. Код доступний на GitHub під ліцензією MIT.

Основні можливості

Робота з окремим ядром, таким чином забезпечується ізоляція мережі, пам'яті та операцій введення-виведення, є можливість примусового використання апаратної ізоляції на основі розширень віртуалізації
Підтримка промислових стандартів, включаючи OCI (формат контейнерів), Kubernetes CRI
Стабільна продуктивність звичайних контейнерів Linux, підвищення ізоляції без накладних витрат, що впливають на продуктивність звичайних віртуальних машин
Усунення необхідності запуску контейнерів усередині повноцінних віртуальних машин, типові інтерфейси спрощують інтеграцію та запуск

Встановлення

є безліч варіантів установки, я розгляну установку з репозиторіїв на основі операційної системи Centos 7.
Важливо: робота Kata Containers підтримується тільки на залозі, прокид віртуалізації працює не завжди, також потрібна підтримка sse4.1 від процесора.

Установка Kata Containers досить проста:

Встановлюємо утиліти для роботи з репозиторіями:

# yum -y install yum-utils

Відключаємо Selinux (правильніше - налаштувати, але для простоти я його відключаю):

# setenforce 0
# sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

Підключаємо репозиторій та виконуємо установку

# source /etc/os-release
# ARCH=$(arch)
# BRANCH="${BRANCH:-stable-1.10}"
# yum-config-manager --add-repo "http://download.opensuse.org/repositories/home:/katacontainers:/releases:/${ARCH}:/${BRANCH}/CentOS_${VERSION_ID}/home:katacontainers:releases:${ARCH}:${BRANCH}.repo"
# yum -y install kata-runtime kata-proxy kata-shim

Налаштування

Я проводитиму налаштування для роботи з docker, його установка типова, я її не розписуватиму докладніше:

# rpm -qa | grep docker
docker-ce-cli-19.03.6-3.el7.x86_64
docker-ce-19.03.6-3.el7.x86_64
# docker -v
Docker version 19.03.6, build 369ce74a3c

Вносимо виправлення до daemon.json:

# cat <<EOF > /etc/docker/daemon.json
{
  "default-runtime": "kata-runtime",
  "runtimes": {
    "kata-runtime": {
      "path": "/usr/bin/kata-runtime"
    }
  }
}
EOF

Перезапускаємо docker:

# service docker restart

Перевірка працездатності

Якщо запустити контейнер до перезапуску docker можна побачити, що uname видасть версію ядра, запущеного на основній системі:

# docker run busybox uname -a
Linux 19efd7188d06 3.10.0-1062.12.1.el7.x86_64 #1 SMP Tue Feb 4 23:02:59 UTC 2020 x86_64 GNU/Linux

Після перезапуску версія ядра виглядає так:

# docker run busybox uname -a
Linux 9dd1f30fe9d4 4.19.86-5.container #1 SMP Sat Feb 22 01:53:14 UTC 2020 x86_64 GNU/Linux

Ще команди!

# time docker run busybox mount
kataShared on / type 9p (rw,dirsync,nodev,relatime,mmap,access=client,trans=virtio)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev type tmpfs (rw,nosuid,size=65536k,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=666)
sysfs on /sys type sysfs (ro,nosuid,nodev,noexec,relatime)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,relatime,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (ro,nosuid,nodev,noexec,relatime,xattr,name=systemd)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (ro,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/blkio type cgroup (ro,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/memory type cgroup (ro,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/devices type cgroup (ro,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/perf_event type cgroup (ro,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (ro,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/freezer type cgroup (ro,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/pids type cgroup (ro,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/cpuset type cgroup (ro,nosuid,nodev,noexec,relatime,cpuset)
mqueue on /dev/mqueue type mqueue (rw,nosuid,nodev,noexec,relatime)
shm on /dev/shm type tmpfs (rw,nosuid,nodev,noexec,relatime,size=65536k)
kataShared on /etc/resolv.conf type 9p (rw,dirsync,nodev,relatime,mmap,access=client,trans=virtio)
kataShared on /etc/hostname type 9p (rw,dirsync,nodev,relatime,mmap,access=client,trans=virtio)
kataShared on /etc/hosts type 9p (rw,dirsync,nodev,relatime,mmap,access=client,trans=virtio)
proc on /proc/bus type proc (ro,relatime)
proc on /proc/fs type proc (ro,relatime)
proc on /proc/irq type proc (ro,relatime)
proc on /proc/sys type proc (ro,relatime)
tmpfs on /proc/acpi type tmpfs (ro,relatime)
tmpfs on /proc/timer_list type tmpfs (rw,nosuid,size=65536k,mode=755)
tmpfs on /sys/firmware type tmpfs (ro,relatime)

real    0m2.381s
user    0m0.066s
sys 0m0.039s

# time docker run busybox free -m
              total        used        free      shared  buff/cache   available
Mem:           1993          30        1962           0           1        1946
Swap:             0           0           0

real    0m3.297s
user    0m0.086s
sys 0m0.050s

Швидке тестування навантаження

Для оцінки втрат від віртуалізації - запускаю sysbench, як основні приклади беру цей варіант.

Запуск sysbench за допомогою Docker+containerd

тест процесора

sysbench 1.0:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 1
Initializing random number generator from current time

Prime numbers limit: 20000

Initializing worker threads...

Threads started!

General statistics:
    total time:                          36.7335s
    total number of events:              10000
    total time taken by event execution: 36.7173s
    response time:
         min:                                  3.43ms
         avg:                                  3.67ms
         max:                                  8.34ms
         approx.  95 percentile:               3.79ms

Threads fairness:
    events (avg/stddev):           10000.0000/0.00
    execution time (avg/stddev):   36.7173/0.00

Тест оперативної пам'яті

sysbench 1.0:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 1
Initializing random number generator from current time

Initializing worker threads...

Threads started!

Operations performed: 104857600 (2172673.64 ops/sec)

102400.00 MiB transferred (2121.75 MiB/sec)

General statistics:
    total time:                          48.2620s
    total number of events:              104857600
    total time taken by event execution: 17.4161s
    response time:
         min:                                  0.00ms
         avg:                                  0.00ms
         max:                                  0.17ms
         approx.  95 percentile:               0.00ms

Threads fairness:
    events (avg/stddev):           104857600.0000/0.00
    execution time (avg/stddev):   17.4161/0.00

Запуск sysbench за допомогою Docker+Kata Containers

тест процесора

sysbench 1.0:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 1
Initializing random number generator from current time

Prime numbers limit: 20000

Initializing worker threads...

Threads started!

General statistics:
    total time:                          36.5747s
    total number of events:              10000
    total time taken by event execution: 36.5594s
    response time:
         min:                                  3.43ms
         avg:                                  3.66ms
         max:                                  4.93ms
         approx.  95 percentile:               3.77ms

Threads fairness:
    events (avg/stddev):           10000.0000/0.00
    execution time (avg/stddev):   36.5594/0.00

Тест оперативної пам'яті

sysbench 1.0:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 1
Initializing random number generator from current time

Initializing worker threads...

Threads started!

Operations performed: 104857600 (2450366.94 ops/sec)

102400.00 MiB transferred (2392.94 MiB/sec)

General statistics:
    total time:                          42.7926s
    total number of events:              104857600
    total time taken by event execution: 16.1512s
    response time:
         min:                                  0.00ms
         avg:                                  0.00ms
         max:                                  0.43ms
         approx.  95 percentile:               0.00ms

Threads fairness:
    events (avg/stddev):           104857600.0000/0.00
    execution time (avg/stddev):   16.1512/0.00

У принципі ситуація вже зрозуміла, але оптимальніше запускати тести кілька разів, прибираючи викиди та середні результати, тому більше тестів поки не роблю.

Висновки

Незважаючи на те, що запуск таких контейнерів займає приблизно в п'ять-десять разів більше часу (типовий час запуску аналогічних команд при використанні containerd — менше третини секунди) вони все одно досить швидко працюють, якщо брати абсолютний час запуску (вище є приклади, команди виконуються загалом за три секунди). Ну а результати швидкого тесту CPU та RAM показують фактично однакові результати, що не може не тішити, особливо у світлі того, що ізоляція забезпечується за допомогою такого добре обкатаного механізму, як kvm.

Анонс

Стаття оглядова, але дозволяє помацати альтернативний runtime. Не охоплено багато сфер застосування, наприклад на сайті описана можливість запуску Kubernetes поверх Kata Containers. Додатково можна провести ряд тестів, орієнтованих на пошук проблем з безпекою, встановлення обмежень та інші цікаві речі.

Прошу всіх, хто дочитав перемотав сюди взяти участь в опитуванні, від якого залежатимуть майбутні публікації на цю тему.

Тільки зареєстровані користувачі можуть брати участь в опитуванні. Увійдіть, будь ласка.

Чи варто публікувати статті про Kata Containers?

80,0%Так, пиши ще!
20,0%Ні, не варто…7

Проголосували 35 користувачів. Утрималися 7 користувачів.

Джерело: habr.com

Короткий огляд та налаштування Kata Containers