TL;DR: оглядова стаття-посібник у порівнянні середовищ для запуску додатків у контейнерах. Буде розглянуто можливості Docker та інших подібних систем.
Трохи історії, звідки все взялося
Історія
Першим загальновідомим способом ізоляції є chroot. Однойменний системний виклик забезпечує зміну кореневого каталогу — таким чином забезпечуючи доступ до програми, що її викликала, доступ лише до файлів усередині цього каталогу. Але якщо програмі всередині дати права суперкористувача, потенційно вона може «втекти» з chroot і отримати доступ до основної операційної системи. Також окрім зміни кореневого каталогу не обмежуються інші ресурси (оперативна пам'ять, процесор), а також доступ до мережі.
Наступний спосіб - запуск повноцінної операційної системи всередині контейнера за рахунок механізмів ядра операційної системи. У різних операційних системах цей спосіб називають по-різному, але суть та сама — запуск кількох незалежних операційних систем, кожна з яких працює з тим же ядром, на якому працює і основна операційна система. Сюди відносяться FreeBSD Jails, Solaris Zones, OpenVZ та LXC для Linux. Забезпечується ізоляція не тільки по дисковому простору, але й іншим ресурсам, зокрема кожен контейнер може мати обмеження за процесорним часом, оперативною пам'яттю, смугою пропускання мережі. У порівнянні з chroot вийти з контейнера складніше, оскільки суперкористувач у контейнері має доступ тільки до начинки контейнера, проте через необхідність підтримувати операційну систему всередині контейнера в актуальному стані та використання старих версій ядер (актуально для Linux, меншою мірою FreeBSD) є ненульова ймовірність «пробиття» системи ізоляції ядра та отримання доступу до основної операційної системи.
Замість запуску повноцінної операційної системи в контейнері (із системою ініціалізації, пакетним менеджером тощо) можна запускати відразу програми, головне — забезпечити додаткам таку можливість (наявність необхідних бібліотек та інших файлів). Ця ідея і стала основою для контейнерної віртуалізації додатків, найбільш яскравим і загальновідомим представником якої є Docker. У порівнянні з попередніми системами гнучкіші механізми ізоляції спільно з вбудованою підтримкою віртуальних мереж між контейнерами та з відстеженням стану застосування всередині контейнера дали в результаті можливість побудови єдиного цілісного середовища з великої кількості фізичних серверів для запуску контейнерів без необхідності ручного управління ресурсами.
Docker
Docker це найбільш відоме програмне забезпечення для контейнеризації додатків. Написаний мовою Go, використовує штатні можливості ядра Linux - cgroups, namespaces, capabilities тощо, а також файлові системи Aufs та інші подібні до економії дискового простору.
Джерело: wikimedia
Архітектура
До версії 1.11 Docker працював у вигляді єдиного сервісу, який здійснював усі операції з контейнерами: завантаження образів для контейнерів, запуск контейнерів, обробку запитів по API. Починаючи з версії 1.11 Docker розбили на кілька частин, що взаємодіють між собою: containerd, для обробки всього життєвого циклу контейнерів (виділення дискового простору, завантаження образів, робота з мережею, запуск, встановлення та спостереження за станом контейнерів) та runC, середовища виконання контейнерів, заснованої на використанні cgroups та інших можливостей ядра Linux. Сам сервіс docker залишився, але тепер він служить тільки для обробки запитів API, що транслюються в containerd.
Встановлення та налаштування
Моїм улюбленим способом установки docker є docker-machine, який крім безпосередньо встановлення та налаштування docker на віддалені сервери (включаючи різні хмари) дає можливість роботи з файловими системами віддалених серверів, а також може здійснювати запуск різних команд.
Однак з 2018 року проект майже не розвивається, тому установку будемо робити штатним для більшості дистрибутивів Linux способом — додаванням репозиторію та встановленням необхідних пакетів.
Також цей спосіб застосовується і при автоматизованій установці, наприклад, за допомогою Ansible або інших подібних систем, але в цій статті я його розглядати не буду.
Установка буде проводитися на Centos 7, як сервер я використовуватиму віртуальну машину, для встановлення достатньо виконати команди нижче:
# yum install -y yum-utils
# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# yum install docker-ce docker-ce-cli containerd.ioПісля встановлення треба запустити сервіс, поставити його в автозавантаження:
# systemctl enable docker
# systemctl start docker
# firewall-cmd --zone=public --add-port=2377/tcp --permanentДодатково можна створити групу docker, користувачі якої зможуть працювати з docker без sudo, налаштувати журналування, включити доступ до API ззовні, не забути точно налаштувати firewall (заборонено все, що не дозволено, в прикладах вище і нижче - я це опустив для простоти і наочності), але тут я докладніше не зупинятимуся.
Інші можливості
Крім вищеназваної docker machine ще є docker registry, засіб для зберігання образів для контейнерів, а також docker compose - засіб для автоматизації розгортання додатків у контейнерах, використовуються файли YAML для збирання та налаштування контейнерів та інших пов'язаних речей (наприклад мережі, постійні файлові системи для зберігання даних).
Також за його допомогою можна організувати конвеєри для CICD. Інша цікава можливість - робота в кластерному режимі, так званий swarm mode (до версії 1.12 відомий як docker swarm), що дозволяє зібрати з декількох серверів єдину інфраструктуру для запуску контейнерів. Є підтримка віртуальної мережі поверх всіх серверів, є наявність вбудованого балансувальника навантаження, а також підтримка секретів контейнерів.
Файли YAML від docker compose з невеликими змінами можуть бути використані для таких кластерів, повністю автоматизуючи обслуговування малих та середніх кластерів для різних цілей. Для великих кластерів краще використовувати Kubernetes, оскільки витрати на обслуговування swarm mode можуть перевершити такі з Kubernetes. Крім runC як середовище виконання контейнерів можна встановити наприклад
Робота з Docker
Після встановлення та налаштування спробуємо зібрати кластер, у якому розгорнемо GitLab та Docker Registry для команди розробників. Як сервери я використовуватиму три віртуальні машини, на яких додатково розгорну розподілену ФС GlusterFS, її використовуватиму в якості сховища docker volumes, наприклад для запуску версії відхилення docker registry. Ключові компоненти для запуску: Docker Registry, Postgresql, Redis, GitLab за допомогою GitLab Runner поверх Swarm. Postgresql будемо запускати з кластеризацією Тому для зберігання даних Postgresql не потрібно використовувати GlusterFS. Інші критичні дані зберігатимуться на GlusterFS.
Для розгортання GlusterFS на всіх серверах (вони називаються node1, node2, node3) потрібно встановити пакети, дозволити роботу firewall, створити необхідні каталоги:
# yum -y install centos-release-gluster7
# yum -y install glusterfs-server
# systemctl enable glusterd
# systemctl start glusterd
# firewall-cmd --add-service=glusterfs --permanent
# firewall-cmd --reload
# mkdir -p /srv/gluster
# mkdir -p /srv/docker
# echo "$(hostname):/docker /srv/docker glusterfs defaults,_netdev 0 0" >> /etc/fstabПісля встановлення GlusterFS треба продовжувати з одного вузла, наприклад node1:
# gluster peer probe node2
# gluster peer probe node3
# gluster volume create docker replica 3 node1:/srv/gluster node2:/srv/gluster node3:/srv/gluster force
# gluster volume start dockerПотім треба змонтувати отриманий volume (команду потрібно виконати на всіх серверах):
# mount /srv/dockerНалаштування swarm mode проводиться на одному із серверів, який буде Leader, решта повинна буде приєднуватися до кластера, тому результат виконання команди на першому сервері треба буде скопіювати і виконати на інших.
Первинне налаштування кластера, команду запускаю на node1:
# docker swarm init
Swarm initialized: current node (a5jpfrh5uvo7svzz1ajduokyq) is now a manager.
To add a worker to this swarm, run the following command:
docker swarm join --token SWMTKN-1-0c5mf7mvzc7o7vjk0wngno2dy70xs95tovfxbv4tqt9280toku-863hyosdlzvd76trfptd4xnzd xx.xx.xx.xx:2377
To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.
# docker swarm join-token managerКопіюємо результат другої команди, виконуємо на node2 та node3:
# docker swarm join --token SWMTKN-x-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx-xxxxxxxxx xx.xx.xx.xx:2377
This node joined a swarm as a manager.На цьому попереднє налаштування серверів закінчено, приступаємо до налаштування сервісів, команди для виконання запускатимуться з node1, якщо не вказано інакше.
Насамперед створимо мережі для контейнерів:
# docker network create --driver=overlay etcd
# docker network create --driver=overlay pgsql
# docker network create --driver=overlay redis
# docker network create --driver=overlay traefik
# docker network create --driver=overlay gitlabПотім позначаємо сервери, це потрібно для прив'язки деяких сервісів до серверів:
# docker node update --label-add nodename=node1 node1
# docker node update --label-add nodename=node2 node2
# docker node update --label-add nodename=node3 node3Далі створюємо каталоги для зберігання даних etcd, KV-сховища, яке потрібне для Traefik та Stolon. Аналогічно Postgresql це будуть прив'язані до серверів контейнери, тому цю команду виконуємо на всіх серверах:
# mkdir -p /srv/etcdДалі створюємо файл для налаштування etcd та застосовуємо його:
00etcd.yml
version: '3.7'
services:
etcd1:
image: quay.io/coreos/etcd:latest
hostname: etcd1
command:
- etcd
- --name=etcd1
- --data-dir=/data.etcd
- --advertise-client-urls=http://etcd1:2379
- --listen-client-urls=http://0.0.0.0:2379
- --initial-advertise-peer-urls=http://etcd1:2380
- --listen-peer-urls=http://0.0.0.0:2380
- --initial-cluster=etcd1=http://etcd1:2380,etcd2=http://etcd2:2380,etcd3=http://etcd3:2380
- --initial-cluster-state=new
- --initial-cluster-token=etcd-cluster
networks:
- etcd
volumes:
- etcd1vol:/data.etcd
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node1]
etcd2:
image: quay.io/coreos/etcd:latest
hostname: etcd2
command:
- etcd
- --name=etcd2
- --data-dir=/data.etcd
- --advertise-client-urls=http://etcd2:2379
- --listen-client-urls=http://0.0.0.0:2379
- --initial-advertise-peer-urls=http://etcd2:2380
- --listen-peer-urls=http://0.0.0.0:2380
- --initial-cluster=etcd1=http://etcd1:2380,etcd2=http://etcd2:2380,etcd3=http://etcd3:2380
- --initial-cluster-state=new
- --initial-cluster-token=etcd-cluster
networks:
- etcd
volumes:
- etcd2vol:/data.etcd
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node2]
etcd3:
image: quay.io/coreos/etcd:latest
hostname: etcd3
command:
- etcd
- --name=etcd3
- --data-dir=/data.etcd
- --advertise-client-urls=http://etcd3:2379
- --listen-client-urls=http://0.0.0.0:2379
- --initial-advertise-peer-urls=http://etcd3:2380
- --listen-peer-urls=http://0.0.0.0:2380
- --initial-cluster=etcd1=http://etcd1:2380,etcd2=http://etcd2:2380,etcd3=http://etcd3:2380
- --initial-cluster-state=new
- --initial-cluster-token=etcd-cluster
networks:
- etcd
volumes:
- etcd3vol:/data.etcd
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node3]
volumes:
etcd1vol:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/etcd"
etcd2vol:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/etcd"
etcd3vol:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/etcd"
networks:
etcd:
external: true# docker stack deploy --compose-file 00etcd.yml etcdЧерез деякий час перевіряємо, що піднявся etcd кластер:
# docker exec $(docker ps | awk '/etcd/ {print $1}') etcdctl member list
ade526d28b1f92f7: name=etcd1 peerURLs=http://etcd1:2380 clientURLs=http://etcd1:2379 isLeader=false
bd388e7810915853: name=etcd3 peerURLs=http://etcd3:2380 clientURLs=http://etcd3:2379 isLeader=false
d282ac2ce600c1ce: name=etcd2 peerURLs=http://etcd2:2380 clientURLs=http://etcd2:2379 isLeader=true
# docker exec $(docker ps | awk '/etcd/ {print $1}') etcdctl cluster-health
member ade526d28b1f92f7 is healthy: got healthy result from http://etcd1:2379
member bd388e7810915853 is healthy: got healthy result from http://etcd3:2379
member d282ac2ce600c1ce is healthy: got healthy result from http://etcd2:2379
cluster is healthyСтворюємо каталоги для Postgresql, команду виконуємо на всіх серверах:
# mkdir -p /srv/pgsqlДалі створюємо файл для налаштування Postgresql:
01pgsql.yml
version: '3.7'
services:
pgsentinel:
image: sorintlab/stolon:master-pg10
command:
- gosu
- stolon
- stolon-sentinel
- --cluster-name=stolon-cluster
- --store-backend=etcdv3
- --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
- --log-level=debug
networks:
- etcd
- pgsql
deploy:
replicas: 3
update_config:
parallelism: 1
delay: 30s
order: stop-first
failure_action: pause
pgkeeper1:
image: sorintlab/stolon:master-pg10
hostname: pgkeeper1
command:
- gosu
- stolon
- stolon-keeper
- --pg-listen-address=pgkeeper1
- --pg-repl-username=replica
- --uid=pgkeeper1
- --pg-su-username=postgres
- --pg-su-passwordfile=/run/secrets/pgsql
- --pg-repl-passwordfile=/run/secrets/pgsql_repl
- --data-dir=/var/lib/postgresql/data
- --cluster-name=stolon-cluster
- --store-backend=etcdv3
- --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
networks:
- etcd
- pgsql
environment:
- PGDATA=/var/lib/postgresql/data
volumes:
- pgkeeper1:/var/lib/postgresql/data
secrets:
- pgsql
- pgsql_repl
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node1]
pgkeeper2:
image: sorintlab/stolon:master-pg10
hostname: pgkeeper2
command:
- gosu
- stolon
- stolon-keeper
- --pg-listen-address=pgkeeper2
- --pg-repl-username=replica
- --uid=pgkeeper2
- --pg-su-username=postgres
- --pg-su-passwordfile=/run/secrets/pgsql
- --pg-repl-passwordfile=/run/secrets/pgsql_repl
- --data-dir=/var/lib/postgresql/data
- --cluster-name=stolon-cluster
- --store-backend=etcdv3
- --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
networks:
- etcd
- pgsql
environment:
- PGDATA=/var/lib/postgresql/data
volumes:
- pgkeeper2:/var/lib/postgresql/data
secrets:
- pgsql
- pgsql_repl
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node2]
pgkeeper3:
image: sorintlab/stolon:master-pg10
hostname: pgkeeper3
command:
- gosu
- stolon
- stolon-keeper
- --pg-listen-address=pgkeeper3
- --pg-repl-username=replica
- --uid=pgkeeper3
- --pg-su-username=postgres
- --pg-su-passwordfile=/run/secrets/pgsql
- --pg-repl-passwordfile=/run/secrets/pgsql_repl
- --data-dir=/var/lib/postgresql/data
- --cluster-name=stolon-cluster
- --store-backend=etcdv3
- --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
networks:
- etcd
- pgsql
environment:
- PGDATA=/var/lib/postgresql/data
volumes:
- pgkeeper3:/var/lib/postgresql/data
secrets:
- pgsql
- pgsql_repl
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node3]
postgresql:
image: sorintlab/stolon:master-pg10
command: gosu stolon stolon-proxy --listen-address 0.0.0.0 --cluster-name stolon-cluster --store-backend=etcdv3 --store-endpoints http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
networks:
- etcd
- pgsql
deploy:
replicas: 3
update_config:
parallelism: 1
delay: 30s
order: stop-first
failure_action: rollback
volumes:
pgkeeper1:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/pgsql"
pgkeeper2:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/pgsql"
pgkeeper3:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/pgsql"
secrets:
pgsql:
file: "/srv/docker/postgres"
pgsql_repl:
file: "/srv/docker/replica"
networks:
etcd:
external: true
pgsql:
external: trueГенеруємо секрети, застосовуємо файл:
# </dev/urandom tr -dc 234567890qwertyuopasdfghjkzxcvbnmQWERTYUPASDFGHKLZXCVBNM | head -c $(((RANDOM%3)+15)) > /srv/docker/replica
# </dev/urandom tr -dc 234567890qwertyuopasdfghjkzxcvbnmQWERTYUPASDFGHKLZXCVBNM | head -c $(((RANDOM%3)+15)) > /srv/docker/postgres
# docker stack deploy --compose-file 01pgsql.yml pgsqlЧерез деякий час (дивимось висновок команди docker service ls, що піднялися всі сервіси) ініціалізуємо кластер Postgresql:
# docker exec $(docker ps | awk '/pgkeeper/ {print $1}') stolonctl --cluster-name=stolon-cluster --store-backend=etcdv3 --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379 initПеревіряємо готовність кластера Postgresql:
# docker exec $(docker ps | awk '/pgkeeper/ {print $1}') stolonctl --cluster-name=stolon-cluster --store-backend=etcdv3 --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379 status
=== Active sentinels ===
ID LEADER
26baa11d false
74e98768 false
a8cb002b true
=== Active proxies ===
ID
4d233826
9f562f3b
b0c79ff1
=== Keepers ===
UID HEALTHY PG LISTENADDRESS PG HEALTHY PG WANTEDGENERATION PG CURRENTGENERATION
pgkeeper1 true pgkeeper1:5432 true 2 2
pgkeeper2 true pgkeeper2:5432 true 2 2
pgkeeper3 true pgkeeper3:5432 true 3 3
=== Cluster Info ===
Master Keeper: pgkeeper3
===== Keepers/DB tree =====
pgkeeper3 (master)
├─pgkeeper2
└─pgkeeper1
Налаштовуємо traefik для відкриття доступу до контейнерів ззовні:
03traefik.yml
version: '3.7'
services:
traefik:
image: traefik:latest
command: >
--log.level=INFO
--providers.docker=true
--entryPoints.web.address=:80
--providers.providersThrottleDuration=2
--providers.docker.watch=true
--providers.docker.swarmMode=true
--providers.docker.swarmModeRefreshSeconds=15s
--providers.docker.exposedbydefault=false
--accessLog.bufferingSize=0
--api=true
--api.dashboard=true
--api.insecure=true
networks:
- traefik
ports:
- 80:80
volumes:
- /var/run/docker.sock:/var/run/docker.sock
deploy:
replicas: 3
placement:
constraints:
- node.role == manager
preferences:
- spread: node.id
labels:
- traefik.enable=true
- traefik.http.routers.traefik.rule=Host(`traefik.example.com`)
- traefik.http.services.traefik.loadbalancer.server.port=8080
- traefik.docker.network=traefik
networks:
traefik:
external: true# docker stack deploy --compose-file 03traefik.yml traefikЗапускаємо Redis Cluster, для цього створюємо на всіх вузлах каталог для зберігання:
# mkdir -p /srv/redis05redis.yml
version: '3.7'
services:
redis-master:
image: 'bitnami/redis:latest'
networks:
- redis
ports:
- '6379:6379'
environment:
- REDIS_REPLICATION_MODE=master
- REDIS_PASSWORD=xxxxxxxxxxx
deploy:
mode: global
restart_policy:
condition: any
volumes:
- 'redis:/opt/bitnami/redis/etc/'
redis-replica:
image: 'bitnami/redis:latest'
networks:
- redis
ports:
- '6379'
depends_on:
- redis-master
environment:
- REDIS_REPLICATION_MODE=slave
- REDIS_MASTER_HOST=redis-master
- REDIS_MASTER_PORT_NUMBER=6379
- REDIS_MASTER_PASSWORD=xxxxxxxxxxx
- REDIS_PASSWORD=xxxxxxxxxxx
deploy:
mode: replicated
replicas: 3
update_config:
parallelism: 1
delay: 10s
restart_policy:
condition: any
redis-sentinel:
image: 'bitnami/redis:latest'
networks:
- redis
ports:
- '16379'
depends_on:
- redis-master
- redis-replica
entrypoint: |
bash -c 'bash -s <<EOF
"/bin/bash" -c "cat <<EOF > /opt/bitnami/redis/etc/sentinel.conf
port 16379
dir /tmp
sentinel monitor master-node redis-master 6379 2
sentinel down-after-milliseconds master-node 5000
sentinel parallel-syncs master-node 1
sentinel failover-timeout master-node 5000
sentinel auth-pass master-node xxxxxxxxxxx
sentinel announce-ip redis-sentinel
sentinel announce-port 16379
EOF"
"/bin/bash" -c "redis-sentinel /opt/bitnami/redis/etc/sentinel.conf"
EOF'
deploy:
mode: global
restart_policy:
condition: any
volumes:
redis:
driver: local
driver_opts:
type: 'none'
o: 'bind'
device: "/srv/redis"
networks:
redis:
external: true# docker stack deploy --compose-file 05redis.yml redisДодаємо Docker Registry:
06registry.yml
version: '3.7'
services:
registry:
image: registry:2.6
networks:
- traefik
volumes:
- registry_data:/var/lib/registry
deploy:
replicas: 1
placement:
constraints: [node.role == manager]
restart_policy:
condition: on-failure
labels:
- traefik.enable=true
- traefik.http.routers.registry.rule=Host(`registry.example.com`)
- traefik.http.services.registry.loadbalancer.server.port=5000
- traefik.docker.network=traefik
volumes:
registry_data:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/docker/registry"
networks:
traefik:
external: true# mkdir /srv/docker/registry
# docker stack deploy --compose-file 06registry.yml registryНу і нарешті - GitLab:
08gitlab-runner.yml
version: '3.7'
services:
gitlab:
image: gitlab/gitlab-ce:latest
networks:
- pgsql
- redis
- traefik
- gitlab
ports:
- 22222:22
environment:
GITLAB_OMNIBUS_CONFIG: |
postgresql['enable'] = false
redis['enable'] = false
gitlab_rails['registry_enabled'] = false
gitlab_rails['db_username'] = "gitlab"
gitlab_rails['db_password'] = "XXXXXXXXXXX"
gitlab_rails['db_host'] = "postgresql"
gitlab_rails['db_port'] = "5432"
gitlab_rails['db_database'] = "gitlab"
gitlab_rails['db_adapter'] = 'postgresql'
gitlab_rails['db_encoding'] = 'utf8'
gitlab_rails['redis_host'] = 'redis-master'
gitlab_rails['redis_port'] = '6379'
gitlab_rails['redis_password'] = 'xxxxxxxxxxx'
gitlab_rails['smtp_enable'] = true
gitlab_rails['smtp_address'] = "smtp.yandex.ru"
gitlab_rails['smtp_port'] = 465
gitlab_rails['smtp_user_name'] = "[email protected]"
gitlab_rails['smtp_password'] = "xxxxxxxxx"
gitlab_rails['smtp_domain'] = "example.com"
gitlab_rails['gitlab_email_from'] = '[email protected]'
gitlab_rails['smtp_authentication'] = "login"
gitlab_rails['smtp_tls'] = true
gitlab_rails['smtp_enable_starttls_auto'] = true
gitlab_rails['smtp_openssl_verify_mode'] = 'peer'
external_url 'http://gitlab.example.com/'
gitlab_rails['gitlab_shell_ssh_port'] = 22222
volumes:
- gitlab_conf:/etc/gitlab
- gitlab_logs:/var/log/gitlab
- gitlab_data:/var/opt/gitlab
deploy:
mode: replicated
replicas: 1
placement:
constraints:
- node.role == manager
labels:
- traefik.enable=true
- traefik.http.routers.gitlab.rule=Host(`gitlab.example.com`)
- traefik.http.services.gitlab.loadbalancer.server.port=80
- traefik.docker.network=traefik
gitlab-runner:
image: gitlab/gitlab-runner:latest
networks:
- gitlab
volumes:
- gitlab_runner_conf:/etc/gitlab
- /var/run/docker.sock:/var/run/docker.sock
deploy:
mode: replicated
replicas: 1
placement:
constraints:
- node.role == manager
volumes:
gitlab_conf:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/docker/gitlab/conf"
gitlab_logs:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/docker/gitlab/logs"
gitlab_data:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/docker/gitlab/data"
gitlab_runner_conf:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/docker/gitlab/runner"
networks:
pgsql:
external: true
redis:
external: true
traefik:
external: true
gitlab:
external: true# mkdir -p /srv/docker/gitlab/conf
# mkdir -p /srv/docker/gitlab/logs
# mkdir -p /srv/docker/gitlab/data
# mkdir -p /srv/docker/gitlab/runner
# docker stack deploy --compose-file 08gitlab-runner.yml gitlabПідсумковий стан кластера та сервісів:
# docker service ls
ID NAME MODE REPLICAS IMAGE PORTS
lef9n3m92buq etcd_etcd1 replicated 1/1 quay.io/coreos/etcd:latest
ij6uyyo792x5 etcd_etcd2 replicated 1/1 quay.io/coreos/etcd:latest
fqttqpjgp6pp etcd_etcd3 replicated 1/1 quay.io/coreos/etcd:latest
hq5iyga28w33 gitlab_gitlab replicated 1/1 gitlab/gitlab-ce:latest *:22222->22/tcp
dt7s6vs0q4qc gitlab_gitlab-runner replicated 1/1 gitlab/gitlab-runner:latest
k7uoezno0h9n pgsql_pgkeeper1 replicated 1/1 sorintlab/stolon:master-pg10
cnrwul4r4nse pgsql_pgkeeper2 replicated 1/1 sorintlab/stolon:master-pg10
frflfnpty7tr pgsql_pgkeeper3 replicated 1/1 sorintlab/stolon:master-pg10
x7pqqchi52kq pgsql_pgsentinel replicated 3/3 sorintlab/stolon:master-pg10
mwu2wl8fti4r pgsql_postgresql replicated 3/3 sorintlab/stolon:master-pg10
9hkbe2vksbzb redis_redis-master global 3/3 bitnami/redis:latest *:6379->6379/tcp
l88zn8cla7dc redis_redis-replica replicated 3/3 bitnami/redis:latest *:30003->6379/tcp
1utp309xfmsy redis_redis-sentinel global 3/3 bitnami/redis:latest *:30002->16379/tcp
oteb824ylhyp registry_registry replicated 1/1 registry:2.6
qovrah8nzzu8 traefik_traefik replicated 3/3 traefik:latest *:80->80/tcp, *:443->443/tcpЩо ще можна покращити? Обов'язково налаштувати в Traefik роботу контейнерів https, додати шифрування tls для Postgresql і Redis. Але в цілому вже можна віддавати розробникам як PoC. Подивимося тепер альтернативи Docker.
Подман
Ще один досить відомий engine для запуску контейнерів, згрупованих за подами (pods, групи контейнерів, розгорнутих спільно). На відміну від Docker не вимагає будь-якого сервісу для запуску контейнерів, вся робота здійснюється через бібліотеку libpod. Також написаний на Go, потребує OCI-сумісного runtime для запуску контейнерів, наприклад runC.
Робота з Podman в цілому нагадує таку для Docker, аж до того, що можна зробити так (заявлено у багатьох, хто спробував, у тому числі й автором цієї статті):
$ alias docker=podmanі можна продовжувати працювати. Загалом ситуація з Podman дуже цікава, адже якщо ранні версії Kubernetes працювали з Docker, то приблизно з 2015 року, після стандартизації світу контейнерів (OCI — Open Container Initiative) та поділу Docker на containerd та runC, розвивається альтернатива Docker для запуску у Kubernetes: CRI-O. Podman у цьому плані є альтернативою Docker, побудованою за принципами Kubernetes, у тому числі й угрупуванням контейнерів, але основна мета існування проекту — запуск контейнерів у стилі Docker без додаткових сервісів. Зі зрозумілих причин немає наявності swarm mode, тому що розробники явно говорять про те, що якщо треба кластер - беріть Kubernetes.
Встановлення
Для установки Centos 7 достатньо активувати репозиторій Extras, після чого встановити всі командою:
# yum -y install podmanІнші можливості
Podman може генерувати юніти для systemd, таким чином вирішуючи завдання запуску контейнерів після перезавантаження сервера. Додатково заявлена коректна робота systemd як pid 1 у контейнері. Для складання контейнерів йде окремий інструмент buildah, є також сторонні інструменти - аналоги docker-compose, що генерує в тому числі конфігураційні файли, сумісні з Kubernetes, так що перехід із Podman на Kubernetes спрощений наскільки це можливо.
Робота з Podman
Оскільки немає swarm mode (передбачається перехід на Kubernetes, якщо треба кластер) — будемо збирати окремими контейнерами.
Встановлюємо podman-compose:
# yum -y install python3-pip
# pip3 install podman-composeРезультуючий файл конфігурації для podman трохи відрізняється, так довелося перенести окрему секцію volumes безпосередньо в секцію з сервісами.
gitlab-podman.yml
version: '3.7'
services:
gitlab:
image: gitlab/gitlab-ce:latest
hostname: gitlab.example.com
restart: unless-stopped
environment:
GITLAB_OMNIBUS_CONFIG: |
gitlab_rails['gitlab_shell_ssh_port'] = 22222
ports:
- "80:80"
- "22222:22"
volumes:
- /srv/podman/gitlab/conf:/etc/gitlab
- /srv/podman/gitlab/data:/var/opt/gitlab
- /srv/podman/gitlab/logs:/var/log/gitlab
networks:
- gitlab
gitlab-runner:
image: gitlab/gitlab-runner:alpine
restart: unless-stopped
depends_on:
- gitlab
volumes:
- /srv/podman/gitlab/runner:/etc/gitlab-runner
- /var/run/docker.sock:/var/run/docker.sock
networks:
- gitlab
networks:
gitlab:# podman-compose -f gitlab-runner.yml -d upРезультат праці:
# podman ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
da53da946c01 docker.io/gitlab/gitlab-runner:alpine run --user=gitlab... About a minute ago Up About a minute ago 0.0.0.0:22222->22/tcp, 0.0.0.0:80->80/tcp root_gitlab-runner_1
781c0103c94a docker.io/gitlab/gitlab-ce:latest /assets/wrapper About a minute ago Up About a minute ago 0.0.0.0:22222->22/tcp, 0.0.0.0:80->80/tcp root_gitlab_1Давайте подивимося, що він згенерує для systemd і kubernetes, для цього треба дізнатися ім'я або id пода:
# podman pod ls
POD ID NAME STATUS CREATED # OF CONTAINERS INFRA ID
71fc2b2a5c63 root Running 11 minutes ago 3 db40ab8bf84bKubernetes:
# podman generate kube 71fc2b2a5c63
# Generation of Kubernetes YAML is still under development!
#
# Save the output of this file and use kubectl create -f to import
# it into Kubernetes.
#
# Created with podman-1.6.4
apiVersion: v1
kind: Pod
metadata:
creationTimestamp: "2020-07-29T19:22:40Z"
labels:
app: root
name: root
spec:
containers:
- command:
- /assets/wrapper
env:
- name: PATH
value: /opt/gitlab/embedded/bin:/opt/gitlab/bin:/assets:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
- name: TERM
value: xterm
- name: HOSTNAME
value: gitlab.example.com
- name: container
value: podman
- name: GITLAB_OMNIBUS_CONFIG
value: |
gitlab_rails['gitlab_shell_ssh_port'] = 22222
- name: LANG
value: C.UTF-8
image: docker.io/gitlab/gitlab-ce:latest
name: rootgitlab1
ports:
- containerPort: 22
hostPort: 22222
protocol: TCP
- containerPort: 80
hostPort: 80
protocol: TCP
resources: {}
securityContext:
allowPrivilegeEscalation: true
capabilities: {}
privileged: false
readOnlyRootFilesystem: false
volumeMounts:
- mountPath: /var/opt/gitlab
name: srv-podman-gitlab-data
- mountPath: /var/log/gitlab
name: srv-podman-gitlab-logs
- mountPath: /etc/gitlab
name: srv-podman-gitlab-conf
workingDir: /
- command:
- run
- --user=gitlab-runner
- --working-directory=/home/gitlab-runner
env:
- name: PATH
value: /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
- name: TERM
value: xterm
- name: HOSTNAME
- name: container
value: podman
image: docker.io/gitlab/gitlab-runner:alpine
name: rootgitlab-runner1
resources: {}
securityContext:
allowPrivilegeEscalation: true
capabilities: {}
privileged: false
readOnlyRootFilesystem: false
volumeMounts:
- mountPath: /etc/gitlab-runner
name: srv-podman-gitlab-runner
- mountPath: /var/run/docker.sock
name: var-run-docker.sock
workingDir: /
volumes:
- hostPath:
path: /srv/podman/gitlab/runner
type: Directory
name: srv-podman-gitlab-runner
- hostPath:
path: /var/run/docker.sock
type: File
name: var-run-docker.sock
- hostPath:
path: /srv/podman/gitlab/data
type: Directory
name: srv-podman-gitlab-data
- hostPath:
path: /srv/podman/gitlab/logs
type: Directory
name: srv-podman-gitlab-logs
- hostPath:
path: /srv/podman/gitlab/conf
type: Directory
name: srv-podman-gitlab-conf
status: {}Systemd:
# podman generate systemd 71fc2b2a5c63
# pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
# autogenerated by Podman 1.6.4
# Thu Jul 29 15:23:28 EDT 2020
[Unit]
Description=Podman pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
Documentation=man:podman-generate-systemd(1)
Requires=container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
Before=container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
[Service]
Restart=on-failure
ExecStart=/usr/bin/podman start db40ab8bf84bf35141159c26cb6e256b889c7a98c0418eee3c4aa683c14fccaa
ExecStop=/usr/bin/podman stop -t 10 db40ab8bf84bf35141159c26cb6e256b889c7a98c0418eee3c4aa683c14fccaa
KillMode=none
Type=forking
PIDFile=/var/run/containers/storage/overlay-containers/db40ab8bf84bf35141159c26cb6e256b889c7a98c0418eee3c4aa683c14fccaa/userdata/conmon.pid
[Install]
WantedBy=multi-user.target
# container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
# autogenerated by Podman 1.6.4
# Thu Jul 29 15:23:28 EDT 2020
[Unit]
Description=Podman container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
Documentation=man:podman-generate-systemd(1)
RefuseManualStart=yes
RefuseManualStop=yes
BindsTo=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
After=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
[Service]
Restart=on-failure
ExecStart=/usr/bin/podman start da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864
ExecStop=/usr/bin/podman stop -t 10 da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864
KillMode=none
Type=forking
PIDFile=/var/run/containers/storage/overlay-containers/da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864/userdata/conmon.pid
[Install]
WantedBy=multi-user.target
# container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service
# autogenerated by Podman 1.6.4
# Thu Jul 29 15:23:28 EDT 2020
[Unit]
Description=Podman container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service
Documentation=man:podman-generate-systemd(1)
RefuseManualStart=yes
RefuseManualStop=yes
BindsTo=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
After=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
[Service]
Restart=on-failure
ExecStart=/usr/bin/podman start 781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3
ExecStop=/usr/bin/podman stop -t 10 781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3
KillMode=none
Type=forking
PIDFile=/var/run/containers/storage/overlay-containers/781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3/userdata/conmon.pid
[Install]
WantedBy=multi-user.targetНа жаль крім запуску контейнерів згенерований юніт для systemd більше нічого не робить (наприклад, зачистку старих контейнерів при перезапуску такого сервісу), тому такі речі доведеться дописувати самостійно.
В принципі Podman достатньо для того, щоб спробувати, що таке контейнери, перенести старі конфігурації для docker-compose, після чого піти у бік Kubernetes, якщо треба на кластер, або отримати простішу в роботі альтернативу Docker.
кр
Проект приблизно півроку тому через те, що його купив RedHat, тому не зупинятимуся на ньому детальніше. Загалом він залишав дуже непогане враження, проте в порівнянні з Docker і тим більше з Podman виглядає комбайном. Існував також дистрибутив CoreOS, побудований на основі rkt (хоча у них спочатку був Docker), проте його підтримка закінчилася після покупки RedHat.
Плаш
Ще автор якого хотів просто збирати і запускати контейнери. Судячи з документації та коду, автор не дотримувався стандартів, а просто вирішив написати свою реалізацію, що в принципі й зробив.
Висновки
Ситуація за наявності Kubernetes складається дуже цікава: з одного боку з Docker можна зібрати кластер (у swarm mode), з яким навіть можна запускати продуктові середовища для клієнтів, це особливо актуально для невеликих команд (3-5 осіб) або при невеликому загальному навантаженні , або відсутність бажання розбиратися в тонкощах налаштування Kubernetes у тому числі і для високих навантажень.
Podman не забезпечує повної сумісності, але має одну важливу перевагу — сумісність з Kubernetes, у тому числі і за додатковими інструментами (buildah та інші). Тому до вибору інструменту для роботи я підходитиму так: для малих команд, або при обмеженому бюджеті - Docker (з можливим swarm mode), для розробки для себе на особистому localhost - Podman товариші, а решті - Kubernetes.
Я не впевнений, що ситуація з Docker не зміниться в майбутньому, все-таки вони є піонерами, а також крок за кроком потихеньку стандартизуються, але у Podman при всіх його недоліках (робота тільки на Linux, немає кластеризації, збирання та інші дії - сторонніми майбутніми більш чіткими, тому я запрошую всіх бажаючих обговорити ці висновки в коментарях.
PS 3 серпня запускаємо «», де можна буде докладніше дізнатися про його роботу. Ми розберемо всі інструменти: від основних абстракцій до параметрів мережі, нюансів роботи з різними ОС та мовами програмування. Ви познайомитеся з технологією та зрозумієте, де і як краще використовувати Docker. Також поділимося best practice кейсами.
Вартість попереднього замовлення до релізу: 5000 грн. З програмою «Відеокурс по Docker» можна ознайомитися .
Джерело: habr.com