TL;DR: Áttekintő útmutató a keretrendszerek összehasonlításához az alkalmazások konténerekben történő futtatásához. Figyelembe kell venni a Docker és más hasonló rendszerek képességeit.
Egy kis történelem, honnan jött mindez
Történet
Az alkalmazások elkülönítésének első jól ismert módja a chroot. Az azonos nevű rendszerhívás megváltoztatja a gyökérkönyvtárat – így hozzáférést biztosít az azt hívó programhoz, csak az ebben a könyvtárban lévő fájlokhoz. De ha a program belül szuperfelhasználói jogokat kap, akkor potenciálisan "megszökhet" a chrootból, és hozzáférhet a fő operációs rendszerhez. Ezenkívül a gyökérkönyvtár megváltoztatása mellett az egyéb erőforrások (RAM, processzor), valamint a hálózathoz való hozzáférés nem korlátozott.
A következő módszer egy teljes értékű operációs rendszer elindítása a konténerben, az operációs rendszer kernelének mechanizmusait használva. Ezt a módszert különböző operációs rendszerekben másként hívják, de a lényeg ugyanaz - több független operációs rendszer fut, amelyek mindegyike ugyanazon a kernelen fut, amelyen a fő operációs rendszer fut. Ide tartozik a FreeBSD Jails, a Solaris Zones, az OpenVZ és az LXC Linuxra. Az elkülönítést nemcsak a lemezterület, hanem más erőforrások is biztosítják, különösen minden tároló korlátozhatja a processzoridőt, a RAM-ot és a hálózati sávszélességet. A chroothoz képest a konténer elhagyása nehezebb, mivel a tárolóban lévő szuperfelhasználó csak a tároló belsejéhez fér hozzá, azonban a konténerben lévő operációs rendszer naprakészen tartása és a régi kernel használata miatt. verzióknál (releváns a Linuxra, kisebb mértékben a FreeBSD-re), nem nulla annak a valószínűsége, hogy áttörjük a kernelszigetelő rendszert és hozzáférünk a fő operációs rendszerhez.
Ahelyett, hogy egy teljes értékű operációs rendszert konténerben indítanának el (inicializáló rendszerrel, csomagkezelővel stb.), az alkalmazások azonnal elindíthatók, a lényeg, hogy az alkalmazások számára biztosítsuk ezt a lehetőséget (a szükséges könyvtárak megléte, ill. Egyéb fájlok). Ez az ötlet szolgált a konténeres alkalmazásvirtualizáció alapjául, melynek legkiemelkedőbb és legismertebb képviselője a Docker. A korábbi rendszerekhez képest a rugalmasabb elkülönítési mechanizmusok, valamint a tárolók közötti virtuális hálózatok beépített támogatása és a konténeren belüli alkalmazások állapota lehetővé tették, hogy egyetlen holisztikus környezetet építsenek fel nagyszámú fizikai szerverből a konténerek futtatásához – anélkül a kézi erőforrás-kezelés szükségessége.
Dokkmunkás
A Docker a legismertebb alkalmazáskonténerező szoftver. Go nyelven írva a Linux kernel rendszeres képességeit – cgroupokat, névtereket, képességeket stb., valamint Aufs fájlrendszereket és más hasonlókat használja a lemezterület megtakarítására.
Forrás: wikimedia
építészet
Az 1.11-es verzió előtt a Docker egyetlen szolgáltatásként működött, amely minden műveletet végrehajtott a tárolókkal: letöltötte a tárolók képeit, elindította a konténereket, feldolgozta az API kéréseket. Az 1.11-es verzió óta a Docker több részre van osztva, amelyek kölcsönhatásba lépnek egymással: konténer, amely a konténerek teljes életciklusát kezeli (lemezterület lefoglalása, képek letöltése, hálózatépítés, indítás, telepítés és konténerek állapotának figyelése) és runC , konténer futási környezetek, a cgroups és a Linux kernel egyéb szolgáltatásai alapján. Maga a docker szolgáltatás megmarad, de most már csak a konténerbe sugárzott API-kérések feldolgozására szolgál.
Telepítés és konfigurálás
A docker telepítésének kedvenc módja a docker-machine, amely a távoli szerverekre (beleértve a különféle felhőket is) való közvetlen docker telepítésen és konfiguráláson túl lehetővé teszi a távoli szerverek fájlrendszerével való együttműködést, illetve különféle parancsok futtatását is.
2018 óta azonban alig fejlesztik a projektet, ezért a legtöbb Linux disztribúciónál megszokott módon - lerakat hozzáadásával és a szükséges csomagok telepítésével - telepítjük.
Ezt a módszert automatizált telepítéshez is használják, például Ansible vagy más hasonló rendszerek használatával, de ebben a cikkben nem foglalkozom vele.
A telepítés Centos 7-en történik, szerverként egy virtuális gépet fogok használni, a telepítéshez csak futtasd az alábbi parancsokat:
# yum install -y yum-utils
# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# yum install docker-ce docker-ce-cli containerd.ioA telepítés után el kell indítania a szolgáltatást, és be kell helyeznie az automatikus betöltésbe:
# systemctl enable docker
# systemctl start docker
# firewall-cmd --zone=public --add-port=2377/tcp --permanentEzenkívül létrehozhat egy docker csoportot, amelynek a felhasználók képesek lesznek a dockerrel sudo nélkül dolgozni, beállítani a naplózást, engedélyezni az API-hoz való hozzáférést kívülről, ne felejtse el finomhangolni a tűzfalat (minden, ami nem megengedett, a fenti és lenti példákban tilos - ezt az egyszerűség és a megjelenítés kedvéért kihagytam), de itt nem részletezem.
Más funkciók
A fent említett docker gépen kívül van még docker registry, a konténerek képeinek tárolására szolgáló eszköz, valamint a docker compose, az alkalmazások konténerekben történő telepítésének automatizálására szolgáló eszköz, a YAML fájlokat konténerek építésére és konfigurálására használják. és egyéb kapcsolódó dolgok (például hálózatok, állandó fájlrendszerek az adatok tárolására).
Használható a CICD csővezetékeinek szervezésére is. További érdekesség a cluster módban való munkavégzés, az úgynevezett swarm mód (az 1.12-es verzió előtt docker swarm néven volt ismert), amely lehetővé teszi, hogy több szerverről egyetlen infrastruktúrát állítsunk össze a konténerek futtatásához. Az összes szerveren támogatja a virtuális hálózatot, van beépített terheléselosztó, valamint támogatja a konténerek titkait.
A docker compose YAML-fájljai kisebb módosításokkal használhatók ilyen fürtökhöz, teljesen automatizálva a kis és közepes fürtök különféle célú karbantartását. Nagy fürtök esetén a Kubernetes előnyösebb, mert a raj mód fenntartási költségei meghaladhatják a Kubernetes költségeit. A runC mellett a konténerek végrehajtási környezeteként telepíthet pl
Dolgozik a Dockerrel
A telepítés és a konfigurálás után megpróbálunk felépíteni egy fürtöt, amelyben a GitLabot és a Docker Registry-t telepítjük a fejlesztőcsapat számára. Szerverként három virtuális gépet fogok használni, amelyeken ezen felül telepítem a GlusterFS elosztott FS-t, docker kötettárolóként fogom használni, például a docker registry hibamentes verziójának futtatására. Főbb futtatandó összetevők: Docker Registry, Postgresql, Redis, GitLab a GitLab Runner támogatásával a Swarm tetején. A Postgresql klaszterezéssel fog elindulni , így nem kell GlusterFS-t használnia a Postgresql adatok tárolására. A többi kritikus adat a GlusterFS-en lesz tárolva.
A GlusterFS minden kiszolgálón való üzembe helyezéséhez (ezeket node1, node2, node3 nevezik) csomagokat kell telepítenie, engedélyeznie kell a tűzfalat, létre kell hoznia a szükséges könyvtárakat:
# yum -y install centos-release-gluster7
# yum -y install glusterfs-server
# systemctl enable glusterd
# systemctl start glusterd
# firewall-cmd --add-service=glusterfs --permanent
# firewall-cmd --reload
# mkdir -p /srv/gluster
# mkdir -p /srv/docker
# echo "$(hostname):/docker /srv/docker glusterfs defaults,_netdev 0 0" >> /etc/fstabA telepítés után a GlusterFS konfigurálásával kapcsolatos munkát egy csomópontról kell folytatni, például a node1-ről:
# gluster peer probe node2
# gluster peer probe node3
# gluster volume create docker replica 3 node1:/srv/gluster node2:/srv/gluster node3:/srv/gluster force
# gluster volume start dockerEzután csatolnia kell a kapott kötetet (a parancsot minden szerveren le kell futtatni):
# mount /srv/dockerA Swarm mód az egyik szerveren van konfigurálva, ami Leader lesz, a többinek csatlakoznia kell a fürthöz, így az első szerveren futtatott parancs eredményét át kell másolni és a többieken végrehajtani.
A fürt kezdeti beállítása, a parancsot a node1-en futtatom:
# docker swarm init
Swarm initialized: current node (a5jpfrh5uvo7svzz1ajduokyq) is now a manager.
To add a worker to this swarm, run the following command:
docker swarm join --token SWMTKN-1-0c5mf7mvzc7o7vjk0wngno2dy70xs95tovfxbv4tqt9280toku-863hyosdlzvd76trfptd4xnzd xx.xx.xx.xx:2377
To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.
# docker swarm join-token managerMásolja ki a második parancs eredményét, futtassa a 2. és 3. csomóponton:
# docker swarm join --token SWMTKN-x-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx-xxxxxxxxx xx.xx.xx.xx:2377
This node joined a swarm as a manager.Ezzel befejeződött a szerverek előzetes konfigurálása, kezdjük el a szolgáltatások konfigurálását, a végrehajtandó parancsok a node1-ről indulnak el, ha nincs másképp megadva.
Először is hozzunk létre hálózatokat a konténerekhez:
# docker network create --driver=overlay etcd
# docker network create --driver=overlay pgsql
# docker network create --driver=overlay redis
# docker network create --driver=overlay traefik
# docker network create --driver=overlay gitlabEzután megjelöljük a szervereket, ez szükséges bizonyos szolgáltatások szerverekhez kötéséhez:
# docker node update --label-add nodename=node1 node1
# docker node update --label-add nodename=node2 node2
# docker node update --label-add nodename=node3 node3Ezután könyvtárakat hozunk létre az etcd adatok tárolására, a KV tárhelyre, amelyre a Traefiknek és a Stolonnak szüksége van. A Postgresql-hez hasonlóan ezek is kiszolgálókhoz kötött konténerek lesznek, ezért ezt a parancsot minden szerveren végrehajtjuk:
# mkdir -p /srv/etcdEzután hozzon létre egy fájlt az etcd konfigurálásához, és alkalmazza:
00etcd.yml
version: '3.7'
services:
etcd1:
image: quay.io/coreos/etcd:latest
hostname: etcd1
command:
- etcd
- --name=etcd1
- --data-dir=/data.etcd
- --advertise-client-urls=http://etcd1:2379
- --listen-client-urls=http://0.0.0.0:2379
- --initial-advertise-peer-urls=http://etcd1:2380
- --listen-peer-urls=http://0.0.0.0:2380
- --initial-cluster=etcd1=http://etcd1:2380,etcd2=http://etcd2:2380,etcd3=http://etcd3:2380
- --initial-cluster-state=new
- --initial-cluster-token=etcd-cluster
networks:
- etcd
volumes:
- etcd1vol:/data.etcd
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node1]
etcd2:
image: quay.io/coreos/etcd:latest
hostname: etcd2
command:
- etcd
- --name=etcd2
- --data-dir=/data.etcd
- --advertise-client-urls=http://etcd2:2379
- --listen-client-urls=http://0.0.0.0:2379
- --initial-advertise-peer-urls=http://etcd2:2380
- --listen-peer-urls=http://0.0.0.0:2380
- --initial-cluster=etcd1=http://etcd1:2380,etcd2=http://etcd2:2380,etcd3=http://etcd3:2380
- --initial-cluster-state=new
- --initial-cluster-token=etcd-cluster
networks:
- etcd
volumes:
- etcd2vol:/data.etcd
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node2]
etcd3:
image: quay.io/coreos/etcd:latest
hostname: etcd3
command:
- etcd
- --name=etcd3
- --data-dir=/data.etcd
- --advertise-client-urls=http://etcd3:2379
- --listen-client-urls=http://0.0.0.0:2379
- --initial-advertise-peer-urls=http://etcd3:2380
- --listen-peer-urls=http://0.0.0.0:2380
- --initial-cluster=etcd1=http://etcd1:2380,etcd2=http://etcd2:2380,etcd3=http://etcd3:2380
- --initial-cluster-state=new
- --initial-cluster-token=etcd-cluster
networks:
- etcd
volumes:
- etcd3vol:/data.etcd
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node3]
volumes:
etcd1vol:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/etcd"
etcd2vol:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/etcd"
etcd3vol:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/etcd"
networks:
etcd:
external: true# docker stack deploy --compose-file 00etcd.yml etcdEgy idő után ellenőrizzük, hogy az etcd fürt emelkedett-e:
# docker exec $(docker ps | awk '/etcd/ {print $1}') etcdctl member list
ade526d28b1f92f7: name=etcd1 peerURLs=http://etcd1:2380 clientURLs=http://etcd1:2379 isLeader=false
bd388e7810915853: name=etcd3 peerURLs=http://etcd3:2380 clientURLs=http://etcd3:2379 isLeader=false
d282ac2ce600c1ce: name=etcd2 peerURLs=http://etcd2:2380 clientURLs=http://etcd2:2379 isLeader=true
# docker exec $(docker ps | awk '/etcd/ {print $1}') etcdctl cluster-health
member ade526d28b1f92f7 is healthy: got healthy result from http://etcd1:2379
member bd388e7810915853 is healthy: got healthy result from http://etcd3:2379
member d282ac2ce600c1ce is healthy: got healthy result from http://etcd2:2379
cluster is healthyHozzon létre könyvtárakat a Postgresql számára, hajtsa végre a parancsot az összes szerveren:
# mkdir -p /srv/pgsqlEzután hozzon létre egy fájlt a Postgresql konfigurálásához:
01pgsql.yml
version: '3.7'
services:
pgsentinel:
image: sorintlab/stolon:master-pg10
command:
- gosu
- stolon
- stolon-sentinel
- --cluster-name=stolon-cluster
- --store-backend=etcdv3
- --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
- --log-level=debug
networks:
- etcd
- pgsql
deploy:
replicas: 3
update_config:
parallelism: 1
delay: 30s
order: stop-first
failure_action: pause
pgkeeper1:
image: sorintlab/stolon:master-pg10
hostname: pgkeeper1
command:
- gosu
- stolon
- stolon-keeper
- --pg-listen-address=pgkeeper1
- --pg-repl-username=replica
- --uid=pgkeeper1
- --pg-su-username=postgres
- --pg-su-passwordfile=/run/secrets/pgsql
- --pg-repl-passwordfile=/run/secrets/pgsql_repl
- --data-dir=/var/lib/postgresql/data
- --cluster-name=stolon-cluster
- --store-backend=etcdv3
- --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
networks:
- etcd
- pgsql
environment:
- PGDATA=/var/lib/postgresql/data
volumes:
- pgkeeper1:/var/lib/postgresql/data
secrets:
- pgsql
- pgsql_repl
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node1]
pgkeeper2:
image: sorintlab/stolon:master-pg10
hostname: pgkeeper2
command:
- gosu
- stolon
- stolon-keeper
- --pg-listen-address=pgkeeper2
- --pg-repl-username=replica
- --uid=pgkeeper2
- --pg-su-username=postgres
- --pg-su-passwordfile=/run/secrets/pgsql
- --pg-repl-passwordfile=/run/secrets/pgsql_repl
- --data-dir=/var/lib/postgresql/data
- --cluster-name=stolon-cluster
- --store-backend=etcdv3
- --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
networks:
- etcd
- pgsql
environment:
- PGDATA=/var/lib/postgresql/data
volumes:
- pgkeeper2:/var/lib/postgresql/data
secrets:
- pgsql
- pgsql_repl
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node2]
pgkeeper3:
image: sorintlab/stolon:master-pg10
hostname: pgkeeper3
command:
- gosu
- stolon
- stolon-keeper
- --pg-listen-address=pgkeeper3
- --pg-repl-username=replica
- --uid=pgkeeper3
- --pg-su-username=postgres
- --pg-su-passwordfile=/run/secrets/pgsql
- --pg-repl-passwordfile=/run/secrets/pgsql_repl
- --data-dir=/var/lib/postgresql/data
- --cluster-name=stolon-cluster
- --store-backend=etcdv3
- --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
networks:
- etcd
- pgsql
environment:
- PGDATA=/var/lib/postgresql/data
volumes:
- pgkeeper3:/var/lib/postgresql/data
secrets:
- pgsql
- pgsql_repl
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node3]
postgresql:
image: sorintlab/stolon:master-pg10
command: gosu stolon stolon-proxy --listen-address 0.0.0.0 --cluster-name stolon-cluster --store-backend=etcdv3 --store-endpoints http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
networks:
- etcd
- pgsql
deploy:
replicas: 3
update_config:
parallelism: 1
delay: 30s
order: stop-first
failure_action: rollback
volumes:
pgkeeper1:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/pgsql"
pgkeeper2:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/pgsql"
pgkeeper3:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/pgsql"
secrets:
pgsql:
file: "/srv/docker/postgres"
pgsql_repl:
file: "/srv/docker/replica"
networks:
etcd:
external: true
pgsql:
external: trueTitkokat generálunk, alkalmazzuk a fájlt:
# </dev/urandom tr -dc 234567890qwertyuopasdfghjkzxcvbnmQWERTYUPASDFGHKLZXCVBNM | head -c $(((RANDOM%3)+15)) > /srv/docker/replica
# </dev/urandom tr -dc 234567890qwertyuopasdfghjkzxcvbnmQWERTYUPASDFGHKLZXCVBNM | head -c $(((RANDOM%3)+15)) > /srv/docker/postgres
# docker stack deploy --compose-file 01pgsql.yml pgsqlEgy idő után (nézze meg a parancs kimenetét dokkolószolgálat lshogy minden szolgáltatás emelkedett) inicializálja a Postgresql-fürtöt:
# docker exec $(docker ps | awk '/pgkeeper/ {print $1}') stolonctl --cluster-name=stolon-cluster --store-backend=etcdv3 --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379 initA Postgresql fürt készenlétének ellenőrzése:
# docker exec $(docker ps | awk '/pgkeeper/ {print $1}') stolonctl --cluster-name=stolon-cluster --store-backend=etcdv3 --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379 status
=== Active sentinels ===
ID LEADER
26baa11d false
74e98768 false
a8cb002b true
=== Active proxies ===
ID
4d233826
9f562f3b
b0c79ff1
=== Keepers ===
UID HEALTHY PG LISTENADDRESS PG HEALTHY PG WANTEDGENERATION PG CURRENTGENERATION
pgkeeper1 true pgkeeper1:5432 true 2 2
pgkeeper2 true pgkeeper2:5432 true 2 2
pgkeeper3 true pgkeeper3:5432 true 3 3
=== Cluster Info ===
Master Keeper: pgkeeper3
===== Keepers/DB tree =====
pgkeeper3 (master)
├─pgkeeper2
└─pgkeeper1
A traefiket úgy konfiguráljuk, hogy a konténerekhez kívülről is hozzáférjen:
03traefik.yml
version: '3.7'
services:
traefik:
image: traefik:latest
command: >
--log.level=INFO
--providers.docker=true
--entryPoints.web.address=:80
--providers.providersThrottleDuration=2
--providers.docker.watch=true
--providers.docker.swarmMode=true
--providers.docker.swarmModeRefreshSeconds=15s
--providers.docker.exposedbydefault=false
--accessLog.bufferingSize=0
--api=true
--api.dashboard=true
--api.insecure=true
networks:
- traefik
ports:
- 80:80
volumes:
- /var/run/docker.sock:/var/run/docker.sock
deploy:
replicas: 3
placement:
constraints:
- node.role == manager
preferences:
- spread: node.id
labels:
- traefik.enable=true
- traefik.http.routers.traefik.rule=Host(`traefik.example.com`)
- traefik.http.services.traefik.loadbalancer.server.port=8080
- traefik.docker.network=traefik
networks:
traefik:
external: true# docker stack deploy --compose-file 03traefik.yml traefikElindítjuk a Redis Cluster-t, ehhez létrehozunk egy tárolási könyvtárat az összes csomóponton:
# mkdir -p /srv/redis05redis.yml
version: '3.7'
services:
redis-master:
image: 'bitnami/redis:latest'
networks:
- redis
ports:
- '6379:6379'
environment:
- REDIS_REPLICATION_MODE=master
- REDIS_PASSWORD=xxxxxxxxxxx
deploy:
mode: global
restart_policy:
condition: any
volumes:
- 'redis:/opt/bitnami/redis/etc/'
redis-replica:
image: 'bitnami/redis:latest'
networks:
- redis
ports:
- '6379'
depends_on:
- redis-master
environment:
- REDIS_REPLICATION_MODE=slave
- REDIS_MASTER_HOST=redis-master
- REDIS_MASTER_PORT_NUMBER=6379
- REDIS_MASTER_PASSWORD=xxxxxxxxxxx
- REDIS_PASSWORD=xxxxxxxxxxx
deploy:
mode: replicated
replicas: 3
update_config:
parallelism: 1
delay: 10s
restart_policy:
condition: any
redis-sentinel:
image: 'bitnami/redis:latest'
networks:
- redis
ports:
- '16379'
depends_on:
- redis-master
- redis-replica
entrypoint: |
bash -c 'bash -s <<EOF
"/bin/bash" -c "cat <<EOF > /opt/bitnami/redis/etc/sentinel.conf
port 16379
dir /tmp
sentinel monitor master-node redis-master 6379 2
sentinel down-after-milliseconds master-node 5000
sentinel parallel-syncs master-node 1
sentinel failover-timeout master-node 5000
sentinel auth-pass master-node xxxxxxxxxxx
sentinel announce-ip redis-sentinel
sentinel announce-port 16379
EOF"
"/bin/bash" -c "redis-sentinel /opt/bitnami/redis/etc/sentinel.conf"
EOF'
deploy:
mode: global
restart_policy:
condition: any
volumes:
redis:
driver: local
driver_opts:
type: 'none'
o: 'bind'
device: "/srv/redis"
networks:
redis:
external: true# docker stack deploy --compose-file 05redis.yml redisDocker Registry hozzáadása:
06registry.yml
version: '3.7'
services:
registry:
image: registry:2.6
networks:
- traefik
volumes:
- registry_data:/var/lib/registry
deploy:
replicas: 1
placement:
constraints: [node.role == manager]
restart_policy:
condition: on-failure
labels:
- traefik.enable=true
- traefik.http.routers.registry.rule=Host(`registry.example.com`)
- traefik.http.services.registry.loadbalancer.server.port=5000
- traefik.docker.network=traefik
volumes:
registry_data:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/docker/registry"
networks:
traefik:
external: true# mkdir /srv/docker/registry
# docker stack deploy --compose-file 06registry.yml registryÉs végül - GitLab:
08gitlab-runner.yml
version: '3.7'
services:
gitlab:
image: gitlab/gitlab-ce:latest
networks:
- pgsql
- redis
- traefik
- gitlab
ports:
- 22222:22
environment:
GITLAB_OMNIBUS_CONFIG: |
postgresql['enable'] = false
redis['enable'] = false
gitlab_rails['registry_enabled'] = false
gitlab_rails['db_username'] = "gitlab"
gitlab_rails['db_password'] = "XXXXXXXXXXX"
gitlab_rails['db_host'] = "postgresql"
gitlab_rails['db_port'] = "5432"
gitlab_rails['db_database'] = "gitlab"
gitlab_rails['db_adapter'] = 'postgresql'
gitlab_rails['db_encoding'] = 'utf8'
gitlab_rails['redis_host'] = 'redis-master'
gitlab_rails['redis_port'] = '6379'
gitlab_rails['redis_password'] = 'xxxxxxxxxxx'
gitlab_rails['smtp_enable'] = true
gitlab_rails['smtp_address'] = "smtp.yandex.ru"
gitlab_rails['smtp_port'] = 465
gitlab_rails['smtp_user_name'] = "[email protected]"
gitlab_rails['smtp_password'] = "xxxxxxxxx"
gitlab_rails['smtp_domain'] = "example.com"
gitlab_rails['gitlab_email_from'] = '[email protected]'
gitlab_rails['smtp_authentication'] = "login"
gitlab_rails['smtp_tls'] = true
gitlab_rails['smtp_enable_starttls_auto'] = true
gitlab_rails['smtp_openssl_verify_mode'] = 'peer'
external_url 'http://gitlab.example.com/'
gitlab_rails['gitlab_shell_ssh_port'] = 22222
volumes:
- gitlab_conf:/etc/gitlab
- gitlab_logs:/var/log/gitlab
- gitlab_data:/var/opt/gitlab
deploy:
mode: replicated
replicas: 1
placement:
constraints:
- node.role == manager
labels:
- traefik.enable=true
- traefik.http.routers.gitlab.rule=Host(`gitlab.example.com`)
- traefik.http.services.gitlab.loadbalancer.server.port=80
- traefik.docker.network=traefik
gitlab-runner:
image: gitlab/gitlab-runner:latest
networks:
- gitlab
volumes:
- gitlab_runner_conf:/etc/gitlab
- /var/run/docker.sock:/var/run/docker.sock
deploy:
mode: replicated
replicas: 1
placement:
constraints:
- node.role == manager
volumes:
gitlab_conf:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/docker/gitlab/conf"
gitlab_logs:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/docker/gitlab/logs"
gitlab_data:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/docker/gitlab/data"
gitlab_runner_conf:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/docker/gitlab/runner"
networks:
pgsql:
external: true
redis:
external: true
traefik:
external: true
gitlab:
external: true# mkdir -p /srv/docker/gitlab/conf
# mkdir -p /srv/docker/gitlab/logs
# mkdir -p /srv/docker/gitlab/data
# mkdir -p /srv/docker/gitlab/runner
# docker stack deploy --compose-file 08gitlab-runner.yml gitlabA klaszter és a szolgáltatások végső állapota:
# docker service ls
ID NAME MODE REPLICAS IMAGE PORTS
lef9n3m92buq etcd_etcd1 replicated 1/1 quay.io/coreos/etcd:latest
ij6uyyo792x5 etcd_etcd2 replicated 1/1 quay.io/coreos/etcd:latest
fqttqpjgp6pp etcd_etcd3 replicated 1/1 quay.io/coreos/etcd:latest
hq5iyga28w33 gitlab_gitlab replicated 1/1 gitlab/gitlab-ce:latest *:22222->22/tcp
dt7s6vs0q4qc gitlab_gitlab-runner replicated 1/1 gitlab/gitlab-runner:latest
k7uoezno0h9n pgsql_pgkeeper1 replicated 1/1 sorintlab/stolon:master-pg10
cnrwul4r4nse pgsql_pgkeeper2 replicated 1/1 sorintlab/stolon:master-pg10
frflfnpty7tr pgsql_pgkeeper3 replicated 1/1 sorintlab/stolon:master-pg10
x7pqqchi52kq pgsql_pgsentinel replicated 3/3 sorintlab/stolon:master-pg10
mwu2wl8fti4r pgsql_postgresql replicated 3/3 sorintlab/stolon:master-pg10
9hkbe2vksbzb redis_redis-master global 3/3 bitnami/redis:latest *:6379->6379/tcp
l88zn8cla7dc redis_redis-replica replicated 3/3 bitnami/redis:latest *:30003->6379/tcp
1utp309xfmsy redis_redis-sentinel global 3/3 bitnami/redis:latest *:30002->16379/tcp
oteb824ylhyp registry_registry replicated 1/1 registry:2.6
qovrah8nzzu8 traefik_traefik replicated 3/3 traefik:latest *:80->80/tcp, *:443->443/tcpMiben lehet még javítani? Ügyeljen arra, hogy a Traefiket úgy konfigurálja, hogy a https-tárolókkal működjön, és adjon hozzá tls-titkosítást a Postgresql-hez és a Redis-hez. De általánosságban már PoC-ként is oda lehet adni a fejlesztőknek. Nézzük most a Docker alternatíváit.
Podman
Egy másik meglehetősen jól ismert motor a konténerek (dobok, konténercsoportok együtt telepített) futtatására. A Dockerrel ellentétben nem igényel semmilyen szolgáltatást a konténerek futtatásához, minden munka a libpod könyvtáron keresztül történik. Szintén Go-ban íródott, OCI-kompatibilis futtatókörnyezetre van szüksége a tárolók, például a runC futtatásához.
A Podmannel végzett munka általánosságban hasonlít a Dockerhez, amennyiben ezt így is megteheti (sokan állítják, akik kipróbálták, beleértve a cikk szerzőjét is):
$ alias docker=podmanés dolgozhatsz tovább. Általában véve a Podman helyzete nagyon érdekes, mert ha a Kubernetes korai verziói működtek együtt a Dockerrel, akkor körülbelül 2015 óta, a konténervilág szabványosítása (OCI - Open Container Initiative) és a Docker felosztása konténeres és runC-re, alternatíva a A Dockert Kubernetesben fejlesztik: CRI-O. A Podman ebből a szempontból a Docker alternatívája, amely a Kubernetes elveire épül, beleértve a konténercsoportosítást is, de a projekt fő célja Docker-stílusú konténerek futtatása további szolgáltatások nélkül. Nyilvánvaló okokból nincs raj mód, mivel a fejlesztők egyértelműen azt mondják, hogy ha kell egy fürt, vegyen Kuberneteset.
Telepítés
A Centos 7-re való telepítéshez csak aktiválja az Extras tárolót, majd telepítsen mindent a paranccsal:
# yum -y install podmanMás funkciók
A Podman egységeket tud generálni a systemd számára, így megoldja a konténerek indításának problémáját a szerver újraindítása után. Ezenkívül a systemd a tárolóban pid 1-ként megfelelően működik. A konténerek készítéséhez külön buildah eszköz van, vannak harmadik féltől származó eszközök is - a docker-compose analógjai, amelyek Kubernetes-kompatibilis konfigurációs fájlokat is generálnak, így a Podmanről a Kubernetesre való átállás a lehető legegyszerűbb.
Együttműködés Podmannel
Mivel nincs raj mód (állítólag Kubernetesre kell váltani, ha klaszterre van szükség), külön konténerekbe rakjuk össze.
A podman-compose telepítése:
# yum -y install python3-pip
# pip3 install podman-composeA podman kapott konfigurációs fájlja kissé eltér, mivel például egy külön kötetszakaszt kellett áthelyeznünk közvetlenül a szolgáltatások szakaszba.
gitlab-podman.yml
version: '3.7'
services:
gitlab:
image: gitlab/gitlab-ce:latest
hostname: gitlab.example.com
restart: unless-stopped
environment:
GITLAB_OMNIBUS_CONFIG: |
gitlab_rails['gitlab_shell_ssh_port'] = 22222
ports:
- "80:80"
- "22222:22"
volumes:
- /srv/podman/gitlab/conf:/etc/gitlab
- /srv/podman/gitlab/data:/var/opt/gitlab
- /srv/podman/gitlab/logs:/var/log/gitlab
networks:
- gitlab
gitlab-runner:
image: gitlab/gitlab-runner:alpine
restart: unless-stopped
depends_on:
- gitlab
volumes:
- /srv/podman/gitlab/runner:/etc/gitlab-runner
- /var/run/docker.sock:/var/run/docker.sock
networks:
- gitlab
networks:
gitlab:# podman-compose -f gitlab-runner.yml -d upA munka eredménye:
# podman ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
da53da946c01 docker.io/gitlab/gitlab-runner:alpine run --user=gitlab... About a minute ago Up About a minute ago 0.0.0.0:22222->22/tcp, 0.0.0.0:80->80/tcp root_gitlab-runner_1
781c0103c94a docker.io/gitlab/gitlab-ce:latest /assets/wrapper About a minute ago Up About a minute ago 0.0.0.0:22222->22/tcp, 0.0.0.0:80->80/tcp root_gitlab_1Lássuk, mit fog generálni a systemd és a kubernetes számára, ehhez meg kell találnunk a pod nevét vagy azonosítóját:
# podman pod ls
POD ID NAME STATUS CREATED # OF CONTAINERS INFRA ID
71fc2b2a5c63 root Running 11 minutes ago 3 db40ab8bf84bKubernetes:
# podman generate kube 71fc2b2a5c63
# Generation of Kubernetes YAML is still under development!
#
# Save the output of this file and use kubectl create -f to import
# it into Kubernetes.
#
# Created with podman-1.6.4
apiVersion: v1
kind: Pod
metadata:
creationTimestamp: "2020-07-29T19:22:40Z"
labels:
app: root
name: root
spec:
containers:
- command:
- /assets/wrapper
env:
- name: PATH
value: /opt/gitlab/embedded/bin:/opt/gitlab/bin:/assets:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
- name: TERM
value: xterm
- name: HOSTNAME
value: gitlab.example.com
- name: container
value: podman
- name: GITLAB_OMNIBUS_CONFIG
value: |
gitlab_rails['gitlab_shell_ssh_port'] = 22222
- name: LANG
value: C.UTF-8
image: docker.io/gitlab/gitlab-ce:latest
name: rootgitlab1
ports:
- containerPort: 22
hostPort: 22222
protocol: TCP
- containerPort: 80
hostPort: 80
protocol: TCP
resources: {}
securityContext:
allowPrivilegeEscalation: true
capabilities: {}
privileged: false
readOnlyRootFilesystem: false
volumeMounts:
- mountPath: /var/opt/gitlab
name: srv-podman-gitlab-data
- mountPath: /var/log/gitlab
name: srv-podman-gitlab-logs
- mountPath: /etc/gitlab
name: srv-podman-gitlab-conf
workingDir: /
- command:
- run
- --user=gitlab-runner
- --working-directory=/home/gitlab-runner
env:
- name: PATH
value: /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
- name: TERM
value: xterm
- name: HOSTNAME
- name: container
value: podman
image: docker.io/gitlab/gitlab-runner:alpine
name: rootgitlab-runner1
resources: {}
securityContext:
allowPrivilegeEscalation: true
capabilities: {}
privileged: false
readOnlyRootFilesystem: false
volumeMounts:
- mountPath: /etc/gitlab-runner
name: srv-podman-gitlab-runner
- mountPath: /var/run/docker.sock
name: var-run-docker.sock
workingDir: /
volumes:
- hostPath:
path: /srv/podman/gitlab/runner
type: Directory
name: srv-podman-gitlab-runner
- hostPath:
path: /var/run/docker.sock
type: File
name: var-run-docker.sock
- hostPath:
path: /srv/podman/gitlab/data
type: Directory
name: srv-podman-gitlab-data
- hostPath:
path: /srv/podman/gitlab/logs
type: Directory
name: srv-podman-gitlab-logs
- hostPath:
path: /srv/podman/gitlab/conf
type: Directory
name: srv-podman-gitlab-conf
status: {}rendszerezett:
# podman generate systemd 71fc2b2a5c63
# pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
# autogenerated by Podman 1.6.4
# Thu Jul 29 15:23:28 EDT 2020
[Unit]
Description=Podman pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
Documentation=man:podman-generate-systemd(1)
Requires=container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
Before=container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
[Service]
Restart=on-failure
ExecStart=/usr/bin/podman start db40ab8bf84bf35141159c26cb6e256b889c7a98c0418eee3c4aa683c14fccaa
ExecStop=/usr/bin/podman stop -t 10 db40ab8bf84bf35141159c26cb6e256b889c7a98c0418eee3c4aa683c14fccaa
KillMode=none
Type=forking
PIDFile=/var/run/containers/storage/overlay-containers/db40ab8bf84bf35141159c26cb6e256b889c7a98c0418eee3c4aa683c14fccaa/userdata/conmon.pid
[Install]
WantedBy=multi-user.target
# container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
# autogenerated by Podman 1.6.4
# Thu Jul 29 15:23:28 EDT 2020
[Unit]
Description=Podman container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
Documentation=man:podman-generate-systemd(1)
RefuseManualStart=yes
RefuseManualStop=yes
BindsTo=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
After=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
[Service]
Restart=on-failure
ExecStart=/usr/bin/podman start da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864
ExecStop=/usr/bin/podman stop -t 10 da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864
KillMode=none
Type=forking
PIDFile=/var/run/containers/storage/overlay-containers/da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864/userdata/conmon.pid
[Install]
WantedBy=multi-user.target
# container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service
# autogenerated by Podman 1.6.4
# Thu Jul 29 15:23:28 EDT 2020
[Unit]
Description=Podman container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service
Documentation=man:podman-generate-systemd(1)
RefuseManualStart=yes
RefuseManualStop=yes
BindsTo=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
After=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
[Service]
Restart=on-failure
ExecStart=/usr/bin/podman start 781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3
ExecStop=/usr/bin/podman stop -t 10 781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3
KillMode=none
Type=forking
PIDFile=/var/run/containers/storage/overlay-containers/781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3/userdata/conmon.pid
[Install]
WantedBy=multi-user.targetSajnos a konténerek futtatásán kívül a systemd számára generált egység nem csinál mást (például egy ilyen szolgáltatás újraindításakor kitisztítja a régi konténereket), így ezeket Önnek kell hozzáadnia.
Elvileg elég a Podman kipróbálni, hogy mik azok a konténerek, áttölteni a régi konfigurációkat a docker-compose-hez, majd a Kubernetes felé menni, ha kell, klaszteren, vagy beszerezni egy könnyebben használható alternatívát a Dockerhez.
rkt
Terv körülbelül hat hónapja, mivel a RedHat megvette, ezért nem részletezem. Összességében nagyon jó benyomást tett, de a Dockerhez, és még inkább a Podmanhez képest kombájnnak tűnik. Az rkt-re épült CoreOS disztribúció is (bár eredetileg volt náluk Docker), de ez is megszűnt a RedHat vásárlás után.
Tócsa
Több , melynek szerzője éppen konténereket akart építeni és futtatni. A dokumentáció és a kód alapján a szerző nem követte a szabványokat, hanem egyszerűen úgy döntött, hogy megírja a saját megvalósítását, amit elvileg meg is tett.
Álláspontja
A Kubernetes helyzete nagyon érdekes: egyrészt a Dockerrel össze lehet rakni egy fürtöt (swarm módban), amivel akár termelési környezeteket is futtathatunk a kliensek számára, ez különösen igaz kis csapatokra (3-5 fő) ), vagy kis összterhelés esetén, vagy a vágy hiánya, hogy megértsék a Kubernetes beállításának bonyolultságát, beleértve a nagy terheléseket is.
A Podman nem biztosít teljes kompatibilitást, de van egy fontos előnye - a Kubernetes kompatibilitása, beleértve a további eszközöket (buildah és mások). Ezért a következőképpen közelítem meg a munkához szükséges eszköz kiválasztását: kis csapatoknak vagy korlátozott költségvetéssel - Docker (lehetséges raj móddal), saját fejlesztéshez személyes localhost-on - Podman elvtársak és mindenki más számára - Kubernetes.
Nem vagyok benne biztos, hogy a Docker helyzete nem fog változni a jövőben, elvégre ők úttörők, és lassan lépésről lépésre szabványosodnak is, de a Podman, annak minden hiányosságával együtt (csak Linuxon működik, nincs klaszterezés, összeszerelés és az egyéb cselekmények harmadik fél döntései) a jövő világosabb, ezért arra kérek mindenkit, hogy ezeket a megállapításokat kommentben vitassa meg.
PS Augusztus 3-án elindítjuk a "ahol többet megtudhat a munkájáról. Elemezzük minden eszközét: az alapvető absztrakcióktól a hálózati paraméterekig, a különféle operációs rendszerekkel és programozási nyelvekkel való munka árnyalataiig. Megismerheti a technológiát, és megértheti, hol és hogyan használja a legjobban a Dockert. Megosztjuk a legjobb gyakorlati eseteket is.
Előrendelési költség a megjelenés előtt: 5000 rubel. A "Docker Video Course" program megtalálható .
Forrás: will.com