TL;DR: Тойм нийтлэл - контейнер доторх програмуудыг ажиллуулах орчныг харьцуулах гарын авлага. Docker болон бусад ижил төстэй системүүдийн боломжуудыг авч үзэх болно.
Энэ бүхэн хаанаас ирсэн тухай бяцхан түүх
түүх
Програмыг тусгаарлах хамгийн сайн мэддэг арга бол chroot юм. Ижил нэртэй системийн дуудлага нь үндсэн директорт өөрчлөлт оруулах боломжийг олгодог - ингэснээр түүнийг дуудсан програмд хандах, зөвхөн энэ директор доторх файлуудад хандах боломжийг олгоно. Гэхдээ хэрэв програм дотор супер хэрэглэгчийн эрхийг өгсөн бол энэ нь chroot-оос "зугтаж" үндсэн үйлдлийн систем рүү нэвтрэх боломжтой болно. Түүнчлэн, үндсэн лавлахыг өөрчлөхөөс гадна бусад нөөцүүд (RAM, процессор), сүлжээнд нэвтрэх эрх хязгаарлагдахгүй.
Дараагийн арга бол үйлдлийн системийн цөмийн механизмуудыг ашиглан контейнер дотор бүрэн хэмжээний үйлдлийн системийг эхлүүлэх явдал юм. Энэ аргыг өөр өөр үйлдлийн системд өөр өөрөөр нэрлэдэг боловч мөн чанар нь ижил байдаг - хэд хэдэн бие даасан үйлдлийн системийг ажиллуулдаг бөгөөд тус бүр нь үндсэн үйлдлийн системийг ажиллуулдаг ижил цөм дээр ажилладаг. Үүнд FreeBSD Jails, Solaris Zones, OpenVZ болон Linux-д зориулсан LXC орно. Тусгаарлах нь зөвхөн дискний зайд төдийгүй бусад нөөцөд зориулагдсан байдаг, ялангуяа контейнер бүр процессорын хугацаа, RAM, сүлжээний зурвасын өргөнд хязгаарлалттай байж болно. Chroot-тэй харьцуулахад савыг орхих нь илүү хэцүү байдаг, учир нь чингэлэг дэх супер хэрэглэгч зөвхөн савны дотор талд хандах боломжтой боловч контейнер доторх үйлдлийн системийг шинэчилсэн байх шаардлагатай бөгөөд хуучин цөмийг ашиглах шаардлагатай байдаг. хувилбаруудад (Linux-д бага хэмжээгээр FreeBSD-д хамаатай) цөмийн тусгаарлах системийг эвдэж, үндсэн үйлдлийн систем рүү нэвтрэх магадлал XNUMX-ээс өөр байдаг.
Бүрэн хэмжээний үйлдлийн системийг контейнерт (эхлүүлэх систем, багц менежер гэх мэт) ажиллуулахын оронд програмуудыг нэн даруй эхлүүлэх боломжтой бөгөөд гол зүйл бол програмуудыг энэ боломжийг олгох явдал юм (шаардлагатай номын сан байгаа эсэх). бусад файлууд). Энэхүү санаа нь контейнержүүлсэн програмын виртуалчлалын үндэс суурь болсон бөгөөд түүний хамгийн алдартай, алдартай төлөөлөгч нь Докер юм. Өмнөх системүүдтэй харьцуулахад илүү уян хатан тусгаарлах механизмууд нь чингэлэг хоорондын виртуал сүлжээ, контейнер доторх програмын төлөв байдлыг хангах зэрэг нь олон тооны физик серверүүдээс контейнер ажиллуулахын тулд нэг цогц орчинг бий болгох боломжийг бий болгосон. нөөцийг гараар удирдах хэрэгцээ.
Docker
Docker бол хамгийн алдартай программыг хадгалах програм хангамж юм. Go хэл дээр бичигдсэн бөгөөд энэ нь Linux цөмийн ердийн боломжуудыг ашигладаг - бүлгүүд, нэрийн орон зай, боломжууд гэх мэт, түүнчлэн Aufs файлын систем болон бусад ижил төстэй дискний зайг хэмнэх.
Эх сурвалж: wikimedia
архитектур
1.11 хувилбараас өмнө Докер нь контейнертэй холбоотой бүх үйлдлүүдийг гүйцэтгэдэг нэг үйлчилгээ болж ажилладаг байсан: контейнерт зориулсан зураг татаж авах, контейнер ажиллуулах, API хүсэлтийг боловсруулах. 1.11 хувилбараас эхлэн Docker-ийг өөр хоорондоо харилцан үйлчилдэг хэд хэдэн хэсэгт хуваасан: контейнер, контейнерийн бүх амьдралын мөчлөгийг боловсруулах (дискний зай хуваарилах, зураг татаж авах, сүлжээтэй ажиллах, контейнерийн төлөвийг эхлүүлэх, суулгах, хянах) болон Linux цөмийн бүлгүүд болон бусад функцуудыг ашиглахад үндэслэсэн контейнер гүйцэтгэх орчин болох runC. Докерын үйлчилгээ нь өөрөө хэвээр байгаа боловч одоо зөвхөн контейнер руу орчуулсан API хүсэлтийг боловсруулахад үйлчилдэг.
Суулгалт ба тохиргоо
Докер суулгах хамгийн дуртай арга бол докер-машин бөгөөд энэ нь алсын серверүүд (түүний дотор янз бүрийн үүл орно) дээр докерыг шууд суулгаж, тохируулахаас гадна алсын серверүүдийн файлын системтэй ажиллах, мөн янз бүрийн тушаалуудыг ажиллуулах боломжтой болгодог.
Гэсэн хэдий ч 2018 оноос хойш уг төсөл бараг боловсруулагдаагүй байгаа тул бид үүнийг ихэнх Линукс түгээлтийн хувьд ердийн аргаар суулгах болно - репозитор нэмж, шаардлагатай багцуудыг суулгана.
Энэ аргыг мөн автоматжуулсан суурилуулалтанд ашигладаг, жишээлбэл, Ansible эсвэл бусад ижил төстэй системийг ашигладаг, гэхдээ би энэ нийтлэлд үүнийг авч үзэхгүй.
Суурилуулалт нь Centos 7 дээр хийгдэх бөгөөд би виртуал машиныг сервер болгон ашиглах болно, суулгахын тулд доорх командуудыг ажиллуулна уу.
# yum install -y yum-utils
# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# yum install docker-ce docker-ce-cli containerd.ioСуулгасны дараа та үйлчилгээг эхлүүлэх хэрэгтэй бөгөөд үүнийг автоматаар ачаалах хэрэгтэй.
# systemctl enable docker
# systemctl start docker
# firewall-cmd --zone=public --add-port=2377/tcp --permanentНэмж дурдахад, та docker-ийн бүлгийг үүсгэж болох бөгөөд түүний хэрэглэгчид docker-тэй sudo-гүйгээр ажиллах, бүртгэлийг тохируулах, API-д гаднаас хандах боломжийг идэвхжүүлэх, галт ханыг нарийн тохируулахаа бүү мартаарай (зөвшөөрөгдөөгүй бүх зүйл). Дээрх болон доорх жишээнүүдэд хориглосон - Би үүнийг энгийн, дүрслэн харуулах үүднээс орхисон), гэхдээ би энд илүү дэлгэрэнгүй ярихгүй.
Бусад боломжууд
Дээрх докерын машинаас гадна докерын бүртгэл, контейнерт зориулсан зураг хадгалах хэрэгсэл, мөн докер бичих хэрэгсэл байдаг - контейнерт програмуудыг байршуулахыг автоматжуулах хэрэгсэл, YAML файлуудыг контейнер барьж, тохируулахад ашигладаг. бусад холбогдох зүйлс (жишээлбэл, сүлжээ, өгөгдөл хадгалах байнгын файлын систем).
Үүнийг CICD-д дамжуулах хоолойг зохион байгуулахад ашиглаж болно. Өөр нэг сонирхолтой онцлог нь кластер горим гэж нэрлэгддэг (1.12 хувилбараас өмнө үүнийг docker swarm гэж нэрлэдэг байсан) кластер горимд ажилладаг бөгөөд энэ нь контейнер ажиллуулахын тулд хэд хэдэн серверээс нэг дэд бүтцийг цуглуулах боломжийг олгодог. Бүх серверүүд дээр виртуал сүлжээг дэмжих, ачааллын тэнцвэржүүлэгч, мөн контейнерийн нууцыг дэмжих үйлчилгээ байдаг.
Docker compose-ийн YAML файлуудыг бага зэргийн өөрчлөлттэй, ийм кластеруудад ашиглаж болох бөгөөд янз бүрийн зориулалтаар жижиг, дунд кластеруудын засвар үйлчилгээг бүрэн автоматжуулж болно. Том кластеруудын хувьд сүргийн горимын засвар үйлчилгээний зардал Кубернетесээс давж гарах тул Кубернетесийг илүүд үздэг. RunC-ээс гадна контейнеруудыг гүйцэтгэх орчин болгон суулгаж болно
Docker-тэй ажиллах
Суулгаж, тохируулсны дараа бид GitLab болон Docker Registry-г хөгжүүлэлтийн багт байршуулах кластер цуглуулахыг хичээх болно. Би гурван виртуал машиныг сервер болгон ашиглах бөгөөд дээр нь тараасан FS GlusterFS-ийг нэмж байршуулах болно; Би үүнийг докерын боть хадгалах газар болгон ашиглах болно, жишээлбэл, докер бүртгэлийн алдаатай хувилбарыг ажиллуулах. Ажиллуулах гол бүрэлдэхүүн хэсгүүд: Docker Registry, Postgresql, Redis, Swarm дээр GitLab Runner-ийн дэмжлэгтэй GitLab. Бид Postgresql-г кластертай ажиллуулна , тиймээс та Postgresql өгөгдлийг хадгалахын тулд GlusterFS ашиглах шаардлагагүй. Үлдсэн чухал өгөгдлийг GlusterFS дээр хадгалах болно.
GlusterFS-ийг бүх сервер дээр (тэдгээрийг node1, node2, node3 гэж нэрлэдэг) байрлуулахын тулд та багцуудыг суулгаж, галт ханыг идэвхжүүлж, шаардлагатай лавлахуудыг үүсгэх хэрэгтэй.
# yum -y install centos-release-gluster7
# yum -y install glusterfs-server
# systemctl enable glusterd
# systemctl start glusterd
# firewall-cmd --add-service=glusterfs --permanent
# firewall-cmd --reload
# mkdir -p /srv/gluster
# mkdir -p /srv/docker
# echo "$(hostname):/docker /srv/docker glusterfs defaults,_netdev 0 0" >> /etc/fstabСуулгасны дараа GlusterFS-ийг тохируулах ажлыг нэг зангилаанаас үргэлжлүүлэх ёстой, жишээ нь зангилаа1:
# gluster peer probe node2
# gluster peer probe node3
# gluster volume create docker replica 3 node1:/srv/gluster node2:/srv/gluster node3:/srv/gluster force
# gluster volume start dockerДараа нь та үүссэн эзлэхүүнийг холбох хэрэгтэй (командыг бүх сервер дээр ажиллуулах ёстой):
# mount /srv/dockerSwarm горимыг серверүүдийн аль нэгэнд тохируулсан бөгөөд энэ нь Leader байх болно, бусад нь кластерт нэгдэх шаардлагатай тул эхний сервер дээр тушаалыг ажиллуулсны үр дүнг бусад дээр хуулж, гүйцэтгэх шаардлагатай болно.
Анхны кластерын тохиргоонд би node1 дээр тушаалыг ажиллуулдаг:
# docker swarm init
Swarm initialized: current node (a5jpfrh5uvo7svzz1ajduokyq) is now a manager.
To add a worker to this swarm, run the following command:
docker swarm join --token SWMTKN-1-0c5mf7mvzc7o7vjk0wngno2dy70xs95tovfxbv4tqt9280toku-863hyosdlzvd76trfptd4xnzd xx.xx.xx.xx:2377
To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.
# docker swarm join-token managerХоёрдахь тушаалын үр дүнг хуулж, node2 болон node3 дээр гүйцэтгэнэ:
# docker swarm join --token SWMTKN-x-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx-xxxxxxxxx xx.xx.xx.xx:2377
This node joined a swarm as a manager.Энэ үед серверүүдийн урьдчилсан тохиргоо дуусч, үйлчилгээгээ тохируулж эхэлцгээе, өөрөөр заагаагүй бол гүйцэтгэх командууд зангилаа 1-ээс эхлэх болно.
Юуны өмнө контейнерт зориулсан сүлжээг бий болгоё:
# docker network create --driver=overlay etcd
# docker network create --driver=overlay pgsql
# docker network create --driver=overlay redis
# docker network create --driver=overlay traefik
# docker network create --driver=overlay gitlabДараа нь бид серверүүдийг тэмдэглэж, зарим үйлчилгээг серверт холбоход шаардлагатай болно:
# docker node update --label-add nodename=node1 node1
# docker node update --label-add nodename=node2 node2
# docker node update --label-add nodename=node3 node3Дараа нь бид Traefik болон Stolon-д хэрэгтэй KV санах ой болох etcd өгөгдлийг хадгалах сангуудыг үүсгэдэг. Postgresql-тэй адил эдгээр нь серверт холбогдсон контейнерууд байх тул бид бүх сервер дээр энэ тушаалыг гүйцэтгэдэг:
# mkdir -p /srv/etcdДараа нь etcd-г тохируулахын тулд файл үүсгээд хэрэглээрэй:
00etcd.yml
version: '3.7'
services:
etcd1:
image: quay.io/coreos/etcd:latest
hostname: etcd1
command:
- etcd
- --name=etcd1
- --data-dir=/data.etcd
- --advertise-client-urls=http://etcd1:2379
- --listen-client-urls=http://0.0.0.0:2379
- --initial-advertise-peer-urls=http://etcd1:2380
- --listen-peer-urls=http://0.0.0.0:2380
- --initial-cluster=etcd1=http://etcd1:2380,etcd2=http://etcd2:2380,etcd3=http://etcd3:2380
- --initial-cluster-state=new
- --initial-cluster-token=etcd-cluster
networks:
- etcd
volumes:
- etcd1vol:/data.etcd
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node1]
etcd2:
image: quay.io/coreos/etcd:latest
hostname: etcd2
command:
- etcd
- --name=etcd2
- --data-dir=/data.etcd
- --advertise-client-urls=http://etcd2:2379
- --listen-client-urls=http://0.0.0.0:2379
- --initial-advertise-peer-urls=http://etcd2:2380
- --listen-peer-urls=http://0.0.0.0:2380
- --initial-cluster=etcd1=http://etcd1:2380,etcd2=http://etcd2:2380,etcd3=http://etcd3:2380
- --initial-cluster-state=new
- --initial-cluster-token=etcd-cluster
networks:
- etcd
volumes:
- etcd2vol:/data.etcd
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node2]
etcd3:
image: quay.io/coreos/etcd:latest
hostname: etcd3
command:
- etcd
- --name=etcd3
- --data-dir=/data.etcd
- --advertise-client-urls=http://etcd3:2379
- --listen-client-urls=http://0.0.0.0:2379
- --initial-advertise-peer-urls=http://etcd3:2380
- --listen-peer-urls=http://0.0.0.0:2380
- --initial-cluster=etcd1=http://etcd1:2380,etcd2=http://etcd2:2380,etcd3=http://etcd3:2380
- --initial-cluster-state=new
- --initial-cluster-token=etcd-cluster
networks:
- etcd
volumes:
- etcd3vol:/data.etcd
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node3]
volumes:
etcd1vol:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/etcd"
etcd2vol:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/etcd"
etcd3vol:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/etcd"
networks:
etcd:
external: true# docker stack deploy --compose-file 00etcd.yml etcdХэсэг хугацааны дараа бид etcd кластер өссөн эсэхийг шалгана:
# docker exec $(docker ps | awk '/etcd/ {print $1}') etcdctl member list
ade526d28b1f92f7: name=etcd1 peerURLs=http://etcd1:2380 clientURLs=http://etcd1:2379 isLeader=false
bd388e7810915853: name=etcd3 peerURLs=http://etcd3:2380 clientURLs=http://etcd3:2379 isLeader=false
d282ac2ce600c1ce: name=etcd2 peerURLs=http://etcd2:2380 clientURLs=http://etcd2:2379 isLeader=true
# docker exec $(docker ps | awk '/etcd/ {print $1}') etcdctl cluster-health
member ade526d28b1f92f7 is healthy: got healthy result from http://etcd1:2379
member bd388e7810915853 is healthy: got healthy result from http://etcd3:2379
member d282ac2ce600c1ce is healthy: got healthy result from http://etcd2:2379
cluster is healthyPostgresql-д зориулсан лавлахуудыг үүсгэж, бүх сервер дээр тушаалыг гүйцэтгэнэ:
# mkdir -p /srv/pgsqlДараа нь Postgresql-г тохируулах файл үүсгэ:
01pgsql.yml
version: '3.7'
services:
pgsentinel:
image: sorintlab/stolon:master-pg10
command:
- gosu
- stolon
- stolon-sentinel
- --cluster-name=stolon-cluster
- --store-backend=etcdv3
- --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
- --log-level=debug
networks:
- etcd
- pgsql
deploy:
replicas: 3
update_config:
parallelism: 1
delay: 30s
order: stop-first
failure_action: pause
pgkeeper1:
image: sorintlab/stolon:master-pg10
hostname: pgkeeper1
command:
- gosu
- stolon
- stolon-keeper
- --pg-listen-address=pgkeeper1
- --pg-repl-username=replica
- --uid=pgkeeper1
- --pg-su-username=postgres
- --pg-su-passwordfile=/run/secrets/pgsql
- --pg-repl-passwordfile=/run/secrets/pgsql_repl
- --data-dir=/var/lib/postgresql/data
- --cluster-name=stolon-cluster
- --store-backend=etcdv3
- --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
networks:
- etcd
- pgsql
environment:
- PGDATA=/var/lib/postgresql/data
volumes:
- pgkeeper1:/var/lib/postgresql/data
secrets:
- pgsql
- pgsql_repl
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node1]
pgkeeper2:
image: sorintlab/stolon:master-pg10
hostname: pgkeeper2
command:
- gosu
- stolon
- stolon-keeper
- --pg-listen-address=pgkeeper2
- --pg-repl-username=replica
- --uid=pgkeeper2
- --pg-su-username=postgres
- --pg-su-passwordfile=/run/secrets/pgsql
- --pg-repl-passwordfile=/run/secrets/pgsql_repl
- --data-dir=/var/lib/postgresql/data
- --cluster-name=stolon-cluster
- --store-backend=etcdv3
- --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
networks:
- etcd
- pgsql
environment:
- PGDATA=/var/lib/postgresql/data
volumes:
- pgkeeper2:/var/lib/postgresql/data
secrets:
- pgsql
- pgsql_repl
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node2]
pgkeeper3:
image: sorintlab/stolon:master-pg10
hostname: pgkeeper3
command:
- gosu
- stolon
- stolon-keeper
- --pg-listen-address=pgkeeper3
- --pg-repl-username=replica
- --uid=pgkeeper3
- --pg-su-username=postgres
- --pg-su-passwordfile=/run/secrets/pgsql
- --pg-repl-passwordfile=/run/secrets/pgsql_repl
- --data-dir=/var/lib/postgresql/data
- --cluster-name=stolon-cluster
- --store-backend=etcdv3
- --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
networks:
- etcd
- pgsql
environment:
- PGDATA=/var/lib/postgresql/data
volumes:
- pgkeeper3:/var/lib/postgresql/data
secrets:
- pgsql
- pgsql_repl
deploy:
replicas: 1
placement:
constraints: [node.labels.nodename == node3]
postgresql:
image: sorintlab/stolon:master-pg10
command: gosu stolon stolon-proxy --listen-address 0.0.0.0 --cluster-name stolon-cluster --store-backend=etcdv3 --store-endpoints http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
networks:
- etcd
- pgsql
deploy:
replicas: 3
update_config:
parallelism: 1
delay: 30s
order: stop-first
failure_action: rollback
volumes:
pgkeeper1:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/pgsql"
pgkeeper2:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/pgsql"
pgkeeper3:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/pgsql"
secrets:
pgsql:
file: "/srv/docker/postgres"
pgsql_repl:
file: "/srv/docker/replica"
networks:
etcd:
external: true
pgsql:
external: trueБид нууцыг үүсгэж, файлыг ашиглана:
# </dev/urandom tr -dc 234567890qwertyuopasdfghjkzxcvbnmQWERTYUPASDFGHKLZXCVBNM | head -c $(((RANDOM%3)+15)) > /srv/docker/replica
# </dev/urandom tr -dc 234567890qwertyuopasdfghjkzxcvbnmQWERTYUPASDFGHKLZXCVBNM | head -c $(((RANDOM%3)+15)) > /srv/docker/postgres
# docker stack deploy --compose-file 01pgsql.yml pgsqlХэсэг хугацааны дараа (командын гаралтыг харна уу docker service lsбүх үйлчилгээ нэмэгдсэн) Postgresql кластерийг эхлүүлнэ үү:
# docker exec $(docker ps | awk '/pgkeeper/ {print $1}') stolonctl --cluster-name=stolon-cluster --store-backend=etcdv3 --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379 initPostgresql кластерын бэлэн байдлыг шалгаж байна:
# docker exec $(docker ps | awk '/pgkeeper/ {print $1}') stolonctl --cluster-name=stolon-cluster --store-backend=etcdv3 --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379 status
=== Active sentinels ===
ID LEADER
26baa11d false
74e98768 false
a8cb002b true
=== Active proxies ===
ID
4d233826
9f562f3b
b0c79ff1
=== Keepers ===
UID HEALTHY PG LISTENADDRESS PG HEALTHY PG WANTEDGENERATION PG CURRENTGENERATION
pgkeeper1 true pgkeeper1:5432 true 2 2
pgkeeper2 true pgkeeper2:5432 true 2 2
pgkeeper3 true pgkeeper3:5432 true 3 3
=== Cluster Info ===
Master Keeper: pgkeeper3
===== Keepers/DB tree =====
pgkeeper3 (master)
├─pgkeeper2
└─pgkeeper1
Бид гаднаас контейнерт хандах хандалтыг нээхийн тулд traefik-ийг тохируулна:
03traefik.yml
version: '3.7'
services:
traefik:
image: traefik:latest
command: >
--log.level=INFO
--providers.docker=true
--entryPoints.web.address=:80
--providers.providersThrottleDuration=2
--providers.docker.watch=true
--providers.docker.swarmMode=true
--providers.docker.swarmModeRefreshSeconds=15s
--providers.docker.exposedbydefault=false
--accessLog.bufferingSize=0
--api=true
--api.dashboard=true
--api.insecure=true
networks:
- traefik
ports:
- 80:80
volumes:
- /var/run/docker.sock:/var/run/docker.sock
deploy:
replicas: 3
placement:
constraints:
- node.role == manager
preferences:
- spread: node.id
labels:
- traefik.enable=true
- traefik.http.routers.traefik.rule=Host(`traefik.example.com`)
- traefik.http.services.traefik.loadbalancer.server.port=8080
- traefik.docker.network=traefik
networks:
traefik:
external: true# docker stack deploy --compose-file 03traefik.yml traefikБид Redis Cluster-ийг эхлүүлж, үүний тулд бид бүх зангилаанууд дээр хадгалах санг үүсгэдэг.
# mkdir -p /srv/redis05redis.yml
version: '3.7'
services:
redis-master:
image: 'bitnami/redis:latest'
networks:
- redis
ports:
- '6379:6379'
environment:
- REDIS_REPLICATION_MODE=master
- REDIS_PASSWORD=xxxxxxxxxxx
deploy:
mode: global
restart_policy:
condition: any
volumes:
- 'redis:/opt/bitnami/redis/etc/'
redis-replica:
image: 'bitnami/redis:latest'
networks:
- redis
ports:
- '6379'
depends_on:
- redis-master
environment:
- REDIS_REPLICATION_MODE=slave
- REDIS_MASTER_HOST=redis-master
- REDIS_MASTER_PORT_NUMBER=6379
- REDIS_MASTER_PASSWORD=xxxxxxxxxxx
- REDIS_PASSWORD=xxxxxxxxxxx
deploy:
mode: replicated
replicas: 3
update_config:
parallelism: 1
delay: 10s
restart_policy:
condition: any
redis-sentinel:
image: 'bitnami/redis:latest'
networks:
- redis
ports:
- '16379'
depends_on:
- redis-master
- redis-replica
entrypoint: |
bash -c 'bash -s <<EOF
"/bin/bash" -c "cat <<EOF > /opt/bitnami/redis/etc/sentinel.conf
port 16379
dir /tmp
sentinel monitor master-node redis-master 6379 2
sentinel down-after-milliseconds master-node 5000
sentinel parallel-syncs master-node 1
sentinel failover-timeout master-node 5000
sentinel auth-pass master-node xxxxxxxxxxx
sentinel announce-ip redis-sentinel
sentinel announce-port 16379
EOF"
"/bin/bash" -c "redis-sentinel /opt/bitnami/redis/etc/sentinel.conf"
EOF'
deploy:
mode: global
restart_policy:
condition: any
volumes:
redis:
driver: local
driver_opts:
type: 'none'
o: 'bind'
device: "/srv/redis"
networks:
redis:
external: true# docker stack deploy --compose-file 05redis.yml redisDocker Registry нэмэх:
06registry.yml
version: '3.7'
services:
registry:
image: registry:2.6
networks:
- traefik
volumes:
- registry_data:/var/lib/registry
deploy:
replicas: 1
placement:
constraints: [node.role == manager]
restart_policy:
condition: on-failure
labels:
- traefik.enable=true
- traefik.http.routers.registry.rule=Host(`registry.example.com`)
- traefik.http.services.registry.loadbalancer.server.port=5000
- traefik.docker.network=traefik
volumes:
registry_data:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/docker/registry"
networks:
traefik:
external: true# mkdir /srv/docker/registry
# docker stack deploy --compose-file 06registry.yml registryЭцэст нь - GitLab:
08gitlab-runner.yml
version: '3.7'
services:
gitlab:
image: gitlab/gitlab-ce:latest
networks:
- pgsql
- redis
- traefik
- gitlab
ports:
- 22222:22
environment:
GITLAB_OMNIBUS_CONFIG: |
postgresql['enable'] = false
redis['enable'] = false
gitlab_rails['registry_enabled'] = false
gitlab_rails['db_username'] = "gitlab"
gitlab_rails['db_password'] = "XXXXXXXXXXX"
gitlab_rails['db_host'] = "postgresql"
gitlab_rails['db_port'] = "5432"
gitlab_rails['db_database'] = "gitlab"
gitlab_rails['db_adapter'] = 'postgresql'
gitlab_rails['db_encoding'] = 'utf8'
gitlab_rails['redis_host'] = 'redis-master'
gitlab_rails['redis_port'] = '6379'
gitlab_rails['redis_password'] = 'xxxxxxxxxxx'
gitlab_rails['smtp_enable'] = true
gitlab_rails['smtp_address'] = "smtp.yandex.ru"
gitlab_rails['smtp_port'] = 465
gitlab_rails['smtp_user_name'] = "[email protected]"
gitlab_rails['smtp_password'] = "xxxxxxxxx"
gitlab_rails['smtp_domain'] = "example.com"
gitlab_rails['gitlab_email_from'] = '[email protected]'
gitlab_rails['smtp_authentication'] = "login"
gitlab_rails['smtp_tls'] = true
gitlab_rails['smtp_enable_starttls_auto'] = true
gitlab_rails['smtp_openssl_verify_mode'] = 'peer'
external_url 'http://gitlab.example.com/'
gitlab_rails['gitlab_shell_ssh_port'] = 22222
volumes:
- gitlab_conf:/etc/gitlab
- gitlab_logs:/var/log/gitlab
- gitlab_data:/var/opt/gitlab
deploy:
mode: replicated
replicas: 1
placement:
constraints:
- node.role == manager
labels:
- traefik.enable=true
- traefik.http.routers.gitlab.rule=Host(`gitlab.example.com`)
- traefik.http.services.gitlab.loadbalancer.server.port=80
- traefik.docker.network=traefik
gitlab-runner:
image: gitlab/gitlab-runner:latest
networks:
- gitlab
volumes:
- gitlab_runner_conf:/etc/gitlab
- /var/run/docker.sock:/var/run/docker.sock
deploy:
mode: replicated
replicas: 1
placement:
constraints:
- node.role == manager
volumes:
gitlab_conf:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/docker/gitlab/conf"
gitlab_logs:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/docker/gitlab/logs"
gitlab_data:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/docker/gitlab/data"
gitlab_runner_conf:
driver: local
driver_opts:
type: none
o: bind
device: "/srv/docker/gitlab/runner"
networks:
pgsql:
external: true
redis:
external: true
traefik:
external: true
gitlab:
external: true# mkdir -p /srv/docker/gitlab/conf
# mkdir -p /srv/docker/gitlab/logs
# mkdir -p /srv/docker/gitlab/data
# mkdir -p /srv/docker/gitlab/runner
# docker stack deploy --compose-file 08gitlab-runner.yml gitlabКластер болон үйлчилгээний эцсийн төлөв:
# docker service ls
ID NAME MODE REPLICAS IMAGE PORTS
lef9n3m92buq etcd_etcd1 replicated 1/1 quay.io/coreos/etcd:latest
ij6uyyo792x5 etcd_etcd2 replicated 1/1 quay.io/coreos/etcd:latest
fqttqpjgp6pp etcd_etcd3 replicated 1/1 quay.io/coreos/etcd:latest
hq5iyga28w33 gitlab_gitlab replicated 1/1 gitlab/gitlab-ce:latest *:22222->22/tcp
dt7s6vs0q4qc gitlab_gitlab-runner replicated 1/1 gitlab/gitlab-runner:latest
k7uoezno0h9n pgsql_pgkeeper1 replicated 1/1 sorintlab/stolon:master-pg10
cnrwul4r4nse pgsql_pgkeeper2 replicated 1/1 sorintlab/stolon:master-pg10
frflfnpty7tr pgsql_pgkeeper3 replicated 1/1 sorintlab/stolon:master-pg10
x7pqqchi52kq pgsql_pgsentinel replicated 3/3 sorintlab/stolon:master-pg10
mwu2wl8fti4r pgsql_postgresql replicated 3/3 sorintlab/stolon:master-pg10
9hkbe2vksbzb redis_redis-master global 3/3 bitnami/redis:latest *:6379->6379/tcp
l88zn8cla7dc redis_redis-replica replicated 3/3 bitnami/redis:latest *:30003->6379/tcp
1utp309xfmsy redis_redis-sentinel global 3/3 bitnami/redis:latest *:30002->16379/tcp
oteb824ylhyp registry_registry replicated 1/1 registry:2.6
qovrah8nzzu8 traefik_traefik replicated 3/3 traefik:latest *:80->80/tcp, *:443->443/tcpӨөр юу сайжруулж болох вэ? Traefik-г https контейнертэй ажиллахаар тохируулах, Postgresql болон Redis-д tls шифрлэлт нэмэхээ мартуузай. Гэхдээ ерөнхийдөө та үүнийг хөгжүүлэгчдэд PoC болгон өгч болно. Одоо Docker-ийн өөр хувилбаруудыг харцгаая.
Подман
Өөр нэг алдартай хөдөлгүүр нь савнуудаар бүлэглэсэн савыг ажиллуулахад зориулагдсан (хоол, савны бүлэг). Docker-ээс ялгаатай нь энэ нь контейнер ажиллуулахын тулд ямар ч үйлчилгээ шаарддаггүй бөгөөд бүх ажлыг libpod номын сангаар гүйцэтгэдэг. Мөн Go-д бичигдсэн, runC гэх мэт контейнеруудыг ажиллуулахын тулд OCI-д нийцсэн ажиллах цаг хэрэгтэй.
Podman-тай ажиллах нь ерөнхийдөө Docker-тэй төстэй бөгөөд ингэснээр та үүнийг хийж чадна (үүнийг туршиж үзсэн олон хүмүүс, түүний дотор энэ нийтлэлийн зохиогчийн нэхэмжлэлийн дагуу):
$ alias docker=podmanмөн та үргэлжлүүлэн ажиллах боломжтой. Ерөнхийдөө Подмантай холбоотой нөхцөл байдал маш сонирхолтой юм, учир нь Кубернетесийн анхны хувилбарууд Docker-тэй ажиллаж байсан бол ойролцоогоор 2015 оноос хойш контейнерийн ертөнцийг (OCI - Open Container Initiative) стандартчилж, Docker-ыг контейнер, runC болгон хуваасны дараа өөр хувилбар юм. Docker-г Kubernetes: CRI-O дээр ажиллуулахаар боловсруулж байна. Үүнтэй холбогдуулан Podman нь Кубернетесийн зарчмаар бүтээгдсэн Docker-ийн өөр хувилбар бөгөөд контейнерын бүлэглэлийг багтаасан боловч төслийн гол зорилго нь нэмэлт үйлчилгээгүйгээр Докер маягийн контейнеруудыг ажиллуулах явдал юм. Тодорхой шалтгааны улмаас сүргийн горим байхгүй, учир нь хөгжүүлэгчид хэрэв танд кластер хэрэгтэй бол Kubernetes-ийг аваарай гэж тодорхой хэлдэг.
тохиргоо
Centos 7 дээр суулгахын тулд "Extras repository"-г идэвхжүүлээд дараа нь бүх зүйлийг дараах тушаалаар суулгана уу.
# yum -y install podmanБусад боломжууд
Podman нь systemd-д зориулсан нэгжүүдийг үүсгэж чаддаг тул серверийг дахин ачаалсны дараа контейнеруудыг эхлүүлэх асуудлыг шийддэг. Нэмж дурдахад, systemd нь чингэлэг дэх pid 1 хэлбэрээр зөв ажиллаж байгааг зарласан. Контейнер барихын тулд тусдаа бүтээх хэрэгсэл байдаг, мөн гуравдагч талын хэрэгслүүд байдаг - docker-compose-ийн аналогууд нь Kubernetes-тэй нийцтэй тохиргооны файлуудыг үүсгэдэг тул Podman-аас Kubernetes руу шилжих нь аль болох хялбар юм.
Подмантай хамтран ажиллаж байна
Сүрлэг горим байхгүй тул (хэрэв кластер шаардлагатай бол Кубернетес рүү шилжих ёстой) бид үүнийг тусдаа саванд угсарна.
podman-compose програмыг суулгана уу:
# yum -y install python3-pip
# pip3 install podman-composeҮүссэн podman-ийн тохиргооны файл нь арай өөр тул жишээлбэл, бид тусдаа боть хэсгийг үйлчилгээтэй хэсэг рүү шууд шилжүүлэх шаардлагатай болсон.
gitlab-podman.yml
version: '3.7'
services:
gitlab:
image: gitlab/gitlab-ce:latest
hostname: gitlab.example.com
restart: unless-stopped
environment:
GITLAB_OMNIBUS_CONFIG: |
gitlab_rails['gitlab_shell_ssh_port'] = 22222
ports:
- "80:80"
- "22222:22"
volumes:
- /srv/podman/gitlab/conf:/etc/gitlab
- /srv/podman/gitlab/data:/var/opt/gitlab
- /srv/podman/gitlab/logs:/var/log/gitlab
networks:
- gitlab
gitlab-runner:
image: gitlab/gitlab-runner:alpine
restart: unless-stopped
depends_on:
- gitlab
volumes:
- /srv/podman/gitlab/runner:/etc/gitlab-runner
- /var/run/docker.sock:/var/run/docker.sock
networks:
- gitlab
networks:
gitlab:# podman-compose -f gitlab-runner.yml -d upАжлын үр дүн:
# podman ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
da53da946c01 docker.io/gitlab/gitlab-runner:alpine run --user=gitlab... About a minute ago Up About a minute ago 0.0.0.0:22222->22/tcp, 0.0.0.0:80->80/tcp root_gitlab-runner_1
781c0103c94a docker.io/gitlab/gitlab-ce:latest /assets/wrapper About a minute ago Up About a minute ago 0.0.0.0:22222->22/tcp, 0.0.0.0:80->80/tcp root_gitlab_1Энэ нь systemd болон kubernetes-д юу үүсгэхийг харцгаая, үүний тулд бид подын нэр эсвэл ID-г олж мэдэх хэрэгтэй.
# podman pod ls
POD ID NAME STATUS CREATED # OF CONTAINERS INFRA ID
71fc2b2a5c63 root Running 11 minutes ago 3 db40ab8bf84bКубернетес:
# podman generate kube 71fc2b2a5c63
# Generation of Kubernetes YAML is still under development!
#
# Save the output of this file and use kubectl create -f to import
# it into Kubernetes.
#
# Created with podman-1.6.4
apiVersion: v1
kind: Pod
metadata:
creationTimestamp: "2020-07-29T19:22:40Z"
labels:
app: root
name: root
spec:
containers:
- command:
- /assets/wrapper
env:
- name: PATH
value: /opt/gitlab/embedded/bin:/opt/gitlab/bin:/assets:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
- name: TERM
value: xterm
- name: HOSTNAME
value: gitlab.example.com
- name: container
value: podman
- name: GITLAB_OMNIBUS_CONFIG
value: |
gitlab_rails['gitlab_shell_ssh_port'] = 22222
- name: LANG
value: C.UTF-8
image: docker.io/gitlab/gitlab-ce:latest
name: rootgitlab1
ports:
- containerPort: 22
hostPort: 22222
protocol: TCP
- containerPort: 80
hostPort: 80
protocol: TCP
resources: {}
securityContext:
allowPrivilegeEscalation: true
capabilities: {}
privileged: false
readOnlyRootFilesystem: false
volumeMounts:
- mountPath: /var/opt/gitlab
name: srv-podman-gitlab-data
- mountPath: /var/log/gitlab
name: srv-podman-gitlab-logs
- mountPath: /etc/gitlab
name: srv-podman-gitlab-conf
workingDir: /
- command:
- run
- --user=gitlab-runner
- --working-directory=/home/gitlab-runner
env:
- name: PATH
value: /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
- name: TERM
value: xterm
- name: HOSTNAME
- name: container
value: podman
image: docker.io/gitlab/gitlab-runner:alpine
name: rootgitlab-runner1
resources: {}
securityContext:
allowPrivilegeEscalation: true
capabilities: {}
privileged: false
readOnlyRootFilesystem: false
volumeMounts:
- mountPath: /etc/gitlab-runner
name: srv-podman-gitlab-runner
- mountPath: /var/run/docker.sock
name: var-run-docker.sock
workingDir: /
volumes:
- hostPath:
path: /srv/podman/gitlab/runner
type: Directory
name: srv-podman-gitlab-runner
- hostPath:
path: /var/run/docker.sock
type: File
name: var-run-docker.sock
- hostPath:
path: /srv/podman/gitlab/data
type: Directory
name: srv-podman-gitlab-data
- hostPath:
path: /srv/podman/gitlab/logs
type: Directory
name: srv-podman-gitlab-logs
- hostPath:
path: /srv/podman/gitlab/conf
type: Directory
name: srv-podman-gitlab-conf
status: {}Системд:
# podman generate systemd 71fc2b2a5c63
# pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
# autogenerated by Podman 1.6.4
# Thu Jul 29 15:23:28 EDT 2020
[Unit]
Description=Podman pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
Documentation=man:podman-generate-systemd(1)
Requires=container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
Before=container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
[Service]
Restart=on-failure
ExecStart=/usr/bin/podman start db40ab8bf84bf35141159c26cb6e256b889c7a98c0418eee3c4aa683c14fccaa
ExecStop=/usr/bin/podman stop -t 10 db40ab8bf84bf35141159c26cb6e256b889c7a98c0418eee3c4aa683c14fccaa
KillMode=none
Type=forking
PIDFile=/var/run/containers/storage/overlay-containers/db40ab8bf84bf35141159c26cb6e256b889c7a98c0418eee3c4aa683c14fccaa/userdata/conmon.pid
[Install]
WantedBy=multi-user.target
# container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
# autogenerated by Podman 1.6.4
# Thu Jul 29 15:23:28 EDT 2020
[Unit]
Description=Podman container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
Documentation=man:podman-generate-systemd(1)
RefuseManualStart=yes
RefuseManualStop=yes
BindsTo=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
After=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
[Service]
Restart=on-failure
ExecStart=/usr/bin/podman start da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864
ExecStop=/usr/bin/podman stop -t 10 da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864
KillMode=none
Type=forking
PIDFile=/var/run/containers/storage/overlay-containers/da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864/userdata/conmon.pid
[Install]
WantedBy=multi-user.target
# container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service
# autogenerated by Podman 1.6.4
# Thu Jul 29 15:23:28 EDT 2020
[Unit]
Description=Podman container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service
Documentation=man:podman-generate-systemd(1)
RefuseManualStart=yes
RefuseManualStop=yes
BindsTo=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
After=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
[Service]
Restart=on-failure
ExecStart=/usr/bin/podman start 781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3
ExecStop=/usr/bin/podman stop -t 10 781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3
KillMode=none
Type=forking
PIDFile=/var/run/containers/storage/overlay-containers/781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3/userdata/conmon.pid
[Install]
WantedBy=multi-user.targetХарамсалтай нь, системд зориулж үүсгэсэн нэгж нь контейнеруудыг ажиллуулахаас гадна өөр юу ч хийхгүй (жишээлбэл, ийм үйлчилгээг дахин эхлүүлэх үед хуучин савыг цэвэрлэх), тиймээс та өөрөө ийм зүйлийг нэмэх хэрэгтэй болно.
Зарчмын хувьд Podman нь контейнер гэж юу болохыг туршиж үзэх, docker-compose-д зориулж хуучин тохиргоог шилжүүлэх, дараа нь Кубернетес рүү шаардлагатай бол кластер дээр очих эсвэл Docker-ийн ашиглахад хялбар хувилбарыг авахад хангалттай.
rtt
Төсөл зургаан сарын өмнө RedHat үүнийг худалдаж авсан тул би энэ талаар дэлгэрэнгүй ярихгүй. Ерөнхийдөө энэ нь маш сайхан сэтгэгдэл үлдээсэн боловч Docker-тэй харьцуулахад, тэр ч байтугай Подмантай харьцуулахад комбайн шиг харагдаж байна. Мөн rkt дээр бүтээгдсэн CoreOS түгээлт байсан (хэдийгээр тэд анх Docker-тэй байсан), гэхдээ RedHat-ийг худалдаж авсны дараа энэ нь дууссан.
Плэш
Дэлгэрэнгүй , зохиогч нь зүгээр л контейнер барьж, ажиллуулахыг хүссэн. Баримт бичиг, кодын дагуу зохиогч нь стандартыг дагаж мөрдөөгүй, харин өөрийн хэрэгжилтийг бичихээр шийдсэн бөгөөд үүнийг зарчмын хувьд хийсэн.
үр дүн нь
Кубернетестэй холбоотой нөхцөл байдал маш сонирхолтой байна: нэг талаас Docker-ийн тусламжтайгаар та кластер (сүрлэг горимд) угсарч, үйлчлүүлэгчдэд зориулсан үйлдвэрлэлийн орчинг ажиллуулж болно, энэ нь ялангуяа жижиг багуудад (3-5 хүн) үнэн юм. ), эсвэл бага хэмжээний ачаалалтай, эсвэл Kubernetes-ийг тохируулах нарийн төвөгтэй байдлыг ойлгох хүсэлгүй байх, түүний дотор өндөр ачаалалтай.
Podman нь бүрэн нийцтэй байдлыг хангадаггүй ч нэг чухал давуу талтай - Kubernetes-тэй нийцтэй байх, үүнд нэмэлт хэрэгсэл (buildah болон бусад). Тиймээс би ажлын хэрэгслийг сонгохдоо дараахь байдлаар хандах болно: жижиг баг эсвэл хязгаарлагдмал төсөвтэй - Docker (боломжтой сүрэг горимтой), хувийн локал хост дээр өөрийгөө хөгжүүлэх - Подман нөхдүүд болон бусад бүх хүмүүст зориулсан. - Кубернетес.
Ирээдүйд Docker-ийн нөхцөл байдал өөрчлөгдөхгүй гэдэгт би итгэлгүй байна, эцсийн эцэст тэд анхдагчид бөгөөд аажмаар аажмаар стандартчилж байгаа боловч Подман бүх дутагдалтай талуудтай (зөвхөн Линукс дээр ажилладаг, кластер, угсралт байхгүй) болон бусад үйлдлүүд нь гуравдагч этгээдийн шийдвэр) ирээдүй илүү тодорхой байгаа тул би хүн бүрийг эдгээр дүгнэлтийг тайлбар дээр хэлэлцэхийг урьж байна.
PS 3-р сарын XNUMX-нд бид "Та түүний ажлын талаар илүү ихийг мэдэх боломжтой. Бид түүний бүх хэрэгслийг шинжлэх болно: үндсэн хийсвэрлэлээс эхлээд сүлжээний параметрүүд, янз бүрийн үйлдлийн системүүд, програмчлалын хэлтэй ажиллах нюансууд. Та технологитой танилцаж, Docker-ийг хаана, хэрхэн ашиглахыг ойлгох болно. Бид мөн шилдэг туршлагын тохиолдлуудыг хуваалцах болно.
Гарахаас өмнө урьдчилсан захиалгын үнэ: 5000 рубль. "Docker Video Course" програмыг олж болно .
Эх сурвалж: www.habr.com