🥇 דוקר והכל, הכל, הכל

TL;DR: מאמר סקירה - מדריך להשוואת סביבות להפעלת יישומים בקונטיינרים. האפשרויות של Docker ומערכות דומות אחרות ייחשבו.

קצת היסטוריה מאיפה הכל הגיע

כתבה

הדרך הידועה הראשונה לבודד אפליקציה היא chroot. קריאת המערכת באותו שם מספקת שינוי לספריית השורש - ובכך מספקת גישה לתוכנית שקראה לה, גישה רק לקבצים בתוך ספרייה זו. אבל אם לתוכנית ניתנות זכויות משתמש-על בפנים, היא עשויה "לברוח" מה-chroot ולקבל גישה למערכת ההפעלה הראשית. כמו כן, בנוסף לשינוי ספריית השורש, משאבים אחרים (RAM, מעבד), כמו גם גישה לרשת, אינם מוגבלים.

הדרך הבאה היא להפעיל מערכת הפעלה מלאה בתוך הקונטיינר, תוך שימוש במנגנונים של ליבת מערכת ההפעלה. שיטה זו נקראת אחרת במערכות הפעלה שונות, אך המהות זהה - הפעלת מספר מערכות הפעלה עצמאיות, שכל אחת מהן פועלת על אותו ליבה שמפעילה את מערכת ההפעלה הראשית. זה כולל כלא FreeBSD, Solaris Zones, OpenVZ ו-LXC עבור לינוקס. בידוד מסופק לא רק עבור שטח דיסק, אלא גם עבור משאבים אחרים, בפרט, לכל מיכל יכולות להיות הגבלות על זמן מעבד, זיכרון RAM, רוחב פס רשת. בהשוואה ל-chroot, היציאה מהקונטיינר קשה יותר, מאחר ולמשתמש-על בקונטיינר יש גישה רק לחלק הפנימי של הקונטיינר, לעומת זאת, בשל הצורך לעדכן את מערכת ההפעלה בתוך הקונטיינר ושימוש בקרנל ישן. גרסאות (רלוונטיות ללינוקס, במידה פחותה FreeBSD), יש סיכוי לא אפסי לפרוץ את מערכת בידוד הקרנל ולקבל גישה למערכת ההפעלה הראשית.

במקום להפעיל מערכת הפעלה מלאה בקונטיינר (עם מערכת אתחול, מנהל חבילות וכו'), ניתן להפעיל אפליקציות באופן מיידי, העיקר לספק לאפליקציות את ההזדמנות הזו (נוכחות הספריות הדרושות ו קבצים אחרים). רעיון זה שימש בסיס לווירטואליזציה של אפליקציות מכולות, שהנציג הבולט והמוכר שלה הוא Docker. בהשוואה למערכות קודמות, מנגנוני בידוד גמישים יותר, יחד עם תמיכה מובנית ברשתות וירטואליות בין קונטיינרים ומצב יישומים בתוך קונטיינר, הביאו ליכולת לבנות סביבה הוליסטית אחת ממספר רב של שרתים פיזיים להפעלת קונטיינרים - ללא הצורך בניהול משאבים ידני.

סַוָר

Docker היא תוכנת מיכל היישומים המוכרת ביותר. כתוב בשפת Go, הוא משתמש ביכולות הרגילות של ליבת לינוקס - cgroups, מרחבי שמות, יכולות וכו', כמו גם מערכות קבצים Aufs ואחרות דומות לחיסכון בשטח דיסק.

מקור: ויקימדיה

אדריכלות

לפני גרסה 1.11, Docker עבד כשירות יחיד שביצע את כל הפעולות עם קונטיינרים: הורדת תמונות לקונטיינרים, השקת קונטיינרים, עיבוד בקשות API. מאז גרסה 1.11, Docker פוצל למספר חלקים המקיימים אינטראקציה זה עם זה: containerd, לטיפול בכל מחזור החיים של קונטיינרים (הקצאת שטח דיסק, הורדת תמונות, יצירת רשתות, השקה, התקנה וניטור מצב הקונטיינרים) ו-runC , זמני ריצה של מיכל, המבוססים על השימוש ב-cgroups ותכונות אחרות של ליבת לינוקס. שירות docker עצמו נשאר, אך כעת הוא משמש רק לעיבוד בקשות API המשודרות ל-containerd.

התקנה ותצורה

הדרך המועדפת עליי להתקין docker היא docker-machine, שמלבד התקנה והגדרה ישירה של docker בשרתים מרוחקים (כולל עננים שונים), מאפשרת לעבוד עם מערכות הקבצים של שרתים מרוחקים, ויכולה גם להריץ פקודות שונות.

עם זאת, מאז 2018, הפרויקט כמעט ולא פותח, ולכן נתקין אותו בדרך הרגילה עבור רוב ההפצות של לינוקס – על ידי הוספת מאגר והתקנת החבילות הדרושות.

שיטה זו משמשת גם להתקנה אוטומטית, למשל, באמצעות Ansible או מערכות דומות אחרות, אך לא אתייחס אליה במאמר זה.

ההתקנה תתבצע על Centos 7, אני אשתמש במכונה וירטואלית כשרת, כדי להתקין, פשוט הפעל את הפקודות למטה:

# yum install -y yum-utils
# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# yum install docker-ce docker-ce-cli containerd.io

לאחר ההתקנה, עליך להפעיל את השירות, לשים אותו בטעינה אוטומטית:

# systemctl enable docker
# systemctl start docker
# firewall-cmd --zone=public --add-port=2377/tcp --permanent

בנוסף, ניתן ליצור קבוצת docker, שהמשתמשים שלה יוכלו לעבוד עם docker ללא sudo, להגדיר רישום, לאפשר גישה ל-API מבחוץ, לא לשכוח לכוונן את חומת האש (כל מה שלא מותר הוא אסור בדוגמאות למעלה ולמטה - השמטתי זאת לשם הפשטות וההדמיה), אך לא אפרט כאן.

תכונות אחרות

בנוסף למכונת docker הנ"ל, ישנו גם docker registry, כלי לאחסון תמונות לקונטיינרים וכן docker compose - כלי לאוטומציה של פריסת אפליקציות בקונטיינרים, קבצי YAML משמשים לבנייה וקונפיגורציה של קונטיינרים ו דברים קשורים אחרים (לדוגמה, רשתות, מערכות קבצים קבועות לאחסון נתונים).

זה יכול לשמש גם לארגון צינורות עבור CICD. תכונה מעניינת נוספת היא עבודה במצב cluster, מה שנקרא swarm mode (לפני גרסה 1.12 הוא היה ידוע בשם docker swarm), המאפשר להרכיב תשתית בודדת ממספר שרתים להפעלת קונטיינרים. ישנה תמיכה ברשת וירטואלית על גבי כל השרתים, ישנו איזון עומסים מובנה וכן תמיכה בסודות לקונטיינרים.

ניתן להשתמש בקבצי ה-YAML של docker compose עבור אשכולות כאלה עם שינויים קלים, תוך אוטומציה מלאה של התחזוקה של אשכולות קטנים ובינוניים למטרות שונות. עבור אשכולות גדולים, Kubernetes עדיף מכיוון שעלויות התחזוקה של מצב נחיל יכולות לעלות על אלו של Kubernetes. בנוסף ל-runC, כסביבת ביצוע לקונטיינרים, ניתן להתקין, למשל מיכלי קאטה

עבודה עם Docker

לאחר ההתקנה וההגדרה, ננסה לבנות אשכול בו נפרוס את GitLab ו-Docker Registry עבור צוות הפיתוח. בתור שרתים, אשתמש בשלושה מכונות וירטואליות, שעליהן אפרוס בנוסף את ה-FS המבוזר של GlusterFS, אני אשתמש בו כאחסון נפחי docker, למשל, כדי להפעיל גרסה בטוחה לכשלים של הרישום של docker. רכיבי מפתח להפעלה: Docker Registry, Postgresql, Redis, GitLab עם תמיכה ב-GitLab Runner על גבי Swarm. Postgresql יושק עם clustering סטולון, כך שאינך צריך להשתמש ב-GlusterFS כדי לאחסן נתוני Postgresql. שאר הנתונים הקריטיים יאוחסנו ב- GlusterFS.

כדי לפרוס את GlusterFS בכל השרתים (הם נקראים node1, node2, node3), עליך להתקין חבילות, להפעיל את חומת האש, ליצור את הספריות הדרושות:

# yum -y install centos-release-gluster7
# yum -y install glusterfs-server
# systemctl enable glusterd
# systemctl start glusterd
# firewall-cmd --add-service=glusterfs --permanent
# firewall-cmd --reload
# mkdir -p /srv/gluster
# mkdir -p /srv/docker
# echo "$(hostname):/docker /srv/docker glusterfs defaults,_netdev 0 0" >> /etc/fstab

לאחר ההתקנה, יש להמשיך את העבודה על קביעת התצורה של GlusterFS מצומת אחד, למשל node1:

# gluster peer probe node2
# gluster peer probe node3
# gluster volume create docker replica 3 node1:/srv/gluster node2:/srv/gluster node3:/srv/gluster force
# gluster volume start docker

לאחר מכן עליך להעלות את אמצעי האחסון המתקבל (יש להפעיל את הפקודה בכל השרתים):

# mount /srv/docker

מצב Swarm מוגדר באחד השרתים, שיהיה Leader, השאר יצטרכו להצטרף לאשכול, כך שתצטרכו להעתיק את התוצאה של הפעלת הפקודה בשרת הראשון ולבצע בשאר.

הגדרה ראשונית של אשכול, אני מריץ את הפקודה ב-node1:

# docker swarm init
Swarm initialized: current node (a5jpfrh5uvo7svzz1ajduokyq) is now a manager.

To add a worker to this swarm, run the following command:

    docker swarm join --token SWMTKN-1-0c5mf7mvzc7o7vjk0wngno2dy70xs95tovfxbv4tqt9280toku-863hyosdlzvd76trfptd4xnzd xx.xx.xx.xx:2377

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.
# docker swarm join-token manager

העתק את התוצאה של הפקודה השנייה, בצע על node2 ו- node3:

# docker swarm join --token SWMTKN-x-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx-xxxxxxxxx xx.xx.xx.xx:2377
This node joined a swarm as a manager.

זה משלים את התצורה המוקדמת של השרתים, בואו נתחיל להגדיר את השירותים, הפקודות שיבוצעו יופעלו מ-node1, אלא אם צוין אחרת.

קודם כל, בואו ניצור רשתות למכולות:

# docker network create --driver=overlay etcd
# docker network create --driver=overlay pgsql
# docker network create --driver=overlay redis
# docker network create --driver=overlay traefik
# docker network create --driver=overlay gitlab

לאחר מכן אנו מסמנים את השרתים, זה הכרחי כדי לאגד כמה שירותים לשרתים:

# docker node update --label-add nodename=node1 node1
# docker node update --label-add nodename=node2 node2
# docker node update --label-add nodename=node3 node3

לאחר מכן, אנו יוצרים ספריות לאחסון נתונים וכו', אחסון ה-KV ש-Traefik ו-Stolon צריכים. בדומה ל-Postgresql, אלו יהיו קונטיינרים הקשורים לשרתים, אז אנו מבצעים את הפקודה הזו בכל השרתים:

# mkdir -p /srv/etcd

לאחר מכן, צור קובץ כדי להגדיר את etcd והחל אותו:

00etcd.yml

version: '3.7'

services:
  etcd1:
    image: quay.io/coreos/etcd:latest
    hostname: etcd1
    command:
      - etcd
      - --name=etcd1
      - --data-dir=/data.etcd
      - --advertise-client-urls=http://etcd1:2379
      - --listen-client-urls=http://0.0.0.0:2379
      - --initial-advertise-peer-urls=http://etcd1:2380
      - --listen-peer-urls=http://0.0.0.0:2380
      - --initial-cluster=etcd1=http://etcd1:2380,etcd2=http://etcd2:2380,etcd3=http://etcd3:2380
      - --initial-cluster-state=new
      - --initial-cluster-token=etcd-cluster
    networks:
      - etcd
    volumes:
      - etcd1vol:/data.etcd
    deploy:
      replicas: 1
      placement:
        constraints: [node.labels.nodename == node1]
  etcd2:
    image: quay.io/coreos/etcd:latest
    hostname: etcd2
    command:
      - etcd
      - --name=etcd2
      - --data-dir=/data.etcd
      - --advertise-client-urls=http://etcd2:2379
      - --listen-client-urls=http://0.0.0.0:2379
      - --initial-advertise-peer-urls=http://etcd2:2380
      - --listen-peer-urls=http://0.0.0.0:2380
      - --initial-cluster=etcd1=http://etcd1:2380,etcd2=http://etcd2:2380,etcd3=http://etcd3:2380
      - --initial-cluster-state=new
      - --initial-cluster-token=etcd-cluster
    networks:
      - etcd
    volumes:
      - etcd2vol:/data.etcd
    deploy:
      replicas: 1
      placement:
        constraints: [node.labels.nodename == node2]
  etcd3:
    image: quay.io/coreos/etcd:latest
    hostname: etcd3
    command:
      - etcd
      - --name=etcd3
      - --data-dir=/data.etcd
      - --advertise-client-urls=http://etcd3:2379
      - --listen-client-urls=http://0.0.0.0:2379
      - --initial-advertise-peer-urls=http://etcd3:2380
      - --listen-peer-urls=http://0.0.0.0:2380
      - --initial-cluster=etcd1=http://etcd1:2380,etcd2=http://etcd2:2380,etcd3=http://etcd3:2380
      - --initial-cluster-state=new
      - --initial-cluster-token=etcd-cluster
    networks:
      - etcd
    volumes:
      - etcd3vol:/data.etcd
    deploy:
      replicas: 1
      placement:
        constraints: [node.labels.nodename == node3]

volumes:
  etcd1vol:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/etcd"
  etcd2vol:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/etcd"
  etcd3vol:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/etcd"

networks:
  etcd:
    external: true

# docker stack deploy --compose-file 00etcd.yml etcd

לאחר זמן מה, אנו בודקים שאשכול etcd עלה:

# docker exec $(docker ps | awk '/etcd/ {print $1}')  etcdctl member list
ade526d28b1f92f7: name=etcd1 peerURLs=http://etcd1:2380 clientURLs=http://etcd1:2379 isLeader=false
bd388e7810915853: name=etcd3 peerURLs=http://etcd3:2380 clientURLs=http://etcd3:2379 isLeader=false
d282ac2ce600c1ce: name=etcd2 peerURLs=http://etcd2:2380 clientURLs=http://etcd2:2379 isLeader=true
# docker exec $(docker ps | awk '/etcd/ {print $1}')  etcdctl cluster-health
member ade526d28b1f92f7 is healthy: got healthy result from http://etcd1:2379
member bd388e7810915853 is healthy: got healthy result from http://etcd3:2379
member d282ac2ce600c1ce is healthy: got healthy result from http://etcd2:2379
cluster is healthy

צור ספריות עבור Postgresql, בצע את הפקודה בכל השרתים:

# mkdir -p /srv/pgsql

לאחר מכן, צור קובץ להגדרת Postgresql:

01pgsql.yml

version: '3.7'

services:
  pgsentinel:
    image: sorintlab/stolon:master-pg10
    command:
      - gosu
      - stolon
      - stolon-sentinel
      - --cluster-name=stolon-cluster
      - --store-backend=etcdv3
      - --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
      - --log-level=debug
    networks:
      - etcd
      - pgsql
    deploy:
      replicas: 3
      update_config:
        parallelism: 1
        delay: 30s
        order: stop-first
        failure_action: pause
  pgkeeper1:
    image: sorintlab/stolon:master-pg10
    hostname: pgkeeper1
    command:
      - gosu
      - stolon
      - stolon-keeper
      - --pg-listen-address=pgkeeper1
      - --pg-repl-username=replica
      - --uid=pgkeeper1
      - --pg-su-username=postgres
      - --pg-su-passwordfile=/run/secrets/pgsql
      - --pg-repl-passwordfile=/run/secrets/pgsql_repl
      - --data-dir=/var/lib/postgresql/data
      - --cluster-name=stolon-cluster
      - --store-backend=etcdv3
      - --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
    networks:
      - etcd
      - pgsql
    environment:
      - PGDATA=/var/lib/postgresql/data
    volumes:
      - pgkeeper1:/var/lib/postgresql/data
    secrets:
      - pgsql
      - pgsql_repl
    deploy:
      replicas: 1
      placement:
        constraints: [node.labels.nodename == node1]
  pgkeeper2:
    image: sorintlab/stolon:master-pg10
    hostname: pgkeeper2
    command:
      - gosu
      - stolon 
      - stolon-keeper
      - --pg-listen-address=pgkeeper2
      - --pg-repl-username=replica
      - --uid=pgkeeper2
      - --pg-su-username=postgres
      - --pg-su-passwordfile=/run/secrets/pgsql
      - --pg-repl-passwordfile=/run/secrets/pgsql_repl
      - --data-dir=/var/lib/postgresql/data
      - --cluster-name=stolon-cluster
      - --store-backend=etcdv3
      - --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
    networks:
      - etcd
      - pgsql
    environment:
      - PGDATA=/var/lib/postgresql/data
    volumes:
      - pgkeeper2:/var/lib/postgresql/data
    secrets:
      - pgsql
      - pgsql_repl
    deploy:
      replicas: 1
      placement:
        constraints: [node.labels.nodename == node2]
  pgkeeper3:
    image: sorintlab/stolon:master-pg10
    hostname: pgkeeper3
    command:
      - gosu
      - stolon 
      - stolon-keeper
      - --pg-listen-address=pgkeeper3
      - --pg-repl-username=replica
      - --uid=pgkeeper3
      - --pg-su-username=postgres
      - --pg-su-passwordfile=/run/secrets/pgsql
      - --pg-repl-passwordfile=/run/secrets/pgsql_repl
      - --data-dir=/var/lib/postgresql/data
      - --cluster-name=stolon-cluster
      - --store-backend=etcdv3
      - --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
    networks:
      - etcd
      - pgsql
    environment:
      - PGDATA=/var/lib/postgresql/data
    volumes:
      - pgkeeper3:/var/lib/postgresql/data
    secrets:
      - pgsql
      - pgsql_repl
    deploy:
      replicas: 1
      placement:
        constraints: [node.labels.nodename == node3]
  postgresql:
    image: sorintlab/stolon:master-pg10
    command: gosu stolon stolon-proxy --listen-address 0.0.0.0 --cluster-name stolon-cluster --store-backend=etcdv3 --store-endpoints http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
    networks:
      - etcd
      - pgsql
    deploy:
      replicas: 3
      update_config:
        parallelism: 1
        delay: 30s
        order: stop-first
        failure_action: rollback

volumes:
  pgkeeper1:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/pgsql"
  pgkeeper2:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/pgsql"
  pgkeeper3:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/pgsql"

secrets:
  pgsql:
    file: "/srv/docker/postgres"
  pgsql_repl:
    file: "/srv/docker/replica"

networks:
  etcd:
    external: true
  pgsql:
    external: true

אנו יוצרים סודות, מיישמים את הקובץ:

# </dev/urandom tr -dc 234567890qwertyuopasdfghjkzxcvbnmQWERTYUPASDFGHKLZXCVBNM | head -c $(((RANDOM%3)+15)) > /srv/docker/replica
# </dev/urandom tr -dc 234567890qwertyuopasdfghjkzxcvbnmQWERTYUPASDFGHKLZXCVBNM | head -c $(((RANDOM%3)+15)) > /srv/docker/postgres
# docker stack deploy --compose-file 01pgsql.yml pgsql

זמן מה לאחר מכן (הסתכל על הפלט של הפקודה שירות docker lsשכל השירותים עלו) אתחל את אשכול Postgresql:

# docker exec $(docker ps | awk '/pgkeeper/ {print $1}') stolonctl --cluster-name=stolon-cluster --store-backend=etcdv3 --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379 init

בדיקת המוכנות של אשכול Postgresql:

# docker exec $(docker ps | awk '/pgkeeper/ {print $1}') stolonctl --cluster-name=stolon-cluster --store-backend=etcdv3 --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379 status
=== Active sentinels ===

ID      LEADER
26baa11d    false
74e98768    false
a8cb002b    true

=== Active proxies ===

ID
4d233826
9f562f3b
b0c79ff1

=== Keepers ===

UID     HEALTHY PG LISTENADDRESS    PG HEALTHY  PG WANTEDGENERATION PG CURRENTGENERATION
pgkeeper1   true    pgkeeper1:5432         true     2           2
pgkeeper2   true    pgkeeper2:5432          true            2                   2
pgkeeper3   true    pgkeeper3:5432          true            3                   3

=== Cluster Info ===

Master Keeper: pgkeeper3

===== Keepers/DB tree =====

pgkeeper3 (master)
├─pgkeeper2
└─pgkeeper1

אנו מגדירים את traefik כדי לפתוח גישה למכולות מבחוץ:

03traefik.yml

version: '3.7'

services:
  traefik:
    image: traefik:latest
    command: >
      --log.level=INFO
      --providers.docker=true
      --entryPoints.web.address=:80
      --providers.providersThrottleDuration=2
      --providers.docker.watch=true
      --providers.docker.swarmMode=true
      --providers.docker.swarmModeRefreshSeconds=15s
      --providers.docker.exposedbydefault=false
      --accessLog.bufferingSize=0
      --api=true
      --api.dashboard=true
      --api.insecure=true
    networks:
      - traefik
    ports:
      - 80:80
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    deploy:
      replicas: 3
      placement:
        constraints:
          - node.role == manager
        preferences:
          - spread: node.id
      labels:
        - traefik.enable=true
        - traefik.http.routers.traefik.rule=Host(`traefik.example.com`)
        - traefik.http.services.traefik.loadbalancer.server.port=8080
        - traefik.docker.network=traefik

networks:
  traefik:
    external: true

# docker stack deploy --compose-file 03traefik.yml traefik

אנו מתחילים את Redis Cluster, לשם כך אנו יוצרים ספריית אחסון בכל הצמתים:

# mkdir -p /srv/redis

05redis.yml

version: '3.7'

services:
  redis-master:
    image: 'bitnami/redis:latest'
    networks:
      - redis
    ports:
      - '6379:6379'
    environment:
      - REDIS_REPLICATION_MODE=master
      - REDIS_PASSWORD=xxxxxxxxxxx
    deploy:
      mode: global
      restart_policy:
        condition: any
    volumes:
      - 'redis:/opt/bitnami/redis/etc/'

  redis-replica:
    image: 'bitnami/redis:latest'
    networks:
      - redis
    ports:
      - '6379'
    depends_on:
      - redis-master
    environment:
      - REDIS_REPLICATION_MODE=slave
      - REDIS_MASTER_HOST=redis-master
      - REDIS_MASTER_PORT_NUMBER=6379
      - REDIS_MASTER_PASSWORD=xxxxxxxxxxx
      - REDIS_PASSWORD=xxxxxxxxxxx
    deploy:
      mode: replicated
      replicas: 3
      update_config:
        parallelism: 1
        delay: 10s
      restart_policy:
        condition: any

  redis-sentinel:
    image: 'bitnami/redis:latest'
    networks:
      - redis
    ports:
      - '16379'
    depends_on:
      - redis-master
      - redis-replica
    entrypoint: |
      bash -c 'bash -s <<EOF
      "/bin/bash" -c "cat <<EOF > /opt/bitnami/redis/etc/sentinel.conf
      port 16379
      dir /tmp
      sentinel monitor master-node redis-master 6379 2
      sentinel down-after-milliseconds master-node 5000
      sentinel parallel-syncs master-node 1
      sentinel failover-timeout master-node 5000
      sentinel auth-pass master-node xxxxxxxxxxx
      sentinel announce-ip redis-sentinel
      sentinel announce-port 16379
      EOF"
      "/bin/bash" -c "redis-sentinel /opt/bitnami/redis/etc/sentinel.conf"
      EOF'
    deploy:
      mode: global
      restart_policy:
        condition: any

volumes:
  redis:
    driver: local
    driver_opts:
      type: 'none'
      o: 'bind'
      device: "/srv/redis"

networks:
  redis:
    external: true

# docker stack deploy --compose-file 05redis.yml redis

הוסף את הדוקר רישום:

06registry.yml

version: '3.7'

services:
  registry:
    image: registry:2.6
    networks:
      - traefik
    volumes:
      - registry_data:/var/lib/registry
    deploy:
      replicas: 1
      placement:
        constraints: [node.role == manager]
      restart_policy:
        condition: on-failure
      labels:
        - traefik.enable=true
        - traefik.http.routers.registry.rule=Host(`registry.example.com`)
        - traefik.http.services.registry.loadbalancer.server.port=5000
        - traefik.docker.network=traefik

volumes:
  registry_data:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/docker/registry"

networks:
  traefik:
    external: true

# mkdir /srv/docker/registry
# docker stack deploy --compose-file 06registry.yml registry

ולבסוף - GitLab:

08gitlab-runner.yml

version: '3.7'

services:
  gitlab:
    image: gitlab/gitlab-ce:latest
    networks:
      - pgsql
      - redis
      - traefik
      - gitlab
    ports:
      - 22222:22
    environment:
      GITLAB_OMNIBUS_CONFIG: |
        postgresql['enable'] = false
        redis['enable'] = false
        gitlab_rails['registry_enabled'] = false
        gitlab_rails['db_username'] = "gitlab"
        gitlab_rails['db_password'] = "XXXXXXXXXXX"
        gitlab_rails['db_host'] = "postgresql"
        gitlab_rails['db_port'] = "5432"
        gitlab_rails['db_database'] = "gitlab"
        gitlab_rails['db_adapter'] = 'postgresql'
        gitlab_rails['db_encoding'] = 'utf8'
        gitlab_rails['redis_host'] = 'redis-master'
        gitlab_rails['redis_port'] = '6379'
        gitlab_rails['redis_password'] = 'xxxxxxxxxxx'
        gitlab_rails['smtp_enable'] = true
        gitlab_rails['smtp_address'] = "smtp.yandex.ru"
        gitlab_rails['smtp_port'] = 465
        gitlab_rails['smtp_user_name'] = "[email protected]"
        gitlab_rails['smtp_password'] = "xxxxxxxxx"
        gitlab_rails['smtp_domain'] = "example.com"
        gitlab_rails['gitlab_email_from'] = '[email protected]'
        gitlab_rails['smtp_authentication'] = "login"
        gitlab_rails['smtp_tls'] = true
        gitlab_rails['smtp_enable_starttls_auto'] = true
        gitlab_rails['smtp_openssl_verify_mode'] = 'peer'
        external_url 'http://gitlab.example.com/'
        gitlab_rails['gitlab_shell_ssh_port'] = 22222
    volumes:
      - gitlab_conf:/etc/gitlab
      - gitlab_logs:/var/log/gitlab
      - gitlab_data:/var/opt/gitlab
    deploy:
      mode: replicated
      replicas: 1
      placement:
        constraints:
        - node.role == manager
      labels:
        - traefik.enable=true
        - traefik.http.routers.gitlab.rule=Host(`gitlab.example.com`)
        - traefik.http.services.gitlab.loadbalancer.server.port=80
        - traefik.docker.network=traefik
  gitlab-runner:
    image: gitlab/gitlab-runner:latest
    networks:
      - gitlab
    volumes:
      - gitlab_runner_conf:/etc/gitlab
      - /var/run/docker.sock:/var/run/docker.sock
    deploy:
      mode: replicated
      replicas: 1
      placement:
        constraints:
        - node.role == manager

volumes:
  gitlab_conf:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/docker/gitlab/conf"
  gitlab_logs:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/docker/gitlab/logs"
  gitlab_data:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/docker/gitlab/data"
  gitlab_runner_conf:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/docker/gitlab/runner"

networks:
  pgsql:
    external: true
  redis:
    external: true
  traefik:
    external: true
  gitlab:
    external: true

# mkdir -p /srv/docker/gitlab/conf
# mkdir -p /srv/docker/gitlab/logs
# mkdir -p /srv/docker/gitlab/data
# mkdir -p /srv/docker/gitlab/runner
# docker stack deploy --compose-file 08gitlab-runner.yml gitlab

המצב הסופי של האשכול והשירותים:

# docker service ls
ID                  NAME                   MODE                REPLICAS            IMAGE                          PORTS
lef9n3m92buq        etcd_etcd1             replicated          1/1                 quay.io/coreos/etcd:latest
ij6uyyo792x5        etcd_etcd2             replicated          1/1                 quay.io/coreos/etcd:latest
fqttqpjgp6pp        etcd_etcd3             replicated          1/1                 quay.io/coreos/etcd:latest
hq5iyga28w33        gitlab_gitlab          replicated          1/1                 gitlab/gitlab-ce:latest        *:22222->22/tcp
dt7s6vs0q4qc        gitlab_gitlab-runner   replicated          1/1                 gitlab/gitlab-runner:latest
k7uoezno0h9n        pgsql_pgkeeper1        replicated          1/1                 sorintlab/stolon:master-pg10
cnrwul4r4nse        pgsql_pgkeeper2        replicated          1/1                 sorintlab/stolon:master-pg10
frflfnpty7tr        pgsql_pgkeeper3        replicated          1/1                 sorintlab/stolon:master-pg10
x7pqqchi52kq        pgsql_pgsentinel       replicated          3/3                 sorintlab/stolon:master-pg10
mwu2wl8fti4r        pgsql_postgresql       replicated          3/3                 sorintlab/stolon:master-pg10
9hkbe2vksbzb        redis_redis-master     global              3/3                 bitnami/redis:latest           *:6379->6379/tcp
l88zn8cla7dc        redis_redis-replica    replicated          3/3                 bitnami/redis:latest           *:30003->6379/tcp
1utp309xfmsy        redis_redis-sentinel   global              3/3                 bitnami/redis:latest           *:30002->16379/tcp
oteb824ylhyp        registry_registry      replicated          1/1                 registry:2.6
qovrah8nzzu8        traefik_traefik        replicated          3/3                 traefik:latest                 *:80->80/tcp, *:443->443/tcp

מה עוד אפשר לשפר? הקפד להגדיר את Traefik לעבוד עם מיכלי https, הוסף הצפנת tls עבור Postgresql ו-Redis. אבל באופן כללי, אתה כבר יכול לתת את זה למפתחים בתור PoC. בואו נסתכל כעת על חלופות ל-Docker.

פודמן

עוד מנוע די מוכר להפעלת מכולות מקובצות לפי פודים (פודים, קבוצות של מכולות פרוסות יחד). שלא כמו Docker, זה לא דורש שום שירות כדי להפעיל קונטיינרים, כל העבודה מתבצעת דרך ספריית libpod. כתוב גם ב-Go, צריך זמן ריצה תואם OCI כדי להפעיל קונטיינרים כמו runC.

העבודה עם פודמן באופן כללי דומה לזו של Docker, במידה שאתה יכול לעשות זאת כך (לטענת רבים שניסו זאת, כולל מחבר המאמר הזה):

$ alias docker=podman

ואתה יכול להמשיך לעבוד. באופן כללי, המצב עם פודמן מעניין מאוד, כי אם הגרסאות המוקדמות של Kubernetes עבדו עם Docker, אז מאז 2015 בערך, לאחר סטנדרטיזציה של עולם הקונטיינרים (OCI - Open Container Initiative) ופיצול Docker ל-containerd ו-runC, חלופה ל-containerd ו-runC. Docker פותח להפעלה ב-Kubernetes: CRI-O. Podman בהקשר זה מהווה אלטרנטיבה ל-Docker, הבנויה על עקרונות Kubernetes, כולל קיבוץ קונטיינרים, אך המטרה העיקרית של הפרויקט היא להפעיל קונטיינרים בסגנון Docker ללא שירותים נוספים. מסיבות ברורות, אין מצב נחיל, מכיוון שהמפתחים אומרים בבירור שאם אתה צריך אשכול, קח Kubernetes.

התקנה

כדי להתקין על Centos 7, פשוט הפעל את מאגר התוספות, ולאחר מכן התקן הכל עם הפקודה:

# yum -y install podman

תכונות אחרות

Podman יכול לייצר יחידות עבור systemd, ובכך לפתור את בעיית התחלת קונטיינרים לאחר אתחול מחדש של השרת. בנוסף, הצהרת systemd פועלת כהלכה בתור pid 1 במיכל. כדי לבנות קונטיינרים, יש כלי buildah נפרד, יש גם כלים של צד שלישי - אנלוגים של docker-compose, שגם מייצרים קבצי תצורה תואמים ל-Kubernetes, כך שהמעבר מפודמן ל-Kubernetes פשוט ככל האפשר.

עובד עם פודמן

מכיוון שאין מצב נחיל (הוא אמור לעבור ל-Kubernetes אם יש צורך באשכול), נרכיב אותו במיכלים נפרדים.

התקן podman-compose:

# yum -y install python3-pip
# pip3 install podman-compose

קובץ התצורה המתקבל עבור podman שונה במקצת, כמו למשל היינו צריכים להעביר קטע נפחים נפרד ישירות לקטע השירותים.

gitlab-podman.yml

version: '3.7'

services:
  gitlab:
    image: gitlab/gitlab-ce:latest
    hostname: gitlab.example.com
    restart: unless-stopped
    environment:
      GITLAB_OMNIBUS_CONFIG: |
        gitlab_rails['gitlab_shell_ssh_port'] = 22222
    ports:
      - "80:80"
      - "22222:22"
    volumes:
      - /srv/podman/gitlab/conf:/etc/gitlab
      - /srv/podman/gitlab/data:/var/opt/gitlab
      - /srv/podman/gitlab/logs:/var/log/gitlab
    networks:
      - gitlab

  gitlab-runner:
    image: gitlab/gitlab-runner:alpine
    restart: unless-stopped
    depends_on:
      - gitlab
    volumes:
      - /srv/podman/gitlab/runner:/etc/gitlab-runner
      - /var/run/docker.sock:/var/run/docker.sock
    networks:
      - gitlab

networks:
  gitlab:

# podman-compose -f gitlab-runner.yml -d up

תוצאת העבודה:

# podman ps
CONTAINER ID  IMAGE                                  COMMAND               CREATED             STATUS                 PORTS                                      NAMES
da53da946c01  docker.io/gitlab/gitlab-runner:alpine  run --user=gitlab...  About a minute ago  Up About a minute ago  0.0.0.0:22222->22/tcp, 0.0.0.0:80->80/tcp  root_gitlab-runner_1
781c0103c94a  docker.io/gitlab/gitlab-ce:latest      /assets/wrapper       About a minute ago  Up About a minute ago  0.0.0.0:22222->22/tcp, 0.0.0.0:80->80/tcp  root_gitlab_1

בואו נראה מה זה יפיק עבור systemd ו-kubernetes, בשביל זה אנחנו צריכים לגלות את השם או המזהה של הפוד:

# podman pod ls
POD ID         NAME   STATUS    CREATED          # OF CONTAINERS   INFRA ID
71fc2b2a5c63   root   Running   11 minutes ago   3                 db40ab8bf84b

Kubernetes:

# podman generate kube 71fc2b2a5c63
# Generation of Kubernetes YAML is still under development!
#
# Save the output of this file and use kubectl create -f to import
# it into Kubernetes.
#
# Created with podman-1.6.4
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: "2020-07-29T19:22:40Z"
  labels:
    app: root
  name: root
spec:
  containers:
  - command:
    - /assets/wrapper
    env:
    - name: PATH
      value: /opt/gitlab/embedded/bin:/opt/gitlab/bin:/assets:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
    - name: TERM
      value: xterm
    - name: HOSTNAME
      value: gitlab.example.com
    - name: container
      value: podman
    - name: GITLAB_OMNIBUS_CONFIG
      value: |
        gitlab_rails['gitlab_shell_ssh_port'] = 22222
    - name: LANG
      value: C.UTF-8
    image: docker.io/gitlab/gitlab-ce:latest
    name: rootgitlab1
    ports:
    - containerPort: 22
      hostPort: 22222
      protocol: TCP
    - containerPort: 80
      hostPort: 80
      protocol: TCP
    resources: {}
    securityContext:
      allowPrivilegeEscalation: true
      capabilities: {}
      privileged: false
      readOnlyRootFilesystem: false
    volumeMounts:
    - mountPath: /var/opt/gitlab
      name: srv-podman-gitlab-data
    - mountPath: /var/log/gitlab
      name: srv-podman-gitlab-logs
    - mountPath: /etc/gitlab
      name: srv-podman-gitlab-conf
    workingDir: /
  - command:
    - run
    - --user=gitlab-runner
    - --working-directory=/home/gitlab-runner
    env:
    - name: PATH
      value: /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
    - name: TERM
      value: xterm
    - name: HOSTNAME
    - name: container
      value: podman
    image: docker.io/gitlab/gitlab-runner:alpine
    name: rootgitlab-runner1
    resources: {}
    securityContext:
      allowPrivilegeEscalation: true
      capabilities: {}
      privileged: false
      readOnlyRootFilesystem: false
    volumeMounts:
    - mountPath: /etc/gitlab-runner
      name: srv-podman-gitlab-runner
    - mountPath: /var/run/docker.sock
      name: var-run-docker.sock
    workingDir: /
  volumes:
  - hostPath:
      path: /srv/podman/gitlab/runner
      type: Directory
    name: srv-podman-gitlab-runner
  - hostPath:
      path: /var/run/docker.sock
      type: File
    name: var-run-docker.sock
  - hostPath:
      path: /srv/podman/gitlab/data
      type: Directory
    name: srv-podman-gitlab-data
  - hostPath:
      path: /srv/podman/gitlab/logs
      type: Directory
    name: srv-podman-gitlab-logs
  - hostPath:
      path: /srv/podman/gitlab/conf
      type: Directory
    name: srv-podman-gitlab-conf
status: {}

systemd:

# podman generate systemd 71fc2b2a5c63
# pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
# autogenerated by Podman 1.6.4
# Thu Jul 29 15:23:28 EDT 2020

[Unit]
Description=Podman pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
Documentation=man:podman-generate-systemd(1)
Requires=container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
Before=container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service

[Service]
Restart=on-failure
ExecStart=/usr/bin/podman start db40ab8bf84bf35141159c26cb6e256b889c7a98c0418eee3c4aa683c14fccaa
ExecStop=/usr/bin/podman stop -t 10 db40ab8bf84bf35141159c26cb6e256b889c7a98c0418eee3c4aa683c14fccaa
KillMode=none
Type=forking
PIDFile=/var/run/containers/storage/overlay-containers/db40ab8bf84bf35141159c26cb6e256b889c7a98c0418eee3c4aa683c14fccaa/userdata/conmon.pid

[Install]
WantedBy=multi-user.target
# container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
# autogenerated by Podman 1.6.4
# Thu Jul 29 15:23:28 EDT 2020

[Unit]
Description=Podman container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
Documentation=man:podman-generate-systemd(1)
RefuseManualStart=yes
RefuseManualStop=yes
BindsTo=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
After=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service

[Service]
Restart=on-failure
ExecStart=/usr/bin/podman start da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864
ExecStop=/usr/bin/podman stop -t 10 da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864
KillMode=none
Type=forking
PIDFile=/var/run/containers/storage/overlay-containers/da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864/userdata/conmon.pid

[Install]
WantedBy=multi-user.target
# container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service
# autogenerated by Podman 1.6.4
# Thu Jul 29 15:23:28 EDT 2020

[Unit]
Description=Podman container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service
Documentation=man:podman-generate-systemd(1)
RefuseManualStart=yes
RefuseManualStop=yes
BindsTo=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
After=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service

[Service]
Restart=on-failure
ExecStart=/usr/bin/podman start 781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3
ExecStop=/usr/bin/podman stop -t 10 781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3
KillMode=none
Type=forking
PIDFile=/var/run/containers/storage/overlay-containers/781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3/userdata/conmon.pid

[Install]
WantedBy=multi-user.target

למרבה הצער, מלבד הפעלת קונטיינרים, היחידה שנוצרה עבור systemd לא עושה שום דבר אחר (לדוגמה, ניקוי קונטיינרים ישנים כאשר שירות כזה מופעל מחדש), אז תצטרכו להוסיף דברים כאלה בעצמכם.

באופן עקרוני, Podman מספיק כדי לנסות מה זה קונטיינרים, להעביר תצורות ישנות עבור docker-compose, ואז ללכת לכיוון Kubernetes, במידת הצורך, על אשכול, או לקבל אלטרנטיבה קלה יותר לשימוש ל-Docker.

rkt

פרויקט הלך לארכיון לפני כחצי שנה בשל העובדה ש-RedHat קנתה אותו, אז לא אתעכב על זה ביתר פירוט. באופן כללי זה השאיר רושם טוב מאוד, אבל בהשוואה לדוקר, ועוד יותר לפודמן, זה נראה כמו קומבינה. הייתה גם הפצת CoreOS שנבנתה על גבי rkt (למרות שבמקור היה להם Docker), אבל זה גם נגמר לאחר רכישת RedHat.

פלאש

יותר פרויקט אחד, שהכותב שלו רק רצה לבנות ולהפעיל קונטיינרים. אם לשפוט לפי התיעוד והקוד, המחבר לא פעל לפי הסטנדרטים, אלא פשוט החליט לכתוב את היישום שלו, מה שעקרונית הוא עשה.

ממצאים

המצב עם Kubernetes מאוד מעניין: מצד אחד, עם Docker, אפשר להרכיב אשכול (במצב נחיל), איתו אפשר אפילו להריץ סביבות ייצור עבור לקוחות, זה נכון במיוחד עבור צוותים קטנים (3-5 אנשים) ), או עם עומס כללי קטן , או חוסר הרצון להבין את המורכבות של הגדרת Kubernetes, כולל לעומסים גבוהים.

Podman לא מספק תאימות מלאה, אבל יש לו יתרון אחד חשוב - תאימות עם Kubernetes, כולל כלים נוספים (buildah ואחרים). לכן, אני ניגש לבחירת הכלי לעבודה באופן הבא: לצוותים קטנים, או עם תקציב מוגבל - דוקר (עם מצב נחיל אפשרי), לפיתוח לעצמי במארח מקומי אישי - חברי פודמן, ולכל השאר. - Kubernetes.

אני לא בטוח שהמצב עם Docker לא ישתנה בעתיד, הרי הם חלוצים, וגם מתקנים לאט לאט שלב אחר שלב, אבל פודמן עם כל החסרונות שלו (עובד רק בלינוקס, ללא אשכולות, הרכבה ופעולות אחרות הן החלטות של צד שלישי) העתיד ברור יותר, אז אני מזמין את כולם לדון בממצאים אלה בהערות.

נ.ב. ב-3 באוגוסט אנחנו משיקים את "קורס וידאו של דוקרשבו תוכל ללמוד עוד על עבודתו. ננתח את כל הכלים שלו: מהפשטות בסיסיות ועד לפרמטרים של רשת, ניואנסים של עבודה עם מערכות הפעלה שונות ושפות תכנות. תוכלו להכיר את הטכנולוגיה ולהבין היכן וכיצד הכי כדאי להשתמש ב-Docker. נשתף גם מקרים של שיטות עבודה מומלצות.

עלות הזמנה מראש לפני השחרור: 5000 רובל. ניתן למצוא את התוכנית "קורס וידאו דוקר". בעמוד הקורס.

מקור: www.habr.com

דוקר והכל, הכל, הכל

כתבה

סַוָר

אדריכלות

התקנה ותצורה

תכונות אחרות

עבודה עם Docker

פודמן

התקנה

תכונות אחרות

עובד עם פודמן

rkt

פלאש

ממצאים

הוספת תגובה ביטול תגובה