🥇Docker とすべて、すべて、すべて

TL;DR: コンテナ内でアプリケーションを実行するためのフレームワークを比較するための概要ガイド。 Docker および他の同様のシステムの機能が考慮されます。

すべてがどこから来たのかについての小さな歴史

ストーリー

アプリケーションを分離する最初のよく知られた方法は chroot です。同じ名前のシステムコールにより、ルートディレクトリが確実に変更されるため、システムコールを呼び出したプログラムはそのディレクトリ内のファイルのみにアクセスできるようになります。しかし、プログラムに内部的に root 権限が与えられている場合、chroot を「エスケープ」し、メインのオペレーティングシステムにアクセスできる可能性があります。また、ルートディレクトリの変更に加えて、他のリソース (RAM、プロセッサ)、およびネットワークアクセスも制限されません。

次の方法は、オペレーティングシステムカーネルのメカニズムを使用して、コンテナ内で本格的なオペレーティングシステムを起動することです。このメソッドはオペレーティングシステムによって呼び方が異なりますが、本質は同じです。複数の独立したオペレーティングシステムを起動し、それぞれがメインオペレーティングシステムと同じカーネルを実行します。これらには、FreeBSD Jail、Solaris Zone、OpenVZ、Linux 用の LXC が含まれます。分離はディスク領域だけでなく、他のリソースによっても保証されます。特に、各コンテナにはプロセッサ時間、RAM、ネットワーク帯域幅に制限がある場合があります。 chroot と比較すると、コンテナ内のスーパーユーザーはコンテナの内容にしかアクセスできないため、コンテナから離れるのはより困難ですが、コンテナ内のオペレーティングシステムを最新の状態に保つ必要があることと、古いバージョンを使用する必要があるためです。カーネル (Linux に関連するが、程度は低いが FreeBSD) を使用すると、カーネル分離システムを「突破」してメインオペレーティングシステムにアクセスできる可能性がゼロではありません。

本格的なオペレーティングシステムをコンテナ内で (初期化システム、パッケージマネージャーなどを使用して) 起動する代わりに、アプリケーションをすぐに起動できます。主なことは、アプリケーションにそのような機会 (必要なライブラリの存在) を提供することです。およびその他のファイル)。このアイデアは、コンテナ化されたアプリケーション仮想化の基礎となり、その最も著名でよく知られた代表が Docker です。以前のシステムと比較して、より柔軟な分離メカニズムと、コンテナ間の仮想ネットワークおよびコンテナ内のアプリケーション状態追跡のサポートが組み込まれているため、コンテナを実行するための多数の物理サーバーから単一の一貫した環境を構築できるようになりました。手動のリソース管理は必要ありません。

デッカー

Docker は最も有名なアプリケーションコンテナ化ソフトウェアです。 Go 言語で書かれており、cgroup、名前空間、機能などの Linux カーネルの標準機能に加え、Aufs ファイルシステムなどのディスク領域を節約する機能も使用します。

出典: ウィキメディア

アーキテクチャ

バージョン 1.11 より前の Docker は、コンテナーのイメージのダウンロード、コンテナーの起動、API リクエストの処理など、コンテナーに関するすべての操作を実行する単一のサービスとして機能していました。バージョン 1.11 以降、Docker は相互に対話するいくつかの部分に分割されました。containerd は、コンテナーのライフサイクル全体を処理します (ディスク領域の割り当て、イメージのダウンロード、ネットワークの操作、起動、インストール、コンテナーの状態の監視)。 runC は、cgroup および Linux カーネルのその他の機能の使用に基づくコンテナー実行環境です。 docker サービス自体は残りますが、現在は、containerd に変換された API リクエストの処理のみを行っています。

インストールと構成

docker をインストールする私のお気に入りの方法は docker-machine です。これは、リモートサーバー (さまざまなクラウドを含む) に docker を直接インストールして構成することに加えて、リモートサーバーのファイルシステムを操作したり、さまざまなコマンドを実行したりできるようにします。

ただし、2018 年以降、このプロジェクトはほとんど開発されていないため、ほとんどの Linux ディストリビューションの標準的な方法 (リポジトリを追加して必要なパッケージをインストールする) でインストールします。

この方法は、たとえば Ansible や他の同様のシステムを使用した自動インストールにも使用されますが、この記事では考慮しません。

インストールは Centos 7 上で実行されます。仮想マシンをサーバーとして使用します。インストールするには、以下のコマンドを実行するだけです。

# yum install -y yum-utils
# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# yum install docker-ce docker-ce-cli containerd.io

インストール後、サービスを開始してスタートアップに入れる必要があります。

# systemctl enable docker
# systemctl start docker
# firewall-cmd --zone=public --add-port=2377/tcp --permanent

さらに、Docker グループを作成すると、ユーザーは sudo を使用せずに docker を操作したり、ログを設定したり、外部から API へのアクセスを有効にしたり、ファイアウォールをより正確に構成したりすることを忘れないでください (許可されていないすべてのもの)は上記と以下の例では禁止されています。簡略化と明確化のためにこれは省略しました）が、ここではこれ以上詳しく説明しません。

その他の機能

前述の Docker マシンに加えて、コンテナーのイメージを保存するツールである docker registry や、コンテナーへのアプリケーションのデプロイメントを自動化するツールである docker compose もあります。YAML ファイルはコンテナーの構築と構成に使用されます。およびその他の関連するもの (ネットワーク、ストレージデータ用の永続ファイルシステムなど)。

CICD用のコンベアの整理にも使用できます。もう 1.12 つの興味深い機能は、クラスターモード、いわゆる swarm モード (バージョン XNUMX より前は docker swarm として知られていました) で動作することです。これにより、コンテナーを実行するために複数のサーバーから単一のインフラストラクチャを組み立てることができます。すべてのサーバー上の仮想ネットワークのサポート、組み込みのロードバランサー、およびコンテナーのシークレットのサポートがあります。

docker compose の YAML ファイルを少し変更すると、このようなクラスターに使用でき、さまざまな目的で中小規模のクラスターのメンテナンスを完全に自動化できます。大規模なクラスターの場合は、swarm モードのメンテナンスコストが Kubernetes のメンテナンスコストを超える可能性があるため、Kubernetes が推奨されます。コンテナ実行環境としてはrunCの他に例えばインストール可能型コンテナ

Docker の操作

インストールと構成が完了したら、開発チーム用に GitLab と Docker Registry をデプロイするクラスターを組み立ててみます。 XNUMX 台の仮想マシンをサーバーとして使用し、その上に分散 FS GlusterFS を追加デプロイします。たとえば、フォールトトレラントバージョンの Docker レジストリを実行するための Docker ボリュームストレージとして使用します。実行する主要コンポーネント: Docker Registry、Postgresql、Redis、Swarm 上で GitLab Runner をサポートする GitLab。クラスタリングを使用して Postgresql を起動しますストーロンしたがって、Postgresql データを保存するために GlusterFS を使用する必要はありません。残りの重要なデータは GlusterFS に保存されます。

GlusterFS をすべてのサーバー (node1、node2、node3 と呼ばれます) にデプロイするには、パッケージをインストールし、ファイアウォールを有効にして、必要なディレクトリを作成する必要があります。

# yum -y install centos-release-gluster7
# yum -y install glusterfs-server
# systemctl enable glusterd
# systemctl start glusterd
# firewall-cmd --add-service=glusterfs --permanent
# firewall-cmd --reload
# mkdir -p /srv/gluster
# mkdir -p /srv/docker
# echo "$(hostname):/docker /srv/docker glusterfs defaults,_netdev 0 0" >> /etc/fstab

インストール後、GlusterFS の構成作業は 1 つのノード (たとえば、nodeXNUMX) から続行する必要があります。

# gluster peer probe node2
# gluster peer probe node3
# gluster volume create docker replica 3 node1:/srv/gluster node2:/srv/gluster node3:/srv/gluster force
# gluster volume start docker

次に、結果のボリュームをマウントする必要があります (コマンドはすべてのサーバーで実行する必要があります)。

# mount /srv/docker

swarm モードは、リーダーとなるサーバーの XNUMX つで構成され、残りのサーバーはクラスターに参加する必要があるため、最初のサーバーでコマンドを実行した結果をコピーして他のサーバーで実行する必要があります。

クラスターの初期セットアップでは、node1 でコマンドを実行します。

# docker swarm init
Swarm initialized: current node (a5jpfrh5uvo7svzz1ajduokyq) is now a manager.

To add a worker to this swarm, run the following command:

    docker swarm join --token SWMTKN-1-0c5mf7mvzc7o7vjk0wngno2dy70xs95tovfxbv4tqt9280toku-863hyosdlzvd76trfptd4xnzd xx.xx.xx.xx:2377

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.
# docker swarm join-token manager

2 番目のコマンドの結果をコピーし、ノード 3 とノード XNUMX で実行します。

# docker swarm join --token SWMTKN-x-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx-xxxxxxxxx xx.xx.xx.xx:2377
This node joined a swarm as a manager.

この時点で、サーバーの事前構成は完了しました。サービスのセットアップに進みましょう。特に指定しない限り、実行するコマンドはノード 1 から起動されます。

まず、コンテナ用のネットワークを作成しましょう。

# docker network create --driver=overlay etcd
# docker network create --driver=overlay pgsql
# docker network create --driver=overlay redis
# docker network create --driver=overlay traefik
# docker network create --driver=overlay gitlab

次に、サーバーをマークします。これは、いくつかのサービスをサーバーにバインドするために必要です。

# docker node update --label-add nodename=node1 node1
# docker node update --label-add nodename=node2 node2
# docker node update --label-add nodename=node3 node3

次に、Traefik と Stolon に必要な etcd データを保存するためのディレクトリ、KV ストレージを作成します。 Postgresql と同様に、これらはサーバーに関連付けられたコンテナーとなるため、すべてのサーバーでこのコマンドを実行します。

# mkdir -p /srv/etcd

次に、etcd を構成するファイルを作成して使用します。

00etcd.yml

version: '3.7'

services:
  etcd1:
    image: quay.io/coreos/etcd:latest
    hostname: etcd1
    command:
      - etcd
      - --name=etcd1
      - --data-dir=/data.etcd
      - --advertise-client-urls=http://etcd1:2379
      - --listen-client-urls=http://0.0.0.0:2379
      - --initial-advertise-peer-urls=http://etcd1:2380
      - --listen-peer-urls=http://0.0.0.0:2380
      - --initial-cluster=etcd1=http://etcd1:2380,etcd2=http://etcd2:2380,etcd3=http://etcd3:2380
      - --initial-cluster-state=new
      - --initial-cluster-token=etcd-cluster
    networks:
      - etcd
    volumes:
      - etcd1vol:/data.etcd
    deploy:
      replicas: 1
      placement:
        constraints: [node.labels.nodename == node1]
  etcd2:
    image: quay.io/coreos/etcd:latest
    hostname: etcd2
    command:
      - etcd
      - --name=etcd2
      - --data-dir=/data.etcd
      - --advertise-client-urls=http://etcd2:2379
      - --listen-client-urls=http://0.0.0.0:2379
      - --initial-advertise-peer-urls=http://etcd2:2380
      - --listen-peer-urls=http://0.0.0.0:2380
      - --initial-cluster=etcd1=http://etcd1:2380,etcd2=http://etcd2:2380,etcd3=http://etcd3:2380
      - --initial-cluster-state=new
      - --initial-cluster-token=etcd-cluster
    networks:
      - etcd
    volumes:
      - etcd2vol:/data.etcd
    deploy:
      replicas: 1
      placement:
        constraints: [node.labels.nodename == node2]
  etcd3:
    image: quay.io/coreos/etcd:latest
    hostname: etcd3
    command:
      - etcd
      - --name=etcd3
      - --data-dir=/data.etcd
      - --advertise-client-urls=http://etcd3:2379
      - --listen-client-urls=http://0.0.0.0:2379
      - --initial-advertise-peer-urls=http://etcd3:2380
      - --listen-peer-urls=http://0.0.0.0:2380
      - --initial-cluster=etcd1=http://etcd1:2380,etcd2=http://etcd2:2380,etcd3=http://etcd3:2380
      - --initial-cluster-state=new
      - --initial-cluster-token=etcd-cluster
    networks:
      - etcd
    volumes:
      - etcd3vol:/data.etcd
    deploy:
      replicas: 1
      placement:
        constraints: [node.labels.nodename == node3]

volumes:
  etcd1vol:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/etcd"
  etcd2vol:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/etcd"
  etcd3vol:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/etcd"

networks:
  etcd:
    external: true

# docker stack deploy --compose-file 00etcd.yml etcd

しばらくしてから、etcd クラスターが起動していることを確認します。

# docker exec $(docker ps | awk '/etcd/ {print $1}')  etcdctl member list
ade526d28b1f92f7: name=etcd1 peerURLs=http://etcd1:2380 clientURLs=http://etcd1:2379 isLeader=false
bd388e7810915853: name=etcd3 peerURLs=http://etcd3:2380 clientURLs=http://etcd3:2379 isLeader=false
d282ac2ce600c1ce: name=etcd2 peerURLs=http://etcd2:2380 clientURLs=http://etcd2:2379 isLeader=true
# docker exec $(docker ps | awk '/etcd/ {print $1}')  etcdctl cluster-health
member ade526d28b1f92f7 is healthy: got healthy result from http://etcd1:2379
member bd388e7810915853 is healthy: got healthy result from http://etcd3:2379
member d282ac2ce600c1ce is healthy: got healthy result from http://etcd2:2379
cluster is healthy

Postgresql 用のディレクトリを作成し、すべてのサーバーでコマンドを実行します。

# mkdir -p /srv/pgsql

次に、Postgresql を構成するためのファイルを作成します。

01pgsql.yml

version: '3.7'

services:
  pgsentinel:
    image: sorintlab/stolon:master-pg10
    command:
      - gosu
      - stolon
      - stolon-sentinel
      - --cluster-name=stolon-cluster
      - --store-backend=etcdv3
      - --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
      - --log-level=debug
    networks:
      - etcd
      - pgsql
    deploy:
      replicas: 3
      update_config:
        parallelism: 1
        delay: 30s
        order: stop-first
        failure_action: pause
  pgkeeper1:
    image: sorintlab/stolon:master-pg10
    hostname: pgkeeper1
    command:
      - gosu
      - stolon
      - stolon-keeper
      - --pg-listen-address=pgkeeper1
      - --pg-repl-username=replica
      - --uid=pgkeeper1
      - --pg-su-username=postgres
      - --pg-su-passwordfile=/run/secrets/pgsql
      - --pg-repl-passwordfile=/run/secrets/pgsql_repl
      - --data-dir=/var/lib/postgresql/data
      - --cluster-name=stolon-cluster
      - --store-backend=etcdv3
      - --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
    networks:
      - etcd
      - pgsql
    environment:
      - PGDATA=/var/lib/postgresql/data
    volumes:
      - pgkeeper1:/var/lib/postgresql/data
    secrets:
      - pgsql
      - pgsql_repl
    deploy:
      replicas: 1
      placement:
        constraints: [node.labels.nodename == node1]
  pgkeeper2:
    image: sorintlab/stolon:master-pg10
    hostname: pgkeeper2
    command:
      - gosu
      - stolon 
      - stolon-keeper
      - --pg-listen-address=pgkeeper2
      - --pg-repl-username=replica
      - --uid=pgkeeper2
      - --pg-su-username=postgres
      - --pg-su-passwordfile=/run/secrets/pgsql
      - --pg-repl-passwordfile=/run/secrets/pgsql_repl
      - --data-dir=/var/lib/postgresql/data
      - --cluster-name=stolon-cluster
      - --store-backend=etcdv3
      - --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
    networks:
      - etcd
      - pgsql
    environment:
      - PGDATA=/var/lib/postgresql/data
    volumes:
      - pgkeeper2:/var/lib/postgresql/data
    secrets:
      - pgsql
      - pgsql_repl
    deploy:
      replicas: 1
      placement:
        constraints: [node.labels.nodename == node2]
  pgkeeper3:
    image: sorintlab/stolon:master-pg10
    hostname: pgkeeper3
    command:
      - gosu
      - stolon 
      - stolon-keeper
      - --pg-listen-address=pgkeeper3
      - --pg-repl-username=replica
      - --uid=pgkeeper3
      - --pg-su-username=postgres
      - --pg-su-passwordfile=/run/secrets/pgsql
      - --pg-repl-passwordfile=/run/secrets/pgsql_repl
      - --data-dir=/var/lib/postgresql/data
      - --cluster-name=stolon-cluster
      - --store-backend=etcdv3
      - --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
    networks:
      - etcd
      - pgsql
    environment:
      - PGDATA=/var/lib/postgresql/data
    volumes:
      - pgkeeper3:/var/lib/postgresql/data
    secrets:
      - pgsql
      - pgsql_repl
    deploy:
      replicas: 1
      placement:
        constraints: [node.labels.nodename == node3]
  postgresql:
    image: sorintlab/stolon:master-pg10
    command: gosu stolon stolon-proxy --listen-address 0.0.0.0 --cluster-name stolon-cluster --store-backend=etcdv3 --store-endpoints http://etcd1:2379,http://etcd2:2379,http://etcd3:2379
    networks:
      - etcd
      - pgsql
    deploy:
      replicas: 3
      update_config:
        parallelism: 1
        delay: 30s
        order: stop-first
        failure_action: rollback

volumes:
  pgkeeper1:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/pgsql"
  pgkeeper2:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/pgsql"
  pgkeeper3:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/pgsql"

secrets:
  pgsql:
    file: "/srv/docker/postgres"
  pgsql_repl:
    file: "/srv/docker/replica"

networks:
  etcd:
    external: true
  pgsql:
    external: true

シークレットを生成し、ファイルを使用します。

# </dev/urandom tr -dc 234567890qwertyuopasdfghjkzxcvbnmQWERTYUPASDFGHKLZXCVBNM | head -c $(((RANDOM%3)+15)) > /srv/docker/replica
# </dev/urandom tr -dc 234567890qwertyuopasdfghjkzxcvbnmQWERTYUPASDFGHKLZXCVBNM | head -c $(((RANDOM%3)+15)) > /srv/docker/postgres
# docker stack deploy --compose-file 01pgsql.yml pgsql

しばらくしてから (コマンドの出力を参照) ドッカーサービスlsすべてのサービスが稼働していることを確認します)、Postgresql クラスターを初期化します。

# docker exec $(docker ps | awk '/pgkeeper/ {print $1}') stolonctl --cluster-name=stolon-cluster --store-backend=etcdv3 --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379 init

Postgresql クラスターの準備ができているかを確認します。

# docker exec $(docker ps | awk '/pgkeeper/ {print $1}') stolonctl --cluster-name=stolon-cluster --store-backend=etcdv3 --store-endpoints=http://etcd1:2379,http://etcd2:2379,http://etcd3:2379 status
=== Active sentinels ===

ID      LEADER
26baa11d    false
74e98768    false
a8cb002b    true

=== Active proxies ===

ID
4d233826
9f562f3b
b0c79ff1

=== Keepers ===

UID     HEALTHY PG LISTENADDRESS    PG HEALTHY  PG WANTEDGENERATION PG CURRENTGENERATION
pgkeeper1   true    pgkeeper1:5432         true     2           2
pgkeeper2   true    pgkeeper2:5432          true            2                   2
pgkeeper3   true    pgkeeper3:5432          true            3                   3

=== Cluster Info ===

Master Keeper: pgkeeper3

===== Keepers/DB tree =====

pgkeeper3 (master)
├─pgkeeper2
└─pgkeeper1

外部からコンテナーへのアクセスを開くように traefik を構成します。

03traefik.yml

version: '3.7'

services:
  traefik:
    image: traefik:latest
    command: >
      --log.level=INFO
      --providers.docker=true
      --entryPoints.web.address=:80
      --providers.providersThrottleDuration=2
      --providers.docker.watch=true
      --providers.docker.swarmMode=true
      --providers.docker.swarmModeRefreshSeconds=15s
      --providers.docker.exposedbydefault=false
      --accessLog.bufferingSize=0
      --api=true
      --api.dashboard=true
      --api.insecure=true
    networks:
      - traefik
    ports:
      - 80:80
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    deploy:
      replicas: 3
      placement:
        constraints:
          - node.role == manager
        preferences:
          - spread: node.id
      labels:
        - traefik.enable=true
        - traefik.http.routers.traefik.rule=Host(`traefik.example.com`)
        - traefik.http.services.traefik.loadbalancer.server.port=8080
        - traefik.docker.network=traefik

networks:
  traefik:
    external: true

# docker stack deploy --compose-file 03traefik.yml traefik

Redis クラスターを起動します。これを行うために、すべてのノードにストレージディレクトリを作成します。

# mkdir -p /srv/redis

05redis.yml

version: '3.7'

services:
  redis-master:
    image: 'bitnami/redis:latest'
    networks:
      - redis
    ports:
      - '6379:6379'
    environment:
      - REDIS_REPLICATION_MODE=master
      - REDIS_PASSWORD=xxxxxxxxxxx
    deploy:
      mode: global
      restart_policy:
        condition: any
    volumes:
      - 'redis:/opt/bitnami/redis/etc/'

  redis-replica:
    image: 'bitnami/redis:latest'
    networks:
      - redis
    ports:
      - '6379'
    depends_on:
      - redis-master
    environment:
      - REDIS_REPLICATION_MODE=slave
      - REDIS_MASTER_HOST=redis-master
      - REDIS_MASTER_PORT_NUMBER=6379
      - REDIS_MASTER_PASSWORD=xxxxxxxxxxx
      - REDIS_PASSWORD=xxxxxxxxxxx
    deploy:
      mode: replicated
      replicas: 3
      update_config:
        parallelism: 1
        delay: 10s
      restart_policy:
        condition: any

  redis-sentinel:
    image: 'bitnami/redis:latest'
    networks:
      - redis
    ports:
      - '16379'
    depends_on:
      - redis-master
      - redis-replica
    entrypoint: |
      bash -c 'bash -s <<EOF
      "/bin/bash" -c "cat <<EOF > /opt/bitnami/redis/etc/sentinel.conf
      port 16379
      dir /tmp
      sentinel monitor master-node redis-master 6379 2
      sentinel down-after-milliseconds master-node 5000
      sentinel parallel-syncs master-node 1
      sentinel failover-timeout master-node 5000
      sentinel auth-pass master-node xxxxxxxxxxx
      sentinel announce-ip redis-sentinel
      sentinel announce-port 16379
      EOF"
      "/bin/bash" -c "redis-sentinel /opt/bitnami/redis/etc/sentinel.conf"
      EOF'
    deploy:
      mode: global
      restart_policy:
        condition: any

volumes:
  redis:
    driver: local
    driver_opts:
      type: 'none'
      o: 'bind'
      device: "/srv/redis"

networks:
  redis:
    external: true

# docker stack deploy --compose-file 05redis.yml redis

Docker レジストリを追加します。

06レジストリ.yml

version: '3.7'

services:
  registry:
    image: registry:2.6
    networks:
      - traefik
    volumes:
      - registry_data:/var/lib/registry
    deploy:
      replicas: 1
      placement:
        constraints: [node.role == manager]
      restart_policy:
        condition: on-failure
      labels:
        - traefik.enable=true
        - traefik.http.routers.registry.rule=Host(`registry.example.com`)
        - traefik.http.services.registry.loadbalancer.server.port=5000
        - traefik.docker.network=traefik

volumes:
  registry_data:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/docker/registry"

networks:
  traefik:
    external: true

# mkdir /srv/docker/registry
# docker stack deploy --compose-file 06registry.yml registry

そして最後に - GitLab:

08gitlab-runner.yml

version: '3.7'

services:
  gitlab:
    image: gitlab/gitlab-ce:latest
    networks:
      - pgsql
      - redis
      - traefik
      - gitlab
    ports:
      - 22222:22
    environment:
      GITLAB_OMNIBUS_CONFIG: |
        postgresql['enable'] = false
        redis['enable'] = false
        gitlab_rails['registry_enabled'] = false
        gitlab_rails['db_username'] = "gitlab"
        gitlab_rails['db_password'] = "XXXXXXXXXXX"
        gitlab_rails['db_host'] = "postgresql"
        gitlab_rails['db_port'] = "5432"
        gitlab_rails['db_database'] = "gitlab"
        gitlab_rails['db_adapter'] = 'postgresql'
        gitlab_rails['db_encoding'] = 'utf8'
        gitlab_rails['redis_host'] = 'redis-master'
        gitlab_rails['redis_port'] = '6379'
        gitlab_rails['redis_password'] = 'xxxxxxxxxxx'
        gitlab_rails['smtp_enable'] = true
        gitlab_rails['smtp_address'] = "smtp.yandex.ru"
        gitlab_rails['smtp_port'] = 465
        gitlab_rails['smtp_user_name'] = "[email protected]"
        gitlab_rails['smtp_password'] = "xxxxxxxxx"
        gitlab_rails['smtp_domain'] = "example.com"
        gitlab_rails['gitlab_email_from'] = '[email protected]'
        gitlab_rails['smtp_authentication'] = "login"
        gitlab_rails['smtp_tls'] = true
        gitlab_rails['smtp_enable_starttls_auto'] = true
        gitlab_rails['smtp_openssl_verify_mode'] = 'peer'
        external_url 'http://gitlab.example.com/'
        gitlab_rails['gitlab_shell_ssh_port'] = 22222
    volumes:
      - gitlab_conf:/etc/gitlab
      - gitlab_logs:/var/log/gitlab
      - gitlab_data:/var/opt/gitlab
    deploy:
      mode: replicated
      replicas: 1
      placement:
        constraints:
        - node.role == manager
      labels:
        - traefik.enable=true
        - traefik.http.routers.gitlab.rule=Host(`gitlab.example.com`)
        - traefik.http.services.gitlab.loadbalancer.server.port=80
        - traefik.docker.network=traefik
  gitlab-runner:
    image: gitlab/gitlab-runner:latest
    networks:
      - gitlab
    volumes:
      - gitlab_runner_conf:/etc/gitlab
      - /var/run/docker.sock:/var/run/docker.sock
    deploy:
      mode: replicated
      replicas: 1
      placement:
        constraints:
        - node.role == manager

volumes:
  gitlab_conf:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/docker/gitlab/conf"
  gitlab_logs:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/docker/gitlab/logs"
  gitlab_data:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/docker/gitlab/data"
  gitlab_runner_conf:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: "/srv/docker/gitlab/runner"

networks:
  pgsql:
    external: true
  redis:
    external: true
  traefik:
    external: true
  gitlab:
    external: true

# mkdir -p /srv/docker/gitlab/conf
# mkdir -p /srv/docker/gitlab/logs
# mkdir -p /srv/docker/gitlab/data
# mkdir -p /srv/docker/gitlab/runner
# docker stack deploy --compose-file 08gitlab-runner.yml gitlab

クラスターとサービスの最終状態:

# docker service ls
ID                  NAME                   MODE                REPLICAS            IMAGE                          PORTS
lef9n3m92buq        etcd_etcd1             replicated          1/1                 quay.io/coreos/etcd:latest
ij6uyyo792x5        etcd_etcd2             replicated          1/1                 quay.io/coreos/etcd:latest
fqttqpjgp6pp        etcd_etcd3             replicated          1/1                 quay.io/coreos/etcd:latest
hq5iyga28w33        gitlab_gitlab          replicated          1/1                 gitlab/gitlab-ce:latest        *:22222->22/tcp
dt7s6vs0q4qc        gitlab_gitlab-runner   replicated          1/1                 gitlab/gitlab-runner:latest
k7uoezno0h9n        pgsql_pgkeeper1        replicated          1/1                 sorintlab/stolon:master-pg10
cnrwul4r4nse        pgsql_pgkeeper2        replicated          1/1                 sorintlab/stolon:master-pg10
frflfnpty7tr        pgsql_pgkeeper3        replicated          1/1                 sorintlab/stolon:master-pg10
x7pqqchi52kq        pgsql_pgsentinel       replicated          3/3                 sorintlab/stolon:master-pg10
mwu2wl8fti4r        pgsql_postgresql       replicated          3/3                 sorintlab/stolon:master-pg10
9hkbe2vksbzb        redis_redis-master     global              3/3                 bitnami/redis:latest           *:6379->6379/tcp
l88zn8cla7dc        redis_redis-replica    replicated          3/3                 bitnami/redis:latest           *:30003->6379/tcp
1utp309xfmsy        redis_redis-sentinel   global              3/3                 bitnami/redis:latest           *:30002->16379/tcp
oteb824ylhyp        registry_registry      replicated          1/1                 registry:2.6
qovrah8nzzu8        traefik_traefik        replicated          3/3                 traefik:latest                 *:80->80/tcp, *:443->443/tcp

他に改善できる点は何でしょうか? https 経由でコンテナを実行し、Postgresql と Redis の TLS 暗号化を追加するように Traefik を構成してください。ただし、一般的には、PoC として開発者に提供することができます。次に、Docker の代替手段を見てみましょう。

ポッドマン

ポッドごとにグループ化されたコンテナー (ポッド、一緒にデプロイされたコンテナーのグループ) を実行するためのもう XNUMX つのよく知られたエンジンです。 Docker とは異なり、コンテナーを実行するためのサービスは必要ありません。すべての作業は libpod ライブラリーを通じて行われます。これも Go で書かれており、コンテナを実行するには runC などの OCI 互換ランタイムが必要です。

Podman での作業は一般に、次のように実行できる点で Docker の作業を思い出させます (この記事の著者を含む、試したことのある多くの人が述べているように)。

$ alias docker=podman

そして仕事を続けることができます。一般に、Podman の状況は非常に興味深いものです。なぜなら、Kubernetes の初期バージョンが Docker と連携していたとすると、コンテナの世界の標準化 (OCI - Open Container Initiative) と Docker の containerd と runC への分割後の 2015 年頃からです。 Kubernetes で実行するための Docker の代替手段である CRI-O が開発されています。この点において、Podman は Docker の代替手段であり、コンテナのグループ化など、Kubernetes の原則に基づいて構築されていますが、プロジェクトの主な目的は、追加サービスなしで Docker スタイルのコンテナを起動することです。明らかな理由で、開発者はクラスターが必要な場合は Kubernetes を使用すると言っているため、swarm モードはありません。

インストール

Centos 7 にインストールするには、Extras リポジトリをアクティブ化し、次のコマンドを使用してすべてをインストールします。

# yum -y install podman

その他の機能

Podman は systemd のユニットを生成できるため、サーバーの再起動後にコンテナーを起動する問題が解決されます。さらに、systemd はコンテナー内で pid 1 として正しく動作するように宣言されています。コンテナを構築するための別の buildah ツールがあり、docker-compose に類似したサードパーティツールもあり、これらも Kubernetes と互換性のある構成ファイルを生成するため、Podman から Kubernetes への移行は可能な限り簡素化されます。

ポッドマンとの連携

swarm モードがないため (クラスターが必要な場合は Kubernetes に切り替えることになっています)、別のコンテナーに収集します。

podman-compose をインストールします。

# yum -y install python3-pip
# pip3 install podman-compose

結果として得られる podman の構成ファイルは若干異なるため、たとえば、別のボリュームセクションをサービスのあるセクションに直接移動する必要がありました。

gitlab-podman.yml

version: '3.7'

services:
  gitlab:
    image: gitlab/gitlab-ce:latest
    hostname: gitlab.example.com
    restart: unless-stopped
    environment:
      GITLAB_OMNIBUS_CONFIG: |
        gitlab_rails['gitlab_shell_ssh_port'] = 22222
    ports:
      - "80:80"
      - "22222:22"
    volumes:
      - /srv/podman/gitlab/conf:/etc/gitlab
      - /srv/podman/gitlab/data:/var/opt/gitlab
      - /srv/podman/gitlab/logs:/var/log/gitlab
    networks:
      - gitlab

  gitlab-runner:
    image: gitlab/gitlab-runner:alpine
    restart: unless-stopped
    depends_on:
      - gitlab
    volumes:
      - /srv/podman/gitlab/runner:/etc/gitlab-runner
      - /var/run/docker.sock:/var/run/docker.sock
    networks:
      - gitlab

networks:
  gitlab:

# podman-compose -f gitlab-runner.yml -d up

結果：

# podman ps
CONTAINER ID  IMAGE                                  COMMAND               CREATED             STATUS                 PORTS                                      NAMES
da53da946c01  docker.io/gitlab/gitlab-runner:alpine  run --user=gitlab...  About a minute ago  Up About a minute ago  0.0.0.0:22222->22/tcp, 0.0.0.0:80->80/tcp  root_gitlab-runner_1
781c0103c94a  docker.io/gitlab/gitlab-ce:latest      /assets/wrapper       About a minute ago  Up About a minute ago  0.0.0.0:22222->22/tcp, 0.0.0.0:80->80/tcp  root_gitlab_1

systemd と kubernetes に対して何が生成されるかを見てみましょう。そのためには、ポッドの名前または ID を調べる必要があります。

# podman pod ls
POD ID         NAME   STATUS    CREATED          # OF CONTAINERS   INFRA ID
71fc2b2a5c63   root   Running   11 minutes ago   3                 db40ab8bf84b

Kubernetes：

# podman generate kube 71fc2b2a5c63
# Generation of Kubernetes YAML is still under development!
#
# Save the output of this file and use kubectl create -f to import
# it into Kubernetes.
#
# Created with podman-1.6.4
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: "2020-07-29T19:22:40Z"
  labels:
    app: root
  name: root
spec:
  containers:
  - command:
    - /assets/wrapper
    env:
    - name: PATH
      value: /opt/gitlab/embedded/bin:/opt/gitlab/bin:/assets:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
    - name: TERM
      value: xterm
    - name: HOSTNAME
      value: gitlab.example.com
    - name: container
      value: podman
    - name: GITLAB_OMNIBUS_CONFIG
      value: |
        gitlab_rails['gitlab_shell_ssh_port'] = 22222
    - name: LANG
      value: C.UTF-8
    image: docker.io/gitlab/gitlab-ce:latest
    name: rootgitlab1
    ports:
    - containerPort: 22
      hostPort: 22222
      protocol: TCP
    - containerPort: 80
      hostPort: 80
      protocol: TCP
    resources: {}
    securityContext:
      allowPrivilegeEscalation: true
      capabilities: {}
      privileged: false
      readOnlyRootFilesystem: false
    volumeMounts:
    - mountPath: /var/opt/gitlab
      name: srv-podman-gitlab-data
    - mountPath: /var/log/gitlab
      name: srv-podman-gitlab-logs
    - mountPath: /etc/gitlab
      name: srv-podman-gitlab-conf
    workingDir: /
  - command:
    - run
    - --user=gitlab-runner
    - --working-directory=/home/gitlab-runner
    env:
    - name: PATH
      value: /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
    - name: TERM
      value: xterm
    - name: HOSTNAME
    - name: container
      value: podman
    image: docker.io/gitlab/gitlab-runner:alpine
    name: rootgitlab-runner1
    resources: {}
    securityContext:
      allowPrivilegeEscalation: true
      capabilities: {}
      privileged: false
      readOnlyRootFilesystem: false
    volumeMounts:
    - mountPath: /etc/gitlab-runner
      name: srv-podman-gitlab-runner
    - mountPath: /var/run/docker.sock
      name: var-run-docker.sock
    workingDir: /
  volumes:
  - hostPath:
      path: /srv/podman/gitlab/runner
      type: Directory
    name: srv-podman-gitlab-runner
  - hostPath:
      path: /var/run/docker.sock
      type: File
    name: var-run-docker.sock
  - hostPath:
      path: /srv/podman/gitlab/data
      type: Directory
    name: srv-podman-gitlab-data
  - hostPath:
      path: /srv/podman/gitlab/logs
      type: Directory
    name: srv-podman-gitlab-logs
  - hostPath:
      path: /srv/podman/gitlab/conf
      type: Directory
    name: srv-podman-gitlab-conf
status: {}

システム:

# podman generate systemd 71fc2b2a5c63
# pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
# autogenerated by Podman 1.6.4
# Thu Jul 29 15:23:28 EDT 2020

[Unit]
Description=Podman pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
Documentation=man:podman-generate-systemd(1)
Requires=container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
Before=container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service

[Service]
Restart=on-failure
ExecStart=/usr/bin/podman start db40ab8bf84bf35141159c26cb6e256b889c7a98c0418eee3c4aa683c14fccaa
ExecStop=/usr/bin/podman stop -t 10 db40ab8bf84bf35141159c26cb6e256b889c7a98c0418eee3c4aa683c14fccaa
KillMode=none
Type=forking
PIDFile=/var/run/containers/storage/overlay-containers/db40ab8bf84bf35141159c26cb6e256b889c7a98c0418eee3c4aa683c14fccaa/userdata/conmon.pid

[Install]
WantedBy=multi-user.target
# container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
# autogenerated by Podman 1.6.4
# Thu Jul 29 15:23:28 EDT 2020

[Unit]
Description=Podman container-da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864.service
Documentation=man:podman-generate-systemd(1)
RefuseManualStart=yes
RefuseManualStop=yes
BindsTo=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
After=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service

[Service]
Restart=on-failure
ExecStart=/usr/bin/podman start da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864
ExecStop=/usr/bin/podman stop -t 10 da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864
KillMode=none
Type=forking
PIDFile=/var/run/containers/storage/overlay-containers/da53da946c01449f500aa5296d9ea6376f751948b17ca164df438b7df6607864/userdata/conmon.pid

[Install]
WantedBy=multi-user.target
# container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service
# autogenerated by Podman 1.6.4
# Thu Jul 29 15:23:28 EDT 2020

[Unit]
Description=Podman container-781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3.service
Documentation=man:podman-generate-systemd(1)
RefuseManualStart=yes
RefuseManualStop=yes
BindsTo=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service
After=pod-71fc2b2a5c6346f0c1c86a2dc45dbe78fa192ea02aac001eb8347ccb8c043c26.service

[Service]
Restart=on-failure
ExecStart=/usr/bin/podman start 781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3
ExecStop=/usr/bin/podman stop -t 10 781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3
KillMode=none
Type=forking
PIDFile=/var/run/containers/storage/overlay-containers/781c0103c94aaa113c17c58d05ddabf8df4bf39707b664abcf17ed2ceff467d3/userdata/conmon.pid

[Install]
WantedBy=multi-user.target

残念ながら、systemd 用に生成されたユニットは、コンテナーの起動以外には何も実行しないため (たとえば、サービスの再起動時に古いコンテナーをクリーンアップするなど)、そのような処理を自分で記述する必要があります。

原則として、コンテナとは何かを試し、docker-compose の古い構成を転送し、クラスターが必要な場合は Kubernetes に移行するか、Docker のより使いやすい代替手段を入手するには、Podman で十分です。

rkt

プロジェクトアーカイブに入りました約 XNUMX か月前に RedHat が購入したため、これ以上詳しくは説明しません。全体的には非常に好印象ですが、Docker、特にPodmanと比べるとコンバインっぽい印象です。 rkt 上に構築された CoreOS ディストリビューションもありましたが (元々は Docker を使用していましたが)、これも RedHat の買収後にサポートが終了しました。

プラッシュ

別の XNUMXつのプロジェクト、作成者はコンテナを構築して実行したいだけでした。ドキュメントとコードから判断すると、作成者は標準に従っておらず、単に独自の実装を作成することを決定し、原則としてそれを実行しました。

所見

Kubernetes の状況は非常に興味深いものです。一方で、Docker を使用するとクラスターを (swarm モードで) 構築でき、クライアント向けに製品環境を実行することもできます。これは特に小規模なチーム (3 ～ 5 人) に当てはまります。、または全体的な負荷が小さい、または高負荷を含む Kubernetes のセットアップの複雑さを理解する意欲の欠如。

Podman は完全な互換性を提供しませんが、追加ツール (buildah など) を含む Kubernetes との互換性という重要な利点が XNUMX つあります。したがって、私は次のように作業用ツールの選択に取り組みます。小規模なチーム、または予算が限られている場合 - Docker (swarm モードの可能性あり)、個人用ローカルホストでの自分用の開発 - Podman の同志、および他の全員用- Kubernetes。

Docker の状況が将来も変わらないのかどうかはわかりません。結局のところ、Docker は先駆者であり、段階的に標準化も進められていますが、Podman にはすべての欠点があります (Linux 上でのみ動作し、クラスタリングがなく、アセンブリやその他のアクションはサードパーティのソリューションです) 将来はより明確になっているため、コメントでこれらの調査結果について議論することをお勧めします。

PS 3月XNUMX日には「Docker ビデオコース」では、彼の作品について詳しく知ることができます。基本的な抽象化からネットワークパラメータ、さまざまなオペレーティングシステムやプログラミング言語での作業のニュアンスに至るまで、そのすべてのツールを分析します。テクノロジーに慣れ、Docker をどこでどのように使用するのが最適かを理解できるようになります。ベストプラクティスの事例も紹介します。

発売前の予約価格：5000ルーブル。 Docker ビデオコースプログラムをご覧いただけますコースページにある.

出所： habr.com

Docker とすべて、すべて、すべて

ストーリー

デッカー

アーキテクチャ

インストールと構成

その他の機能

Docker の操作

ポッドマン

インストール

その他の機能

ポッドマンとの連携

rkt

プラッシュ

所見

コメントを追加します 返信をキャンセル

コメントを追加します返信をキャンセル