ডকার সোয়ার্মের সাথে অ্যাপ্লিকেশনগুলি স্থাপন করুন

আমরা যে অনলাইন ভিডিও বিষয়বস্তু সুপারিশ সিস্টেমে কাজ করছি তা একটি বন্ধ বাণিজ্যিক বিকাশ এবং প্রযুক্তিগতভাবে মালিকানা এবং ওপেন সোর্স উপাদানগুলির একটি বহু-উপাদান ক্লাস্টার৷ এই নিবন্ধটি লেখার উদ্দেশ্য হল একটি সীমিত সময়ের মধ্যে আমাদের প্রক্রিয়াগুলির প্রতিষ্ঠিত কর্মপ্রবাহকে ব্যাহত না করে একটি স্টেজিং সাইটের জন্য ডকার সোয়ার্ম ক্লাস্টারিং সিস্টেমের বাস্তবায়ন বর্ণনা করা। আপনার দৃষ্টিতে উপস্থাপিত আখ্যান দুটি ভাগে বিভক্ত। প্রথম অংশটি ডকার ঝাঁক ব্যবহার করার আগে CI/CD বর্ণনা করে এবং দ্বিতীয়টি এর বাস্তবায়নের প্রক্রিয়া বর্ণনা করে। যারা প্রথম অংশ পড়তে আগ্রহী নন তারা নিরাপদে দ্বিতীয় অংশে যেতে পারেন।

প্রথম খণ্ড

দূরবর্তী, দূরবর্তী বছরে, যত তাড়াতাড়ি সম্ভব সিআই/সিডি প্রক্রিয়া সেট আপ করা প্রয়োজন ছিল। শর্তগুলির মধ্যে একটি ছিল ডকার ব্যবহার না করা স্থাপনার জন্য বিভিন্ন কারণে উন্নত উপাদান:

• উত্পাদনে উপাদানগুলির আরও নির্ভরযোগ্য এবং স্থিতিশীল অপারেশনের জন্য (অর্থাৎ, ভার্চুয়ালাইজেশন ব্যবহার না করার প্রয়োজনীয়তা)
• নেতৃস্থানীয় বিকাশকারীরা ডকারের সাথে কাজ করতে চায়নি (অদ্ভুত, তবে এটি এমন ছিল)
• R&D ব্যবস্থাপনার আদর্শগত বিবেচনা অনুযায়ী

MVP-এর জন্য অবকাঠামো, স্ট্যাক এবং আনুমানিক প্রাথমিক প্রয়োজনীয়তা নিম্নরূপ উপস্থাপন করা হয়েছে:

• ডেবিয়ান সহ 4 Intel® X5650 সার্ভার (আরো একটি শক্তিশালী মেশিন সম্পূর্ণরূপে বিকশিত)
• নিজস্ব কাস্টম উপাদানগুলির বিকাশ C++, Python3-তে করা হয়
• ব্যবহৃত প্রধান 3য় পক্ষের টুল: কাফকা, ক্লিকহাউস, এয়ারফ্লো, রেডিস, গ্রাফানা, পোস্টগ্রেস্কএল, মাইএসকিউএল, …
• ডিবাগ এবং রিলিজের জন্য আলাদাভাবে উপাদান নির্মাণ এবং পরীক্ষার জন্য পাইপলাইন

প্রথম প্রশ্নগুলির মধ্যে একটি যা প্রাথমিক পর্যায়ে সমাধান করা দরকার তা হল যে কোনও পরিবেশে (CI/CD) কাস্টম উপাদানগুলি কীভাবে স্থাপন করা হবে।

আমরা পদ্ধতিগতভাবে তৃতীয় পক্ষের উপাদানগুলি ইনস্টল করার এবং সেগুলিকে সিস্টেমিকভাবে আপডেট করার সিদ্ধান্ত নিয়েছি। C++ বা পাইথনে বিকশিত কাস্টম অ্যাপ্লিকেশনগুলি বিভিন্ন উপায়ে স্থাপন করা যেতে পারে। তাদের মধ্যে, উদাহরণস্বরূপ: সিস্টেম প্যাকেজ তৈরি করা, বিল্ট ইমেজ সংগ্রহস্থলে পাঠানো এবং তারপর সার্ভারে ইনস্টল করা। একটি অজানা কারণে, অন্য একটি পদ্ধতি বেছে নেওয়া হয়েছিল, যথা: CI ব্যবহার করে, অ্যাপ্লিকেশন এক্সিকিউটেবল ফাইলগুলি কম্পাইল করা হয়, একটি ভার্চুয়াল প্রজেক্ট এনভায়রনমেন্ট তৈরি করা হয়, py মডিউলগুলি requirements.txt থেকে ইনস্টল করা হয় এবং এই সমস্ত আর্টিফ্যাক্টগুলি কনফিগার, স্ক্রিপ্ট এবং সহ পাঠানো হয়। সার্ভারে অ্যাপ্লিকেশন পরিবেশ সহগামী। এর পরে, প্রশাসকের অধিকার ছাড়াই ভার্চুয়াল ব্যবহারকারী হিসাবে অ্যাপ্লিকেশনগুলি চালু করা হয়।

গিটল্যাব-সিআই সিআই/সিডি সিস্টেম হিসাবে বেছে নেওয়া হয়েছিল। ফলাফল পাইপলাইন এই মত কিছু দেখায়:

কাঠামোগতভাবে, gitlab-ci.yml এর মত লাগছিল

---
variables:
  # минимальная версия ЦПУ на серверах, где разворачивается кластер
  CMAKE_CPUTYPE: "westmere"

  DEBIAN: "MYREGISTRY:5000/debian:latest"

before_script:
  - eval $(ssh-agent -s)
  - ssh-add <(echo "$SSH_PRIVATE_KEY")
  - mkdir -p ~/.ssh && echo -e "Host *ntStrictHostKeyChecking nonn" > ~/.ssh/config

stages:
  - build
  - testing
  - deploy

debug.debian:
  stage: build
  image: $DEBIAN
  script:
    - cd builds/release && ./build.sh
    paths:
      - bin/
      - builds/release/bin/
    when: always
release.debian:
  stage: build
  image: $DEBIAN
  script:
    - cd builds/release && ./build.sh
    paths:
      - bin/
      - builds/release/bin/
    when: always

## testing stage
tests.codestyle:
  stage: testing
  image: $DEBIAN
  dependencies:
    - release.debian
  script:
    - /bin/bash run_tests.sh -t codestyle -b "${CI_COMMIT_REF_NAME}_codestyle"
tests.debug.debian:
  stage: testing
  image: $DEBIAN
  dependencies:
    - debug.debian
  script:
    - /bin/bash run_tests.sh -e codestyle/test_pylint.py -b "${CI_COMMIT_REF_NAME}_debian_debug"
  artifacts:
    paths:
      - run_tests/username/
    when: always
    expire_in: 1 week
tests.release.debian:
  stage: testing
  image: $DEBIAN
  dependencies:
    - release.debian
  script:
    - /bin/bash run_tests.sh -e codestyle/test_pylint.py -b "${CI_COMMIT_REF_NAME}_debian_release"
  artifacts:
    paths:
      - run_tests/username/
    when: always
    expire_in: 1 week

## staging stage
deploy_staging:
  stage: deploy
  environment: staging
  image: $DEBIAN
  dependencies:
    - release.debian
  script:
    - cd scripts/deploy/ &&
        python3 createconfig.py -s $CI_ENVIRONMENT_NAME &&
        /bin/bash install_venv.sh -d -r ../../requirements.txt &&
        python3 prepare_init.d.py &&
        python3 deploy.py -s $CI_ENVIRONMENT_NAME
  when: manual

এটি লক্ষণীয় যে সমাবেশ এবং পরীক্ষাটি তার নিজস্ব চিত্রের উপর সঞ্চালিত হয়, যেখানে সমস্ত প্রয়োজনীয় সিস্টেম প্যাকেজ ইতিমধ্যে ইনস্টল করা হয়েছে এবং অন্যান্য সেটিংস তৈরি করা হয়েছে।

যদিও কাজের ক্ষেত্রে এই স্ক্রিপ্টগুলির প্রতিটি তার নিজস্ব উপায়ে আকর্ষণীয়, তবে অবশ্যই আমি সেগুলি সম্পর্কে কথা বলব না। তাদের প্রতিটির বর্ণনা অনেক সময় নেবে এবং এটি নিবন্ধের উদ্দেশ্য নয়। আমি শুধুমাত্র আপনার দৃষ্টি আকর্ষণ করব যে স্থাপনার পর্যায়ে কলিং স্ক্রিপ্টগুলির একটি ক্রম থাকে:

1. createconfig.py - পরবর্তী স্থাপনার জন্য বিভিন্ন পরিবেশে উপাদান সেটিংস সহ একটি settings.ini ফাইল তৈরি করে (প্রিপ্রোডাকশন, প্রোডাকশন, টেস্টিং, ...)
2. install_venv.sh - একটি নির্দিষ্ট ডিরেক্টরিতে py উপাদানগুলির জন্য একটি ভার্চুয়াল পরিবেশ তৈরি করে এবং এটি দূরবর্তী সার্ভারগুলিতে অনুলিপি করে
3. ready_init.d.py — টেমপ্লেটের উপর ভিত্তি করে কম্পোনেন্টের জন্য স্টার্ট-স্টপ স্ক্রিপ্ট প্রস্তুত করে
4. deploy.py - নতুন উপাদানগুলিকে পচে এবং পুনরায় চালু করে

ক্স. স্টেজিং স্টেজ প্রিপ্রোডাকশন এবং প্রোডাকশন দ্বারা প্রতিস্থাপিত হয়েছিল। আরও একটি বিতরণে পণ্যের জন্য সমর্থন যোগ করা হয়েছে (CentOS)। আরও 5টি শক্তিশালী শারীরিক সার্ভার এবং এক ডজন ভার্চুয়াল যুক্ত করা হয়েছে৷ এবং ডেভেলপার এবং পরীক্ষকদের জন্য কর্মরত অবস্থার কাছাকাছি পরিবেশে তাদের কাজগুলি পরীক্ষা করা আরও বেশি কঠিন হয়ে উঠেছে। এই সময়ে, এটি স্পষ্ট হয়ে ওঠে যে তাকে ছাড়া করা অসম্ভব ছিল ...

দ্বিতীয় খণ্ড

সুতরাং, আমাদের ক্লাস্টারটি কয়েক ডজন পৃথক উপাদানের একটি দর্শনীয় সিস্টেম যা ডকারফাইলস দ্বারা বর্ণনা করা হয়নি। আপনি শুধুমাত্র সাধারণভাবে একটি নির্দিষ্ট পরিবেশে স্থাপনার জন্য এটি কনফিগার করতে পারেন। আমাদের কাজ হল ক্লাস্টারটিকে একটি স্টেজিং পরিবেশে স্থাপন করা যাতে এটি প্রাক-রিলিজ পরীক্ষার আগে পরীক্ষা করা যায়।

তাত্ত্বিকভাবে, একসাথে বেশ কয়েকটি ক্লাস্টার চলতে পারে: যতগুলি কাজ সম্পূর্ণ অবস্থায় আছে বা সমাপ্তির কাছাকাছি আছে। আমাদের নিষ্পত্তির সার্ভারের ক্ষমতা আমাদের প্রতিটি সার্ভারে বেশ কয়েকটি ক্লাস্টার চালানোর অনুমতি দেয়। প্রতিটি স্টেজিং ক্লাস্টার অবশ্যই বিচ্ছিন্ন হতে হবে (পোর্ট, ডিরেক্টরি ইত্যাদিতে কোনো ছেদ থাকতে হবে না)।

আমাদের সবচেয়ে মূল্যবান সম্পদ হল আমাদের সময়, এবং আমাদের কাছে এর বেশি কিছু ছিল না।

একটি দ্রুত শুরু করার জন্য, আমরা এর সরলতা এবং স্থাপত্যের নমনীয়তার কারণে ডকার সোয়ার্ম বেছে নিয়েছি। আমরা প্রথম যে কাজটি করেছি তা হল দূরবর্তী সার্ভারে একটি ম্যানেজার এবং বেশ কয়েকটি নোড তৈরি করা:

$ docker node ls
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
kilqc94pi2upzvabttikrfr5d     nop-test-1     Ready               Active                                  19.03.2
jilwe56pl2zvabupryuosdj78     nop-test-2     Ready               Active                                  19.03.2
j5a4yz1kr2xke6b1ohoqlnbq5 *   nop-test-3     Ready               Active              Leader              19.03.2

পরবর্তী, একটি নেটওয়ার্ক তৈরি করুন:

$ docker network create --driver overlay --subnet 10.10.10.0/24 nw_swarm

এর পরে, আমরা CI থেকে নোডগুলির রিমোট কন্ট্রোলের পরিপ্রেক্ষিতে গিটল্যাব-সিআই এবং সোয়ার্ম নোডগুলিকে সংযুক্ত করেছি: সার্টিফিকেট ইনস্টল করা, গোপন ভেরিয়েবল সেট করা এবং কন্ট্রোল সার্ভারে ডকার পরিষেবা সেট আপ করা। এইটা একটি নিবন্ধ আমাদের অনেক সময় বাঁচিয়েছে।

এর পরে, আমরা .gitlab-ci .yml-এ স্ট্যাক তৈরি এবং ধ্বংসের কাজ যোগ করেছি।

.gitlab-ci .yml-এ আরও কয়েকটি চাকরি যোগ করা হয়েছে

## staging stage
deploy_staging:
  stage: testing
  before_script:
    - echo "override global 'before_script'"
  image: "REGISTRY:5000/docker:latest"
  environment: staging
  dependencies: []
  variables:
    DOCKER_CERT_PATH: "/certs"
    DOCKER_HOST: tcp://10.50.173.107:2376
    DOCKER_TLS_VERIFY: 1
    CI_BIN_DEPENDENCIES_JOB: "release.centos.7"
  script:
    - mkdir -p $DOCKER_CERT_PATH
    - echo "$TLSCACERT" > $DOCKER_CERT_PATH/ca.pem
    - echo "$TLSCERT" > $DOCKER_CERT_PATH/cert.pem
    - echo "$TLSKEY" > $DOCKER_CERT_PATH/key.pem
    - docker stack deploy -c docker-compose.yml ${CI_ENVIRONMENT_NAME}_${CI_COMMIT_REF_NAME} --with-registry-auth
    - rm -rf $DOCKER_CERT_PATH
  when: manual

## stop staging stage
stop_staging:
  stage: testing
  before_script:
    - echo "override global 'before_script'"
  image: "REGISTRY:5000/docker:latest"
  environment: staging
  dependencies: []
  variables:
    DOCKER_CERT_PATH: "/certs"
    DOCKER_HOST: tcp://10.50.173.107:2376
    DOCKER_TLS_VERIFY: 1
  script:
    - mkdir -p $DOCKER_CERT_PATH
    - echo "$TLSCACERT" > $DOCKER_CERT_PATH/ca.pem
    - echo "$TLSCERT" > $DOCKER_CERT_PATH/cert.pem
    - echo "$TLSKEY" > $DOCKER_CERT_PATH/key.pem
    - docker stack rm ${CI_ENVIRONMENT_NAME}_${CI_COMMIT_REF_NAME}
    # TODO: need check that stopped
  when: manual

উপরের কোড স্নিপেট থেকে, আপনি দেখতে পাচ্ছেন যে দুটি বোতাম (deploy_staging, stop_staging) পাইপলাইনে যোগ করা হয়েছে, ম্যানুয়াল অ্যাকশনের প্রয়োজন।

স্ট্যাকের নাম শাখার নামের সাথে মিলে যায় এবং এই স্বতন্ত্রতা যথেষ্ট হওয়া উচিত। স্ট্যাকের পরিষেবাগুলি অনন্য আইপি ঠিকানা এবং পোর্ট, ডিরেক্টরি ইত্যাদি গ্রহণ করে। বিচ্ছিন্ন করা হবে, তবে স্ট্যাক থেকে স্ট্যাক পর্যন্ত একই (কারণ কনফিগারেশন ফাইলটি সমস্ত স্ট্যাকের জন্য একই) - আমরা যা চেয়েছিলাম। আমরা ব্যবহার করে স্ট্যাক (ক্লাস্টার) স্থাপন করি Docker-compose.yml, যা আমাদের ক্লাস্টার বর্ণনা করে।

Docker-compose.yml

---
version: '3'

services:
  userprop:
    image: redis:alpine
    deploy:
      replicas: 1
      placement:
        constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
      restart_policy:
        condition: none
    networks:
      nw_swarm:
  celery_bcd:
    image: redis:alpine
    deploy:
      replicas: 1
      placement:
        constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
      restart_policy:
        condition: none
    networks:
      nw_swarm:

  schedulerdb:
    image: mariadb:latest
    environment:
      MYSQL_ALLOW_EMPTY_PASSWORD: 'yes'
      MYSQL_DATABASE: schedulerdb
      MYSQL_USER: ****
      MYSQL_PASSWORD: ****
    command: ['--character-set-server=utf8mb4', '--collation-server=utf8mb4_unicode_ci', '--explicit_defaults_for_timestamp=1']
    deploy:
      replicas: 1
      placement:
        constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
      restart_policy:
        condition: none
    networks:
      nw_swarm:

  celerydb:
    image: mariadb:latest
    environment:
      MYSQL_ALLOW_EMPTY_PASSWORD: 'yes'
      MYSQL_DATABASE: celerydb
      MYSQL_USER: ****
      MYSQL_PASSWORD: ****
    deploy:
      replicas: 1
      placement:
        constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
      restart_policy:
        condition: none
    networks:
      nw_swarm:

  cluster:
    image: $CENTOS7
    environment:
      - CENTOS
      - CI_ENVIRONMENT_NAME
      - CI_API_V4_URL
      - CI_REPOSITORY_URL
      - CI_PROJECT_ID
      - CI_PROJECT_URL
      - CI_PROJECT_PATH
      - CI_PROJECT_NAME
      - CI_COMMIT_REF_NAME
      - CI_BIN_DEPENDENCIES_JOB
    command: >
      sudo -u myusername -H /bin/bash -c ". /etc/profile &&
        mkdir -p /storage1/$CI_COMMIT_REF_NAME/$CI_PROJECT_NAME &&
        cd /storage1/$CI_COMMIT_REF_NAME/$CI_PROJECT_NAME &&
            git clone -b $CI_COMMIT_REF_NAME $CI_REPOSITORY_URL . &&
            curl $CI_API_V4_URL/projects/$CI_PROJECT_ID/jobs/artifacts/$CI_COMMIT_REF_NAME/download?job=$CI_BIN_DEPENDENCIES_JOB -o artifacts.zip &&
            unzip artifacts.zip ;
        cd /storage1/$CI_COMMIT_REF_NAME/$CI_PROJECT_NAME/scripts/deploy/ &&
            python3 createconfig.py -s $CI_ENVIRONMENT_NAME &&
            /bin/bash install_venv.sh -d -r ../../requirements.txt &&
            python3 prepare_init.d.py &&
            python3 deploy.py -s $CI_ENVIRONMENT_NAME"
    deploy:
      replicas: 1
      placement:
        constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
      restart_policy:
        condition: none
    tty: true
    stdin_open: true
    networks:
      nw_swarm:

networks:
  nw_swarm:
    external: true

এখানে আপনি দেখতে পাচ্ছেন যে উপাদানগুলি একটি নেটওয়ার্ক (nw_swarm) দ্বারা সংযুক্ত এবং একে অপরের সাথে উপলব্ধ।

সিস্টেমের উপাদানগুলি (redis, mysql-এর উপর ভিত্তি করে) কাস্টম উপাদানগুলির সাধারণ পুল থেকে পৃথক করা হয় (পরিকল্পনায় এবং কাস্টমগুলিকে পরিষেবা হিসাবে বিভক্ত করা হয়)। আমাদের ক্লাস্টারের স্থাপনার পর্যায়টি আমাদের একটি বড় কনফিগার করা ছবিতে সিএমডি পাস করার মত দেখাচ্ছে এবং সাধারণভাবে, অংশ I-এ বর্ণিত স্থাপনার থেকে কার্যত ভিন্ন নয়। আমি পার্থক্যগুলি হাইলাইট করব:

• git ক্লোন... - স্থাপন করার জন্য প্রয়োজনীয় ফাইলগুলি পান (createconfig.py, install_venv.sh, ইত্যাদি)
• কার্ল... && আনজিপ... - বিল্ড আর্টিফ্যাক্টগুলি ডাউনলোড এবং আনজিপ করুন (সংকলিত ইউটিলিটিগুলি)

শুধুমাত্র একটি এখনও অবর্ণিত সমস্যা রয়েছে: যে সমস্ত উপাদানগুলির একটি ওয়েব ইন্টারফেস রয়েছে তা বিকাশকারীদের ব্রাউজার থেকে অ্যাক্সেসযোগ্য নয়৷ আমরা বিপরীত প্রক্সি ব্যবহার করে এই সমস্যার সমাধান করি, এভাবে:

.gitlab-ci.yml-এ, ক্লাস্টার স্ট্যাক স্থাপন করার পরে, আমরা ব্যালেন্সার স্থাপনের লাইন যোগ করি (যা, যখন কমিট করে, শুধুমাত্র তার কনফিগারেশন আপডেট করে (টেমপ্লেট অনুযায়ী নতুন nginx কনফিগারেশন ফাইল তৈরি করে: /etc/nginx/conf)। d/${CI_COMMIT_REF_NAME}.conf) - docker-compose-nginx.yml কোড দেখুন)

    - docker stack deploy -c docker-compose-nginx.yml ${CI_ENVIRONMENT_NAME} --with-registry-auth

docker-compose-nginx.yml

---
version: '3'

services:
  nginx:
    image: nginx:latest
    environment:
      CI_COMMIT_REF_NAME: ${CI_COMMIT_REF_NAME}
      NGINX_CONFIG: |-
            server {
                listen 8080;
                server_name staging_${CI_COMMIT_REF_NAME}_cluster.dev;

                location / {
                    proxy_pass http://staging_${CI_COMMIT_REF_NAME}_cluster:8080;
                }
            }
            server {
                listen 5555;
                server_name staging_${CI_COMMIT_REF_NAME}_cluster.dev;

                location / {
                    proxy_pass http://staging_${CI_COMMIT_REF_NAME}_cluster:5555;
                }
            }
    volumes:
      - /tmp/staging/nginx:/etc/nginx/conf.d
    command:
      /bin/bash -c "echo -e "$$NGINX_CONFIG" > /etc/nginx/conf.d/${CI_COMMIT_REF_NAME}.conf;
        nginx -g "daemon off;";
        /etc/init.d/nginx reload"
    ports:
      - 8080:8080
      - 5555:5555
      - 3000:3000
      - 443:443
      - 80:80
    deploy:
      replicas: 1
      placement:
        constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
      restart_policy:
        condition: none
    networks:
      nw_swarm:

networks:
  nw_swarm:
    external: true

উন্নয়ন কম্পিউটারে, আপডেট /etc/hosts; nginx এ url লিখুন:

10.50.173.106 staging_BRANCH-1831_cluster.dev

সুতরাং, বিচ্ছিন্ন স্টেজিং ক্লাস্টারগুলির স্থাপনা কার্যকর করা হয়েছে এবং বিকাশকারীরা এখন তাদের কাজগুলি পরীক্ষা করার জন্য পর্যাপ্ত সংখ্যায় সেগুলি চালাতে পারে।

ভবিষ্যৎ পরিকল্পনা:

• পরিষেবা হিসাবে আমাদের উপাদান পৃথক করুন
• প্রতিটি ডকারফাইলের জন্য আছে
• স্বয়ংক্রিয়ভাবে স্ট্যাকের মধ্যে কম লোড নোড সনাক্ত করুন
• নামের প্যাটার্ন দ্বারা নোডগুলি নির্দিষ্ট করুন (নিবন্ধের মতো আইডি ব্যবহার না করে)
• একটি চেক যোগ করুন যে স্ট্যাকটি ধ্বংস হয়ে গেছে
• ...

জন্য বিশেষ ধন্যবাদ প্রবন্ধ.

উত্স: www.habr.com