మేము పని చేస్తున్న ఆన్లైన్ వీడియో కంటెంట్ సిఫార్సు సిస్టమ్ క్లోజ్డ్ కమర్షియల్ డెవలప్మెంట్ మరియు ఇది సాంకేతికంగా యాజమాన్య మరియు ఓపెన్ సోర్స్ భాగాల యొక్క బహుళ-భాగాల క్లస్టర్. పరిమిత సమయంలో మా ప్రక్రియల యొక్క స్థాపించబడిన వర్క్ఫ్లోకు అంతరాయం కలిగించకుండా స్టేజింగ్ సైట్ కోసం డాకర్ స్వార్మ్ క్లస్టరింగ్ సిస్టమ్ అమలును వివరించడం ఈ కథనాన్ని వ్రాయడం యొక్క ఉద్దేశ్యం. మీ దృష్టికి అందించిన కథనం రెండు భాగాలుగా విభజించబడింది. మొదటి భాగం డాకర్ సమూహాన్ని ఉపయోగించే ముందు CI / CDని వివరిస్తుంది మరియు రెండవది దాని అమలు ప్రక్రియను వివరిస్తుంది. మొదటి భాగాన్ని చదవడానికి ఆసక్తి లేని వారు సురక్షితంగా రెండవదానికి వెళ్లవచ్చు.
నేను
సుదూర, సుదూర సంవత్సరంలో, CI / CD ప్రక్రియను వీలైనంత త్వరగా సెటప్ చేయడం అవసరం. డాకర్ని ఉపయోగించకూడదనేది షరతుల్లో ఒకటి విస్తరణ కోసం అనేక కారణాల వల్ల భాగాలు అభివృద్ధి చేయబడ్డాయి:
- ఉత్పత్తిలో భాగాల యొక్క మరింత విశ్వసనీయ మరియు స్థిరమైన ఆపరేషన్ కోసం (వాస్తవానికి, వాస్తవీకరణను ఉపయోగించకూడదనే అవసరం)
- ప్రముఖ డెవలపర్లు డాకర్తో పనిచేయడానికి ఇష్టపడలేదు (విచిత్రం, కానీ అది ఎలా ఉంది)
- R&D నిర్వహణ యొక్క సైద్ధాంతిక పరిశీలనల ప్రకారం
MVP కోసం మౌలిక సదుపాయాలు, స్టాక్ మరియు ఉజ్జాయింపు ప్రారంభ అవసరాలు క్రింది విధంగా అందించబడ్డాయి:
- డెబియన్తో 4 Intel® X5650 సర్వర్లు (మరో శక్తివంతమైన యంత్రం పూర్తిగా అభివృద్ధి చేయబడింది)
- స్వంత అనుకూల భాగాల అభివృద్ధి C ++, Python3లో నిర్వహించబడుతుంది
- ఉపయోగించిన ప్రధాన 3వ పక్ష సాధనాలు: కాఫ్కా, క్లిక్హౌస్, ఎయిర్ఫ్లో, రెడిస్, గ్రాఫానా, పోస్ట్గ్రెస్క్యూల్, మైస్క్ల్, …
- డీబగ్ మరియు విడుదల కోసం విడిగా భాగాలను నిర్మించడం మరియు పరీక్షించడం కోసం పైప్లైన్లు
ఏదైనా వాతావరణంలో (CI / CD) అనుకూల భాగాలు ఎలా అమలు చేయబడతాయి అనేది ప్రారంభ దశలో పరిష్కరించాల్సిన మొదటి ప్రశ్నలలో ఒకటి.
మేము థర్డ్-పార్టీ కాంపోనెంట్లను సిస్టమ్గా ఇన్స్టాల్ చేయాలని మరియు వాటిని సిస్టమ్గా అప్డేట్ చేయాలని నిర్ణయించుకున్నాము. C++ లేదా పైథాన్లో అభివృద్ధి చేయబడిన అనుకూల అప్లికేషన్లు అనేక మార్గాల్లో అమలు చేయబడతాయి. వాటిలో, ఉదాహరణకు: సిస్టమ్ ప్యాకేజీలను సృష్టించడం, వాటిని నిర్మించిన చిత్రాల రిపోజిటరీకి పంపడం మరియు వాటిని సర్వర్లలో ఇన్స్టాల్ చేయడం. తెలియని కారణంగా, మరొక పద్ధతిని ఎంచుకున్నారు, అవి: CIని ఉపయోగించి, అప్లికేషన్ ఎక్జిక్యూటబుల్ ఫైల్లు కంపైల్ చేయబడతాయి, వర్చువల్ ప్రాజెక్ట్ ఎన్విరాన్మెంట్ సృష్టించబడుతుంది, py మాడ్యూల్లు requires.txt నుండి ఇన్స్టాల్ చేయబడతాయి మరియు ఈ కళాఖండాలన్నీ configs, స్క్రిప్ట్లు మరియు వాటితో పాటు పంపబడతాయి. సర్వర్లకు అనువర్తన వాతావరణంతో పాటు. తర్వాత, అడ్మినిస్ట్రేటర్ హక్కులు లేకుండా వర్చువల్ యూజర్గా అప్లికేషన్లు ప్రారంభించబడతాయి.
Gitlab-CI CI/CD సిస్టమ్గా ఎంపిక చేయబడింది. ఫలితంగా పైప్లైన్ ఇలా కనిపిస్తుంది:
నిర్మాణాత్మకంగా, gitlab-ci.yml ఇలా కనిపించింది
---
variables:
# минимальная версия ЦПУ на серверах, где разворачивается кластер
CMAKE_CPUTYPE: "westmere"
DEBIAN: "MYREGISTRY:5000/debian:latest"
before_script:
- eval $(ssh-agent -s)
- ssh-add <(echo "$SSH_PRIVATE_KEY")
- mkdir -p ~/.ssh && echo -e "Host *ntStrictHostKeyChecking nonn" > ~/.ssh/config
stages:
- build
- testing
- deploy
debug.debian:
stage: build
image: $DEBIAN
script:
- cd builds/release && ./build.sh
paths:
- bin/
- builds/release/bin/
when: always
release.debian:
stage: build
image: $DEBIAN
script:
- cd builds/release && ./build.sh
paths:
- bin/
- builds/release/bin/
when: always
## testing stage
tests.codestyle:
stage: testing
image: $DEBIAN
dependencies:
- release.debian
script:
- /bin/bash run_tests.sh -t codestyle -b "${CI_COMMIT_REF_NAME}_codestyle"
tests.debug.debian:
stage: testing
image: $DEBIAN
dependencies:
- debug.debian
script:
- /bin/bash run_tests.sh -e codestyle/test_pylint.py -b "${CI_COMMIT_REF_NAME}_debian_debug"
artifacts:
paths:
- run_tests/username/
when: always
expire_in: 1 week
tests.release.debian:
stage: testing
image: $DEBIAN
dependencies:
- release.debian
script:
- /bin/bash run_tests.sh -e codestyle/test_pylint.py -b "${CI_COMMIT_REF_NAME}_debian_release"
artifacts:
paths:
- run_tests/username/
when: always
expire_in: 1 week
## staging stage
deploy_staging:
stage: deploy
environment: staging
image: $DEBIAN
dependencies:
- release.debian
script:
- cd scripts/deploy/ &&
python3 createconfig.py -s $CI_ENVIRONMENT_NAME &&
/bin/bash install_venv.sh -d -r ../../requirements.txt &&
python3 prepare_init.d.py &&
python3 deploy.py -s $CI_ENVIRONMENT_NAME
when: manual
అసెంబ్లీ మరియు పరీక్ష దాని స్వంత చిత్రంపై నిర్వహించబడుతుందని గమనించాలి, ఇక్కడ అవసరమైన అన్ని సిస్టమ్ ప్యాకేజీలు ఇప్పటికే వ్యవస్థాపించబడ్డాయి మరియు ఇతర సెట్టింగులు చేయబడ్డాయి.
ఉద్యోగాలలో ఈ ప్రతి స్క్రిప్ట్లు దాని స్వంత మార్గంలో ఆసక్తికరంగా ఉన్నప్పటికీ, నేను వాటి గురించి మాట్లాడను. వాటిలో ప్రతి ఒక్కటి వివరణ చాలా సమయం పడుతుంది మరియు ఇది వ్యాసం యొక్క ఉద్దేశ్యం కాదు. విస్తరణ దశలో కాలింగ్ స్క్రిప్ట్ల శ్రేణిని కలిగి ఉంటుంది అనే వాస్తవాన్ని మాత్రమే నేను మీ దృష్టిని ఆకర్షిస్తాను:
- createconfig.py - తదుపరి విస్తరణ కోసం వివిధ వాతావరణాలలో కాంపోనెంట్ సెట్టింగ్లతో settings.ini ఫైల్ను సృష్టిస్తుంది (ప్రీప్రొడక్షన్, ప్రొడక్షన్, టెస్టింగ్, ...)
- install_venv.sh - నిర్దిష్ట డైరెక్టరీలో py భాగాల కోసం వర్చువల్ వాతావరణాన్ని సృష్టిస్తుంది మరియు దానిని రిమోట్ సర్వర్లకు కాపీ చేస్తుంది
- సిద్ధం_init.d.py — టెంప్లేట్ ఆధారంగా కాంపోనెంట్ కోసం స్టార్ట్-స్టాప్ స్క్రిప్ట్లను సిద్ధం చేస్తుంది
- deploy.py - కొత్త భాగాలను విచ్ఛిన్నం చేస్తుంది మరియు పునఃప్రారంభిస్తుంది
సమయం ముగిసింది. స్టేజింగ్ స్టేజ్ ప్రీప్రొడక్షన్ మరియు ప్రొడక్షన్ ద్వారా భర్తీ చేయబడింది. మరో పంపిణీ (CentOS)లో ఉత్పత్తికి మద్దతు జోడించబడింది. 5 మరింత శక్తివంతమైన భౌతిక సర్వర్లు మరియు డజను వర్చువల్ వాటిని జోడించారు. డెవలపర్లు మరియు టెస్టర్లు పని చేసే స్థితికి ఎక్కువ లేదా తక్కువ దగ్గరగా ఉన్న వాతావరణంలో తమ పనులను పరీక్షించడం మరింత కష్టతరంగా మారింది. ఈ సమయంలో, అతను లేకుండా చేయడం అసాధ్యం అని స్పష్టమైంది ...
పార్ట్ II
కాబట్టి, మా క్లస్టర్ అనేది డాకర్ఫైల్స్ ద్వారా వివరించబడని రెండు డజన్ల వేర్వేరు భాగాలతో కూడిన అద్భుతమైన వ్యవస్థ. మీరు సాధారణంగా నిర్దిష్ట వాతావరణంలో విస్తరణ కోసం మాత్రమే దీన్ని కాన్ఫిగర్ చేయవచ్చు. ప్రీ-రిలీజ్ టెస్టింగ్కు ముందు క్లస్టర్ని పరీక్షించడానికి స్టేజింగ్ వాతావరణంలో అమర్చడం మా పని.
సిద్ధాంతపరంగా, అనేక క్లస్టర్లు ఏకకాలంలో అమలులో ఉండవచ్చు: పూర్తయిన స్థితిలో లేదా పూర్తి కావడానికి దగ్గరగా ఉన్నన్ని పనులు. మా వద్ద ఉన్న సర్వర్ల సామర్థ్యాలు ప్రతి సర్వర్లో అనేక క్లస్టర్లను అమలు చేయడానికి మాకు అనుమతిస్తాయి. ప్రతి స్టేజింగ్ క్లస్టర్ తప్పనిసరిగా వేరుచేయబడి ఉండాలి (పోర్ట్లు, డైరెక్టరీలు మొదలైన వాటిలో ఖండన ఉండకూడదు).
మా అత్యంత విలువైన వనరు మా సమయం, మరియు మాకు అది చాలా లేదు.
వేగవంతమైన ప్రారంభం కోసం, మేము దాని సరళత మరియు నిర్మాణ సౌలభ్యం కారణంగా డాకర్ స్వార్మ్ని ఎంచుకున్నాము. మేము చేసిన మొదటి పని రిమోట్ సర్వర్లలో మేనేజర్ మరియు అనేక నోడ్లను సృష్టించడం:
$ docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
kilqc94pi2upzvabttikrfr5d nop-test-1 Ready Active 19.03.2
jilwe56pl2zvabupryuosdj78 nop-test-2 Ready Active 19.03.2
j5a4yz1kr2xke6b1ohoqlnbq5 * nop-test-3 Ready Active Leader 19.03.2
తరువాత, నెట్వర్క్ను సృష్టించండి:
$ docker network create --driver overlay --subnet 10.10.10.0/24 nw_swarm
తరువాత, మేము CI నుండి నోడ్ల రిమోట్ కంట్రోల్ పరంగా Gitlab-CI మరియు స్వార్మ్ నోడ్లను కనెక్ట్ చేసాము: సర్టిఫికేట్లను ఇన్స్టాల్ చేయడం, రహస్య వేరియబుల్స్ సెట్ చేయడం మరియు కంట్రోల్ సర్వర్లో డాకర్ సేవను సెటప్ చేయడం. ఇది
తర్వాత, మేము .gitlab-ci .ymlకి స్టాక్ సృష్టి మరియు విధ్వంసం జాబ్లను జోడించాము.
.gitlab-ci .ymlకి మరికొన్ని ఉద్యోగాలు జోడించబడ్డాయి
## staging stage
deploy_staging:
stage: testing
before_script:
- echo "override global 'before_script'"
image: "REGISTRY:5000/docker:latest"
environment: staging
dependencies: []
variables:
DOCKER_CERT_PATH: "/certs"
DOCKER_HOST: tcp://10.50.173.107:2376
DOCKER_TLS_VERIFY: 1
CI_BIN_DEPENDENCIES_JOB: "release.centos.7"
script:
- mkdir -p $DOCKER_CERT_PATH
- echo "$TLSCACERT" > $DOCKER_CERT_PATH/ca.pem
- echo "$TLSCERT" > $DOCKER_CERT_PATH/cert.pem
- echo "$TLSKEY" > $DOCKER_CERT_PATH/key.pem
- docker stack deploy -c docker-compose.yml ${CI_ENVIRONMENT_NAME}_${CI_COMMIT_REF_NAME} --with-registry-auth
- rm -rf $DOCKER_CERT_PATH
when: manual
## stop staging stage
stop_staging:
stage: testing
before_script:
- echo "override global 'before_script'"
image: "REGISTRY:5000/docker:latest"
environment: staging
dependencies: []
variables:
DOCKER_CERT_PATH: "/certs"
DOCKER_HOST: tcp://10.50.173.107:2376
DOCKER_TLS_VERIFY: 1
script:
- mkdir -p $DOCKER_CERT_PATH
- echo "$TLSCACERT" > $DOCKER_CERT_PATH/ca.pem
- echo "$TLSCERT" > $DOCKER_CERT_PATH/cert.pem
- echo "$TLSKEY" > $DOCKER_CERT_PATH/key.pem
- docker stack rm ${CI_ENVIRONMENT_NAME}_${CI_COMMIT_REF_NAME}
# TODO: need check that stopped
when: manual
పై కోడ్ స్నిప్పెట్ నుండి, పైప్లైన్లకు మాన్యువల్ చర్య అవసరమయ్యే రెండు బటన్లు (డిప్లాయ్_స్టేజింగ్, స్టాప్_స్టేజింగ్) జోడించబడిందని మీరు చూడవచ్చు.
స్టాక్ పేరు బ్రాంచ్ పేరుతో సరిపోతుంది మరియు ఈ ప్రత్యేకత సరిపోతుంది. స్టాక్లోని సేవలు ప్రత్యేకమైన ip చిరునామాలు మరియు పోర్ట్లు, డైరెక్టరీలు మొదలైన వాటిని అందుకుంటాయి. విడిగా ఉంటుంది, కానీ స్టాక్ నుండి స్టాక్ వరకు ఒకే విధంగా ఉంటుంది (ఎందుకంటే కాన్ఫిగరేషన్ ఫైల్ అన్ని స్టాక్లకు ఒకే విధంగా ఉంటుంది) - మనం కోరుకున్నది. మేము ఉపయోగించి స్టాక్ (క్లస్టర్) ని అమలు చేస్తాము డాకర్-compose.yml, ఇది మా క్లస్టర్ను వివరిస్తుంది.
డాకర్-compose.yml
---
version: '3'
services:
userprop:
image: redis:alpine
deploy:
replicas: 1
placement:
constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
restart_policy:
condition: none
networks:
nw_swarm:
celery_bcd:
image: redis:alpine
deploy:
replicas: 1
placement:
constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
restart_policy:
condition: none
networks:
nw_swarm:
schedulerdb:
image: mariadb:latest
environment:
MYSQL_ALLOW_EMPTY_PASSWORD: 'yes'
MYSQL_DATABASE: schedulerdb
MYSQL_USER: ****
MYSQL_PASSWORD: ****
command: ['--character-set-server=utf8mb4', '--collation-server=utf8mb4_unicode_ci', '--explicit_defaults_for_timestamp=1']
deploy:
replicas: 1
placement:
constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
restart_policy:
condition: none
networks:
nw_swarm:
celerydb:
image: mariadb:latest
environment:
MYSQL_ALLOW_EMPTY_PASSWORD: 'yes'
MYSQL_DATABASE: celerydb
MYSQL_USER: ****
MYSQL_PASSWORD: ****
deploy:
replicas: 1
placement:
constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
restart_policy:
condition: none
networks:
nw_swarm:
cluster:
image: $CENTOS7
environment:
- CENTOS
- CI_ENVIRONMENT_NAME
- CI_API_V4_URL
- CI_REPOSITORY_URL
- CI_PROJECT_ID
- CI_PROJECT_URL
- CI_PROJECT_PATH
- CI_PROJECT_NAME
- CI_COMMIT_REF_NAME
- CI_BIN_DEPENDENCIES_JOB
command: >
sudo -u myusername -H /bin/bash -c ". /etc/profile &&
mkdir -p /storage1/$CI_COMMIT_REF_NAME/$CI_PROJECT_NAME &&
cd /storage1/$CI_COMMIT_REF_NAME/$CI_PROJECT_NAME &&
git clone -b $CI_COMMIT_REF_NAME $CI_REPOSITORY_URL . &&
curl $CI_API_V4_URL/projects/$CI_PROJECT_ID/jobs/artifacts/$CI_COMMIT_REF_NAME/download?job=$CI_BIN_DEPENDENCIES_JOB -o artifacts.zip &&
unzip artifacts.zip ;
cd /storage1/$CI_COMMIT_REF_NAME/$CI_PROJECT_NAME/scripts/deploy/ &&
python3 createconfig.py -s $CI_ENVIRONMENT_NAME &&
/bin/bash install_venv.sh -d -r ../../requirements.txt &&
python3 prepare_init.d.py &&
python3 deploy.py -s $CI_ENVIRONMENT_NAME"
deploy:
replicas: 1
placement:
constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
restart_policy:
condition: none
tty: true
stdin_open: true
networks:
nw_swarm:
networks:
nw_swarm:
external: true
భాగాలు ఒక నెట్వర్క్ (nw_swarm) ద్వారా కనెక్ట్ చేయబడి, ఒకదానికొకటి అందుబాటులో ఉన్నాయని ఇక్కడ మీరు చూడవచ్చు.
సిస్టమ్ భాగాలు (redis, mysql ఆధారంగా) కస్టమ్ భాగాల సాధారణ పూల్ నుండి వేరు చేయబడతాయి (ప్లాన్లలో మరియు అనుకూలమైనవి సేవలుగా విభజించబడ్డాయి). మా క్లస్టర్ యొక్క విస్తరణ దశ CMDని మా ఒక పెద్ద కాన్ఫిగర్ చేసిన ఇమేజ్లోకి పంపినట్లుగా కనిపిస్తోంది మరియు సాధారణంగా, పార్ట్ Iలో వివరించిన విస్తరణకు ఆచరణాత్మకంగా తేడా లేదు. నేను తేడాలను హైలైట్ చేస్తాను:
- git క్లోన్... - అమలు చేయడానికి అవసరమైన ఫైల్లను పొందండి (createconfig.py, install_venv.sh, మొదలైనవి)
- కర్ల్... && అన్జిప్... - బిల్డ్ ఆర్టిఫ్యాక్ట్లను డౌన్లోడ్ చేయండి మరియు అన్జిప్ చేయండి (కంపైల్డ్ యుటిలిటీస్)
ఇంకా వివరించబడని ఒకే ఒక సమస్య ఉంది: వెబ్ ఇంటర్ఫేస్ని కలిగి ఉన్న భాగాలు డెవలపర్ల బ్రౌజర్ల నుండి యాక్సెస్ చేయబడవు. మేము రివర్స్ ప్రాక్సీని ఉపయోగించి ఈ సమస్యను పరిష్కరిస్తాము, ఈ విధంగా:
.gitlab-ci.ymlలో, క్లస్టర్ స్టాక్ను అమలు చేసిన తర్వాత, మేము బ్యాలెన్సర్ని అమలు చేసే లైన్ను జోడిస్తాము (ఇది కట్టుబడి ఉన్నప్పుడు, దాని కాన్ఫిగరేషన్ను మాత్రమే నవీకరిస్తుంది (టెంప్లేట్ ప్రకారం కొత్త nginx కాన్ఫిగరేషన్ ఫైల్లను సృష్టిస్తుంది: /etc/nginx/conf. d/${CI_COMMIT_REF_NAME}.conf) - docker-compose-nginx.yml కోడ్ చూడండి)
- docker stack deploy -c docker-compose-nginx.yml ${CI_ENVIRONMENT_NAME} --with-registry-auth
డాకర్-కంపోజ్-nginx.yml
---
version: '3'
services:
nginx:
image: nginx:latest
environment:
CI_COMMIT_REF_NAME: ${CI_COMMIT_REF_NAME}
NGINX_CONFIG: |-
server {
listen 8080;
server_name staging_${CI_COMMIT_REF_NAME}_cluster.dev;
location / {
proxy_pass http://staging_${CI_COMMIT_REF_NAME}_cluster:8080;
}
}
server {
listen 5555;
server_name staging_${CI_COMMIT_REF_NAME}_cluster.dev;
location / {
proxy_pass http://staging_${CI_COMMIT_REF_NAME}_cluster:5555;
}
}
volumes:
- /tmp/staging/nginx:/etc/nginx/conf.d
command:
/bin/bash -c "echo -e "$$NGINX_CONFIG" > /etc/nginx/conf.d/${CI_COMMIT_REF_NAME}.conf;
nginx -g "daemon off;";
/etc/init.d/nginx reload"
ports:
- 8080:8080
- 5555:5555
- 3000:3000
- 443:443
- 80:80
deploy:
replicas: 1
placement:
constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
restart_policy:
condition: none
networks:
nw_swarm:
networks:
nw_swarm:
external: true
డెవలప్మెంట్ కంప్యూటర్లలో, అప్డేట్ /etc/hosts; nginxకు urlని సూచించండి:
10.50.173.106 staging_BRANCH-1831_cluster.dev
కాబట్టి, ఐసోలేటెడ్ స్టేజింగ్ క్లస్టర్ల విస్తరణ అమలు చేయబడింది మరియు డెవలపర్లు ఇప్పుడు తమ టాస్క్లను తనిఖీ చేయడానికి సరిపోయేంత సంఖ్యలో వాటిని అమలు చేయవచ్చు.
భవిష్యత్తు ప్రణాళికలు:
- మా భాగాలను సేవలుగా వేరు చేయండి
- ప్రతి డాకర్ఫైల్ కోసం కలిగి ఉండండి
- స్టాక్లో తక్కువ లోడ్ చేయబడిన నోడ్లను స్వయంచాలకంగా గుర్తించండి
- పేరు నమూనా ద్వారా నోడ్లను పేర్కొనండి (వ్యాసంలో ఐడిని ఉపయోగించడం కంటే)
- స్టాక్ నాశనమైందని చెక్ జోడించండి
- ...
ప్రత్యేక ధన్యవాదాలు
మూలం: www.habr.com