Šiame straipsnyje mes naudojame bash, sSH, dokininkas и nginx Suorganizuosime vientisą žiniatinklio programos išdėstymą. Mėlyna-žalia dislokacija yra technika, leidžianti akimirksniu atnaujinti programą neatmetant nė vienos užklausos. Tai viena iš nulinės prastovos diegimo strategijų ir geriausiai tinka programoms, turinčioms vieną egzempliorių, tačiau galimybe įkelti antrą, paruoštą paleisti egzempliorių netoliese.
Tarkime, kad turite žiniatinklio programą, su kuria aktyviai dirba daugelis klientų, ir jai visiškai nėra galimybės kelioms sekundėms atsigulti. Ir jums tikrai reikia išleisti bibliotekos naujinį, pataisyti riktą ar naują šaunią funkciją. Įprastoje situacijoje turėsite sustabdyti programą, ją pakeisti ir paleisti iš naujo. Docker atveju pirmiausia galite ją pakeisti, tada paleisti iš naujo, tačiau vis tiek bus laikotarpis, per kurį programai pateiktos užklausos nebus apdorojamos, nes paprastai programa iš pradžių įkeliama šiek tiek laiko. Ką daryti, jei jis prasidės, bet pasirodys neveikiantis? Tai yra problema, išspręskime ją minimaliomis priemonėmis ir kuo elegantiškiau.
ATSISAKYMAS: Didžioji straipsnio dalis pateikiama eksperimentiniu formatu – pulto seanso įrašo forma. Tikimės, kad tai nebus per sunku suprasti ir kodas bus pakankamai dokumentuotas. Dėl atmosferos įsivaizduokite, kad tai ne tik kodo fragmentai, o popierius iš „geležinio“ teletipo.
Įdomios technikos, kurias sunku „Google“ rasti vien perskaičius kodą, aprašytos kiekvienos dalies pradžioje. Jei dar kas neaišku, paieškokite google ir patikrinkite. paaiškinti apvalkalu (laimei, jis vėl veikia dėl telegramos atblokavimo). Jei nieko negalite „Google“, klauskite komentaruose. Mielai papildysiu atitinkamą skyrių „Įdomūs metodai“.
Pradėkime.
$ mkdir blue-green-deployment && cd $_
Tarnyba
Padarykime eksperimentinę paslaugą ir įdėkime į konteinerį.
Įdomios technikos
cat << EOF > file-name (Čia dokumentas + I/O peradresavimas) yra būdas sukurti kelių eilučių failą naudojant vieną komandą. Viskas, iš ko skaitoma bash /dev/stdin po šios eilutės ir prieš eilutę EOF bus įrašytas file-name.
wget -qO- URL (paaiškinti apvalkalu) – išvesti dokumentą, gautą per HTTP į /dev/stdout (analogas curl URL).
Atspausdinti
Aš specialiai sulaužau fragmentą, kad įgalinčiau paryškinimą Python. Pabaigoje bus dar vienas toks kūrinys. Apsvarstykite, kad šiose vietose popierius buvo iškirptas, kad būtų išsiųstas į paryškinimo skyrių (kur kodas buvo nuspalvintas ranka su žymekliais), o tada šie gabalai buvo suklijuoti atgal.
$ cat << EOF > uptimer.py
from http.server import BaseHTTPRequestHandler, HTTPServer
from time import monotonic
app_version = 1
app_name = f'Uptimer v{app_version}.0'
loading_seconds = 15 - app_version * 5
class Handler(BaseHTTPRequestHandler):
def do_GET(self):
if self.path == '/':
try:
t = monotonic() - server_start
if t < loading_seconds:
self.send_error(503)
else:
self.send_response(200)
self.send_header('Content-Type', 'text/html')
self.end_headers()
response = f'<h2>{app_name} is running for {t:3.1f} seconds.</h2>n'
self.wfile.write(response.encode('utf-8'))
except Exception:
self.send_error(500)
else:
self.send_error(404)
httpd = HTTPServer(('', 8080), Handler)
server_start = monotonic()
print(f'{app_name} (loads in {loading_seconds} sec.) started.')
httpd.serve_forever()
EOF
$ cat << EOF > Dockerfile
FROM python:alpine
EXPOSE 8080
COPY uptimer.py app.py
CMD [ "python", "-u", "./app.py" ]
EOF
$ docker build --tag uptimer .
Sending build context to Docker daemon 39.42kB
Step 1/4 : FROM python:alpine
---> 8ecf5a48c789
Step 2/4 : EXPOSE 8080
---> Using cache
---> cf92d174c9d3
Step 3/4 : COPY uptimer.py app.py
---> a7fbb33d6b7e
Step 4/4 : CMD [ "python", "-u", "./app.py" ]
---> Running in 1906b4bd9fdf
Removing intermediate container 1906b4bd9fdf
---> c1655b996fe8
Successfully built c1655b996fe8
Successfully tagged uptimer:latest
$ docker run --rm --detach --name uptimer --publish 8080:8080 uptimer
8f88c944b8bf78974a5727070a94c76aa0b9bb2b3ecf6324b784e782614b2fbf
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
8f88c944b8bf uptimer "python -u ./app.py" 3 seconds ago Up 5 seconds 0.0.0.0:8080->8080/tcp uptimer
$ docker logs uptimer
Uptimer v1.0 (loads in 10 sec.) started.
$ wget -qSO- http://localhost:8080
HTTP/1.0 503 Service Unavailable
Server: BaseHTTP/0.6 Python/3.8.3
Date: Sat, 22 Aug 2020 19:52:40 GMT
Connection: close
Content-Type: text/html;charset=utf-8
Content-Length: 484
$ wget -qSO- http://localhost:8080
HTTP/1.0 200 OK
Server: BaseHTTP/0.6 Python/3.8.3
Date: Sat, 22 Aug 2020 19:52:45 GMT
Content-Type: text/html
<h2>Uptimer v1.0 is running for 15.4 seconds.</h2>
$ docker rm --force uptimer
uptimer
Atvirkštinis tarpinis serveris
Kad mūsų programa galėtų nepastebimai pasikeisti, būtina, kad priešais ją būtų koks nors kitas subjektas, kuris paslėps jos pakeitimą. Tai gali būti žiniatinklio serveris nginx в atvirkštinis tarpinio serverio režimas. Tarp kliento ir programos nustatomas atvirkštinis tarpinis serveris. Ji priima klientų užklausas ir persiunčia jas į programą bei persiunčia klientams programos atsakymus.
Programą ir atvirkštinį tarpinį serverį galima susieti dokeryje naudojant dokų tinklas. Taigi konteineriui su programa net nereikia persiųsti pagrindinio kompiuterio prievado; tai leidžia maksimaliai izoliuoti programą nuo išorinių grėsmių.
Jei atvirkštinis tarpinis serveris veikia kitame pagrindiniame kompiuteryje, turėsite atsisakyti doko tinklo ir prijungti programą prie atvirkštinio tarpinio serverio per pagrindinio kompiuterio tinklą, persiunčiant prievadą programos parametras --publish, kaip ir pirmą kartą paleidžiant, ir kaip naudojant atvirkštinį tarpinį serverį.
Atvirkštinį tarpinį serverį paleisime 80 prievade, nes būtent tai turėtų klausytis išorinio tinklo. Jei bandomojo kompiuterio 80 prievadas užimtas, pakeiskite parametrą --publish 80:80 apie --publish ANY_FREE_PORT:80.
$ sed -i "s/app_version = 1/app_version = 2/" uptimer.py
$ docker build --tag uptimer .
Sending build context to Docker daemon 39.94kB
Step 1/4 : FROM python:alpine
---> 8ecf5a48c789
Step 2/4 : EXPOSE 8080
---> Using cache
---> cf92d174c9d3
Step 3/4 : COPY uptimer.py app.py
---> 3eca6a51cb2d
Step 4/4 : CMD [ "python", "-u", "./app.py" ]
---> Running in 8f13c6d3d9e7
Removing intermediate container 8f13c6d3d9e7
---> 1d56897841ec
Successfully built 1d56897841ec
Successfully tagged uptimer:latest
$ docker run --detach --rm --name uptimer_BLUE --network web-gateway uptimer
96932d4ca97a25b1b42d1b5f0ede993b43f95fac3c064262c5c527e16c119e02
$ docker logs uptimer_BLUE
Uptimer v2.0 (loads in 5 sec.) started.
$ docker run --rm --network web-gateway alpine wget -qO- http://uptimer_BLUE:8080
<h2>Uptimer v2.0 is running for 23.9 seconds.</h2>
$ sed s/uptimer/uptimer_BLUE/ uptimer.conf | docker exec --interactive reverse-proxy sh -c 'cat > /etc/nginx/conf.d/default.conf'
$ docker exec reverse-proxy cat /etc/nginx/conf.d/default.conf
server {
listen 80;
location / {
proxy_pass http://uptimer_BLUE:8080;
}
}
$ docker exec reverse-proxy nginx -s reload
2020/06/25 21:22:23 [notice] 68#68: signal process started
$ wget -qO- http://localhost
<h2>Uptimer v2.0 is running for 63.4 seconds.</h2>
$ docker rm -f uptimer
uptimer
$ wget -qO- http://localhost
<h2>Uptimer v2.0 is running for 84.8 seconds.</h2>
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
96932d4ca97a uptimer "python -u ./app.py" About a minute ago Up About a minute 8080/tcp uptimer_BLUE
80695a822c19 nginx:alpine "/docker-entrypoint.…" 8 minutes ago Up 8 minutes 0.0.0.0:80->80/tcp reverse-proxy
Šiame etape vaizdas sukuriamas tiesiai serveryje, todėl reikia, kad programos šaltiniai būtų ten, be to, serveris apkrauna nereikalingą darbą. Kitas žingsnis yra priskirti vaizdo rinkinį atskiram įrenginiui (pavyzdžiui, CI sistemai) ir perkelti jį į serverį.
Vaizdų perkėlimas
Deja, nėra prasmės perkelti vaizdus iš „localhost“ į „localhost“, todėl šį skyrių galima naršyti tik tuo atveju, jei po ranka turite du pagrindinius kompiuterius su „Docker“. Mažiausiai tai atrodo maždaug taip:
$ ssh production-server docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
$ docker image save uptimer | ssh production-server 'docker image load'
Loaded image: uptimer:latest
$ ssh production-server docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
uptimer latest 1d56897841ec 5 minutes ago 78.9MB
Komanda docker save išsaugo vaizdo duomenis .tar archyve, tai reiškia, kad jis sveria maždaug 1.5 karto daugiau nei svertų suspaustas. Taigi sutaupykime laiko ir srauto:
Dabar surinkite viską, ką padarėme rankiniu būdu, į vieną scenarijų. Pradėkime nuo aukščiausio lygio funkcijos, o tada pažvelkime į kitas joje naudojamas funkcijas.
Įdomios technikos
${parameter?err_msg} - vienas iš bash magiškų burtų (dar žinomas kaip parametrų pakeitimas). Jeigu parameter nenurodyta, išvestis err_msg ir išeikite su kodu 1.
docker --log-driver journald – pagal numatytuosius nustatymus docker registravimo tvarkyklė yra tekstinis failas be jokio pasukimo. Taikant šį metodą, žurnalai greitai užpildo visą diską, todėl gamybinei aplinkai reikia pakeisti tvarkyklę į išmanesnę.
Diegimo scenarijus
deploy() {
local usage_msg="Usage: ${FUNCNAME[0]} image_name"
local image_name=${1?$usage_msg}
ensure-reverse-proxy || return 2
if get-active-slot $image_name
then
local OLD=${image_name}_BLUE
local new_slot=GREEN
else
local OLD=${image_name}_GREEN
local new_slot=BLUE
fi
local NEW=${image_name}_${new_slot}
echo "Deploying '$NEW' in place of '$OLD'..."
docker run
--detach
--restart always
--log-driver journald
--name $NEW
--network web-gateway
$image_name || return 3
echo "Container started. Checking health..."
for i in {1..20}
do
sleep 1
if get-service-status $image_name $new_slot
then
echo "New '$NEW' service seems OK. Switching heads..."
sleep 2 # Ensure service is ready
set-active-slot $image_name $new_slot || return 4
echo "'$NEW' service is live!"
sleep 2 # Ensure all requests were processed
echo "Killing '$OLD'..."
docker rm -f $OLD
docker image prune -f
echo "Deployment successful!"
return 0
fi
echo "New '$NEW' service is not ready yet. Waiting ($i)..."
done
echo "New '$NEW' service did not raise, killing it. Failed to deploy T_T"
docker rm -f $NEW
return 5
}
Naudojamos funkcijos:
ensure-reverse-proxy — Įsitikina, kad veikia atvirkštinis tarpinis serveris (naudinga pirmą kartą diegiant)
get-active-slot service_name — Nustato, kuris laiko tarpas yra aktyvus tam tikrai paslaugai (BLUE arba GREEN)
get-service-status service_name deployment_slot — nustato, ar paslauga yra pasirengusi apdoroti gaunamas užklausas
ensure-reverse-proxy() {
is-container-up reverse-proxy && return 0
echo "Deploying reverse-proxy..."
docker network create web-gateway
docker run
--detach
--restart always
--log-driver journald
--name reverse-proxy
--network web-gateway
--publish 80:80
nginx:alpine || return 1
docker exec --interactive reverse-proxy sh -c "> /etc/nginx/conf.d/default.conf"
docker exec reverse-proxy nginx -s reload
}
is-container-up() {
local container=${1?"Usage: ${FUNCNAME[0]} container_name"}
[ -n "$(docker ps -f name=${container} -q)" ]
return $?
}
get-active-slot() {
local service=${1?"Usage: ${FUNCNAME[0]} service_name"}
if is-container-up ${service}_BLUE && is-container-up ${service}_GREEN; then
echo "Collision detected! Stopping ${service}_GREEN..."
docker rm -f ${service}_GREEN
return 0 # BLUE
fi
if is-container-up ${service}_BLUE && ! is-container-up ${service}_GREEN; then
return 0 # BLUE
fi
if ! is-container-up ${service}_BLUE; then
return 1 # GREEN
fi
}
get-service-status() {
local usage_msg="Usage: ${FUNCNAME[0]} service_name deployment_slot"
local service=${1?usage_msg}
local slot=${2?$usage_msg}
case $service in
# Add specific healthcheck paths for your services here
*) local health_check_port_path=":8080/" ;;
esac
local health_check_address="http://${service}_${slot}${health_check_port_path}"
echo "Requesting '$health_check_address' within the 'web-gateway' docker network:"
docker run --rm --network web-gateway alpine
wget --timeout=1 --quiet --server-response $health_check_address
return $?
}
set-active-slot() {
local usage_msg="Usage: ${FUNCNAME[0]} service_name deployment_slot"
local service=${1?$usage_msg}
local slot=${2?$usage_msg}
[ "$slot" == BLUE ] || [ "$slot" == GREEN ] || return 1
get-nginx-config $service $slot | docker exec --interactive reverse-proxy sh -c "cat > /etc/nginx/conf.d/$service.conf"
docker exec reverse-proxy nginx -t || return 2
docker exec reverse-proxy nginx -s reload
}
Funkcija get-active-slot reikia šiek tiek paaiškinimo:
Kodėl jis grąžina skaičių, o neišveda eilutės?
Šiaip iškvietimo funkcijoje patikriname jos darbo rezultatą, o patikrinti išėjimo kodą naudojant bash yra daug lengviau nei eilutę. Be to, gauti iš jos eilutę yra labai paprasta: get-active-slot service && echo BLUE || echo GREEN.
Ar tikrai pakanka trijų sąlygų, kad būtų galima atskirti visas būsenas?
Užteks net dviejų, paskutinis čia tik dėl išsamumo, kad nerašytum else.
Tik funkcija, kuri grąžina nginx konfigūracijas, lieka neapibrėžta: get-nginx-config service_name deployment_slot. Analogiškai su sveikatos patikrinimu, čia galite nustatyti bet kokią bet kurios paslaugos konfigūraciją. Iš įdomiausių dalykų – tik cat <<- EOF, kuri leidžia pradžioje pašalinti visus skirtukus. Tiesa, gero formatavimo kaina yra maišyti skirtukai su tarpais, kurie šiandien laikomi labai bloga forma. Bet bash verčia skirtukus, taip pat būtų gerai, kad nginx konfigūracija būtų normaliai suformatuota. Trumpai tariant, skirtukų maišymas su tarpais čia tikrai atrodo geriausias sprendimas iš blogiausio. Tačiau toliau pateiktame fragmente to nematysite, nes Habras „tai daro gerai“, pakeisdamas visus skirtukus į 4 tarpus ir padarydamas EOF negaliojančiu. Ir čia tai pastebima.
Kad nesikeltumėte du kartus, iš karto papasakosiu apie cat << 'EOF', su kuriais susidursime vėliau. Jei rašai paprastai cat << EOF, tada heredoc viduje eilutė interpoliuojama (kintamieji išplečiami ($foo), komandų skambučiai ($(bar)) ir tt), o jei dokumento pabaigą įdedate į pavienes kabutes, interpoliacija išjungiama ir simbolis $ rodomas toks, koks yra. Ko reikia norint įterpti scenarijų į kitą scenarijų.
get-nginx-config() {
local usage_msg="Usage: ${FUNCNAME[0]} service_name deployment_slot"
local service=${1?$usage_msg}
local slot=${2?$usage_msg}
[ "$slot" == BLUE ] || [ "$slot" == GREEN ] || return 1
local container_name=${service}_${slot}
case $service in
# Add specific nginx configs for your services here
*) nginx-config-simple-service $container_name:8080 ;;
esac
}
nginx-config-simple-service() {
local usage_msg="Usage: ${FUNCNAME[0]} proxy_pass"
local proxy_pass=${1?$usage_msg}
cat << EOF
server {
listen 80;
location / {
proxy_pass http://$proxy_pass;
}
}
EOF
}
Tai visas scenarijus. Ir taip šio scenarijaus esmė Norėdami atsisiųsti per wget arba curl.
Atėjo laikas pasibelsti į tikslinį serverį. Šį kartą localhost visai tinka:
$ ssh-copy-id localhost
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
himura@localhost's password:
Number of key(s) added: 1
Now try logging into the machine, with: "ssh 'localhost'"
and check to make sure that only the key(s) you wanted were added.
Parašėme diegimo scenarijų, kuris atsisiunčia iš anksto sukurtą vaizdą į tikslinį serverį ir sklandžiai pakeičia paslaugos konteinerį, bet kaip galime jį vykdyti nuotoliniame kompiuteryje? Scenarijus turi argumentų, nes jis yra universalus ir vienu atvirkštiniu tarpiniu serveriu gali diegti kelias paslaugas vienu metu (galite naudoti nginx konfigūracijas, kad nustatytumėte, kuris url bus kuri paslauga). Scenarijus negali būti saugomas serveryje, nes tokiu atveju negalėsime jo automatiškai atnaujinti (kad būtų pataisytos klaidos ir pridėtos naujos paslaugos), o apskritai būsena = blogis.
1 sprendimas: vis tiek saugokite scenarijų serveryje, bet nukopijuokite jį kiekvieną kartą scp. Tada prijunkite per ssh ir paleiskite scenarijų su reikiamais argumentais.
Trūkumai:
Du veiksmai vietoj vieno
Gali nebūti vietos, kur kopijuojate, gali nebūti prieigos prie jos, arba scenarijus gali būti vykdomas pakeitimo metu.
Patartina po saves susitvarkyti (ištrinti scenarijų).
Jau trys veiksmai.
2 sprendimas:
Scenarijuje laikykite tik funkcijų apibrėžimus ir nieko neleiskite
naudojant sed pabaigoje pridėkite funkcijos iškvietimą
Siųskite viską tiesiai į shh per vamzdį (|)
Argumentai "už":
Tikrai be pilietybės
Nėra pagrindinių elementų
Jaučiasi kietas
Padarykime tai be Ansible. Taip, viskas jau sugalvota. Taip, dviratis. Pažiūrėkite, koks paprastas, elegantiškas ir minimalistinis yra dviratis:
$ cat << 'EOF' > deploy.sh
#!/bin/bash
usage_msg="Usage: $0 ssh_address local_image_tag"
ssh_address=${1?$usage_msg}
image_name=${2?$usage_msg}
echo "Connecting to '$ssh_address' via ssh to seamlessly deploy '$image_name'..."
( sed "$a deploy $image_name" | ssh -T $ssh_address ) << 'END_OF_SCRIPT'
deploy() {
echo "Yay! The '${FUNCNAME[0]}' function is executing on '$(hostname)' with argument '$1'"
}
END_OF_SCRIPT
EOF
$ chmod +x deploy.sh
$ ./deploy.sh localhost magic-porridge-pot
Connecting to localhost...
Yay! The 'deploy' function is executing on 'hut' with argument 'magic-porridge-pot'
Tačiau negalime būti tikri, kad nuotolinis kompiuteris turi pakankamai bash, todėl pradžioje pridėsime nedidelį patikrinimą (tai yra vietoj shellbang):
if [ "$SHELL" != "/bin/bash" ]
then
echo "The '$SHELL' shell is not supported by 'deploy.sh'. Set a '/bin/bash' shell for '$USER@$HOSTNAME'."
exit 1
fi
O dabar tai tikra:
$ docker exec reverse-proxy rm /etc/nginx/conf.d/default.conf
$ wget -qO deploy.sh https://git.io/JUURc
$ chmod +x deploy.sh
$ ./deploy.sh localhost uptimer
Sending gzipped image 'uptimer' to 'localhost' via ssh...
Loaded image: uptimer:latest
Connecting to 'localhost' via ssh to seamlessly deploy 'uptimer'...
Deploying 'uptimer_GREEN' in place of 'uptimer_BLUE'...
06f5bc70e9c4f930e7b1f826ae2ca2f536023cc01e82c2b97b2c84d68048b18a
Container started. Checking health...
Requesting 'http://uptimer_GREEN:8080/' within the 'web-gateway' docker network:
HTTP/1.0 503 Service Unavailable
wget: server returned error: HTTP/1.0 503 Service Unavailable
New 'uptimer_GREEN' service is not ready yet. Waiting (1)...
Requesting 'http://uptimer_GREEN:8080/' within the 'web-gateway' docker network:
HTTP/1.0 503 Service Unavailable
wget: server returned error: HTTP/1.0 503 Service Unavailable
New 'uptimer_GREEN' service is not ready yet. Waiting (2)...
Requesting 'http://uptimer_GREEN:8080/' within the 'web-gateway' docker network:
HTTP/1.0 200 OK
Server: BaseHTTP/0.6 Python/3.8.3
Date: Sat, 22 Aug 2020 20:15:50 GMT
Content-Type: text/html
New 'uptimer_GREEN' service seems OK. Switching heads...
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
2020/08/22 20:15:54 [notice] 97#97: signal process started
The 'uptimer_GREEN' service is live!
Killing 'uptimer_BLUE'...
uptimer_BLUE
Total reclaimed space: 0B
Deployment successful!
Dabar galite atidaryti http://localhost/ naršyklėje dar kartą paleiskite diegimą ir įsitikinkite, kad jis veikia sklandžiai, atnaujindami puslapį pagal kompaktinį diską maketo metu.