În acest articol folosim pocni, ssh, docher и Nginx Vom organiza un aspect perfect al aplicației web. Desfăşurare albastru-verde este o tehnică care vă permite să actualizați instantaneu o aplicație fără a respinge o singură solicitare. Este una dintre strategiile de implementare fără timpi de nefuncționare și este cel mai potrivit pentru aplicațiile cu o singură instanță, dar capacitatea de a încărca oa doua instanță gata de rulare în apropiere.
Să presupunem că aveți o aplicație web cu care mulți clienți lucrează în mod activ și nu există absolut nicio modalitate ca aceasta să se întindă câteva secunde. Și chiar trebuie să lansați o actualizare a bibliotecii, o remediere a erorilor sau o nouă funcție interesantă. Într-o situație normală, va trebui să opriți aplicația, să o înlocuiți și să o porniți din nou. În cazul docker, îl puteți înlocui mai întâi, apoi îl reporniți, dar va exista totuși o perioadă în care cererile către aplicație nu vor fi procesate, deoarece de obicei aplicația durează ceva timp pentru a se încărca inițial. Ce se întâmplă dacă pornește, dar se dovedește a fi inoperabil? Aceasta este problema, haideți să o rezolvăm cu mijloace minime și cât mai elegant posibil.
DISCLAIMER: Cea mai mare parte a articolului este prezentată într-un format experimental - sub forma unei înregistrări a unei sesiuni de consolă. Sperăm că acest lucru nu va fi prea greu de înțeles și codul se va documenta suficient. Pentru atmosferă, imaginați-vă că acestea nu sunt doar fragmente de cod, ci hârtie dintr-un teletip „de fier”.
Tehnicile interesante care sunt dificil de Google doar citind codul sunt descrise la începutul fiecărei secțiuni. Dacă altceva nu este clar, căutați-l pe google și verificați-l. explica shell (din fericire, funcționează din nou, din cauza deblocării telegramei). Dacă nu poți Google nimic, întreabă în comentarii. Voi fi bucuros să adaug la secțiunea corespunzătoare „Tehnici interesante”.
Să începem.
$ mkdir blue-green-deployment && cd $_
Serviciu
Să facem un serviciu experimental și să-l punem într-un container.
Tehnici interesante
cat << EOF > file-name (Aici Document + Redirecționare I/O) este o modalitate de a crea un fișier cu mai multe linii cu o singură comandă. Tot ce citește bash /dev/stdin după această linie și înainte de linie EOF va fi înregistrat în file-name.
wget -qO- URL (explica shell) — trimite un document primit prin HTTP către /dev/stdout (analogic curl URL).
Imprima
Am spart fragmentul în mod special pentru a activa evidențierea pentru Python. La final va fi o altă piesă ca aceasta. Luați în considerare că în aceste locuri hârtia a fost tăiată pentru a fi trimisă la departamentul de evidențiere (unde codul a fost colorat manual cu iluminatoare), iar apoi aceste piese au fost lipite înapoi.
$ cat << EOF > uptimer.py
from http.server import BaseHTTPRequestHandler, HTTPServer
from time import monotonic
app_version = 1
app_name = f'Uptimer v{app_version}.0'
loading_seconds = 15 - app_version * 5
class Handler(BaseHTTPRequestHandler):
def do_GET(self):
if self.path == '/':
try:
t = monotonic() - server_start
if t < loading_seconds:
self.send_error(503)
else:
self.send_response(200)
self.send_header('Content-Type', 'text/html')
self.end_headers()
response = f'<h2>{app_name} is running for {t:3.1f} seconds.</h2>n'
self.wfile.write(response.encode('utf-8'))
except Exception:
self.send_error(500)
else:
self.send_error(404)
httpd = HTTPServer(('', 8080), Handler)
server_start = monotonic()
print(f'{app_name} (loads in {loading_seconds} sec.) started.')
httpd.serve_forever()
EOF
$ cat << EOF > Dockerfile
FROM python:alpine
EXPOSE 8080
COPY uptimer.py app.py
CMD [ "python", "-u", "./app.py" ]
EOF
$ docker build --tag uptimer .
Sending build context to Docker daemon 39.42kB
Step 1/4 : FROM python:alpine
---> 8ecf5a48c789
Step 2/4 : EXPOSE 8080
---> Using cache
---> cf92d174c9d3
Step 3/4 : COPY uptimer.py app.py
---> a7fbb33d6b7e
Step 4/4 : CMD [ "python", "-u", "./app.py" ]
---> Running in 1906b4bd9fdf
Removing intermediate container 1906b4bd9fdf
---> c1655b996fe8
Successfully built c1655b996fe8
Successfully tagged uptimer:latest
$ docker run --rm --detach --name uptimer --publish 8080:8080 uptimer
8f88c944b8bf78974a5727070a94c76aa0b9bb2b3ecf6324b784e782614b2fbf
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
8f88c944b8bf uptimer "python -u ./app.py" 3 seconds ago Up 5 seconds 0.0.0.0:8080->8080/tcp uptimer
$ docker logs uptimer
Uptimer v1.0 (loads in 10 sec.) started.
$ wget -qSO- http://localhost:8080
HTTP/1.0 503 Service Unavailable
Server: BaseHTTP/0.6 Python/3.8.3
Date: Sat, 22 Aug 2020 19:52:40 GMT
Connection: close
Content-Type: text/html;charset=utf-8
Content-Length: 484
$ wget -qSO- http://localhost:8080
HTTP/1.0 200 OK
Server: BaseHTTP/0.6 Python/3.8.3
Date: Sat, 22 Aug 2020 19:52:45 GMT
Content-Type: text/html
<h2>Uptimer v1.0 is running for 15.4 seconds.</h2>
$ docker rm --force uptimer
uptimer
Proxy invers
Pentru ca aplicația noastră să se poată schimba neobservată, este necesar ca în fața ei să existe o altă entitate care să-i ascundă înlocuirea. Ar putea fi un server web Nginx в modul proxy invers. Se stabilește un proxy invers între client și aplicație. Acceptă cereri de la clienți și le transmite către aplicație și transmite răspunsurile aplicației către clienți.
Aplicația și proxy inversă pot fi conectate în interiorul docker folosind rețea docker. Astfel, containerul cu aplicația nici măcar nu are nevoie să redirecționeze un port pe sistemul gazdă; acest lucru permite aplicației să fie izolată maxim de amenințările externe.
Dacă proxy-ul invers locuiește pe o altă gazdă, va trebui să abandonați rețeaua docker și să conectați aplicația la proxy-ul invers prin rețeaua gazdă, redirecționând portul aplicaţii parametru --publish, ca la prima pornire și ca la proxy invers.
Vom rula proxy-ul invers pe portul 80, deoarece aceasta este exact entitatea care ar trebui să asculte rețeaua externă. Dacă portul 80 este ocupat pe gazda dvs. de testare, modificați parametrul --publish 80:80 pe --publish ANY_FREE_PORT:80.
$ docker network create web-gateway
5dba128fb3b255b02ac012ded1906b7b4970b728fb7db3dbbeccc9a77a5dd7bd
$ docker run --detach --rm --name uptimer --network web-gateway uptimer
a1105f1b583dead9415e99864718cc807cc1db1c763870f40ea38bc026e2d67f
$ docker run --rm --network web-gateway alpine wget -qO- http://uptimer:8080
<h2>Uptimer v1.0 is running for 11.5 seconds.</h2>
$ docker run --detach --publish 80:80 --network web-gateway --name reverse-proxy nginx:alpine
80695a822c19051260c66bf60605dcb4ea66802c754037704968bc42527bf120
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
80695a822c19 nginx:alpine "/docker-entrypoint.…" 27 seconds ago Up 25 seconds 0.0.0.0:80->80/tcp reverse-proxy
a1105f1b583d uptimer "python -u ./app.py" About a minute ago Up About a minute 8080/tcp uptimer
$ cat << EOF > uptimer.conf
server {
listen 80;
location / {
proxy_pass http://uptimer:8080;
}
}
EOF
$ docker cp ./uptimer.conf reverse-proxy:/etc/nginx/conf.d/default.conf
$ docker exec reverse-proxy nginx -s reload
2020/06/23 20:51:03 [notice] 31#31: signal process started
$ wget -qSO- http://localhost
HTTP/1.1 200 OK
Server: nginx/1.19.0
Date: Sat, 22 Aug 2020 19:56:24 GMT
Content-Type: text/html
Transfer-Encoding: chunked
Connection: keep-alive
<h2>Uptimer v1.0 is running for 104.1 seconds.</h2>
Implementare fără întreruperi
Să lansăm o nouă versiune a aplicației (cu o creștere de două ori a performanței la pornire) și să încercăm să o implementăm fără probleme.
Tehnici interesante
echo 'my text' | docker exec -i my-container sh -c 'cat > /my-file.txt' — Scrieți text my text la dosar /my-file.txt în interiorul recipientului my-container.
cat > /my-file.txt — Scrieți conținutul intrării standard într-un fișier /dev/stdin.
Imprima
$ sed -i "s/app_version = 1/app_version = 2/" uptimer.py
$ docker build --tag uptimer .
Sending build context to Docker daemon 39.94kB
Step 1/4 : FROM python:alpine
---> 8ecf5a48c789
Step 2/4 : EXPOSE 8080
---> Using cache
---> cf92d174c9d3
Step 3/4 : COPY uptimer.py app.py
---> 3eca6a51cb2d
Step 4/4 : CMD [ "python", "-u", "./app.py" ]
---> Running in 8f13c6d3d9e7
Removing intermediate container 8f13c6d3d9e7
---> 1d56897841ec
Successfully built 1d56897841ec
Successfully tagged uptimer:latest
$ docker run --detach --rm --name uptimer_BLUE --network web-gateway uptimer
96932d4ca97a25b1b42d1b5f0ede993b43f95fac3c064262c5c527e16c119e02
$ docker logs uptimer_BLUE
Uptimer v2.0 (loads in 5 sec.) started.
$ docker run --rm --network web-gateway alpine wget -qO- http://uptimer_BLUE:8080
<h2>Uptimer v2.0 is running for 23.9 seconds.</h2>
$ sed s/uptimer/uptimer_BLUE/ uptimer.conf | docker exec --interactive reverse-proxy sh -c 'cat > /etc/nginx/conf.d/default.conf'
$ docker exec reverse-proxy cat /etc/nginx/conf.d/default.conf
server {
listen 80;
location / {
proxy_pass http://uptimer_BLUE:8080;
}
}
$ docker exec reverse-proxy nginx -s reload
2020/06/25 21:22:23 [notice] 68#68: signal process started
$ wget -qO- http://localhost
<h2>Uptimer v2.0 is running for 63.4 seconds.</h2>
$ docker rm -f uptimer
uptimer
$ wget -qO- http://localhost
<h2>Uptimer v2.0 is running for 84.8 seconds.</h2>
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
96932d4ca97a uptimer "python -u ./app.py" About a minute ago Up About a minute 8080/tcp uptimer_BLUE
80695a822c19 nginx:alpine "/docker-entrypoint.…" 8 minutes ago Up 8 minutes 0.0.0.0:80->80/tcp reverse-proxy
În această etapă, imaginea este construită direct pe server, ceea ce necesită ca sursele aplicației să fie acolo și, de asemenea, încarcă serverul cu muncă inutilă. Următorul pas este alocarea ansamblului de imagine pe o mașină separată (de exemplu, unui sistem CI) și apoi transferarea acestuia pe server.
Transferarea imaginilor
Din păcate, nu are sens să transferați imagini de la localhost la localhost, așa că această secțiune poate fi explorată numai dacă aveți două gazde cu Docker la îndemână. Cel puțin arată cam așa:
$ ssh production-server docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
$ docker image save uptimer | ssh production-server 'docker image load'
Loaded image: uptimer:latest
$ ssh production-server docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
uptimer latest 1d56897841ec 5 minutes ago 78.9MB
Echipă docker save salvează datele imaginii într-o arhivă .tar, ceea ce înseamnă că cântărește de aproximativ 1.5 ori mai mult decât ar cântări în formă comprimată. Așa că haideți să o agităm în numele economisirii timpului și a traficului:
Acum să colectăm tot ce am făcut manual într-un singur script. Să începem cu funcția de nivel superior și apoi să ne uităm la celelalte folosite în ea.
Tehnici interesante
${parameter?err_msg} - una dintre vrăjile bash magic (alias substituirea parametrilor). Dacă parameter nespecificat, ieșire err_msg și ieșiți cu codul 1.
docker --log-driver journald — în mod implicit, driverul docker de înregistrare este un fișier text fără nicio rotație. Cu această abordare, jurnalele umplu rapid întregul disc, așa că pentru un mediu de producție este necesar să schimbați driverul cu unul mai inteligent.
Script de implementare
deploy() {
local usage_msg="Usage: ${FUNCNAME[0]} image_name"
local image_name=${1?$usage_msg}
ensure-reverse-proxy || return 2
if get-active-slot $image_name
then
local OLD=${image_name}_BLUE
local new_slot=GREEN
else
local OLD=${image_name}_GREEN
local new_slot=BLUE
fi
local NEW=${image_name}_${new_slot}
echo "Deploying '$NEW' in place of '$OLD'..."
docker run
--detach
--restart always
--log-driver journald
--name $NEW
--network web-gateway
$image_name || return 3
echo "Container started. Checking health..."
for i in {1..20}
do
sleep 1
if get-service-status $image_name $new_slot
then
echo "New '$NEW' service seems OK. Switching heads..."
sleep 2 # Ensure service is ready
set-active-slot $image_name $new_slot || return 4
echo "'$NEW' service is live!"
sleep 2 # Ensure all requests were processed
echo "Killing '$OLD'..."
docker rm -f $OLD
docker image prune -f
echo "Deployment successful!"
return 0
fi
echo "New '$NEW' service is not ready yet. Waiting ($i)..."
done
echo "New '$NEW' service did not raise, killing it. Failed to deploy T_T"
docker rm -f $NEW
return 5
}
Caracteristici folosite:
ensure-reverse-proxy — Se asigură că proxy-ul invers funcționează (util pentru prima implementare)
get-active-slot service_name — Determină ce slot este activ în prezent pentru un anumit serviciu (BLUE sau GREEN)
get-service-status service_name deployment_slot — Stabilește dacă serviciul este pregătit să proceseze cererile primite
ensure-reverse-proxy() {
is-container-up reverse-proxy && return 0
echo "Deploying reverse-proxy..."
docker network create web-gateway
docker run
--detach
--restart always
--log-driver journald
--name reverse-proxy
--network web-gateway
--publish 80:80
nginx:alpine || return 1
docker exec --interactive reverse-proxy sh -c "> /etc/nginx/conf.d/default.conf"
docker exec reverse-proxy nginx -s reload
}
is-container-up() {
local container=${1?"Usage: ${FUNCNAME[0]} container_name"}
[ -n "$(docker ps -f name=${container} -q)" ]
return $?
}
get-active-slot() {
local service=${1?"Usage: ${FUNCNAME[0]} service_name"}
if is-container-up ${service}_BLUE && is-container-up ${service}_GREEN; then
echo "Collision detected! Stopping ${service}_GREEN..."
docker rm -f ${service}_GREEN
return 0 # BLUE
fi
if is-container-up ${service}_BLUE && ! is-container-up ${service}_GREEN; then
return 0 # BLUE
fi
if ! is-container-up ${service}_BLUE; then
return 1 # GREEN
fi
}
get-service-status() {
local usage_msg="Usage: ${FUNCNAME[0]} service_name deployment_slot"
local service=${1?usage_msg}
local slot=${2?$usage_msg}
case $service in
# Add specific healthcheck paths for your services here
*) local health_check_port_path=":8080/" ;;
esac
local health_check_address="http://${service}_${slot}${health_check_port_path}"
echo "Requesting '$health_check_address' within the 'web-gateway' docker network:"
docker run --rm --network web-gateway alpine
wget --timeout=1 --quiet --server-response $health_check_address
return $?
}
set-active-slot() {
local usage_msg="Usage: ${FUNCNAME[0]} service_name deployment_slot"
local service=${1?$usage_msg}
local slot=${2?$usage_msg}
[ "$slot" == BLUE ] || [ "$slot" == GREEN ] || return 1
get-nginx-config $service $slot | docker exec --interactive reverse-proxy sh -c "cat > /etc/nginx/conf.d/$service.conf"
docker exec reverse-proxy nginx -t || return 2
docker exec reverse-proxy nginx -s reload
}
Funcție get-active-slot necesită o mică explicație:
De ce returnează un număr și nu scoate un șir?
Oricum, în funcția de apelare verificăm rezultatul muncii sale, iar verificarea codului de ieșire folosind bash este mult mai ușoară decât verificarea unui șir. În plus, obținerea unui șir din acesta este foarte simplă: get-active-slot service && echo BLUE || echo GREEN.
Sunt cu adevărat suficiente trei condiții pentru a distinge toate statele?
Chiar și două vor fi de ajuns, ultimul este aici doar pentru completitudine, ca să nu scrie else.
Numai funcția care returnează configurațiile nginx rămâne nedefinită: get-nginx-config service_name deployment_slot. Prin analogie cu verificarea sănătății, aici puteți seta orice configurație pentru orice serviciu. Dintre lucrurile interesante - numai cat <<- EOF, care vă permite să eliminați toate filele de la început. Adevărat, prețul unei formatări bune este amestecul de file cu spații, ceea ce astăzi este considerat o formă foarte proastă. Dar bash forțează file și ar fi, de asemenea, bine să aveți formatare normală în configurația nginx. Pe scurt, amestecarea filelor cu spații aici pare într-adevăr cea mai bună soluție din cele mai rele. Cu toate acestea, nu veți vedea acest lucru în fragmentul de mai jos, deoarece Habr „o face bine” schimbând toate filele în 4 spații și făcând EOF invalid. Și aici se observă.
Ca să nu mă trezesc de două ori, vă spun imediat despre cat << 'EOF', care va fi întâlnit ulterior. Daca scrii simplu cat << EOF, apoi în heredoc șirul este interpolat (variabilele sunt extinse ($foo), apeluri de comandă ($(bar)) etc.), iar dacă includeți sfârșitul documentului între ghilimele simple, atunci interpolarea este dezactivată și simbolul $ este afișat așa cum este. De ce aveți nevoie pentru a insera un script în alt script.
get-nginx-config() {
local usage_msg="Usage: ${FUNCNAME[0]} service_name deployment_slot"
local service=${1?$usage_msg}
local slot=${2?$usage_msg}
[ "$slot" == BLUE ] || [ "$slot" == GREEN ] || return 1
local container_name=${service}_${slot}
case $service in
# Add specific nginx configs for your services here
*) nginx-config-simple-service $container_name:8080 ;;
esac
}
nginx-config-simple-service() {
local usage_msg="Usage: ${FUNCNAME[0]} proxy_pass"
local proxy_pass=${1?$usage_msg}
cat << EOF
server {
listen 80;
location / {
proxy_pass http://$proxy_pass;
}
}
EOF
}
Acesta este întregul scenariu. Și așa esenta cu acest script pentru descărcare prin wget sau curl.
Executarea scripturilor parametrizate pe un server la distanță
Este timpul să bateți la serverul țintă. De data asta localhost destul de potrivit:
$ ssh-copy-id localhost
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
himura@localhost's password:
Number of key(s) added: 1
Now try logging into the machine, with: "ssh 'localhost'"
and check to make sure that only the key(s) you wanted were added.
Am scris un script de implementare care descarcă o imagine pre-construită pe serverul țintă și înlocuiește fără probleme containerul de servicii, dar cum îl putem executa pe o mașină de la distanță? Scriptul are argumente, deoarece este universal și poate implementa mai multe servicii simultan sub un proxy invers (puteți folosi configurațiile nginx pentru a determina care URL va fi care serviciu). Scriptul nu poate fi stocat pe server, deoarece în acest caz nu îl vom putea actualiza automat (în scopul remedierii erorilor și al adăugării de noi servicii) și, în general, stare = rău.
Soluția 1: stocați în continuare scriptul pe server, dar copiați-l de fiecare dată scp. Apoi conectează-te prin ssh și executați scriptul cu argumentele necesare.
Contra:
Două acțiuni în loc de una
Este posibil să nu existe un loc în care să copiați sau să nu existe acces la acesta, sau scriptul poate fi executat în momentul înlocuirii.
Este recomandabil să curățați după dvs. (ștergeți scriptul).
Deja trei acțiuni.
Soluția 2:
Păstrați numai definițiile de funcții în script și nu rulați nimic
Cu sed adăugați un apel de funcție la sfârșit
Trimite totul direct către shh prin conductă (|)
Pro-uri:
Cu adevărat apatrid
Fără entități standard
Mă simt rece
Să o facem fără Ansible. Da, totul a fost deja inventat. Da, o bicicletă. Uite cât de simplă, elegantă și minimalistă este bicicleta:
$ cat << 'EOF' > deploy.sh
#!/bin/bash
usage_msg="Usage: $0 ssh_address local_image_tag"
ssh_address=${1?$usage_msg}
image_name=${2?$usage_msg}
echo "Connecting to '$ssh_address' via ssh to seamlessly deploy '$image_name'..."
( sed "$a deploy $image_name" | ssh -T $ssh_address ) << 'END_OF_SCRIPT'
deploy() {
echo "Yay! The '${FUNCNAME[0]}' function is executing on '$(hostname)' with argument '$1'"
}
END_OF_SCRIPT
EOF
$ chmod +x deploy.sh
$ ./deploy.sh localhost magic-porridge-pot
Connecting to localhost...
Yay! The 'deploy' function is executing on 'hut' with argument 'magic-porridge-pot'
Cu toate acestea, nu putem fi siguri că gazda la distanță are bash adecvat, așa că vom adăuga o mică verificare la început (aceasta este în loc de shellbang):
if [ "$SHELL" != "/bin/bash" ]
then
echo "The '$SHELL' shell is not supported by 'deploy.sh'. Set a '/bin/bash' shell for '$USER@$HOSTNAME'."
exit 1
fi
Și acum este real:
$ docker exec reverse-proxy rm /etc/nginx/conf.d/default.conf
$ wget -qO deploy.sh https://git.io/JUURc
$ chmod +x deploy.sh
$ ./deploy.sh localhost uptimer
Sending gzipped image 'uptimer' to 'localhost' via ssh...
Loaded image: uptimer:latest
Connecting to 'localhost' via ssh to seamlessly deploy 'uptimer'...
Deploying 'uptimer_GREEN' in place of 'uptimer_BLUE'...
06f5bc70e9c4f930e7b1f826ae2ca2f536023cc01e82c2b97b2c84d68048b18a
Container started. Checking health...
Requesting 'http://uptimer_GREEN:8080/' within the 'web-gateway' docker network:
HTTP/1.0 503 Service Unavailable
wget: server returned error: HTTP/1.0 503 Service Unavailable
New 'uptimer_GREEN' service is not ready yet. Waiting (1)...
Requesting 'http://uptimer_GREEN:8080/' within the 'web-gateway' docker network:
HTTP/1.0 503 Service Unavailable
wget: server returned error: HTTP/1.0 503 Service Unavailable
New 'uptimer_GREEN' service is not ready yet. Waiting (2)...
Requesting 'http://uptimer_GREEN:8080/' within the 'web-gateway' docker network:
HTTP/1.0 200 OK
Server: BaseHTTP/0.6 Python/3.8.3
Date: Sat, 22 Aug 2020 20:15:50 GMT
Content-Type: text/html
New 'uptimer_GREEN' service seems OK. Switching heads...
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
2020/08/22 20:15:54 [notice] 97#97: signal process started
The 'uptimer_GREEN' service is live!
Killing 'uptimer_BLUE'...
uptimer_BLUE
Total reclaimed space: 0B
Deployment successful!
Acum poți deschide http://localhost/ în browser, executați din nou implementarea și asigurați-vă că rulează perfect, actualizând pagina conform CD-ului în timpul aspectului.