V tem članku uporabljamo bash, ssh, Docker и nginx Organizirali bomo brezšivno postavitev spletne aplikacije. Modro-zelena razporeditev je tehnika, ki vam omogoča takojšnjo posodobitev aplikacije, ne da bi zavrnili eno samo zahtevo. To je ena od strategij uvajanja brez izpadov in je najprimernejša za aplikacije z enim primerkom, vendar možnostjo nalaganja drugega, za zagon pripravljenega primerka v bližini.
Recimo, da imate spletno aplikacijo, s katero aktivno dela veliko strank, in nikakor ni možnosti, da bi ležala za nekaj sekund. In res morate uvesti posodobitev knjižnice, popraviti napako ali novo kul funkcijo. V običajnem primeru boste morali aplikacijo ustaviti, jo zamenjati in znova zagnati. V primeru dockerja ga lahko najprej zamenjate, nato znova zaženete, vendar bo še vedno obstajalo obdobje, v katerem zahteve do aplikacije ne bodo obdelane, ker običajno aplikacija potrebuje nekaj časa, da se prvotno naloži. Kaj pa, če se začne, vendar se izkaže, da ne deluje? To je problem, rešimo ga z minimalnimi sredstvi in čim bolj elegantno.
ODPOVED ODGOVORNOSTI: Večina članka je predstavljena v eksperimentalni obliki - v obliki posnetka konzolne seje. Upajmo, da to ne bo preveč težko razumeti in da se bo koda dovolj dokumentirala. Za vzdušje si predstavljajte, da to niso samo izrezki kode, ampak papir iz "železnega" teletipa.
Na začetku vsakega razdelka so opisane zanimive tehnike, ki jih je težko poguglati samo z branjem kode. Če še kaj ni jasno, poguglaj in preveri. pojasniti lupino (na srečo spet deluje, zaradi deblokade telegrama). Če ničesar ne najdete v Googlu, vprašajte v komentarjih. Z veseljem bom dodal v ustrezno rubriko "Zanimive tehnike".
Začnimo.
$ mkdir blue-green-deployment && cd $_
Orodja
Naredimo poskusni servis in ga postavimo v zabojnik.
Zanimive tehnike
cat << EOF > file-name (Tukaj Dokument + V/I preusmeritev) je način za ustvarjanje večvrstične datoteke z enim ukazom. Vse, iz česar bash bere /dev/stdin za to vrstico in pred vrstico EOF bo posneto v file-name.
wget -qO- URL (pojasniti lupino) — izhod dokumenta, prejetega prek HTTP, v /dev/stdout (analogno curl URL).
Natisniti
Posebej sem prekinil delček, da bi omogočil označevanje za Python. Na koncu bo še en tak komad. Upoštevajte, da je bil na teh mestih papir razrezan za pošiljanje v oddelek za označevanje (kjer je bila koda ročno pobarvana z označevalci), nato pa so bili ti kosi prilepljeni nazaj.
$ cat << EOF > uptimer.py
from http.server import BaseHTTPRequestHandler, HTTPServer
from time import monotonic
app_version = 1
app_name = f'Uptimer v{app_version}.0'
loading_seconds = 15 - app_version * 5
class Handler(BaseHTTPRequestHandler):
def do_GET(self):
if self.path == '/':
try:
t = monotonic() - server_start
if t < loading_seconds:
self.send_error(503)
else:
self.send_response(200)
self.send_header('Content-Type', 'text/html')
self.end_headers()
response = f'<h2>{app_name} is running for {t:3.1f} seconds.</h2>n'
self.wfile.write(response.encode('utf-8'))
except Exception:
self.send_error(500)
else:
self.send_error(404)
httpd = HTTPServer(('', 8080), Handler)
server_start = monotonic()
print(f'{app_name} (loads in {loading_seconds} sec.) started.')
httpd.serve_forever()
EOF
$ cat << EOF > Dockerfile
FROM python:alpine
EXPOSE 8080
COPY uptimer.py app.py
CMD [ "python", "-u", "./app.py" ]
EOF
$ docker build --tag uptimer .
Sending build context to Docker daemon 39.42kB
Step 1/4 : FROM python:alpine
---> 8ecf5a48c789
Step 2/4 : EXPOSE 8080
---> Using cache
---> cf92d174c9d3
Step 3/4 : COPY uptimer.py app.py
---> a7fbb33d6b7e
Step 4/4 : CMD [ "python", "-u", "./app.py" ]
---> Running in 1906b4bd9fdf
Removing intermediate container 1906b4bd9fdf
---> c1655b996fe8
Successfully built c1655b996fe8
Successfully tagged uptimer:latest
$ docker run --rm --detach --name uptimer --publish 8080:8080 uptimer
8f88c944b8bf78974a5727070a94c76aa0b9bb2b3ecf6324b784e782614b2fbf
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
8f88c944b8bf uptimer "python -u ./app.py" 3 seconds ago Up 5 seconds 0.0.0.0:8080->8080/tcp uptimer
$ docker logs uptimer
Uptimer v1.0 (loads in 10 sec.) started.
$ wget -qSO- http://localhost:8080
HTTP/1.0 503 Service Unavailable
Server: BaseHTTP/0.6 Python/3.8.3
Date: Sat, 22 Aug 2020 19:52:40 GMT
Connection: close
Content-Type: text/html;charset=utf-8
Content-Length: 484
$ wget -qSO- http://localhost:8080
HTTP/1.0 200 OK
Server: BaseHTTP/0.6 Python/3.8.3
Date: Sat, 22 Aug 2020 19:52:45 GMT
Content-Type: text/html
<h2>Uptimer v1.0 is running for 15.4 seconds.</h2>
$ docker rm --force uptimer
uptimer
Povratni proxy
Da bi se lahko naša aplikacija neopazno spreminjala, je nujno, da je pred njo neka druga entiteta, ki bo skrivala svojo zamenjavo. Lahko bi bil spletni strežnik nginx в način obratnega proxyja. Med odjemalcem in aplikacijo se vzpostavi obratni proxy. Sprejema zahteve odjemalcev in jih posreduje aplikaciji ter posreduje odgovore aplikacije odjemalcem.
Aplikacijo in povratni proxy je mogoče povezati znotraj dockerja z uporabo docker omrežje. Tako vsebniku z aplikacijo sploh ni treba posredovati vrat na gostiteljskem sistemu, kar omogoča, da je aplikacija maksimalno izolirana od zunanjih groženj.
Če obratni proxy živi na drugem gostitelju, boste morali opustiti priklopno omrežje in povezati aplikacijo z obratnim proxyjem prek gostiteljskega omrežja ter posredovati vrata aplikacije parameter --publish, kot pri prvem zagonu in kot pri obratnem proxyju.
Obratni proxy bomo zagnali na vratih 80, ker je ravno to entiteta, ki bi morala poslušati zunanje omrežje. Če so vrata 80 na vašem testnem gostitelju zasedena, spremenite parameter --publish 80:80 o --publish ANY_FREE_PORT:80.
$ sed -i "s/app_version = 1/app_version = 2/" uptimer.py
$ docker build --tag uptimer .
Sending build context to Docker daemon 39.94kB
Step 1/4 : FROM python:alpine
---> 8ecf5a48c789
Step 2/4 : EXPOSE 8080
---> Using cache
---> cf92d174c9d3
Step 3/4 : COPY uptimer.py app.py
---> 3eca6a51cb2d
Step 4/4 : CMD [ "python", "-u", "./app.py" ]
---> Running in 8f13c6d3d9e7
Removing intermediate container 8f13c6d3d9e7
---> 1d56897841ec
Successfully built 1d56897841ec
Successfully tagged uptimer:latest
$ docker run --detach --rm --name uptimer_BLUE --network web-gateway uptimer
96932d4ca97a25b1b42d1b5f0ede993b43f95fac3c064262c5c527e16c119e02
$ docker logs uptimer_BLUE
Uptimer v2.0 (loads in 5 sec.) started.
$ docker run --rm --network web-gateway alpine wget -qO- http://uptimer_BLUE:8080
<h2>Uptimer v2.0 is running for 23.9 seconds.</h2>
$ sed s/uptimer/uptimer_BLUE/ uptimer.conf | docker exec --interactive reverse-proxy sh -c 'cat > /etc/nginx/conf.d/default.conf'
$ docker exec reverse-proxy cat /etc/nginx/conf.d/default.conf
server {
listen 80;
location / {
proxy_pass http://uptimer_BLUE:8080;
}
}
$ docker exec reverse-proxy nginx -s reload
2020/06/25 21:22:23 [notice] 68#68: signal process started
$ wget -qO- http://localhost
<h2>Uptimer v2.0 is running for 63.4 seconds.</h2>
$ docker rm -f uptimer
uptimer
$ wget -qO- http://localhost
<h2>Uptimer v2.0 is running for 84.8 seconds.</h2>
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
96932d4ca97a uptimer "python -u ./app.py" About a minute ago Up About a minute 8080/tcp uptimer_BLUE
80695a822c19 nginx:alpine "/docker-entrypoint.…" 8 minutes ago Up 8 minutes 0.0.0.0:80->80/tcp reverse-proxy
Na tej stopnji je slika zgrajena neposredno na strežniku, kar zahteva, da so tam viri aplikacije, poleg tega pa strežnik obremenjuje z nepotrebnim delom. Naslednji korak je dodelitev slikovnega sklopa ločeni napravi (na primer sistemu CI) in nato prenos na strežnik.
Prenos slik
Na žalost ni smiselno prenašati slik z lokalnega gostitelja na lokalnega gostitelja, zato lahko ta razdelek raziščete le, če imate pri roki dva gostitelja z Dockerjem. Vsaj zgleda nekako takole:
$ ssh production-server docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
$ docker image save uptimer | ssh production-server 'docker image load'
Loaded image: uptimer:latest
$ ssh production-server docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
uptimer latest 1d56897841ec 5 minutes ago 78.9MB
Ekipa docker save shrani slikovne podatke v arhiv .tar, kar pomeni, da tehta približno 1.5-krat več, kot bi tehtala v stisnjeni obliki. Otresimo se torej v imenu prihranka časa in prometa:
Zdaj pa zberimo vse, kar smo naredili ročno, v en skript. Začnimo s funkcijo najvišje ravni in nato poglejmo druge, ki se uporabljajo v njej.
Zanimive tehnike
${parameter?err_msg} - eden od bash magičnih urokov (aka zamenjava parametrov). če parameter ni določeno, izhod err_msg in izhod s kodo 1.
docker --log-driver journald — privzeto je gonilnik za beleženje dockerja besedilna datoteka brez kakršnega koli vrtenja. S tem pristopom dnevniki hitro zapolnijo celoten disk, zato je za produkcijsko okolje treba spremeniti gonilnik na pametnejšega.
Skript za uvajanje
deploy() {
local usage_msg="Usage: ${FUNCNAME[0]} image_name"
local image_name=${1?$usage_msg}
ensure-reverse-proxy || return 2
if get-active-slot $image_name
then
local OLD=${image_name}_BLUE
local new_slot=GREEN
else
local OLD=${image_name}_GREEN
local new_slot=BLUE
fi
local NEW=${image_name}_${new_slot}
echo "Deploying '$NEW' in place of '$OLD'..."
docker run
--detach
--restart always
--log-driver journald
--name $NEW
--network web-gateway
$image_name || return 3
echo "Container started. Checking health..."
for i in {1..20}
do
sleep 1
if get-service-status $image_name $new_slot
then
echo "New '$NEW' service seems OK. Switching heads..."
sleep 2 # Ensure service is ready
set-active-slot $image_name $new_slot || return 4
echo "'$NEW' service is live!"
sleep 2 # Ensure all requests were processed
echo "Killing '$OLD'..."
docker rm -f $OLD
docker image prune -f
echo "Deployment successful!"
return 0
fi
echo "New '$NEW' service is not ready yet. Waiting ($i)..."
done
echo "New '$NEW' service did not raise, killing it. Failed to deploy T_T"
docker rm -f $NEW
return 5
}
Uporabljene lastnosti:
ensure-reverse-proxy — Zagotavlja, da obratni proxy deluje (uporabno za prvo namestitev)
get-active-slot service_name — Določa, katera reža je trenutno aktivna za določeno storitev (BLUE ali GREEN)
get-service-status service_name deployment_slot — Določa, ali je storitev pripravljena za obdelavo dohodnih zahtev
set-active-slot service_name deployment_slot — Spremeni konfiguracijo nginx v obratnem vsebniku proxyja
Da bi:
ensure-reverse-proxy() {
is-container-up reverse-proxy && return 0
echo "Deploying reverse-proxy..."
docker network create web-gateway
docker run
--detach
--restart always
--log-driver journald
--name reverse-proxy
--network web-gateway
--publish 80:80
nginx:alpine || return 1
docker exec --interactive reverse-proxy sh -c "> /etc/nginx/conf.d/default.conf"
docker exec reverse-proxy nginx -s reload
}
is-container-up() {
local container=${1?"Usage: ${FUNCNAME[0]} container_name"}
[ -n "$(docker ps -f name=${container} -q)" ]
return $?
}
get-active-slot() {
local service=${1?"Usage: ${FUNCNAME[0]} service_name"}
if is-container-up ${service}_BLUE && is-container-up ${service}_GREEN; then
echo "Collision detected! Stopping ${service}_GREEN..."
docker rm -f ${service}_GREEN
return 0 # BLUE
fi
if is-container-up ${service}_BLUE && ! is-container-up ${service}_GREEN; then
return 0 # BLUE
fi
if ! is-container-up ${service}_BLUE; then
return 1 # GREEN
fi
}
get-service-status() {
local usage_msg="Usage: ${FUNCNAME[0]} service_name deployment_slot"
local service=${1?usage_msg}
local slot=${2?$usage_msg}
case $service in
# Add specific healthcheck paths for your services here
*) local health_check_port_path=":8080/" ;;
esac
local health_check_address="http://${service}_${slot}${health_check_port_path}"
echo "Requesting '$health_check_address' within the 'web-gateway' docker network:"
docker run --rm --network web-gateway alpine
wget --timeout=1 --quiet --server-response $health_check_address
return $?
}
set-active-slot() {
local usage_msg="Usage: ${FUNCNAME[0]} service_name deployment_slot"
local service=${1?$usage_msg}
local slot=${2?$usage_msg}
[ "$slot" == BLUE ] || [ "$slot" == GREEN ] || return 1
get-nginx-config $service $slot | docker exec --interactive reverse-proxy sh -c "cat > /etc/nginx/conf.d/$service.conf"
docker exec reverse-proxy nginx -t || return 2
docker exec reverse-proxy nginx -s reload
}
Funkcija get-active-slot zahteva malo razlage:
Zakaj vrne številko in ne izpiše niza?
Kakorkoli že, v klicni funkciji preverimo rezultat njenega dela in preverjanje izhodne kode z bashom je veliko lažje kot preverjanje niza. Poleg tega je pridobivanje niza iz njega zelo preprosto: get-active-slot service && echo BLUE || echo GREEN.
So res trije pogoji dovolj za razlikovanje vseh držav?
Tudi dva bosta dovolj, zadnji je tukaj samo za popolnost, da ne pišem else.
Samo funkcija, ki vrne konfiguracije nginx, ostane nedoločena: get-nginx-config service_name deployment_slot. Po analogiji s pregledom zdravja lahko tukaj nastavite katero koli konfiguracijo za katero koli storitev. Od zanimivosti - samo cat <<- EOF, ki omogoča odstranitev vseh zavihkov na začetku. Res je, cena dobrega oblikovanja so mešani zavihki s presledki, kar danes velja za zelo slabo obliko. Toda bash prisili zavihke in prav tako bi bilo lepo imeti normalno oblikovanje v konfiguraciji nginx. Skratka, mešanje zavihkov s presledki se tukaj res zdi najboljša rešitev izmed najslabših. Vendar tega ne boste videli v spodnjem izrezku, saj Habr "dobro dela", tako da spremeni vse zavihke v 4 presledke in naredi EOF neveljaven. In tukaj je opazno.
Da ne bi dvakrat vstal, vam bom takoj povedal cat << 'EOF', s katerimi se bomo srečali kasneje. Če pišete preprosto cat << EOF, potem je znotraj heredoc niz interpoliran (spremenljivke so razširjene ($foo), klici ukazov ($(bar)) itd.), in če konec dokumenta stavite v enojne narekovaje, je interpolacija onemogočena in simbol $ se prikaže, kot je. Kaj potrebujete za vstavljanje skripta v drug skript.
get-nginx-config() {
local usage_msg="Usage: ${FUNCNAME[0]} service_name deployment_slot"
local service=${1?$usage_msg}
local slot=${2?$usage_msg}
[ "$slot" == BLUE ] || [ "$slot" == GREEN ] || return 1
local container_name=${service}_${slot}
case $service in
# Add specific nginx configs for your services here
*) nginx-config-simple-service $container_name:8080 ;;
esac
}
nginx-config-simple-service() {
local usage_msg="Usage: ${FUNCNAME[0]} proxy_pass"
local proxy_pass=${1?$usage_msg}
cat << EOF
server {
listen 80;
location / {
proxy_pass http://$proxy_pass;
}
}
EOF
}
Izvajanje parametriziranih skriptov na oddaljenem strežniku
Čas je, da potrkamo na ciljni strežnik. Tokrat localhost zelo primerno:
$ ssh-copy-id localhost
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
himura@localhost's password:
Number of key(s) added: 1
Now try logging into the machine, with: "ssh 'localhost'"
and check to make sure that only the key(s) you wanted were added.
Napisali smo skript za uvedbo, ki prenese vnaprej zgrajeno sliko na ciljni strežnik in brezhibno nadomesti storitveni vsebnik, toda kako ga lahko izvedemo na oddaljenem računalniku? Skript ima argumente, saj je univerzalen in lahko uvede več storitev hkrati pod enim povratnim posrednikom (lahko uporabite konfiguracije nginx, da določite, kateri url bo katera storitev). Skripte ni mogoče shraniti na strežnik, saj je v tem primeru ne bomo mogli avtomatsko posodabljati (z namenom odpravljanja hroščev in dodajanja novih storitev) in na splošno stanje = zlo.
1. rešitev: še vedno shranite skript na strežnik, vendar ga vsakič kopirajte scp. Nato se povežite prek ssh in izvedite skript s potrebnimi argumenti.
Cons:
Dve dejanji namesto enega
Morda ni mesta, kamor kopirate, ali morda ni dostopa do njega ali pa se skript izvede v času zamenjave.
Priporočljivo je, da počistite za seboj (izbrišete skripto).
Že tri akcije.
2. rešitev:
V skriptu ohranite samo definicije funkcij in ne zaženite ničesar
Z sed dodajte klic funkcije na konec
Pošljite vse neposredno na shh prek cevi (|)
Profesionalci:
Res brez državljanstva
Brez standardnih entitet
Občutek kul
Naredimo to brez Ansiblea. Da, vse je že izumljeno. Da, kolo. Poglejte, kako preprosto, elegantno in minimalistično je kolo:
$ cat << 'EOF' > deploy.sh
#!/bin/bash
usage_msg="Usage: $0 ssh_address local_image_tag"
ssh_address=${1?$usage_msg}
image_name=${2?$usage_msg}
echo "Connecting to '$ssh_address' via ssh to seamlessly deploy '$image_name'..."
( sed "$a deploy $image_name" | ssh -T $ssh_address ) << 'END_OF_SCRIPT'
deploy() {
echo "Yay! The '${FUNCNAME[0]}' function is executing on '$(hostname)' with argument '$1'"
}
END_OF_SCRIPT
EOF
$ chmod +x deploy.sh
$ ./deploy.sh localhost magic-porridge-pot
Connecting to localhost...
Yay! The 'deploy' function is executing on 'hut' with argument 'magic-porridge-pot'
Vendar ne moremo biti prepričani, da ima oddaljeni gostitelj ustrezen bash, zato bomo na začetku dodali majhen pregled (to je namesto lupinarji):
if [ "$SHELL" != "/bin/bash" ]
then
echo "The '$SHELL' shell is not supported by 'deploy.sh'. Set a '/bin/bash' shell for '$USER@$HOSTNAME'."
exit 1
fi
In zdaj je res:
$ docker exec reverse-proxy rm /etc/nginx/conf.d/default.conf
$ wget -qO deploy.sh https://git.io/JUURc
$ chmod +x deploy.sh
$ ./deploy.sh localhost uptimer
Sending gzipped image 'uptimer' to 'localhost' via ssh...
Loaded image: uptimer:latest
Connecting to 'localhost' via ssh to seamlessly deploy 'uptimer'...
Deploying 'uptimer_GREEN' in place of 'uptimer_BLUE'...
06f5bc70e9c4f930e7b1f826ae2ca2f536023cc01e82c2b97b2c84d68048b18a
Container started. Checking health...
Requesting 'http://uptimer_GREEN:8080/' within the 'web-gateway' docker network:
HTTP/1.0 503 Service Unavailable
wget: server returned error: HTTP/1.0 503 Service Unavailable
New 'uptimer_GREEN' service is not ready yet. Waiting (1)...
Requesting 'http://uptimer_GREEN:8080/' within the 'web-gateway' docker network:
HTTP/1.0 503 Service Unavailable
wget: server returned error: HTTP/1.0 503 Service Unavailable
New 'uptimer_GREEN' service is not ready yet. Waiting (2)...
Requesting 'http://uptimer_GREEN:8080/' within the 'web-gateway' docker network:
HTTP/1.0 200 OK
Server: BaseHTTP/0.6 Python/3.8.3
Date: Sat, 22 Aug 2020 20:15:50 GMT
Content-Type: text/html
New 'uptimer_GREEN' service seems OK. Switching heads...
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
2020/08/22 20:15:54 [notice] 97#97: signal process started
The 'uptimer_GREEN' service is live!
Killing 'uptimer_BLUE'...
uptimer_BLUE
Total reclaimed space: 0B
Deployment successful!
Zdaj lahko odprete http://localhost/ v brskalniku znova zaženite uvajanje in se prepričajte, da deluje brezhibno, tako da med postavitvijo posodobite stran glede na CD.