I den här artikeln använder vi bash, ssh, hamnarbetare и nginx Vi organiserar sömlös layout av webbapplikationen. Blågrön utbyggnad är en teknik som gör att du omedelbart kan uppdatera en applikation utan att avvisa en enda begäran. Det är en av strategierna för driftsättning utan driftstopp och är bäst lämpad för applikationer med en instans, men möjligheten att ladda en andra, körklar instans i närheten.
Låt oss säga att du har en webbapplikation som många kunder aktivt arbetar med, och det finns absolut inget sätt för den att ligga ner i ett par sekunder. Och du behöver verkligen rulla ut en biblioteksuppdatering, en buggfix eller en ny cool funktion. I en normal situation måste du stoppa programmet, byta ut det och starta det igen. När det gäller docker kan du först byta ut det och sedan starta om det, men det kommer fortfarande att finnas en period då förfrågningar till applikationen inte kommer att behandlas, eftersom det vanligtvis tar lite tid att ladda applikationen. Tänk om den startar men visar sig vara obrukbar? Detta är problemet, låt oss lösa det med minimala medel och så elegant som möjligt.
DISCLAIMER: Det mesta av artikeln presenteras i ett experimentellt format - i form av en inspelning av en konsolsession. Förhoppningsvis blir detta inte alltför svårt att förstå och koden kommer att dokumentera sig själv tillräckligt. För atmosfären, föreställ dig att dessa inte bara är kodsnuttar, utan papper från en "järn" teletyp.
Intressanta tekniker som är svåra att Google bara genom att läsa koden beskrivs i början av varje avsnitt. Om något annat är oklart, googla och kolla upp det. förklara skal (lyckligtvis fungerar det igen, på grund av avblockeringen av telegrammet). Om du inte kan Googla något, fråga i kommentarerna. Jag lägger gärna till i motsvarande avsnitt "Intressanta tekniker".
Låt oss börja.
$ mkdir blue-green-deployment && cd $_
Tjänsten
Låt oss göra en experimentell tjänst och placera den i en behållare.
Intressanta tekniker
cat << EOF > file-name (Här dokument + I/O-omdirigering) är ett sätt att skapa en flerradsfil med ett kommando. Allt bash läser från /dev/stdin efter denna linje och före raden EOF kommer att spelas in i file-name.
wget -qO- URL (förklara skal) — mata ut ett dokument mottaget via HTTP till /dev/stdout (analog curl URL).
Skriv ut
Jag bryter specifikt utdraget för att aktivera markering för Python. I slutet kommer det att finnas ytterligare ett sådant här stycke. Tänk på att på dessa ställen klipptes papperet för att skickas till överstrykningsavdelningen (där koden handfärgades med överstrykningspennor), och sedan limmades dessa bitar tillbaka.
$ cat << EOF > uptimer.py
from http.server import BaseHTTPRequestHandler, HTTPServer
from time import monotonic
app_version = 1
app_name = f'Uptimer v{app_version}.0'
loading_seconds = 15 - app_version * 5
class Handler(BaseHTTPRequestHandler):
def do_GET(self):
if self.path == '/':
try:
t = monotonic() - server_start
if t < loading_seconds:
self.send_error(503)
else:
self.send_response(200)
self.send_header('Content-Type', 'text/html')
self.end_headers()
response = f'<h2>{app_name} is running for {t:3.1f} seconds.</h2>n'
self.wfile.write(response.encode('utf-8'))
except Exception:
self.send_error(500)
else:
self.send_error(404)
httpd = HTTPServer(('', 8080), Handler)
server_start = monotonic()
print(f'{app_name} (loads in {loading_seconds} sec.) started.')
httpd.serve_forever()
EOF
$ cat << EOF > Dockerfile
FROM python:alpine
EXPOSE 8080
COPY uptimer.py app.py
CMD [ "python", "-u", "./app.py" ]
EOF
$ docker build --tag uptimer .
Sending build context to Docker daemon 39.42kB
Step 1/4 : FROM python:alpine
---> 8ecf5a48c789
Step 2/4 : EXPOSE 8080
---> Using cache
---> cf92d174c9d3
Step 3/4 : COPY uptimer.py app.py
---> a7fbb33d6b7e
Step 4/4 : CMD [ "python", "-u", "./app.py" ]
---> Running in 1906b4bd9fdf
Removing intermediate container 1906b4bd9fdf
---> c1655b996fe8
Successfully built c1655b996fe8
Successfully tagged uptimer:latest
$ docker run --rm --detach --name uptimer --publish 8080:8080 uptimer
8f88c944b8bf78974a5727070a94c76aa0b9bb2b3ecf6324b784e782614b2fbf
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
8f88c944b8bf uptimer "python -u ./app.py" 3 seconds ago Up 5 seconds 0.0.0.0:8080->8080/tcp uptimer
$ docker logs uptimer
Uptimer v1.0 (loads in 10 sec.) started.
$ wget -qSO- http://localhost:8080
HTTP/1.0 503 Service Unavailable
Server: BaseHTTP/0.6 Python/3.8.3
Date: Sat, 22 Aug 2020 19:52:40 GMT
Connection: close
Content-Type: text/html;charset=utf-8
Content-Length: 484
$ wget -qSO- http://localhost:8080
HTTP/1.0 200 OK
Server: BaseHTTP/0.6 Python/3.8.3
Date: Sat, 22 Aug 2020 19:52:45 GMT
Content-Type: text/html
<h2>Uptimer v1.0 is running for 15.4 seconds.</h2>
$ docker rm --force uptimer
uptimer
Omvänd proxy
För att vår applikation ska kunna ändras obemärkt, är det nödvändigt att det finns någon annan enhet framför den som kommer att dölja dess ersättning. Det kan vara en webbserver nginx в omvänt proxyläge. En omvänd proxy upprättas mellan klienten och applikationen. Den accepterar förfrågningar från kunder och vidarebefordrar dem till applikationen och vidarebefordrar applikationens svar till klienterna.
Applikationen och omvänd proxy kan länkas inuti docker med hjälp av hamnarnätverk. Behållaren med applikationen behöver alltså inte ens vidarebefordra en port på värdsystemet, detta gör att applikationen kan isoleras maximalt från externa hot.
Om den omvända proxyn finns på en annan värd måste du överge dockningsnätverket och ansluta applikationen till den omvända proxyn via värdnätverket, vidarebefordra porten appar parameter --publish, som vid första starten och som med omvänd proxy.
Vi kommer att köra den omvända proxyn på port 80, eftersom detta är exakt den entitet som ska lyssna på det externa nätverket. Om port 80 är upptagen på din testvärd, ändra parametern --publish 80:80 på --publish ANY_FREE_PORT:80.
$ docker network create web-gateway
5dba128fb3b255b02ac012ded1906b7b4970b728fb7db3dbbeccc9a77a5dd7bd
$ docker run --detach --rm --name uptimer --network web-gateway uptimer
a1105f1b583dead9415e99864718cc807cc1db1c763870f40ea38bc026e2d67f
$ docker run --rm --network web-gateway alpine wget -qO- http://uptimer:8080
<h2>Uptimer v1.0 is running for 11.5 seconds.</h2>
$ docker run --detach --publish 80:80 --network web-gateway --name reverse-proxy nginx:alpine
80695a822c19051260c66bf60605dcb4ea66802c754037704968bc42527bf120
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
80695a822c19 nginx:alpine "/docker-entrypoint.…" 27 seconds ago Up 25 seconds 0.0.0.0:80->80/tcp reverse-proxy
a1105f1b583d uptimer "python -u ./app.py" About a minute ago Up About a minute 8080/tcp uptimer
$ cat << EOF > uptimer.conf
server {
listen 80;
location / {
proxy_pass http://uptimer:8080;
}
}
EOF
$ docker cp ./uptimer.conf reverse-proxy:/etc/nginx/conf.d/default.conf
$ docker exec reverse-proxy nginx -s reload
2020/06/23 20:51:03 [notice] 31#31: signal process started
$ wget -qSO- http://localhost
HTTP/1.1 200 OK
Server: nginx/1.19.0
Date: Sat, 22 Aug 2020 19:56:24 GMT
Content-Type: text/html
Transfer-Encoding: chunked
Connection: keep-alive
<h2>Uptimer v1.0 is running for 104.1 seconds.</h2>
Sömlös distribution
Låt oss rulla ut en ny version av applikationen (med en dubbel startprestandaökning) och försöka distribuera den sömlöst.
Intressanta tekniker
echo 'my text' | docker exec -i my-container sh -c 'cat > /my-file.txt' — Skriv text my text att arkivera /my-file.txt inuti behållaren my-container.
cat > /my-file.txt — Skriv innehållet i standardinmatning till en fil /dev/stdin.
Skriv ut
$ sed -i "s/app_version = 1/app_version = 2/" uptimer.py
$ docker build --tag uptimer .
Sending build context to Docker daemon 39.94kB
Step 1/4 : FROM python:alpine
---> 8ecf5a48c789
Step 2/4 : EXPOSE 8080
---> Using cache
---> cf92d174c9d3
Step 3/4 : COPY uptimer.py app.py
---> 3eca6a51cb2d
Step 4/4 : CMD [ "python", "-u", "./app.py" ]
---> Running in 8f13c6d3d9e7
Removing intermediate container 8f13c6d3d9e7
---> 1d56897841ec
Successfully built 1d56897841ec
Successfully tagged uptimer:latest
$ docker run --detach --rm --name uptimer_BLUE --network web-gateway uptimer
96932d4ca97a25b1b42d1b5f0ede993b43f95fac3c064262c5c527e16c119e02
$ docker logs uptimer_BLUE
Uptimer v2.0 (loads in 5 sec.) started.
$ docker run --rm --network web-gateway alpine wget -qO- http://uptimer_BLUE:8080
<h2>Uptimer v2.0 is running for 23.9 seconds.</h2>
$ sed s/uptimer/uptimer_BLUE/ uptimer.conf | docker exec --interactive reverse-proxy sh -c 'cat > /etc/nginx/conf.d/default.conf'
$ docker exec reverse-proxy cat /etc/nginx/conf.d/default.conf
server {
listen 80;
location / {
proxy_pass http://uptimer_BLUE:8080;
}
}
$ docker exec reverse-proxy nginx -s reload
2020/06/25 21:22:23 [notice] 68#68: signal process started
$ wget -qO- http://localhost
<h2>Uptimer v2.0 is running for 63.4 seconds.</h2>
$ docker rm -f uptimer
uptimer
$ wget -qO- http://localhost
<h2>Uptimer v2.0 is running for 84.8 seconds.</h2>
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
96932d4ca97a uptimer "python -u ./app.py" About a minute ago Up About a minute 8080/tcp uptimer_BLUE
80695a822c19 nginx:alpine "/docker-entrypoint.…" 8 minutes ago Up 8 minutes 0.0.0.0:80->80/tcp reverse-proxy
I det här skedet byggs bilden direkt på servern, vilket kräver att applikationskällorna finns där, och dessutom laddar servern med onödigt arbete. Nästa steg är att allokera bildsammansättningen till en separat maskin (till exempel till ett CI-system) och sedan överföra den till servern.
Överföra bilder
Tyvärr är det inte vettigt att överföra bilder från localhost till localhost, så det här avsnittet kan bara utforskas om du har två värdar med Docker till hands. Det ser åtminstone ut ungefär så här:
$ ssh production-server docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
$ docker image save uptimer | ssh production-server 'docker image load'
Loaded image: uptimer:latest
$ ssh production-server docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
uptimer latest 1d56897841ec 5 minutes ago 78.9MB
Team docker save sparar bilddata i ett .tar-arkiv, vilket innebär att den väger cirka 1.5 gånger mer än den skulle väga i komprimerad form. Så låt oss skaka om det i namn av att spara tid och trafik:
Låt oss nu samla allt vi gjorde manuellt i ett skript. Låt oss börja med toppnivåfunktionen och titta sedan på de andra som används i den.
Intressanta tekniker
${parameter?err_msg} - en av bash magiska trollformler (aka parameterbyte). Om parameter ej specificerad, utgång err_msg och avsluta med kod 1.
docker --log-driver journald — som standard är docker-loggningsdrivrutinen en textfil utan någon rotation. Med detta tillvägagångssätt fyller loggarna snabbt upp hela disken, så för en produktionsmiljö är det nödvändigt att byta drivrutin till en smartare.
Implementeringsskript
deploy() {
local usage_msg="Usage: ${FUNCNAME[0]} image_name"
local image_name=${1?$usage_msg}
ensure-reverse-proxy || return 2
if get-active-slot $image_name
then
local OLD=${image_name}_BLUE
local new_slot=GREEN
else
local OLD=${image_name}_GREEN
local new_slot=BLUE
fi
local NEW=${image_name}_${new_slot}
echo "Deploying '$NEW' in place of '$OLD'..."
docker run
--detach
--restart always
--log-driver journald
--name $NEW
--network web-gateway
$image_name || return 3
echo "Container started. Checking health..."
for i in {1..20}
do
sleep 1
if get-service-status $image_name $new_slot
then
echo "New '$NEW' service seems OK. Switching heads..."
sleep 2 # Ensure service is ready
set-active-slot $image_name $new_slot || return 4
echo "'$NEW' service is live!"
sleep 2 # Ensure all requests were processed
echo "Killing '$OLD'..."
docker rm -f $OLD
docker image prune -f
echo "Deployment successful!"
return 0
fi
echo "New '$NEW' service is not ready yet. Waiting ($i)..."
done
echo "New '$NEW' service did not raise, killing it. Failed to deploy T_T"
docker rm -f $NEW
return 5
}
Använda funktioner:
ensure-reverse-proxy — Se till att den omvända proxyn fungerar (användbart för den första distributionen)
get-active-slot service_name — Bestämmer vilken plats som för närvarande är aktiv för en given tjänst (BLUE eller GREEN)
get-service-status service_name deployment_slot — Avgör om tjänsten är redo att behandla inkommande förfrågningar
set-active-slot service_name deployment_slot — Ändrar nginx-konfigurationen i den omvända proxybehållaren
För att:
ensure-reverse-proxy() {
is-container-up reverse-proxy && return 0
echo "Deploying reverse-proxy..."
docker network create web-gateway
docker run
--detach
--restart always
--log-driver journald
--name reverse-proxy
--network web-gateway
--publish 80:80
nginx:alpine || return 1
docker exec --interactive reverse-proxy sh -c "> /etc/nginx/conf.d/default.conf"
docker exec reverse-proxy nginx -s reload
}
is-container-up() {
local container=${1?"Usage: ${FUNCNAME[0]} container_name"}
[ -n "$(docker ps -f name=${container} -q)" ]
return $?
}
get-active-slot() {
local service=${1?"Usage: ${FUNCNAME[0]} service_name"}
if is-container-up ${service}_BLUE && is-container-up ${service}_GREEN; then
echo "Collision detected! Stopping ${service}_GREEN..."
docker rm -f ${service}_GREEN
return 0 # BLUE
fi
if is-container-up ${service}_BLUE && ! is-container-up ${service}_GREEN; then
return 0 # BLUE
fi
if ! is-container-up ${service}_BLUE; then
return 1 # GREEN
fi
}
get-service-status() {
local usage_msg="Usage: ${FUNCNAME[0]} service_name deployment_slot"
local service=${1?usage_msg}
local slot=${2?$usage_msg}
case $service in
# Add specific healthcheck paths for your services here
*) local health_check_port_path=":8080/" ;;
esac
local health_check_address="http://${service}_${slot}${health_check_port_path}"
echo "Requesting '$health_check_address' within the 'web-gateway' docker network:"
docker run --rm --network web-gateway alpine
wget --timeout=1 --quiet --server-response $health_check_address
return $?
}
set-active-slot() {
local usage_msg="Usage: ${FUNCNAME[0]} service_name deployment_slot"
local service=${1?$usage_msg}
local slot=${2?$usage_msg}
[ "$slot" == BLUE ] || [ "$slot" == GREEN ] || return 1
get-nginx-config $service $slot | docker exec --interactive reverse-proxy sh -c "cat > /etc/nginx/conf.d/$service.conf"
docker exec reverse-proxy nginx -t || return 2
docker exec reverse-proxy nginx -s reload
}
Funktion get-active-slot kräver en liten förklaring:
Varför returnerar den ett nummer och matar inte ut en sträng?
Hur som helst, i anropsfunktionen kontrollerar vi resultatet av dess arbete, och att kontrollera utgångskoden med bash är mycket lättare än att kontrollera en sträng. Dessutom är det väldigt enkelt att få en sträng från det: get-active-slot service && echo BLUE || echo GREEN.
Är tre villkor verkligen tillräckligt för att skilja alla stater åt?
Även två kommer att räcka, den sista är här bara för fullständighetens skull, för att inte skriva else.
Endast funktionen som returnerar nginx-konfigurationer förblir odefinierad: get-nginx-config service_name deployment_slot. I analogi med hälsokontroll kan du här ställa in vilken konfiguration som helst för vilken tjänst som helst. Av de intressanta sakerna - bara cat <<- EOF, vilket låter dig ta bort alla flikar i början. Det är sant att priset för bra formatering är blandade flikar med mellanslag, vilket idag anses vara väldigt dåligt. Men bash tvingar fram flikar, och det skulle också vara trevligt att ha normal formatering i nginx-konfigurationen. Kort sagt, att blanda flikar med mellanslag här verkar verkligen vara den bästa lösningen av det värsta. Du kommer dock inte att se detta i utdraget nedan, eftersom Habr "gör det bra" genom att ändra alla flikar till 4 mellanslag och göra EOF ogiltigt. Och här märks det.
För att inte gå upp två gånger ska jag berätta om det direkt cat << 'EOF', som kommer att mötas senare. Om du skriver enkelt cat << EOF, sedan inuti heredoc interpoleras strängen (variabler utökas ($foo), kommandoanrop ($(bar)) etc.), och om du anger slutet av dokumentet med enkla citattecken, är interpolation inaktiverad och symbolen $ visas som den är. Vad du behöver för att infoga ett skript i ett annat skript.
get-nginx-config() {
local usage_msg="Usage: ${FUNCNAME[0]} service_name deployment_slot"
local service=${1?$usage_msg}
local slot=${2?$usage_msg}
[ "$slot" == BLUE ] || [ "$slot" == GREEN ] || return 1
local container_name=${service}_${slot}
case $service in
# Add specific nginx configs for your services here
*) nginx-config-simple-service $container_name:8080 ;;
esac
}
nginx-config-simple-service() {
local usage_msg="Usage: ${FUNCNAME[0]} proxy_pass"
local proxy_pass=${1?$usage_msg}
cat << EOF
server {
listen 80;
location / {
proxy_pass http://$proxy_pass;
}
}
EOF
}
Det här är hela manuset. Och så kärnan med detta skript för nedladdning via wget eller curl.
Exekvera parametriserade skript på en fjärrserver
Det är dags att knacka på målservern. Den här gången localhost ganska passande:
$ ssh-copy-id localhost
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
himura@localhost's password:
Number of key(s) added: 1
Now try logging into the machine, with: "ssh 'localhost'"
and check to make sure that only the key(s) you wanted were added.
Vi har skrivit ett distributionsskript som laddar ner en förbyggd bild till målservern och sömlöst ersätter tjänstebehållaren, men hur kan vi köra det på en fjärrdator? Skriptet har argument, eftersom det är universellt och kan distribuera flera tjänster samtidigt under en omvänd proxy (du kan använda nginx-konfigurationer för att bestämma vilken url som ska vara vilken tjänst). Skriptet kan inte lagras på servern, eftersom vi i det här fallet inte kommer att kunna uppdatera det automatiskt (för buggfixar och lägga till nya tjänster), och i allmänhet, state = evil.
Lösning 1: Lagra fortfarande skriptet på servern, men kopiera det varje gång scp. Anslut sedan via ssh och kör skriptet med nödvändiga argument.
Nackdelar:
Två åtgärder istället för en
Det kanske inte finns någon plats där du kopierar, eller så kanske det inte finns tillgång till det, eller så kan skriptet köras vid tidpunkten för ersättning.
Det är lämpligt att städa efter sig (ta bort skriptet).
Redan tre åtgärder.
Lösning 2:
Behåll endast funktionsdefinitioner i skriptet och kör ingenting alls
Med sed lägg till ett funktionsanrop i slutet
Skicka allt direkt till shh via pipe (|)
Fördelar:
Verkligen statslös
Inga boilerplate-enheter
Känner mig cool
Låt oss bara göra det utan Ansible. Ja, allt är redan uppfunnit. Ja, en cykel. Se hur enkel, elegant och minimalistisk cykeln är:
$ cat << 'EOF' > deploy.sh
#!/bin/bash
usage_msg="Usage: $0 ssh_address local_image_tag"
ssh_address=${1?$usage_msg}
image_name=${2?$usage_msg}
echo "Connecting to '$ssh_address' via ssh to seamlessly deploy '$image_name'..."
( sed "$a deploy $image_name" | ssh -T $ssh_address ) << 'END_OF_SCRIPT'
deploy() {
echo "Yay! The '${FUNCNAME[0]}' function is executing on '$(hostname)' with argument '$1'"
}
END_OF_SCRIPT
EOF
$ chmod +x deploy.sh
$ ./deploy.sh localhost magic-porridge-pot
Connecting to localhost...
Yay! The 'deploy' function is executing on 'hut' with argument 'magic-porridge-pot'
Vi kan dock inte vara säkra på att fjärrvärden har tillräcklig bash, så vi lägger till en liten bock i början (detta är istället för shellbang):
if [ "$SHELL" != "/bin/bash" ]
then
echo "The '$SHELL' shell is not supported by 'deploy.sh'. Set a '/bin/bash' shell for '$USER@$HOSTNAME'."
exit 1
fi
Och nu är det på riktigt:
$ docker exec reverse-proxy rm /etc/nginx/conf.d/default.conf
$ wget -qO deploy.sh https://git.io/JUURc
$ chmod +x deploy.sh
$ ./deploy.sh localhost uptimer
Sending gzipped image 'uptimer' to 'localhost' via ssh...
Loaded image: uptimer:latest
Connecting to 'localhost' via ssh to seamlessly deploy 'uptimer'...
Deploying 'uptimer_GREEN' in place of 'uptimer_BLUE'...
06f5bc70e9c4f930e7b1f826ae2ca2f536023cc01e82c2b97b2c84d68048b18a
Container started. Checking health...
Requesting 'http://uptimer_GREEN:8080/' within the 'web-gateway' docker network:
HTTP/1.0 503 Service Unavailable
wget: server returned error: HTTP/1.0 503 Service Unavailable
New 'uptimer_GREEN' service is not ready yet. Waiting (1)...
Requesting 'http://uptimer_GREEN:8080/' within the 'web-gateway' docker network:
HTTP/1.0 503 Service Unavailable
wget: server returned error: HTTP/1.0 503 Service Unavailable
New 'uptimer_GREEN' service is not ready yet. Waiting (2)...
Requesting 'http://uptimer_GREEN:8080/' within the 'web-gateway' docker network:
HTTP/1.0 200 OK
Server: BaseHTTP/0.6 Python/3.8.3
Date: Sat, 22 Aug 2020 20:15:50 GMT
Content-Type: text/html
New 'uptimer_GREEN' service seems OK. Switching heads...
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
2020/08/22 20:15:54 [notice] 97#97: signal process started
The 'uptimer_GREEN' service is live!
Killing 'uptimer_BLUE'...
uptimer_BLUE
Total reclaimed space: 0B
Deployment successful!
Nu kan du öppna http://localhost/ i webbläsaren, kör distributionen igen och se till att den körs sömlöst genom att uppdatera sidan enligt CD:n under layouten.