Neste artigo usamos bater, ssh, docker и Nginx Organizaremos un deseño perfecto da aplicación web. Despregue azul-verde é unha técnica que permite actualizar instantáneamente unha aplicación sen rexeitar unha soa solicitude. É unha das estratexias de implementación de tempo de inactividade cero e é o máis adecuado para aplicacións cunha instancia, pero a capacidade de cargar unha segunda instancia lista para executar nas proximidades.
Digamos que tes unha aplicación web coa que moitos clientes están a traballar activamente e que non hai forma de deitarse un par de segundos. E realmente necesitas lanzar unha actualización da biblioteca, unha corrección de erros ou unha nova función interesante. Nunha situación normal, terá que deter a aplicación, substituíla e iniciala de novo. No caso de docker, primeiro pode substituílo e despois reinicialo, pero aínda haberá un período no que non se procesarán as solicitudes á aplicación, porque normalmente a aplicación tarda en cargarse inicialmente. E se comeza, pero resulta inoperable? Este é o problema, resolvémolo cos mínimos medios e o máis elegante posible.
EXENCIÓN DE RESPONSABILIDADE: a maior parte do artigo preséntase nun formato experimental, en forma de gravación dunha sesión de consola. Esperemos que isto non sexa demasiado difícil de entender e que o código se documente suficientemente. Para a atmosfera, imaxina que estes non son só fragmentos de código, senón papel dun teletipo de "ferro".
Ao comezo de cada sección descríbense técnicas interesantes que son difíciles de buscar en Google con só ler o código. Se algo máis non está claro, busca en Google e compróbao. explicarshell (afortunadamente, volve funcionar, debido ao desbloqueo do telegrama). Se non podes Google nada, pregunta nos comentarios. Estarei encantado de engadir á sección correspondente "Técnicas interesantes".
Comecemos.
$ mkdir blue-green-deployment && cd $_
Servizo
Fagamos un servizo experimental e poñémolo nun recipiente.
Técnicas interesantes
cat << EOF > file-name (Aquí Documento + Redirección de E/S) é unha forma de crear un ficheiro multiliña cun só comando. Todo o que lee bash /dev/stdin despois desta liña e antes da liña EOF gravarase en file-name.
wget -qO- URL (explicarshell) — saca un documento recibido vía HTTP a /dev/stdout (analóxico curl URL).
Imprimir
Rompei específicamente o fragmento para habilitar o resaltado para Python. Ao final haberá outra peza coma esta. Considere que nestes lugares o papel foi cortado para ser enviado ao departamento de resaltado (onde o código foi coloreado a man con resaltadores), e despois estas pezas foron pegadas de novo.
$ cat << EOF > uptimer.py
from http.server import BaseHTTPRequestHandler, HTTPServer
from time import monotonic
app_version = 1
app_name = f'Uptimer v{app_version}.0'
loading_seconds = 15 - app_version * 5
class Handler(BaseHTTPRequestHandler):
def do_GET(self):
if self.path == '/':
try:
t = monotonic() - server_start
if t < loading_seconds:
self.send_error(503)
else:
self.send_response(200)
self.send_header('Content-Type', 'text/html')
self.end_headers()
response = f'<h2>{app_name} is running for {t:3.1f} seconds.</h2>n'
self.wfile.write(response.encode('utf-8'))
except Exception:
self.send_error(500)
else:
self.send_error(404)
httpd = HTTPServer(('', 8080), Handler)
server_start = monotonic()
print(f'{app_name} (loads in {loading_seconds} sec.) started.')
httpd.serve_forever()
EOF
$ cat << EOF > Dockerfile
FROM python:alpine
EXPOSE 8080
COPY uptimer.py app.py
CMD [ "python", "-u", "./app.py" ]
EOF
$ docker build --tag uptimer .
Sending build context to Docker daemon 39.42kB
Step 1/4 : FROM python:alpine
---> 8ecf5a48c789
Step 2/4 : EXPOSE 8080
---> Using cache
---> cf92d174c9d3
Step 3/4 : COPY uptimer.py app.py
---> a7fbb33d6b7e
Step 4/4 : CMD [ "python", "-u", "./app.py" ]
---> Running in 1906b4bd9fdf
Removing intermediate container 1906b4bd9fdf
---> c1655b996fe8
Successfully built c1655b996fe8
Successfully tagged uptimer:latest
$ docker run --rm --detach --name uptimer --publish 8080:8080 uptimer
8f88c944b8bf78974a5727070a94c76aa0b9bb2b3ecf6324b784e782614b2fbf
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
8f88c944b8bf uptimer "python -u ./app.py" 3 seconds ago Up 5 seconds 0.0.0.0:8080->8080/tcp uptimer
$ docker logs uptimer
Uptimer v1.0 (loads in 10 sec.) started.
$ wget -qSO- http://localhost:8080
HTTP/1.0 503 Service Unavailable
Server: BaseHTTP/0.6 Python/3.8.3
Date: Sat, 22 Aug 2020 19:52:40 GMT
Connection: close
Content-Type: text/html;charset=utf-8
Content-Length: 484
$ wget -qSO- http://localhost:8080
HTTP/1.0 200 OK
Server: BaseHTTP/0.6 Python/3.8.3
Date: Sat, 22 Aug 2020 19:52:45 GMT
Content-Type: text/html
<h2>Uptimer v1.0 is running for 15.4 seconds.</h2>
$ docker rm --force uptimer
uptimer
Proxy inverso
Para que a nosa aplicación poida cambiar desapercibida, é necesario que exista algunha outra entidade diante dela que oculte a súa substitución. Pode ser un servidor web Nginx в modo proxy inverso. Establécese un proxy inverso entre o cliente e a aplicación. Acepta solicitudes dos clientes e envíaas á aplicación e reenvía as respostas da aplicación aos clientes.
A aplicación e o proxy inverso pódense ligar dentro do docker usando rede docker. Así, o contedor coa aplicación nin sequera precisa reenviar un porto no sistema host; isto permite que a aplicación estea illada ao máximo das ameazas externas.
Se o proxy inverso vive noutro host, terás que abandonar a rede docker e conectar a aplicación ao proxy inverso a través da rede host, reenviando o porto aplicacións parámetro --publish, como no primeiro inicio e como co proxy inverso.
Executaremos o proxy inverso no porto 80, porque esta é exactamente a entidade que debería escoitar a rede externa. Se o porto 80 está ocupado no teu host de proba, cambia o parámetro --publish 80:80 en --publish ANY_FREE_PORT:80.
$ docker network create web-gateway
5dba128fb3b255b02ac012ded1906b7b4970b728fb7db3dbbeccc9a77a5dd7bd
$ docker run --detach --rm --name uptimer --network web-gateway uptimer
a1105f1b583dead9415e99864718cc807cc1db1c763870f40ea38bc026e2d67f
$ docker run --rm --network web-gateway alpine wget -qO- http://uptimer:8080
<h2>Uptimer v1.0 is running for 11.5 seconds.</h2>
$ docker run --detach --publish 80:80 --network web-gateway --name reverse-proxy nginx:alpine
80695a822c19051260c66bf60605dcb4ea66802c754037704968bc42527bf120
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
80695a822c19 nginx:alpine "/docker-entrypoint.…" 27 seconds ago Up 25 seconds 0.0.0.0:80->80/tcp reverse-proxy
a1105f1b583d uptimer "python -u ./app.py" About a minute ago Up About a minute 8080/tcp uptimer
$ cat << EOF > uptimer.conf
server {
listen 80;
location / {
proxy_pass http://uptimer:8080;
}
}
EOF
$ docker cp ./uptimer.conf reverse-proxy:/etc/nginx/conf.d/default.conf
$ docker exec reverse-proxy nginx -s reload
2020/06/23 20:51:03 [notice] 31#31: signal process started
$ wget -qSO- http://localhost
HTTP/1.1 200 OK
Server: nginx/1.19.0
Date: Sat, 22 Aug 2020 19:56:24 GMT
Content-Type: text/html
Transfer-Encoding: chunked
Connection: keep-alive
<h2>Uptimer v1.0 is running for 104.1 seconds.</h2>
Implementación sen fisuras
Imos lanzar unha nova versión da aplicación (cunha dobre aumento do rendemento de inicio) e intentemos implementala sen problemas.
Técnicas interesantes
echo 'my text' | docker exec -i my-container sh -c 'cat > /my-file.txt' - Escribir texto my text para arquivar /my-file.txt dentro do recipiente my-container.
cat > /my-file.txt — Escriba o contido da entrada estándar nun ficheiro /dev/stdin.
Imprimir
$ sed -i "s/app_version = 1/app_version = 2/" uptimer.py
$ docker build --tag uptimer .
Sending build context to Docker daemon 39.94kB
Step 1/4 : FROM python:alpine
---> 8ecf5a48c789
Step 2/4 : EXPOSE 8080
---> Using cache
---> cf92d174c9d3
Step 3/4 : COPY uptimer.py app.py
---> 3eca6a51cb2d
Step 4/4 : CMD [ "python", "-u", "./app.py" ]
---> Running in 8f13c6d3d9e7
Removing intermediate container 8f13c6d3d9e7
---> 1d56897841ec
Successfully built 1d56897841ec
Successfully tagged uptimer:latest
$ docker run --detach --rm --name uptimer_BLUE --network web-gateway uptimer
96932d4ca97a25b1b42d1b5f0ede993b43f95fac3c064262c5c527e16c119e02
$ docker logs uptimer_BLUE
Uptimer v2.0 (loads in 5 sec.) started.
$ docker run --rm --network web-gateway alpine wget -qO- http://uptimer_BLUE:8080
<h2>Uptimer v2.0 is running for 23.9 seconds.</h2>
$ sed s/uptimer/uptimer_BLUE/ uptimer.conf | docker exec --interactive reverse-proxy sh -c 'cat > /etc/nginx/conf.d/default.conf'
$ docker exec reverse-proxy cat /etc/nginx/conf.d/default.conf
server {
listen 80;
location / {
proxy_pass http://uptimer_BLUE:8080;
}
}
$ docker exec reverse-proxy nginx -s reload
2020/06/25 21:22:23 [notice] 68#68: signal process started
$ wget -qO- http://localhost
<h2>Uptimer v2.0 is running for 63.4 seconds.</h2>
$ docker rm -f uptimer
uptimer
$ wget -qO- http://localhost
<h2>Uptimer v2.0 is running for 84.8 seconds.</h2>
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
96932d4ca97a uptimer "python -u ./app.py" About a minute ago Up About a minute 8080/tcp uptimer_BLUE
80695a822c19 nginx:alpine "/docker-entrypoint.…" 8 minutes ago Up 8 minutes 0.0.0.0:80->80/tcp reverse-proxy
Nesta fase, a imaxe constrúese directamente no servidor, o que require que as fontes da aplicación estean alí, e tamén carga o servidor cun traballo innecesario. O seguinte paso é asignar o conxunto de imaxes a unha máquina separada (por exemplo, a un sistema CI) e despois transferilo ao servidor.
Transferencia de imaxes
Desafortunadamente, non ten sentido transferir imaxes de localhost a localhost, polo que só se pode explorar esta sección se tes dous hosts con Docker a man. Como mínimo, parece algo así:
$ ssh production-server docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
$ docker image save uptimer | ssh production-server 'docker image load'
Loaded image: uptimer:latest
$ ssh production-server docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
uptimer latest 1d56897841ec 5 minutes ago 78.9MB
Equipo docker save garda os datos da imaxe nun arquivo .tar, o que significa que pesa aproximadamente 1.5 veces máis do que pesaría en forma comprimida. Entón, axitámolo en nome do aforro de tempo e tráfico:
Agora imos recoller todo o que fixemos manualmente nun só script. Comecemos coa función de nivel superior e despois vexamos as outras que se usan nela.
Técnicas interesantes
${parameter?err_msg} - un dos feitizos máxicos bash (tamén coñecido como substitución de parámetros). Se parameter non especificado, saída err_msg e saia co código 1.
docker --log-driver journald — por defecto, o controlador de rexistro docker é un ficheiro de texto sen xiro. Con este enfoque, os rexistros enchen rapidamente todo o disco, polo que para un ambiente de produción é necesario cambiar o controlador por outro máis intelixente.
Script de implantación
deploy() {
local usage_msg="Usage: ${FUNCNAME[0]} image_name"
local image_name=${1?$usage_msg}
ensure-reverse-proxy || return 2
if get-active-slot $image_name
then
local OLD=${image_name}_BLUE
local new_slot=GREEN
else
local OLD=${image_name}_GREEN
local new_slot=BLUE
fi
local NEW=${image_name}_${new_slot}
echo "Deploying '$NEW' in place of '$OLD'..."
docker run
--detach
--restart always
--log-driver journald
--name $NEW
--network web-gateway
$image_name || return 3
echo "Container started. Checking health..."
for i in {1..20}
do
sleep 1
if get-service-status $image_name $new_slot
then
echo "New '$NEW' service seems OK. Switching heads..."
sleep 2 # Ensure service is ready
set-active-slot $image_name $new_slot || return 4
echo "'$NEW' service is live!"
sleep 2 # Ensure all requests were processed
echo "Killing '$OLD'..."
docker rm -f $OLD
docker image prune -f
echo "Deployment successful!"
return 0
fi
echo "New '$NEW' service is not ready yet. Waiting ($i)..."
done
echo "New '$NEW' service did not raise, killing it. Failed to deploy T_T"
docker rm -f $NEW
return 5
}
Características utilizadas:
ensure-reverse-proxy — Asegúrese de que o proxy inverso funciona (útil para a primeira implementación)
get-active-slot service_name — Determina que slot está activo actualmente para un determinado servizo (BLUE ou GREEN)
get-service-status service_name deployment_slot — Determina se o servizo está preparado para procesar solicitudes entrantes
set-active-slot service_name deployment_slot — Cambia a configuración de nginx no contedor do proxy inverso
En orde:
ensure-reverse-proxy() {
is-container-up reverse-proxy && return 0
echo "Deploying reverse-proxy..."
docker network create web-gateway
docker run
--detach
--restart always
--log-driver journald
--name reverse-proxy
--network web-gateway
--publish 80:80
nginx:alpine || return 1
docker exec --interactive reverse-proxy sh -c "> /etc/nginx/conf.d/default.conf"
docker exec reverse-proxy nginx -s reload
}
is-container-up() {
local container=${1?"Usage: ${FUNCNAME[0]} container_name"}
[ -n "$(docker ps -f name=${container} -q)" ]
return $?
}
get-active-slot() {
local service=${1?"Usage: ${FUNCNAME[0]} service_name"}
if is-container-up ${service}_BLUE && is-container-up ${service}_GREEN; then
echo "Collision detected! Stopping ${service}_GREEN..."
docker rm -f ${service}_GREEN
return 0 # BLUE
fi
if is-container-up ${service}_BLUE && ! is-container-up ${service}_GREEN; then
return 0 # BLUE
fi
if ! is-container-up ${service}_BLUE; then
return 1 # GREEN
fi
}
get-service-status() {
local usage_msg="Usage: ${FUNCNAME[0]} service_name deployment_slot"
local service=${1?usage_msg}
local slot=${2?$usage_msg}
case $service in
# Add specific healthcheck paths for your services here
*) local health_check_port_path=":8080/" ;;
esac
local health_check_address="http://${service}_${slot}${health_check_port_path}"
echo "Requesting '$health_check_address' within the 'web-gateway' docker network:"
docker run --rm --network web-gateway alpine
wget --timeout=1 --quiet --server-response $health_check_address
return $?
}
set-active-slot() {
local usage_msg="Usage: ${FUNCNAME[0]} service_name deployment_slot"
local service=${1?$usage_msg}
local slot=${2?$usage_msg}
[ "$slot" == BLUE ] || [ "$slot" == GREEN ] || return 1
get-nginx-config $service $slot | docker exec --interactive reverse-proxy sh -c "cat > /etc/nginx/conf.d/$service.conf"
docker exec reverse-proxy nginx -t || return 2
docker exec reverse-proxy nginx -s reload
}
Función get-active-slot require unha pequena explicación:
Por que devolve un número e non sae unha cadea?
De todos os xeitos, na función de chamada comprobamos o resultado do seu traballo, e comprobar o código de saída mediante bash é moito máis sinxelo que comprobar unha cadea. Ademais, obter unha cadea a partir del é moi sinxelo: get-active-slot service && echo BLUE || echo GREEN.
Son realmente suficientes tres condicións para distinguir todos os estados?
Incluso dous serán suficientes, o último está aquí só para completar, para non escribir else.
Só a función que devolve as configuracións de nginx permanece sen definir: get-nginx-config service_name deployment_slot. Por analoxía coa comprobación de saúde, aquí pode configurar calquera configuración para calquera servizo. Das cousas interesantes - só cat <<- EOF, que che permite eliminar todas as pestanas ao principio. É certo que o prezo dun bo formato é mesturar pestanas con espazos, o que hoxe considérase moi mala forma. Pero bash forza as pestanas, e tamén sería bo ter un formato normal na configuración de nginx. En resumo, mesturar pestanas con espazos aquí parece realmente a mellor solución para saír do peor. Non obstante, non o verás no fragmento de abaixo, xa que Habr "faino ben" cambiando todas as pestanas a 4 espazos e facendo que EOF non sexa válido. E aquí nótase.
Para non erguerse dúas veces, cóntoche de inmediato cat << 'EOF', que se atopará máis adiante. Se escribes simplemente cat << EOF, entón dentro de heredoc interpolase a cadea (as variables se expanden ($foo), chamadas de comando ($(bar)) etc.), e se encerra o final do documento entre comiñas simples, a interpolación está desactivada e o símbolo $ móstrase tal e como está. O que precisa para inserir un script dentro doutro script.
get-nginx-config() {
local usage_msg="Usage: ${FUNCNAME[0]} service_name deployment_slot"
local service=${1?$usage_msg}
local slot=${2?$usage_msg}
[ "$slot" == BLUE ] || [ "$slot" == GREEN ] || return 1
local container_name=${service}_${slot}
case $service in
# Add specific nginx configs for your services here
*) nginx-config-simple-service $container_name:8080 ;;
esac
}
nginx-config-simple-service() {
local usage_msg="Usage: ${FUNCNAME[0]} proxy_pass"
local proxy_pass=${1?$usage_msg}
cat << EOF
server {
listen 80;
location / {
proxy_pass http://$proxy_pass;
}
}
EOF
}
Este é o guión completo. E entón esencial con este script para descargar a través de wget o curl.
Execución de scripts parametrizados nun servidor remoto
É hora de bater no servidor de destino. Esta vez localhost moi axeitado:
$ ssh-copy-id localhost
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
himura@localhost's password:
Number of key(s) added: 1
Now try logging into the machine, with: "ssh 'localhost'"
and check to make sure that only the key(s) you wanted were added.
Escribimos un script de implementación que descarga unha imaxe preconstruída no servidor de destino e substitúe sen problemas o contedor de servizo, pero como podemos executalo nunha máquina remota? O script ten argumentos, xa que é universal e pode implementar varios servizos á vez baixo un proxy inverso (podes usar as configuracións de nginx para determinar que URL será que servizo). O script non se pode almacenar no servidor, xa que neste caso non poderemos actualizalo automaticamente (co propósito de corrección de erros e engadir novos servizos), e en xeral, estado = mal.
Solución 1: aínda almacena o script no servidor, pero cópiao cada vez scp. A continuación, conéctese mediante ssh e executa o guión cos argumentos necesarios.
Contras:
Dúas accións en lugar dunha
É posible que non haxa un lugar onde copie, ou que non haxa acceso a el, ou que o script se execute no momento da substitución.
É recomendable limpar despois de ti (eliminar o script).
Xa tres accións.
Solución 2:
Manteña só as definicións de funcións no script e non execute nada
Con sed engadir unha chamada de función ao final
Envíao todo directamente a shh vía pipe (|)
Pros:
Verdadeiramente sen estado
Sen entidades estándar
Sentirse fresco
Imos facelo sen Ansible. Si, xa está todo inventado. Si, unha bicicleta. Mira que sinxela, elegante e minimalista é a bicicleta:
$ cat << 'EOF' > deploy.sh
#!/bin/bash
usage_msg="Usage: $0 ssh_address local_image_tag"
ssh_address=${1?$usage_msg}
image_name=${2?$usage_msg}
echo "Connecting to '$ssh_address' via ssh to seamlessly deploy '$image_name'..."
( sed "$a deploy $image_name" | ssh -T $ssh_address ) << 'END_OF_SCRIPT'
deploy() {
echo "Yay! The '${FUNCNAME[0]}' function is executing on '$(hostname)' with argument '$1'"
}
END_OF_SCRIPT
EOF
$ chmod +x deploy.sh
$ ./deploy.sh localhost magic-porridge-pot
Connecting to localhost...
Yay! The 'deploy' function is executing on 'hut' with argument 'magic-porridge-pot'
Non obstante, non podemos estar seguros de que o host remoto teña un bash adecuado, polo que engadiremos unha pequena comprobación ao principio (en lugar de shellbang):
if [ "$SHELL" != "/bin/bash" ]
then
echo "The '$SHELL' shell is not supported by 'deploy.sh'. Set a '/bin/bash' shell for '$USER@$HOSTNAME'."
exit 1
fi
E agora é real:
$ docker exec reverse-proxy rm /etc/nginx/conf.d/default.conf
$ wget -qO deploy.sh https://git.io/JUURc
$ chmod +x deploy.sh
$ ./deploy.sh localhost uptimer
Sending gzipped image 'uptimer' to 'localhost' via ssh...
Loaded image: uptimer:latest
Connecting to 'localhost' via ssh to seamlessly deploy 'uptimer'...
Deploying 'uptimer_GREEN' in place of 'uptimer_BLUE'...
06f5bc70e9c4f930e7b1f826ae2ca2f536023cc01e82c2b97b2c84d68048b18a
Container started. Checking health...
Requesting 'http://uptimer_GREEN:8080/' within the 'web-gateway' docker network:
HTTP/1.0 503 Service Unavailable
wget: server returned error: HTTP/1.0 503 Service Unavailable
New 'uptimer_GREEN' service is not ready yet. Waiting (1)...
Requesting 'http://uptimer_GREEN:8080/' within the 'web-gateway' docker network:
HTTP/1.0 503 Service Unavailable
wget: server returned error: HTTP/1.0 503 Service Unavailable
New 'uptimer_GREEN' service is not ready yet. Waiting (2)...
Requesting 'http://uptimer_GREEN:8080/' within the 'web-gateway' docker network:
HTTP/1.0 200 OK
Server: BaseHTTP/0.6 Python/3.8.3
Date: Sat, 22 Aug 2020 20:15:50 GMT
Content-Type: text/html
New 'uptimer_GREEN' service seems OK. Switching heads...
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
2020/08/22 20:15:54 [notice] 97#97: signal process started
The 'uptimer_GREEN' service is live!
Killing 'uptimer_BLUE'...
uptimer_BLUE
Total reclaimed space: 0B
Deployment successful!
Agora podes abrir http://localhost/ no navegador, volve executar a implementación e asegúrate de que se executa sen problemas actualizando a páxina segundo o CD durante o deseño.