CI/CD u Github Actions za projekat na Flask+Angular

CI/CD u Github Actions za projekat na Flask+Angular
U ovom članku ću podijeliti svoje iskustvo u konfiguraciji CI/CD koristeći Plesk kontrolnu ploču i Github Actions. Danas ćemo naučiti kako da implementiramo jednostavan projekat s imenom „Helloworld“. Napisan je na Python frameworku Flask, sa radnicima na Celery i frontend-om na Angular 8.

Linkovi na repozitorije: backend, frontend.

U prvom dijelu članka ćemo pogledati naš projekat i njegove dijelove. U drugom dijelu ćemo se posvetiti kako postaviti Plesk i instalirati potrebne ekstenzije i komponente (bazu podataka, RabbitMQ, Redis, Docker itd.).

U trećem dijelu konačno ćemo se pozabaviti kako postaviti pipeline za implementaciju našeg projekta na server u dev- i prod-okruženju. A potom ćemo pokrenuti stranicu na serveru.

I da, zaboravio sam se predstaviti. Zovem se Oleg Borzov, ja sam fullstack developer u timu CRM za menadžere hipotekarnih kredita u Domclick-u.

Pregled projekta

Za početak ćemo razmotriti dva repozitorija projekta - backend i frontend - i proći kroz kod.

Backend dio: Flask+Celery

Za backend dio sam uzeo dovoljno popularnu kombinaciju među Python developerima: framework Flask (za API) i Celery (za red zadataka). Kao ORM koristi se SQLAchemy. Za migracije se koristi Alembic. Za validaciju JSON u rukama - Marshmallow.

U repozitorijumu ima datoteku Readme.md sa detaljnim opisom strukture i uputama za pokretanje projekta.

API web dijela prilično jednostavan, sastoji se od 6 krajnjih tačaka:

  • /ping — za provjeru dostupnosti;
  • krajnje tačke za registraciju, autentifikaciju, deautentifikaciju i dobivanje autorizovanog korisnika;
  • krajnja tačka za slanje email-a, koja stavlja zadatak u red Celery.

Celery dio još jednostavnije, tu je samo jedan zadatak send_mail_task.

U fascikli /conf nalaze se dve poddirektorije:

  • docker sa dva Docker fajla (base.dockerfile za izradu osnovnog imidža koji se rijetko mijenja i Dockerfile za glavne izrade);
  • .env_files — sa fajlovima sa varijablama okruženja za različita okruženja.

U korijenu projekta nalaze se četiri docker-compose datoteke:

  • docker-compose.local.db.yml za pokretanje lokalne baze podataka za razvoj;
  • docker-compose.local.workers.yml za lokalno pokretanje radnika, baze podataka, Redis i RabbitMQ;
  • docker-compose.test.yml za testiranje prilikom implementacije;
  • docker-compose.yml za implementaciju.

I zadnja zanimljiva nam datoteka — .ci-cd. U njoj se nalaze shell skripte za implementaciju:

  • deploy.sh — pokretanje migracija i implementacija. Pokreće se na serveru nakon izrade i prolaska testova u Github Actions;
  • rollback.sh — vraćanje kontejnera na prethodnu verziju izrade;
  • curl_tg.sh — slanje obavijesti o implementaciji na Telegram.

Frontend na Angularu

Repozitorij s frontom mnogo lakše od backenda. Front se sastoji od tri stranice:

  • Početna stranica sa formom za slanje emaila i dugmetom za odjavljuvanje.
  • Stranica za prijavu.
  • Stranica za registraciju.

Početna stranica izgleda minimalistički:

CI/CD u Github Actions za projekat na Flask+Angular
U korenu se nalaze dva fajla Dockerfile i docker-compose.yml, kao i poznata nam fascikla .ci-cd sa nešto manjim brojem skripti nego u back-end repozitorijumu (uklonjene skripte za pokretanje testova).

Pokrećemo projekat u Plesku

Započnimo sa postavljanjem Pleska i stvaranjem pretplate za naš sajt.

Instalacija ekstenzija

U Plesku će nam biti potrebne četiri ekstenzije:

  • Docker za upravljanje i vizuelno prikazivanje stanja kontejnera u Plesk administraciji;
  • Git za podešavanje koraka deploy-a na serveru;
  • Let's Encrypt za generisanje (i automatsko obnavljanje) besplatnih TLS sertifikata;
  • Firewall za postavljanje filtriranja dolaznog saobraćaja.

Možete ih instalirati preko Plesk administracije u odeljku Ekstenzije:

CI/CD u Github Actions za projekat na Flask+Angular
Detaljno postavljanje ekstenzija nećemo razmatrati, za naše demo ciljeve odgovaraće podrazumevana podešavanja.

Stvaranje pretplate i sajta

Dalje, potrebno je da kreiramo pretplatu za naš sajt helloworld.ru i dodamo poddomen dev.helloworld.ru.

  1. Kreiramo pretplatu za domen helloworld.ru i navodimo korisničko ime i lozinku za sistemskog korisnika:

    CI/CD u Github Actions za projekat na Flask+Angular
    Na dnu stranice stavljamo kvačicu Secure the domain with Let’s Encrypt, ako želimo da podesimo HTTPS za sajt:

    CI/CD u Github Actions za projekat na Flask+Angular

  2. Zatim, u ovoj pretplati kreiramo poddomen dev.helloworld.ru (za koji takođe može biti izdat besplatni TLS sertifikat):

    CI/CD u Github Actions za projekat na Flask+Angular

Instalacija server komponenti

Imamo server sa OS Debian Stretch 9.12 i instaliranom kontrolnom tablom Plesk Obsidian 18.0.27.

Treba da instaliramo i postavimo za naš projekat:

  • PostgreSQL (u našem slučaju će to biti jedan server sa dve baze podataka za dev- i prod-okruženje).
  • RabbitMQ (isto kao i pre, jedan instanca sa različitim vhosts za okruženja).
  • Dve instance Redis-a (za dev- i prod-okruženje).
  • Docker Registry (za lokalno čuvanje sakupljenih Docker slika).
  • UI interfejs za Docker registry.

PostgreSQL

U paketu sa Pleskom već dolazi PostgreSQL, međutim ne najnovije verzije (u trenutku pisanja članka Plesk Obsidian podržavao Postgres verzije 8.4–10.8). Želimo najnoviju verziju za našu aplikaciju (12.3 u trenutku pisanja članka), stoga ćemo je instalirati ručno.

Detaljna uputstva za instalaciju Postgres-a na Debiana ima mnogo dostupnih (primer), stoga ih neću opisivati detaljno, samo ću predstaviti komande:

wget -q https://www.postgresql.org/media/keys/ACCC4CF8.asc -O - | sudo apt-key add -
sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt/ stretch-pgdg main" >> /etc/apt/sources.list.d/pgdg.list'

sudo apt-get update
sudo apt-get install postgresql postgresql-contrib

S obzirom da PostgreSQL ima prilično prosječne zadane postavke, neophodno je prilagoditi konfiguraciju. U tome će nam pomoći kalkulator: potrebno je unijeti parametre svog servera i zamijeniti postavke u datoteci /etc/postgresql/12/main/postgresql.confna predložene. Treba napomenuti da takvi kalkulatori nisu čarobna rješenja, a bazu treba poboljšati preciznije, na osnovu vašeg hardvera, aplikacije i složenosti zahteva. No, za početak, ovo je dovoljno.

Osim predloženih postavki kalkulatora, također ćemo promijeniti postgresql.confzadano napisanu port 5432 u drugi (u našem primjeru — 53983).

Nakon izmjene konfiguracijske datoteke ponovo pokrećemo postgresql-server naredbom:

service postgresql restart

Instalirali smo i podesili PostgreSQL. Sada ćemo kreirati Baze podataka, korisnike za dev- i prod-sredine i dodijeliti korisnicima prava za upravljanje bazom podataka:

$ su - postgres
postgres:~$ create database hw_dev_db_name;
CREATE DATABASE
postgres:~$ create user hw_dev_db_user with password 'hw_dev_db_password';
CREATE ROLE
postgres:~$ grant ALL privileges ON database hw_dev_db_name to hw_dev_db_user;
GRANT
postgres:~$ create database hw_prod_db_name;
CREATE DATABASE
postgres:~$ create user hw_prod_db_user with password 'hw_prod_db_password';
CREATE ROLE
postgres:~$ grant ALL privileges ON database hw_prod_db_name to hw_prod_db_user;
GRANT

RabbitMQ

Preći ćemo na instalaciju RabbitMQ — posrednika poruka za Celery. Instalira se prilično lako na Debian:

wget https://packages.erlang-solutions.com/erlang-solutions_1.0_all.deb
sudo dpkg -i erlang-solutions_1.0_all.deb

sudo apt-get update
sudo apt-get install erlang erlang-nox

sudo add-apt-repository 'deb http://www.rabbitmq.com/debian/ testing main'
wget -O- https://www.rabbitmq.com/rabbitmq-release-signing-key.asc | sudo apt-key add -

sudo apt-get update
sudo apt-get install rabbitmq-server

Nakon instalacije potrebno je kreirati vhosts, korisnike i dodijeliti potrebna prava:

sudo rabbitmqctl add_user hw_dev_amqp_user hw_dev_amqp_password 
sudo rabbitmqctl set_user_tags hw_dev_amqp_user administrator
sudo rabbitmqctl add_vhost hw_dev_vhost
sudo rabbitmqctl set_permissions -p hw_dev_vhost hw_dev_amqp_user ".*" ".*" ".*"

sudo rabbitmqctl add_user hw_prod_amqp_user hw_prod_amqp_password 
sudo rabbitmqctl set_user_tags hw_prod_amqp_user administrator
sudo rabbitmqctl add_vhost hw_prod_vhost
sudo rabbitmqctl set_permissions -p hw_prod_vhost hw_prod_amqp_user ".*" ".*" ".*"

Redis

Sada ćemo instalirati i podesiti posljednji komponent za našu aplikaciju — Redis. Koristit će se kao pozadinsko rješenje za skladištenje rezultata zadataka Celery.

Podignućemo dva Docker kontejnera s Redisom za dev- i prod-sredine koristeći proširenje Docker za Plesk.

  1. Ulazimo u Plesk, prelazimo u odeljak Ekstenzije, tražimo ekstenziju Docker i instaliramo je (ne treba nam plaćena verzija):

    CI/CD u Github Actions za projekat na Flask+Angular

  2. Prelazimo u instaliranu ekstenziju, pronalazimo sliku putem pretrage redis bitnami i instaliramo najnoviju verziju:

    CI/CD u Github Actions za projekat na Flask+Angular

  3. Ulazimo u preuzeti kontejner i prilagođavamo konfiguraciju: navodimo port, maksimalnu dodeljenu veličinu RAM-a, lozinku u promenljivim okruženja, i montiramo volumen:

    CI/CD u Github Actions za projekat na Flask+Angular

  4. Izvršavamo korake 2-3 za prod-kontejner, samo menjamo parametre u postavkama: port, lozinku, veličinu RAM-a i putanju do fascikle volumena na serveru:

    CI/CD u Github Actions za projekat na Flask+Angular

Docker Registry

Osim osnovnih servisa, bilo bi dobro postaviti vlastiti repozitorij Docker slika na server. S obzirom na to da je prostor na serverima sada prilično jeftin (sigurno je jeftiniji od pretplate na DockerHub) i proces instalacije privatnog repozitorija vrlo jednostavan.

Želimo da imamo instalirano:

Za to:

  1. Kreiramo u Plesku dva poddomena u našoj pretplati: docker.helloworld.ru i docker-ui.helloworld.ru, i podešavamo za njih certifikate Let’s Encrypt.
  2. U fasciklu poddomena docker.helloworld.ru dodajemo datoteku docker-compose.yml sa ovim sadržajem:
    version: "3"
    
    services:
      docker-registry:
        image: "registry:2"
        restart: always
        ports:
          - "53985:5000"
        environment:
          REGISTRY_AUTH: htpasswd
          REGISTRY_AUTH_HTPASSWD_REALM: basic-realm
          REGISTRY_AUTH_HTPASSWD_PATH: \/auth\/.htpasswd
          REGISTRY_STORAGE_FILESYSTEM_ROOTDIRECTORY: \/data
        volumes:
          - .\/docker-registry.htpasswd:\/auth\/.htpasswd
          - .\/data:\/data
    
      docker-registry-ui:
        image: konradkleine\/docker-registry-frontend:v2
        restart: always
        ports:
          - "53986:80"
        environment:
          VIRTUAL_HOST: '*, https:\/\/*'
          ENV_DOCKER_REGISTRY_HOST: 'docker-registry'
          ENV_DOCKER_REGISTRY_PORT: 5000
        links:
          - 'docker-registry'
    

  3. Putem SSH-a generišemo datoteku .htpasswd za osnovnu autorizaciju u Docker-repozitoriju:
    htpasswd -bBc .htpasswd hw_docker_admin hw_docker_password
  4. Sastavljamo i pokrećemo kontejnere:
    docker-compose up -d
  5. I treba preusmeriti Nginx na naše kontejnere. To se može uraditi putem Pleska.

Sledeće radnje treba izvesti za poddomene docker.helloworld.ru i docker-ui.helloworld.ru:

U odjeljku Dev Tools našeg sajta ulazimo u Docker Proxy Rules:

CI/CD u Github Actions za projekat na Flask+Angular
I dodajemo pravilo za proksiranje dolaznog saobraćaja u naš kontejner:

CI/CD u Github Actions za projekat na Flask+Angular

  1. Proveravamo da li se možemo prijaviti u naš kontejner sa lokalne mašine:
    $ docker login docker.helloworld.ru -u hw_docker_admin -p hw_docker_password
    WARNING! Using --password via the CLI is insecure. Use --password-stdin.
    Login Succeeded
  2. Takođe proveravamo rad poddomena docker-ui.helloworld.ru:

    CI/CD u Github Actions za projekat na Flask+Angular
    Kada kliknete na Browse repositories, preglednik će otvoriti prozor za autentifikaciju u koji ćete morati unijeti korisničko ime i lozinku za repozitorij. Nakon toga, bit ćete preusmjereni na stranicu sa spiskom repozitorija (trenutno će biti prazna):

    CI/CD u Github Actions za projekat na Flask+Angular

Otvaranje portova u Plesk Firewall-u

Nakon instalacije i postavljanja komponenti, trebamo otvoriti portove kako bi komponente bile dostupne iz Docker kontejnera i vanjske mreže.

Pogledajmo kako to uraditi, koristeći primjer ranije instaliranog proširenja Firewall za Plesk.

  1. Prelazimo na Tools & Settings > Settings > Firewall:
    CI/CD u Github Actions za projekat na Flask+Angular
  2. Prelazimo na Modifikuj Plesk Firewall pravila > Dodaj prilagođeno pravilo i otvaramo sljedeće TCP portove za Docker podsistem (172.0.0.0/8):
    RabbitMQ: 1883, 4369, 5671-5672, 25672, 61613-61614
    Redis: 32785, 32786

    CI/CD u Github Actions za projekat na Flask+Angular

  3. Također, dodajmo pravilo koje će otvoriti spoljne portove za PostgreSQL i upravljačku ploču RabbitMQ:

    CI/CD u Github Actions za projekat na Flask+Angular

  4. Primjenjujemo pravila pomoću dugmeta Apply Changes:

    CI/CD u Github Actions za projekat na Flask+Angular

Postavke CI/CD u Github Actions

Prelazimo na najinteresantniji deo — podešavanje pipeline-a za kontinuiranu integraciju i isporuku našeg projekta na server.

Ovaj pipeline će se sastojati od dva dela:

  • izgradnje imidža i pokretanja testova (za backend) — na strani Github-a;
  • pokretanje migracija (za backend) i deploy kontejnera — na serveru.

Deploy u Plesk

Prvo ćemo se pozabaviti drugim tačkom (jer od njega zavisi prvi).

Proces deploy-a ćemo postavljati putem proširenja Git za Plesk.

Razmotrićemo primjer sa Prod okruženjem za Backend repozitorij.

  1. Prijavite se na pretplatu našeg sajta Helloworld i idite na pododjeljak Git:

    CI/CD u Github Actions za projekat na Flask+Angular

  2. U polje 'Remote Git repository' umetnite link na naš Github repozitorij i promijenite podrazumijevanu mapu httpdocs na drugu (na primjer, /httpdocs/hw_back):

    CI/CD u Github Actions za projekat na Flask+Angular

  3. Kopirajte SSH javni ključ sa prethodne faze i dodajte ga u postavkama Github-a.
  4. Kliknite OK na ekranu u stavci 2, nakon čega ćete biti preusmjereni na stranicu repozitorija u Plesku. Sada trebamo postaviti ažuriranje repozitorija prilikom commit-a u granu master. U tu svrhu idemo na Postavke repozitorija i sačuvamo vrednost Webhook URL (biće nam potrebna kasnije prilikom podešavanja Github Actions):

    CI/CD u Github Actions za projekat na Flask+Angular

  5. U polju Actions na ekranu iz prethodne tačke unesite skriptu za pokretanje deploy-a:
    cd {REPOSITORY_ABSOLUTE_PATH}
    .ci-cd/deploy.sh {ENV} {DOCKER_REGISTRY_HOST} {DOCKER_USER} {DOCKER_PASSWORD} {TG_BOT_TOKEN} {TG_CHAT_ID} 

    gdje:

    {REPOSITORY_ABSOLUTE_PATH} — putanja do foldera prod backend repozitorija na serveru;
    {ENV} — okruženje (dev/prod), u našem slučaju prod;
    {DOCKER_REGISTRY_HOST} — domaćin našeg docker repozitorija
    {TG_BOT_TOKEN} — token Telegram bota;
    {TG_CHAT_ID} — ID chat-a/kanala za slanje obaveštenja.

    Primjer skripte:

    cd /var/www/vhosts/helloworld.ru/httpdocs/hw_back/
    .ci-cd/deploy.sh dev docker.helloworld.ru docker_user docker_password 12345678:AAbcdEfghCH1vGbCasdfSAs0K5PALDsaw -1001234567890
  6. Dodajemo korisnika iz naše pretplate u Docker grupu (kako bi mogao upravljati kontejnerima):
    sudo usermod -aG docker helloworld_admin

Razvojno okruženje za backend repozitorij i frontend se postavlja na sličan način.

Pipeline za isporuku u Github Actions

Prelazimo na postavljanje prvog dela našeg CI/CD pipeline-a u Github Actions.

Backend

Pipeline se opisuje u datoteci deploy.yml.

Ali pre nego što je razradimo, popunimo potrebne tajne promenljive u Githubu. Zato idemo na Settings -> Secrets:

  • DOCKER_REGISTRY — host našeg Docker repozitorija (docker.helloworld.ru);
  • DOCKER_LOGIN — korisničko ime za Docker repozitorij;
  • DOCKER_PASSWORD — lozinka za njega;
  • DEPLOY_HOST — host na kojem je dostupna admin Plesk (primer: helloworld.ru:8443 ili 123.4.56.78:8443);
  • DEPLOY_BACK_PROD_TOKEN — token za isporuku u prod repozitorij na serveru (dobijen je u Razvijanju u Plesk tačka 4);
  • DEPLOY_BACK_DEV_TOKEN — token za isporuku u dev repozitorij na serveru.

Proces isporuke je jednostavan i sastoji se od tri osnovna koraka:

  • izgradnja i objavljivanje slike u našem repozitoriju;
  • pokretanje testova u kontejneru zasnovanom na sveže izgrađenoj slici;
  • isporučivanje u odgovarajuće okruženje u zavisnosti od grane (dev/master).

Frontend

Datoteka deploy.yml za frontend repozitorij malo se razlikuje od backend verzije. Nedostaje korak sa pokretanjem testova i menjaju se nazivi tokena za isporuku. Tajne za frontend repozitorij, inače, treba unositi odvojeno.

Postavljanje sajta

Proksiranje saobraćaja kroz Nginx

Pa, došli smo do kraja. Ostaje samo da postavimo proksiranje dolaznog i odlaznog saobraćaja u naš kontejner kroz Nginx. Ovaj proces smo već razmotrili u tački 5 postavljanja Docker Registry. Isto to treba ponoviti za backend i frontend u dev i prod okruženjima.

Pružiću snimke podešavanja.

Backend

CI/CD u Github Actions za projekat na Flask+Angular

Frontend

CI/CD u Github Actions za projekat na Flask+Angular
Važna napomena. U frontend kontejner će biti proksirani svi URL-ovi osim onih koji počinju sa /api/ — oni će biti proksirani u backend kontejner (zato u backend kontejneru svi obrtnici moraju početi sa /api/).

Zaključci

Sada naš sajt treba da bude dostupan na adresama helloworld.ru i dev.helloworld.ru (prod i dev okruženje, respektivno).

Ukratko, saznali smo kako pripremiti jednostavnu aplikaciju na Flask i Angular i postaviti pipeline u Github Actions za njeno implementaciju na server koji upravlja Plesk-om.

Ponovo ću podeliti linkove na repozitorije sa kodom: backend, frontend.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster