CI/CD u Github Actions za projekt na Flask+Angular

CI/CD u Github Actions za projekt na Flask+Angular
U ovom članku ću podijeliti svoje iskustvo postavljanja CI/CD s korištenjem Plesk kontrolne ploče i Github Actions. Danas ćemo učiti kako postaviti jednostavan projekt sa neospornim imenom „Helloworld“. Napisan je u Python okviru Flask, s radnicima na Celery i frontend-om na Angular 8.

Linkovi na repozitorije: backend, frontend.

U prvom dijelu članka pogledat ćemo naš projekt i njegove dijelove. U drugom ćemo se razumjeti kako postaviti Plesk i instalirati potrebne ekstenzije i komponente (bazu podataka, RabbitMQ, Redis, Docker itd.).

U trećem dijelu konačno ćemo razumjeti kako postaviti pipeline za implementaciju našeg projekta na server u dev i prod okruženje. A zatim ćemo pokrenuti web stranicu na serveru.

I da, zaboravio sam se predstaviti. Zovem se Oleg Borzov, ja sam fullstack programer u timu CRM za menadžere hipoteka u Domklik.

Pregled projekta

Za početak razmotrit ćemo dva projekta — backend i frontend — i proći kroz kod.

Backend dio: Flask+Celery

Za back-end dio uzeo sam dovoljno popularnu kombinaciju među Python programerima: okvir Flask (za API) i Celery (za red zadataka). Kao ORM koristi se SQLAlchemy. Za migracije se koristi Alembic. Za validaciju JSON u handlerima — Marshmallow.

U repozitoriju ima datoteku Readme.md s detaljnim opisom strukture i uputama za pokretanje projekta.

API web dijela dovoljno jednostavan, sastoji se od 6 handlera:

  • /ping — za provjeru dostupnosti;
  • handleri za registraciju, prijavu, odjavu i dobivanje autoriziranog korisnika;
  • handler za slanje email-a, koji stavlja zadatak u Celery red.

Celery dio još jednostavnije, ima samo jedan zadatak send_mail_task.

U mapi /conf sadrži dvije podmapirane:

  • docker s dva Docker fajla (base.dockerfile za izgradnju rijetko mijenjajuće osnovne slike i Dockerfile za glavne izrade);
  • .env_files — s datotekama s varijablama okruženja za različita okruženja.

U korijenu projekta nalaze se četiri datoteke docker-compose:

  • docker-compose.local.db.yml za podizanje lokalne baze podataka za razvoj;
  • docker-compose.local.workers.yml za lokalno podizanje radnika, baze podataka, Redis-a i RabbitMQ;
  • docker-compose.test.yml za izvođenje testova prilikom implementacije;
  • docker-compose.yml za implementaciju.

I posljednja zanimljiva mapa — .ci-cd. U njoj se nalaze shell skripte za implementaciju:

  • deploy.sh — pokretanje migracije i implementacije. Pokreće se na serveru nakon izgradnje i izvođenja testova u Github Actions;
  • rollback.sh — vraćanje kontejnera na prethodnu verziju izgradnje;
  • curl_tg.sh — slanje obavijesti o implementaciji na Telegram.

Frontend na Angularu

Repozitorij s frontend-om je znatno jednostavniji od backenda. Frontend se sastoji od tri stranice:

  • Početna stranica s obrascem za slanje email-a i dugmetom za odjavu.
  • Stranica za prijavu.
  • Stranica za registraciju.

Početna stranica izgleda skromno:

CI/CD u Github Actions za projekt na Flask+Angular
U korijenu se nalaze dvije datoteke Dockerfile i docker-compose.yml, kao i poznata nam mapa .ci-cd s malo manje skripti nego u backend repozitoriju (uklonjene skripte za pokretanje testova).

Pokrećemo projekat u Plesku

Počet ćemo s postavljanjem Pleska i kreiranjem pretplate za našu web stranicu.

Instalacija proširenja

U Plesku će nam trebati četiri proširenja:

  • Docker za upravljanje i vizualno prikazivanje stanja kontejnera u Plesk admin panelu;
  • Git za postavljanje koraka implementacije na serveru;
  • Let's Encrypt za generiranje (i automatsko obnavljanje) besplatnih TLS certifikata;
  • Firewall za postavljanje filtriranja dolaznog prometa.

Možete ih instalirati putem admin panela Pleska u odjeljku Proširenja:

CI/CD u Github Actions za projekt na Flask+Angular
Detaljno podešavanje proširenja nećemo razmatrati, za naše demo ciljeve odgovarat će postavke prema zadanim postavkama.

Kreiranje pretplate i web stranice

Nakon toga trebamo kreirati pretplatu za našu web stranicu helloworld.ru i dodati poddomenu dev.helloworld.ru.

  1. Kreiramo pretplatu za domenu helloworld.ru i navodimo korisničko ime i lozinku za sistemskog korisnika:

    CI/CD u Github Actions za projekt na Flask+Angular
    Na dnu stranice stavljamo kvačicu Secure the domain with Let’s Encrypt, ako želimo postaviti HTTPS za stranicu:

    CI/CD u Github Actions za projekt na Flask+Angular

  2. Nakon toga u ovoj pretplati kreiramo poddomenu dev.helloworld.ru (za koju također možemo ispustiti besplatni TLS certifikat):

    CI/CD u Github Actions za projekt na Flask+Angular

Instalacija server komponenti

Imamo server s OS Debian Stretch 9.12 i instaliranom upravljačkom pločom Plesk Obsidian 18.0.27.

Trebamo instalirati i postaviti za naš projekt:

  • PostgreSQL (u našem slučaju bit će jedan server s dvije Baze podataka za dev- i prod-okruženje).
  • RabbitMQ (isto, jedan instanca s različitim vhosts za okruženja).
  • Dva instance Redis-a (za dev- i prod-okruženje).
  • Docker Registry (za lokalno pohranjivanje sastavljenih Docker slika).
  • UI sučelje za Docker registry.

PostgreSQL

Uz Plesk već dolazi DB PostgreSQL, međutim ne najnovije verzije (u trenutku pisanja članka, Plesk Obsidian podržavao je Postgres verzije 8.4–10.8). Mi želimo za svoju aplikaciju najnoviju verziju (12.3 u trenutku pisanja članka), stoga ćemo je instalirati ručno.

Detaljnih uputa za instalaciju Postgres-a na Debiain-u ima u mreži puno (primjer), pa ću ih opisati samo ukratko, samo ću navesti naredbe:

wget -q https://www.postgresql.org/media/keys/ACCC4CF8.asc -O - | sudo apt-key add -
sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt/ stretch-pgdg main" >> /etc/apt/sources.list.d/pgdg.list'

sudo apt-get update
sudo apt-get install postgresql postgresql-contrib

S obzirom na to da PostgreSQL ima prilično osrednje zadane postavke, nužno je prilagoditi konfiguraciju. U tome nam može pomoći kalkulator: potrebno je unijeti parametre svog servera i zamijeniti postavke u datoteci /etc/postgresql/12/main/postgresql.confs onima koji su predloženi. Ovdje treba naglasiti da takvi kalkulatori nisu čarobni štapić, i bazu treba fino podešavati uzimajući u obzir vašu opremu, aplikaciju i složenost upita. No, za početak je to dovoljno.

Osim predloženih postavki kalkulatora, također mijenjamo u postgresql.confzadani port 5432 na drugi (u našem primjeru — 53983).

Nakon promjene konfiguracijske datoteke, ponovno pokrenite postgresql-server naredbom:

service postgresql restart

Postavili smo i konfigurirali PostgreSQL. Sada ćemo stvoriti BD, korisnike za dev- i prod-okruženja, i dodijeliti korisnicima prava za upravljanje BD-om:

$ su - postgres
postgres:~$ create database hw_dev_db_name;
CREATE DATABASE
postgres:~$ create user hw_dev_db_user with password 'hw_dev_db_password';
CREATE ROLE
postgres:~$ grant ALL privileges ON database hw_dev_db_name to hw_dev_db_user;
GRANT
postgres:~$ create database hw_prod_db_name;
CREATE DATABASE
postgres:~$ create user hw_prod_db_user with password 'hw_prod_db_password';
CREATE ROLE
postgres:~$ grant ALL privileges ON database hw_prod_db_name to hw_prod_db_user;
GRANT

RabbitMQ

Pređimo na instalaciju RabbitMQ — posrednika poruka za Celery. Instalira se na Debianu prilično jednostavno:

wget https://packages.erlang-solutions.com/erlang-solutions_1.0_all.deb
sudo dpkg -i erlang-solutions_1.0_all.deb

sudo apt-get update
sudo apt-get install erlang erlang-nox

sudo add-apt-repository 'deb http://www.rabbitmq.com/debian/ testing main'
wget -O- https://www.rabbitmq.com/rabbitmq-release-signing-key.asc | sudo apt-key add -

sudo apt-get update
sudo apt-get install rabbitmq-server

Nakon instalacije, trebamo kreirati vhosts, korisnike i dodijeliti potrebna prava:

sudo rabbitmqctl add_user hw_dev_amqp_user hw_dev_amqp_password 
sudo rabbitmqctl set_user_tags hw_dev_amqp_user administrator
sudo rabbitmqctl add_vhost hw_dev_vhost
sudo rabbitmqctl set_permissions -p hw_dev_vhost hw_dev_amqp_user ".*" ".*" ".*"

sudo rabbitmqctl add_user hw_prod_amqp_user hw_prod_amqp_password 
sudo rabbitmqctl set_user_tags hw_prod_amqp_user administrator
sudo rabbitmqctl add_vhost hw_prod_vhost
sudo rabbitmqctl set_permissions -p hw_prod_vhost hw_prod_amqp_user ".*" ".*" ".*"

Redis

Sada ćemo instalirati i konfigurirati posljednju komponentu za našu aplikaciju — Redis. Koristit će se kao backend za pohranu rezultata zadataka Celery.

Podignut ćemo dva Docker kontejnera s Redisom za dev- i prod-okruženja koristeći proširenje Docker za Plesk.

  1. Ulazimo u Plesk, prelazimo na odjeljak Proširenja, tražimo Docker proširenje i instaliramo ga (treba nam besplatna verzija):

    CI/CD u Github Actions za projekt na Flask+Angular

  2. Prelazimo na instalirano proširenje, tražimo sliku redis bitnami i instaliramo najnoviju verziju:

    CI/CD u Github Actions za projekt na Flask+Angular

  3. Ulazimo u preuzeti kontejner i prilagođavamo konfiguraciju: postavljamo port, maksimalnu dodijeljenu veličinu RAM-a, lozinku u promjenjivim varijablama i montiramo volumen:

    CI/CD u Github Actions za projekt na Flask+Angular

  4. Izvršavamo korake 2-3 za prod-kontejner, u postavkama samo mijenjamo parametre: port, lozinku, veličinu RAM-a i putanju do direktorija volumena na serveru:

    CI/CD u Github Actions za projekt na Flask+Angular

Docker Registry

Osim osnovnih servisa, bilo bi dobro postaviti vlastiti repozitorij Docker slika na server. Srećom, prostor na serverima danas je dovoljno jeftin (sigurno je jeftiniji od pretplate na DockerHub), a proces instalacije privatnog repozitorija je vrlo jednostavan.

Želimo da imamo instalirano:

Za to:

  1. Napravit ćemo u Plesku dva subdomena u našoj pretplati: docker.helloworld.ru i docker-ui.helloworld.ru, i postaviti za njih certifikate Let’s Encrypt.
  2. U mapu subdomena docker.helloworld.ru dodajemo datoteku docker-compose.yml s takvim sadržajem:
    version: "3"
    
    services:
      docker-registry:
        image: "registry:2"
        restart: always
        ports:
          - "53985:5000"
        environment:
          REGISTRY_AUTH: htpasswd
          REGISTRY_AUTH_HTPASSWD_REALM: basic-realm
          REGISTRY_AUTH_HTPASSWD_PATH: /auth/.htpasswd
          REGISTRY_STORAGE_FILESYSTEM_ROOTDIRECTORY: /data
        volumes:
          - ./docker-registry.htpasswd:/auth/.htpasswd
          - ./data:/data
    
      docker-registry-ui:
        image: konradkleine/docker-registry-frontend:v2
        restart: always
        ports:
          - "53986:80"
        environment:
          VIRTUAL_HOST: '*, https://*'
          ENV_DOCKER_REGISTRY_HOST: 'docker-registry'
          ENV_DOCKER_REGISTRY_PORT: 5000
        links:
          - 'docker-registry'
    

  3. Preko SSH generiramo datoteku .htpasswd za Basic autentifikaciju u Docker repozitoriju:
    htpasswd -bBc .htpasswd hw_docker_admin hw_docker_password
  4. Sagradimo i pokrenimo kontejnere:
    docker-compose up -d
  5. I trebamo preusmjeriti Nginx na naše kontejnere. To se može učiniti putem Pleska.

Sljedeće korake trebate napraviti za subdomene docker.helloworld.ru i docker-ui.helloworld.ru:

U odjeljku Dev Tools našeg sajta ulazimo u Docker Proxy Rules:

CI/CD u Github Actions za projekt na Flask+Angular
I dodajemo pravilo za proksiranje dolaznog prometa u naš kontejner:

CI/CD u Github Actions za projekt na Flask+Angular

  1. Provjeravamo možemo li se prijaviti u naš kontejner s lokalnog računala:
    $ docker login docker.helloworld.ru -u hw_docker_admin -p hw_docker_password
    WARNING! Using --password via the CLI is insecure. Use --password-stdin.
    Login Succeeded
  2. Također provjerit ćemo rad subdomene docker-ui.helloworld.ru:

    CI/CD u Github Actions za projekt na Flask+Angular
    Kada pritisnete na Browse repositories, preglednik će otvoriti prozor za autorizaciju, gdje trebate unijeti korisničko ime i lozinku za repozitorij. Nakon toga bit ćete preusmjereni na stranicu sa popisom repozitorija (koja će za vas trenutno biti prazna):

    CI/CD u Github Actions za projekt na Flask+Angular

Otvorite portove u Plesk Firewallu

Nakon instalacije i konfiguracije komponenti, trebamo otvoriti portove kako bi komponente bile dostupne iz Docker kontejnera i vanjske mreže.

Pogledajmo kako to učiniti na primjeru proširenja Firewall koje smo ranije instalirali za Plesk.

  1. Prelazimo u Tools & Settings > Settings > Firewall:
    CI/CD u Github Actions za projekt na Flask+Angular
  2. Prelazimo u Modify Plesk Firewall Rules > Add Custom Rule i otvaramo sljedeće TCP portove za Docker podmrežu (172.0.0.0/8):
    RabbitMQ: 1883, 4369, 5671-5672, 25672, 61613-61614
    Redis: 32785, 32786

    CI/CD u Github Actions za projekt na Flask+Angular

  3. Također dodajemo pravilo koje će otvoriti portove PostgreSQL i upravljačke ploče RabbitMQ za vanjski svijet:

    CI/CD u Github Actions za projekt na Flask+Angular

  4. Primjenjujemo pravila klikom na gumb Apply Changes:

    CI/CD u Github Actions za projekt na Flask+Angular

Konfiguracija CI/CD u Github Actions

Pristupamo najzanimljivijem dijelu — konfiguraciji CI/CD pipelinea za naš projekt do poslužitelja.

Ovaj pipeline će se sastojati od dva dijela:

  • gradnja slike i prolazak testova (za backend) — na strani Githuba;
  • pokretanje migracija (za backend) i implementacija kontejnera — na poslužitelju.

Implementacija u Plesk

Prvo ćemo se baviti drugim točkom (jer ovisimo o prvom).

Postupak implementacije ćemo konfigurirati putem Git proširenja za Plesk.

Razmotrit ćemo primjer s Prod okruženjem za Backend repozitorij.

  1. Ulazimo u pretplatu našeg web mjesta Helloworld i prelazimo u podpodručje Git:

    CI/CD u Github Actions za projekt na Flask+Angular

  2. U polje «Remote Git repository» lijepljujemo vezu na naš Github repozitorij i mijenjamo zadanu mapu httpdocs na drugu (na primjer, /httpdocs/hw_back):

    CI/CD u Github Actions za projekt na Flask+Angular

  3. Kopiramo SSH javni ključ s prethodnog koraka i dodajemo ga u postavkama Githuba.
  4. Kliknemo OK na ekranu u točki 2, nakon čega ćemo biti preusmjereni na stranicu repozitorija u Plesku. Sada trebamo konfigurirati ažuriranje repozitorija prilikom commitovanja u master granu. Za to prelazimo u Repository Settings i spremamo vrijednost Webhook URL (bit će nam potrebna kasnije prilikom postavljanja Github Actions):

    CI/CD u Github Actions za projekt na Flask+Angular

  5. U polje Actions na ekranu iz prethodne točke unosimo skriptu za pokretanje implementacije:
    cd {REPOSITORY_ABSOLUTE_PATH}
    .ci-cd/deploy.sh {ENV} {DOCKER_REGISTRY_HOST} {DOCKER_USER} {DOCKER_PASSWORD} {TG_BOT_TOKEN} {TG_CHAT_ID} 

    gdje:

    {REPOSITORY_ABSOLUTE_PATH} — put do mape prod backend repozitorija na poslužitelju;
    {ENV} — okruženje (dev/prod), u našem slučaju prod;
    {DOCKER_REGISTRY_HOST} — host našeg docker repozitorija
    {TG_BOT_TOKEN} — token Telegram bota;
    {TG_CHAT_ID} — ID čata/kanala za slanje obavijesti.

    Primjer skripte:

    cd /var/www/vhosts/helloworld.ru/httpdocs/hw_back/
    .ci-cd/deploy.sh dev docker.helloworld.ru docker_user docker_password 12345678:AAbcdEfghCH1vGbCasdfSAs0K5PALDsaw -1001234567890
  6. Dodajemo korisnika iz naše pretplate u Docker grupu (tako da može upravljati kontejnerima):
    sudo usermod -aG docker helloworld_admin

Dev-okruženje za backend repozitorij i frontend se postavlja na sličan način.

Pipeline za implementaciju u Github Actions

Prvo prelazimo na postavljanje prvog dijela našeg CI/CD pipelinea u Github Actions.

Backend smo planirali napraviti na Linuxu. Backend komunicira s bazom podataka, učitava potrebne popise privilegija i zatim, ovisno o privilegijama koje ima autorizirani korisnik, osigurava pristup za potpisivanje financijskih dokumenata i slanje na izvršenje, ili generiranje nekog izvještaja.

Pipeline se opisuje u datoteci deploy.yml.

No, prije nego što ga razradimo, popunit ćemo potrebne tajne varijable u Githubu. Za to idemo na Postavke -> Tajne:

  • DOCKER_REGISTRY — host našeg Docker repozitorija (docker.helloworld.ru);
  • DOCKER_LOGIN — korisničko ime za Docker repozitorij;
  • DOCKER_PASSWORD — lozinka za njega;
  • DEPLOY_HOST — host na kojem je dostupna admin ploča Plesk (primjer: helloworld.ru:8443 ili 123.4.56.78:8443);
  • DEPLOY_BACK_PROD_TOKEN — token za implementaciju u prod-repozitorij na serveru (dobiven u Razvijanju u Plesk, točka 4);
  • DEPLOY_BACK_DEV_TOKEN — token za implementaciju u dev-repozitorij na serveru.

Proces implementacije je jednostavan i sastoji se od tri osnovna koraka:

  • izrada i objava slike u našem repozitoriju;
  • pokretanje testova u kontejneru temeljenom na svježe izrađenoj slici;
  • implementacija u željeno okruženje ovisno o grani (dev/master).

Frontend

Datoteka deploy.yml za frontend repozitorij malo se razlikuje od onog za backend. Nedostaje korak s pokretanjem testova, a imena tokena za implementaciju se mijenjaju. Tajne za frontend repozitorij, usput budi rečeno, trebaju se popunjavati odvojeno.

Postavke web stranice

Proksiranje prometa preko Nginx-a

Pa, došli smo do kraja. Preostaje samo postaviti proksiranje dolaznog i odlaznog prometa u naš kontejner preko Nginx-a. Ovaj proces smo već razmotrili u točki 5 podešavanja Docker Registry. Isto treba ponoviti za backend i frontend dijelove u dev i prod okruženjima.

Prikazat ću snimke postavki.

Backend smo planirali napraviti na Linuxu. Backend komunicira s bazom podataka, učitava potrebne popise privilegija i zatim, ovisno o privilegijama koje ima autorizirani korisnik, osigurava pristup za potpisivanje financijskih dokumenata i slanje na izvršenje, ili generiranje nekog izvještaja.

CI/CD u Github Actions za projekt na Flask+Angular

Frontend

CI/CD u Github Actions za projekt na Flask+Angular
Važna napomena. U frontend kontejner će se proksirati svi URL-ovi osim onih koji počinju s /api/ — oni će biti proksirani u backend kontejner (stoga u backend kontejneru svi handleri moraju početi s /api/).

Zaključci

Sada bi naša web stranica trebala biti dostupna na adresama helloworld.ru i dev.helloworld.ru (prod i dev okruženje respektivno).

Dakle, naučili smo kako pripremiti jednostavnu aplikaciju na Flasku i Angularu i postaviti pipeline u Github Actions za njeno postavljanje na server pod upravljanjem Pleska.

Ponovit ću linkove na repozitorije s kodom: backend, frontend.

Izvor: habr.com

Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere | ProHoster