
U ovom članku ću podijeliti svoje iskustvo postavljanja CI/CD s korištenjem Plesk kontrolne ploče i Github Actions. Danas ćemo učiti kako postaviti jednostavan projekt sa neospornim imenom „Helloworld“. Napisan je u Python okviru Flask, s radnicima na Celery i frontend-om na Angular 8.
Linkovi na repozitorije: , .
U prvom dijelu članka pogledat ćemo naš projekt i njegove dijelove. U drugom ćemo se razumjeti kako postaviti Plesk i instalirati potrebne ekstenzije i komponente (bazu podataka, RabbitMQ, Redis, Docker itd.).
U trećem dijelu konačno ćemo razumjeti kako postaviti pipeline za implementaciju našeg projekta na server u dev i prod okruženje. A zatim ćemo pokrenuti web stranicu na serveru.
I da, zaboravio sam se predstaviti. Zovem se Oleg Borzov, ja sam fullstack programer u timu CRM za menadžere hipoteka u Domklik.
Pregled projekta
Za početak razmotrit ćemo dva projekta — backend i frontend — i proći kroz kod.
Backend dio: Flask+Celery
Za back-end dio uzeo sam dovoljno popularnu kombinaciju među Python programerima: okvir Flask (za API) i Celery (za red zadataka). Kao ORM koristi se SQLAlchemy. Za migracije se koristi Alembic. Za validaciju JSON u handlerima — Marshmallow.
U ima datoteku Readme.md s detaljnim opisom strukture i uputama za pokretanje projekta.
dovoljno jednostavan, sastoji se od 6 handlera:
/ping— za provjeru dostupnosti;- handleri za registraciju, prijavu, odjavu i dobivanje autoriziranog korisnika;
- handler za slanje email-a, koji stavlja zadatak u Celery red.
još jednostavnije, ima samo jedan zadatak send_mail_task.
U mapi sadrži dvije podmapirane:
dockers dva Docker fajla (base.dockerfileza izgradnju rijetko mijenjajuće osnovne slike iDockerfileza glavne izrade);.env_files— s datotekama s varijablama okruženja za različita okruženja.
U korijenu projekta nalaze se četiri datoteke docker-compose:
docker-compose.local.db.ymlza podizanje lokalne baze podataka za razvoj;docker-compose.local.workers.ymlza lokalno podizanje radnika, baze podataka, Redis-a i RabbitMQ;docker-compose.test.ymlza izvođenje testova prilikom implementacije;docker-compose.ymlza implementaciju.
I posljednja zanimljiva mapa — . U njoj se nalaze shell skripte za implementaciju:
deploy.sh— pokretanje migracije i implementacije. Pokreće se na serveru nakon izgradnje i izvođenja testova u Github Actions;rollback.sh— vraćanje kontejnera na prethodnu verziju izgradnje;curl_tg.sh— slanje obavijesti o implementaciji na Telegram.
Frontend na Angularu
je znatno jednostavniji od backenda. Frontend se sastoji od tri stranice:
- Početna stranica s obrascem za slanje email-a i dugmetom za odjavu.
- Stranica za prijavu.
- Stranica za registraciju.
Početna stranica izgleda skromno:

U korijenu se nalaze dvije datoteke Dockerfile i docker-compose.yml, kao i poznata nam mapa .ci-cd s malo manje skripti nego u backend repozitoriju (uklonjene skripte za pokretanje testova).
Pokrećemo projekat u Plesku
Počet ćemo s postavljanjem Pleska i kreiranjem pretplate za našu web stranicu.
Instalacija proširenja
U Plesku će nam trebati četiri proširenja:
Dockerza upravljanje i vizualno prikazivanje stanja kontejnera u Plesk admin panelu;Gitza postavljanje koraka implementacije na serveru;Let's Encryptza generiranje (i automatsko obnavljanje) besplatnih TLS certifikata;Firewallza postavljanje filtriranja dolaznog prometa.
Možete ih instalirati putem admin panela Pleska u odjeljku Proširenja:

Detaljno podešavanje proširenja nećemo razmatrati, za naše demo ciljeve odgovarat će postavke prema zadanim postavkama.
Kreiranje pretplate i web stranice
Nakon toga trebamo kreirati pretplatu za našu web stranicu helloworld.ru i dodati poddomenu dev.helloworld.ru.
- Kreiramo pretplatu za domenu helloworld.ru i navodimo korisničko ime i lozinku za sistemskog korisnika:

Na dnu stranice stavljamo kvačicu Secure the domain with Let’s Encrypt, ako želimo postaviti HTTPS za stranicu:
- Nakon toga u ovoj pretplati kreiramo poddomenu dev.helloworld.ru (za koju također možemo ispustiti besplatni TLS certifikat):

Instalacija server komponenti
Imamo server s OS Debian Stretch 9.12 i instaliranom upravljačkom pločom Plesk Obsidian 18.0.27.
Trebamo instalirati i postaviti za naš projekt:
- PostgreSQL (u našem slučaju bit će jedan server s dvije Baze podataka za dev- i prod-okruženje).
- RabbitMQ (isto, jedan instanca s različitim vhosts za okruženja).
- Dva instance Redis-a (za dev- i prod-okruženje).
- Docker Registry (za lokalno pohranjivanje sastavljenih Docker slika).
- UI sučelje za Docker registry.
PostgreSQL
Uz Plesk već dolazi DB PostgreSQL, međutim ne najnovije verzije (u trenutku pisanja članka, Plesk Obsidian Postgres verzije 8.4–10.8). Mi želimo za svoju aplikaciju najnoviju verziju (12.3 u trenutku pisanja članka), stoga ćemo je instalirati ručno.
Detaljnih uputa za instalaciju Postgres-a na Debiain-u ima u mreži puno (), pa ću ih opisati samo ukratko, samo ću navesti naredbe:
wget -q https://www.postgresql.org/media/keys/ACCC4CF8.asc -O - | sudo apt-key add -
sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt/ stretch-pgdg main" >> /etc/apt/sources.list.d/pgdg.list'
sudo apt-get update
sudo apt-get install postgresql postgresql-contrib
S obzirom na to da PostgreSQL ima prilično osrednje zadane postavke, nužno je prilagoditi konfiguraciju. U tome nam može pomoći : potrebno je unijeti parametre svog servera i zamijeniti postavke u datoteci /etc/postgresql/12/main/postgresql.confs onima koji su predloženi. Ovdje treba naglasiti da takvi kalkulatori nisu čarobni štapić, i bazu treba fino podešavati uzimajući u obzir vašu opremu, aplikaciju i složenost upita. No, za početak je to dovoljno.
Osim predloženih postavki kalkulatora, također mijenjamo u postgresql.confzadani port 5432 na drugi (u našem primjeru — 53983).
Nakon promjene konfiguracijske datoteke, ponovno pokrenite postgresql-server naredbom:
service postgresql restart
Postavili smo i konfigurirali PostgreSQL. Sada ćemo stvoriti BD, korisnike za dev- i prod-okruženja, i dodijeliti korisnicima prava za upravljanje BD-om:
$ su - postgres
postgres:~$ create database hw_dev_db_name;
CREATE DATABASE
postgres:~$ create user hw_dev_db_user with password 'hw_dev_db_password';
CREATE ROLE
postgres:~$ grant ALL privileges ON database hw_dev_db_name to hw_dev_db_user;
GRANT
postgres:~$ create database hw_prod_db_name;
CREATE DATABASE
postgres:~$ create user hw_prod_db_user with password 'hw_prod_db_password';
CREATE ROLE
postgres:~$ grant ALL privileges ON database hw_prod_db_name to hw_prod_db_user;
GRANT
RabbitMQ
Pređimo na instalaciju RabbitMQ — posrednika poruka za Celery. Instalira se na Debianu prilično jednostavno:
wget https://packages.erlang-solutions.com/erlang-solutions_1.0_all.deb
sudo dpkg -i erlang-solutions_1.0_all.deb
sudo apt-get update
sudo apt-get install erlang erlang-nox
sudo add-apt-repository 'deb http://www.rabbitmq.com/debian/ testing main'
wget -O- https://www.rabbitmq.com/rabbitmq-release-signing-key.asc | sudo apt-key add -
sudo apt-get update
sudo apt-get install rabbitmq-server
Nakon instalacije, trebamo kreirati vhosts, korisnike i dodijeliti potrebna prava:
sudo rabbitmqctl add_user hw_dev_amqp_user hw_dev_amqp_password
sudo rabbitmqctl set_user_tags hw_dev_amqp_user administrator
sudo rabbitmqctl add_vhost hw_dev_vhost
sudo rabbitmqctl set_permissions -p hw_dev_vhost hw_dev_amqp_user ".*" ".*" ".*"
sudo rabbitmqctl add_user hw_prod_amqp_user hw_prod_amqp_password
sudo rabbitmqctl set_user_tags hw_prod_amqp_user administrator
sudo rabbitmqctl add_vhost hw_prod_vhost
sudo rabbitmqctl set_permissions -p hw_prod_vhost hw_prod_amqp_user ".*" ".*" ".*"
Redis
Sada ćemo instalirati i konfigurirati posljednju komponentu za našu aplikaciju — Redis. Koristit će se kao backend za pohranu rezultata zadataka Celery.
Podignut ćemo dva Docker kontejnera s Redisom za dev- i prod-okruženja koristeći proširenje Docker za Plesk.
- Ulazimo u Plesk, prelazimo na odjeljak Proširenja, tražimo Docker proširenje i instaliramo ga (treba nam besplatna verzija):

- Prelazimo na instalirano proširenje, tražimo sliku
redis bitnamii instaliramo najnoviju verziju:
- Ulazimo u preuzeti kontejner i prilagođavamo konfiguraciju: postavljamo port, maksimalnu dodijeljenu veličinu RAM-a, lozinku u promjenjivim varijablama i montiramo volumen:

- Izvršavamo korake 2-3 za prod-kontejner, u postavkama samo mijenjamo parametre: port, lozinku, veličinu RAM-a i putanju do direktorija volumena na serveru:

Docker Registry
Osim osnovnih servisa, bilo bi dobro postaviti vlastiti repozitorij Docker slika na server. Srećom, prostor na serverima danas je dovoljno jeftin (sigurno je jeftiniji od pretplate na DockerHub), a proces instalacije privatnog repozitorija je vrlo jednostavan.
Želimo da imamo instalirano:
- lozinkom zaštićen Docker-repozitorij, dostupan preko subdomena ;
- UI sučelje za pregled slika u repozitoriju, dostupno na adresi .
Za to:
- Napravit ćemo u Plesku dva subdomena u našoj pretplati: docker.helloworld.ru i docker-ui.helloworld.ru, i postaviti za njih certifikate Let’s Encrypt.
- U mapu subdomena docker.helloworld.ru dodajemo datoteku
docker-compose.ymls takvim sadržajem:version: "3" services: docker-registry: image: "registry:2" restart: always ports: - "53985:5000" environment: REGISTRY_AUTH: htpasswd REGISTRY_AUTH_HTPASSWD_REALM: basic-realm REGISTRY_AUTH_HTPASSWD_PATH: /auth/.htpasswd REGISTRY_STORAGE_FILESYSTEM_ROOTDIRECTORY: /data volumes: - ./docker-registry.htpasswd:/auth/.htpasswd - ./data:/data docker-registry-ui: image: konradkleine/docker-registry-frontend:v2 restart: always ports: - "53986:80" environment: VIRTUAL_HOST: '*, https://*' ENV_DOCKER_REGISTRY_HOST: 'docker-registry' ENV_DOCKER_REGISTRY_PORT: 5000 links: - 'docker-registry' - Preko SSH generiramo datoteku .htpasswd za Basic autentifikaciju u Docker repozitoriju:
htpasswd -bBc .htpasswd hw_docker_admin hw_docker_password - Sagradimo i pokrenimo kontejnere:
docker-compose up -d - I trebamo preusmjeriti Nginx na naše kontejnere. To se može učiniti putem Pleska.
Sljedeće korake trebate napraviti za subdomene docker.helloworld.ru i docker-ui.helloworld.ru:
U odjeljku Dev Tools našeg sajta ulazimo u Docker Proxy Rules:

I dodajemo pravilo za proksiranje dolaznog prometa u naš kontejner:

- Provjeravamo možemo li se prijaviti u naš kontejner s lokalnog računala:
$ docker login docker.helloworld.ru -u hw_docker_admin -p hw_docker_password WARNING! Using --password via the CLI is insecure. Use --password-stdin. Login Succeeded - Također provjerit ćemo rad subdomene docker-ui.helloworld.ru:

Kada pritisnete na Browse repositories, preglednik će otvoriti prozor za autorizaciju, gdje trebate unijeti korisničko ime i lozinku za repozitorij. Nakon toga bit ćete preusmjereni na stranicu sa popisom repozitorija (koja će za vas trenutno biti prazna):
Otvorite portove u Plesk Firewallu
Nakon instalacije i konfiguracije komponenti, trebamo otvoriti portove kako bi komponente bile dostupne iz Docker kontejnera i vanjske mreže.
Pogledajmo kako to učiniti na primjeru proširenja Firewall koje smo ranije instalirali za Plesk.
- Prelazimo u Tools & Settings > Settings > Firewall:

- Prelazimo u Modify Plesk Firewall Rules > Add Custom Rule i otvaramo sljedeće TCP portove za Docker podmrežu (172.0.0.0/8):
RabbitMQ: 1883, 4369, 5671-5672, 25672, 61613-61614
Redis: 32785, 32786
- Također dodajemo pravilo koje će otvoriti portove PostgreSQL i upravljačke ploče RabbitMQ za vanjski svijet:

- Primjenjujemo pravila klikom na gumb Apply Changes:

Konfiguracija CI/CD u Github Actions
Pristupamo najzanimljivijem dijelu — konfiguraciji CI/CD pipelinea za naš projekt do poslužitelja.
Ovaj pipeline će se sastojati od dva dijela:
- gradnja slike i prolazak testova (za backend) — na strani Githuba;
- pokretanje migracija (za backend) i implementacija kontejnera — na poslužitelju.
Implementacija u Plesk
Prvo ćemo se baviti drugim točkom (jer ovisimo o prvom).
Postupak implementacije ćemo konfigurirati putem Git proširenja za Plesk.
Razmotrit ćemo primjer s Prod okruženjem za Backend repozitorij.
- Ulazimo u pretplatu našeg web mjesta Helloworld i prelazimo u podpodručje Git:

- U polje «Remote Git repository» lijepljujemo vezu na naš Github repozitorij i mijenjamo zadanu mapu
httpdocsna drugu (na primjer,/httpdocs/hw_back):
- Kopiramo SSH javni ključ s prethodnog koraka i ga u postavkama Githuba.
- Kliknemo OK na ekranu u točki 2, nakon čega ćemo biti preusmjereni na stranicu repozitorija u Plesku. Sada trebamo konfigurirati ažuriranje repozitorija prilikom commitovanja u master granu. Za to prelazimo u Repository Settings i spremamo vrijednost
Webhook URL(bit će nam potrebna kasnije prilikom postavljanja Github Actions):
- U polje Actions na ekranu iz prethodne točke unosimo skriptu za pokretanje implementacije:
cd {REPOSITORY_ABSOLUTE_PATH} .ci-cd/deploy.sh {ENV} {DOCKER_REGISTRY_HOST} {DOCKER_USER} {DOCKER_PASSWORD} {TG_BOT_TOKEN} {TG_CHAT_ID}gdje:
{REPOSITORY_ABSOLUTE_PATH}— put do mape prod backend repozitorija na poslužitelju;
{ENV}— okruženje (dev/prod), u našem slučajuprod;
{DOCKER_REGISTRY_HOST}— host našeg docker repozitorija
{TG_BOT_TOKEN}— token Telegram bota;
{TG_CHAT_ID}— ID čata/kanala za slanje obavijesti.Primjer skripte:
cd /var/www/vhosts/helloworld.ru/httpdocs/hw_back/ .ci-cd/deploy.sh dev docker.helloworld.ru docker_user docker_password 12345678:AAbcdEfghCH1vGbCasdfSAs0K5PALDsaw -1001234567890 - Dodajemo korisnika iz naše pretplate u Docker grupu (tako da može upravljati kontejnerima):
sudo usermod -aG docker helloworld_admin
Dev-okruženje za backend repozitorij i frontend se postavlja na sličan način.
Pipeline za implementaciju u Github Actions
Prvo prelazimo na postavljanje prvog dijela našeg CI/CD pipelinea u Github Actions.
Backend smo planirali napraviti na Linuxu. Backend komunicira s bazom podataka, učitava potrebne popise privilegija i zatim, ovisno o privilegijama koje ima autorizirani korisnik, osigurava pristup za potpisivanje financijskih dokumenata i slanje na izvršenje, ili generiranje nekog izvještaja.
Pipeline se opisuje u .
No, prije nego što ga razradimo, popunit ćemo potrebne tajne varijable u Githubu. Za to idemo na Postavke -> Tajne:
DOCKER_REGISTRY— host našeg Docker repozitorija (docker.helloworld.ru);DOCKER_LOGIN— korisničko ime za Docker repozitorij;DOCKER_PASSWORD— lozinka za njega;DEPLOY_HOST— host na kojem je dostupna admin ploča Plesk (primjer: :8443 ili :8443);DEPLOY_BACK_PROD_TOKEN— token za implementaciju u prod-repozitorij na serveru (dobiven u Razvijanju u Plesk, točka 4);DEPLOY_BACK_DEV_TOKEN— token za implementaciju u dev-repozitorij na serveru.
Proces implementacije je jednostavan i sastoji se od tri osnovna koraka:
- izrada i objava slike u našem repozitoriju;
- pokretanje testova u kontejneru temeljenom na svježe izrađenoj slici;
- implementacija u željeno okruženje ovisno o grani (dev/master).
Frontend
malo se razlikuje od onog za backend. Nedostaje korak s pokretanjem testova, a imena tokena za implementaciju se mijenjaju. Tajne za frontend repozitorij, usput budi rečeno, trebaju se popunjavati odvojeno.
Postavke web stranice
Proksiranje prometa preko Nginx-a
Pa, došli smo do kraja. Preostaje samo postaviti proksiranje dolaznog i odlaznog prometa u naš kontejner preko Nginx-a. Ovaj proces smo već razmotrili u točki 5 podešavanja Docker Registry. Isto treba ponoviti za backend i frontend dijelove u dev i prod okruženjima.
Prikazat ću snimke postavki.
Backend smo planirali napraviti na Linuxu. Backend komunicira s bazom podataka, učitava potrebne popise privilegija i zatim, ovisno o privilegijama koje ima autorizirani korisnik, osigurava pristup za potpisivanje financijskih dokumenata i slanje na izvršenje, ili generiranje nekog izvještaja.

Frontend

Važna napomena. U frontend kontejner će se proksirati svi URL-ovi osim onih koji počinju s /api/ — oni će biti proksirani u backend kontejner (stoga u backend kontejneru svi handleri moraju početi s /api/).
Zaključci
Sada bi naša web stranica trebala biti dostupna na adresama helloworld.ru i dev.helloworld.ru (prod i dev okruženje respektivno).
Dakle, naučili smo kako pripremiti jednostavnu aplikaciju na Flasku i Angularu i postaviti pipeline u Github Actions za njeno postavljanje na server pod upravljanjem Pleska.
Ponovit ću linkove na repozitorije s kodom: , .
Izvor: habr.com
















