
U ovom članku ću podijeliti svoje iskustvo u konfiguraciji CI/CD koristeći Plesk kontrolnu ploču i Github Actions. Danas ćemo naučiti kako da implementiramo jednostavan projekat s imenom „Helloworld“. Napisan je na Python frameworku Flask, sa radnicima na Celery i frontend-om na Angular 8.
Linkovi na repozitorije: , .
U prvom dijelu članka ćemo pogledati naš projekat i njegove dijelove. U drugom dijelu ćemo se posvetiti kako postaviti Plesk i instalirati potrebne ekstenzije i komponente (bazu podataka, RabbitMQ, Redis, Docker itd.).
U trećem dijelu konačno ćemo se pozabaviti kako postaviti pipeline za implementaciju našeg projekta na server u dev- i prod-okruženju. A potom ćemo pokrenuti stranicu na serveru.
I da, zaboravio sam se predstaviti. Zovem se Oleg Borzov, ja sam fullstack developer u timu CRM za menadžere hipotekarnih kredita u Domclick-u.
Pregled projekta
Za početak ćemo razmotriti dva repozitorija projekta - backend i frontend - i proći kroz kod.
Backend dio: Flask+Celery
Za backend dio sam uzeo dovoljno popularnu kombinaciju među Python developerima: framework Flask (za API) i Celery (za red zadataka). Kao ORM koristi se SQLAchemy. Za migracije se koristi Alembic. Za validaciju JSON u rukama - Marshmallow.
U ima datoteku Readme.md sa detaljnim opisom strukture i uputama za pokretanje projekta.
prilično jednostavan, sastoji se od 6 krajnjih tačaka:
/ping— za provjeru dostupnosti;- krajnje tačke za registraciju, autentifikaciju, deautentifikaciju i dobivanje autorizovanog korisnika;
- krajnja tačka za slanje email-a, koja stavlja zadatak u red Celery.
još jednostavnije, tu je samo jedan zadatak send_mail_task.
U fascikli nalaze se dve poddirektorije:
dockersa dva Docker fajla (base.dockerfileza izradu osnovnog imidža koji se rijetko mijenja iDockerfileza glavne izrade);.env_files— sa fajlovima sa varijablama okruženja za različita okruženja.
U korijenu projekta nalaze se četiri docker-compose datoteke:
docker-compose.local.db.ymlza pokretanje lokalne baze podataka za razvoj;docker-compose.local.workers.ymlza lokalno pokretanje radnika, baze podataka, Redis i RabbitMQ;docker-compose.test.ymlza testiranje prilikom implementacije;docker-compose.ymlza implementaciju.
I zadnja zanimljiva nam datoteka — . U njoj se nalaze shell skripte za implementaciju:
deploy.sh— pokretanje migracija i implementacija. Pokreće se na serveru nakon izrade i prolaska testova u Github Actions;rollback.sh— vraćanje kontejnera na prethodnu verziju izrade;curl_tg.sh— slanje obavijesti o implementaciji na Telegram.
Frontend na Angularu
mnogo lakše od backenda. Front se sastoji od tri stranice:
- Početna stranica sa formom za slanje emaila i dugmetom za odjavljuvanje.
- Stranica za prijavu.
- Stranica za registraciju.
Početna stranica izgleda minimalistički:

U korenu se nalaze dva fajla Dockerfile i docker-compose.yml, kao i poznata nam fascikla .ci-cd sa nešto manjim brojem skripti nego u back-end repozitorijumu (uklonjene skripte za pokretanje testova).
Pokrećemo projekat u Plesku
Započnimo sa postavljanjem Pleska i stvaranjem pretplate za naš sajt.
Instalacija ekstenzija
U Plesku će nam biti potrebne četiri ekstenzije:
Dockerza upravljanje i vizuelno prikazivanje stanja kontejnera u Plesk administraciji;Gitza podešavanje koraka deploy-a na serveru;Let's Encryptza generisanje (i automatsko obnavljanje) besplatnih TLS sertifikata;Firewallza postavljanje filtriranja dolaznog saobraćaja.
Možete ih instalirati preko Plesk administracije u odeljku Ekstenzije:

Detaljno postavljanje ekstenzija nećemo razmatrati, za naše demo ciljeve odgovaraće podrazumevana podešavanja.
Stvaranje pretplate i sajta
Dalje, potrebno je da kreiramo pretplatu za naš sajt helloworld.ru i dodamo poddomen dev.helloworld.ru.
- Kreiramo pretplatu za domen helloworld.ru i navodimo korisničko ime i lozinku za sistemskog korisnika:

Na dnu stranice stavljamo kvačicu Secure the domain with Let’s Encrypt, ako želimo da podesimo HTTPS za sajt:
- Zatim, u ovoj pretplati kreiramo poddomen dev.helloworld.ru (za koji takođe može biti izdat besplatni TLS sertifikat):

Instalacija server komponenti
Imamo server sa OS Debian Stretch 9.12 i instaliranom kontrolnom tablom Plesk Obsidian 18.0.27.
Treba da instaliramo i postavimo za naš projekat:
- PostgreSQL (u našem slučaju će to biti jedan server sa dve baze podataka za dev- i prod-okruženje).
- RabbitMQ (isto kao i pre, jedan instanca sa različitim vhosts za okruženja).
- Dve instance Redis-a (za dev- i prod-okruženje).
- Docker Registry (za lokalno čuvanje sakupljenih Docker slika).
- UI interfejs za Docker registry.
PostgreSQL
U paketu sa Pleskom već dolazi PostgreSQL, međutim ne najnovije verzije (u trenutku pisanja članka Plesk Obsidian Postgres verzije 8.4–10.8). Želimo najnoviju verziju za našu aplikaciju (12.3 u trenutku pisanja članka), stoga ćemo je instalirati ručno.
Detaljna uputstva za instalaciju Postgres-a na Debiana ima mnogo dostupnih (), stoga ih neću opisivati detaljno, samo ću predstaviti komande:
wget -q https://www.postgresql.org/media/keys/ACCC4CF8.asc -O - | sudo apt-key add -
sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt/ stretch-pgdg main" >> /etc/apt/sources.list.d/pgdg.list'
sudo apt-get update
sudo apt-get install postgresql postgresql-contrib
S obzirom da PostgreSQL ima prilično prosječne zadane postavke, neophodno je prilagoditi konfiguraciju. U tome će nam pomoći : potrebno je unijeti parametre svog servera i zamijeniti postavke u datoteci /etc/postgresql/12/main/postgresql.confna predložene. Treba napomenuti da takvi kalkulatori nisu čarobna rješenja, a bazu treba poboljšati preciznije, na osnovu vašeg hardvera, aplikacije i složenosti zahteva. No, za početak, ovo je dovoljno.
Osim predloženih postavki kalkulatora, također ćemo promijeniti postgresql.confzadano napisanu port 5432 u drugi (u našem primjeru — 53983).
Nakon izmjene konfiguracijske datoteke ponovo pokrećemo postgresql-server naredbom:
service postgresql restart
Instalirali smo i podesili PostgreSQL. Sada ćemo kreirati Baze podataka, korisnike za dev- i prod-sredine i dodijeliti korisnicima prava za upravljanje bazom podataka:
$ su - postgres
postgres:~$ create database hw_dev_db_name;
CREATE DATABASE
postgres:~$ create user hw_dev_db_user with password 'hw_dev_db_password';
CREATE ROLE
postgres:~$ grant ALL privileges ON database hw_dev_db_name to hw_dev_db_user;
GRANT
postgres:~$ create database hw_prod_db_name;
CREATE DATABASE
postgres:~$ create user hw_prod_db_user with password 'hw_prod_db_password';
CREATE ROLE
postgres:~$ grant ALL privileges ON database hw_prod_db_name to hw_prod_db_user;
GRANT
RabbitMQ
Preći ćemo na instalaciju RabbitMQ — posrednika poruka za Celery. Instalira se prilično lako na Debian:
wget https://packages.erlang-solutions.com/erlang-solutions_1.0_all.deb
sudo dpkg -i erlang-solutions_1.0_all.deb
sudo apt-get update
sudo apt-get install erlang erlang-nox
sudo add-apt-repository 'deb http://www.rabbitmq.com/debian/ testing main'
wget -O- https://www.rabbitmq.com/rabbitmq-release-signing-key.asc | sudo apt-key add -
sudo apt-get update
sudo apt-get install rabbitmq-server
Nakon instalacije potrebno je kreirati vhosts, korisnike i dodijeliti potrebna prava:
sudo rabbitmqctl add_user hw_dev_amqp_user hw_dev_amqp_password
sudo rabbitmqctl set_user_tags hw_dev_amqp_user administrator
sudo rabbitmqctl add_vhost hw_dev_vhost
sudo rabbitmqctl set_permissions -p hw_dev_vhost hw_dev_amqp_user ".*" ".*" ".*"
sudo rabbitmqctl add_user hw_prod_amqp_user hw_prod_amqp_password
sudo rabbitmqctl set_user_tags hw_prod_amqp_user administrator
sudo rabbitmqctl add_vhost hw_prod_vhost
sudo rabbitmqctl set_permissions -p hw_prod_vhost hw_prod_amqp_user ".*" ".*" ".*"
Redis
Sada ćemo instalirati i podesiti posljednji komponent za našu aplikaciju — Redis. Koristit će se kao pozadinsko rješenje za skladištenje rezultata zadataka Celery.
Podignućemo dva Docker kontejnera s Redisom za dev- i prod-sredine koristeći proširenje Docker za Plesk.
- Ulazimo u Plesk, prelazimo u odeljak Ekstenzije, tražimo ekstenziju Docker i instaliramo je (ne treba nam plaćena verzija):

- Prelazimo u instaliranu ekstenziju, pronalazimo sliku putem pretrage
redis bitnamii instaliramo najnoviju verziju:
- Ulazimo u preuzeti kontejner i prilagođavamo konfiguraciju: navodimo port, maksimalnu dodeljenu veličinu RAM-a, lozinku u promenljivim okruženja, i montiramo volumen:

- Izvršavamo korake 2-3 za prod-kontejner, samo menjamo parametre u postavkama: port, lozinku, veličinu RAM-a i putanju do fascikle volumena na serveru:

Docker Registry
Osim osnovnih servisa, bilo bi dobro postaviti vlastiti repozitorij Docker slika na server. S obzirom na to da je prostor na serverima sada prilično jeftin (sigurno je jeftiniji od pretplate na DockerHub) i proces instalacije privatnog repozitorija vrlo jednostavan.
Želimo da imamo instalirano:
- zaštićen lozinkom Docker-repozitorij, dostupan putem poddomena ;
- UI sučelje za pregled slika u repozitoriju, dostupno na adresi .
Za to:
- Kreiramo u Plesku dva poddomena u našoj pretplati: docker.helloworld.ru i docker-ui.helloworld.ru, i podešavamo za njih certifikate Let’s Encrypt.
- U fasciklu poddomena docker.helloworld.ru dodajemo datoteku
docker-compose.ymlsa ovim sadržajem:version: "3" services: docker-registry: image: "registry:2" restart: always ports: - "53985:5000" environment: REGISTRY_AUTH: htpasswd REGISTRY_AUTH_HTPASSWD_REALM: basic-realm REGISTRY_AUTH_HTPASSWD_PATH: \/auth\/.htpasswd REGISTRY_STORAGE_FILESYSTEM_ROOTDIRECTORY: \/data volumes: - .\/docker-registry.htpasswd:\/auth\/.htpasswd - .\/data:\/data docker-registry-ui: image: konradkleine\/docker-registry-frontend:v2 restart: always ports: - "53986:80" environment: VIRTUAL_HOST: '*, https:\/\/*' ENV_DOCKER_REGISTRY_HOST: 'docker-registry' ENV_DOCKER_REGISTRY_PORT: 5000 links: - 'docker-registry' - Putem SSH-a generišemo datoteku .htpasswd za osnovnu autorizaciju u Docker-repozitoriju:
htpasswd -bBc .htpasswd hw_docker_admin hw_docker_password - Sastavljamo i pokrećemo kontejnere:
docker-compose up -d - I treba preusmeriti Nginx na naše kontejnere. To se može uraditi putem Pleska.
Sledeće radnje treba izvesti za poddomene docker.helloworld.ru i docker-ui.helloworld.ru:
U odjeljku Dev Tools našeg sajta ulazimo u Docker Proxy Rules:

I dodajemo pravilo za proksiranje dolaznog saobraćaja u naš kontejner:

- Proveravamo da li se možemo prijaviti u naš kontejner sa lokalne mašine:
$ docker login docker.helloworld.ru -u hw_docker_admin -p hw_docker_password WARNING! Using --password via the CLI is insecure. Use --password-stdin. Login Succeeded - Takođe proveravamo rad poddomena docker-ui.helloworld.ru:

Kada kliknete na Browse repositories, preglednik će otvoriti prozor za autentifikaciju u koji ćete morati unijeti korisničko ime i lozinku za repozitorij. Nakon toga, bit ćete preusmjereni na stranicu sa spiskom repozitorija (trenutno će biti prazna):
Otvaranje portova u Plesk Firewall-u
Nakon instalacije i postavljanja komponenti, trebamo otvoriti portove kako bi komponente bile dostupne iz Docker kontejnera i vanjske mreže.
Pogledajmo kako to uraditi, koristeći primjer ranije instaliranog proširenja Firewall za Plesk.
- Prelazimo na Tools & Settings > Settings > Firewall:

- Prelazimo na Modifikuj Plesk Firewall pravila > Dodaj prilagođeno pravilo i otvaramo sljedeće TCP portove za Docker podsistem (172.0.0.0/8):
RabbitMQ: 1883, 4369, 5671-5672, 25672, 61613-61614
Redis: 32785, 32786
- Također, dodajmo pravilo koje će otvoriti spoljne portove za PostgreSQL i upravljačku ploču RabbitMQ:

- Primjenjujemo pravila pomoću dugmeta Apply Changes:

Postavke CI/CD u Github Actions
Prelazimo na najinteresantniji deo — podešavanje pipeline-a za kontinuiranu integraciju i isporuku našeg projekta na server.
Ovaj pipeline će se sastojati od dva dela:
- izgradnje imidža i pokretanja testova (za backend) — na strani Github-a;
- pokretanje migracija (za backend) i deploy kontejnera — na serveru.
Deploy u Plesk
Prvo ćemo se pozabaviti drugim tačkom (jer od njega zavisi prvi).
Proces deploy-a ćemo postavljati putem proširenja Git za Plesk.
Razmotrićemo primjer sa Prod okruženjem za Backend repozitorij.
- Prijavite se na pretplatu našeg sajta Helloworld i idite na pododjeljak Git:

- U polje 'Remote Git repository' umetnite link na naš Github repozitorij i promijenite podrazumijevanu mapu
httpdocsna drugu (na primjer,/httpdocs/hw_back):
- Kopirajte SSH javni ključ sa prethodne faze i ga u postavkama Github-a.
- Kliknite OK na ekranu u stavci 2, nakon čega ćete biti preusmjereni na stranicu repozitorija u Plesku. Sada trebamo postaviti ažuriranje repozitorija prilikom commit-a u granu master. U tu svrhu idemo na Postavke repozitorija i sačuvamo vrednost
Webhook URL(biće nam potrebna kasnije prilikom podešavanja Github Actions):
- U polju Actions na ekranu iz prethodne tačke unesite skriptu za pokretanje deploy-a:
cd {REPOSITORY_ABSOLUTE_PATH} .ci-cd/deploy.sh {ENV} {DOCKER_REGISTRY_HOST} {DOCKER_USER} {DOCKER_PASSWORD} {TG_BOT_TOKEN} {TG_CHAT_ID}gdje:
{REPOSITORY_ABSOLUTE_PATH}— putanja do foldera prod backend repozitorija na serveru;
{ENV}— okruženje (dev/prod), u našem slučajuprod;
{DOCKER_REGISTRY_HOST}— domaćin našeg docker repozitorija
{TG_BOT_TOKEN}— token Telegram bota;
{TG_CHAT_ID}— ID chat-a/kanala za slanje obaveštenja.Primjer skripte:
cd /var/www/vhosts/helloworld.ru/httpdocs/hw_back/ .ci-cd/deploy.sh dev docker.helloworld.ru docker_user docker_password 12345678:AAbcdEfghCH1vGbCasdfSAs0K5PALDsaw -1001234567890 - Dodajemo korisnika iz naše pretplate u Docker grupu (kako bi mogao upravljati kontejnerima):
sudo usermod -aG docker helloworld_admin
Razvojno okruženje za backend repozitorij i frontend se postavlja na sličan način.
Pipeline za isporuku u Github Actions
Prelazimo na postavljanje prvog dela našeg CI/CD pipeline-a u Github Actions.
Backend
Pipeline se opisuje u .
Ali pre nego što je razradimo, popunimo potrebne tajne promenljive u Githubu. Zato idemo na Settings -> Secrets:
DOCKER_REGISTRY— host našeg Docker repozitorija (docker.helloworld.ru);DOCKER_LOGIN— korisničko ime za Docker repozitorij;DOCKER_PASSWORD— lozinka za njega;DEPLOY_HOST— host na kojem je dostupna admin Plesk (primer: :8443 ili :8443);DEPLOY_BACK_PROD_TOKEN— token za isporuku u prod repozitorij na serveru (dobijen je u Razvijanju u Plesk tačka 4);DEPLOY_BACK_DEV_TOKEN— token za isporuku u dev repozitorij na serveru.
Proces isporuke je jednostavan i sastoji se od tri osnovna koraka:
- izgradnja i objavljivanje slike u našem repozitoriju;
- pokretanje testova u kontejneru zasnovanom na sveže izgrađenoj slici;
- isporučivanje u odgovarajuće okruženje u zavisnosti od grane (dev/master).
Frontend
malo se razlikuje od backend verzije. Nedostaje korak sa pokretanjem testova i menjaju se nazivi tokena za isporuku. Tajne za frontend repozitorij, inače, treba unositi odvojeno.
Postavljanje sajta
Proksiranje saobraćaja kroz Nginx
Pa, došli smo do kraja. Ostaje samo da postavimo proksiranje dolaznog i odlaznog saobraćaja u naš kontejner kroz Nginx. Ovaj proces smo već razmotrili u tački 5 postavljanja Docker Registry. Isto to treba ponoviti za backend i frontend u dev i prod okruženjima.
Pružiću snimke podešavanja.
Backend

Frontend

Važna napomena. U frontend kontejner će biti proksirani svi URL-ovi osim onih koji počinju sa /api/ — oni će biti proksirani u backend kontejner (zato u backend kontejneru svi obrtnici moraju početi sa /api/).
Zaključci
Sada naš sajt treba da bude dostupan na adresama helloworld.ru i dev.helloworld.ru (prod i dev okruženje, respektivno).
Ukratko, saznali smo kako pripremiti jednostavnu aplikaciju na Flask i Angular i postaviti pipeline u Github Actions za njeno implementaciju na server koji upravlja Plesk-om.
Ponovo ću podeliti linkove na repozitorije sa kodom: , .
Izvor: habr.com
















